0%

導讀 Reference Architecture: Red Hat Ceph Storage

本文主要是以 Red Hat Ceph Storage (RHCS) 及依據兩份 Brief: How to configure Red Hat Ceph StorageReference Architecture: Red Hat Ceph Storage hardware selection guide 文件為基礎撰寫,現行Red Hat 官方發布的版本號來到 v3.2

Red Hat Ceph Storage

一座 Ceph 集群會具備以下五種角色:

  • Management/Dashboard node (ceph-mgr)
  • Monitor nodes (ceph-mon / ceph-osd-container)
  • Object Gateway nodes (ceph-radosgw / ceph-radosgw-container)
  • MDS nodes (ceph-mds / ceph-mds-container)
  • OSD nodes (ceph-osd / ceph-osd-container)

一般討論最多的就是 OSD nodes 的原始空間大小及可用空間大小 (因要推算硬體規格及評估效能),其餘角色都是使用或維運時會使用

對於角色作用可以參考 Ceph 分散式儲存系統介紹 - KaiRen’s Blog 的內容

Total Solution

規模定義

基本上只要是屬於 OSD Node 角色的,每一台主機都會配置一個 OSD (Object Storage Daemon),用戶主要是將資料存取於此使用。而空間定義上主要分為原始空間 (Raw Capacity) 跟依據不同集群優化策略 (3 * Replication / Erasure Coding) 推算後的可用空間 (Usuable Capacity)

規模 可用空間大小
Small 250 TB+
Medium 1 PB - 2 PB
Large 2 PB+

集群優化定義

集群優化定義 特性 舉例
IOPS 優化 - Lowest cost per IOPS
- Highest IOPS per GB
- 99% latency consistency
- Block storage
- 3 x replication
- MySQL on OpenStack Clouds
Throughput 優化 - Lowest cost per MBps (throughput)
- Highest MBps per TB
- Highest MBps per BTU
- Highest MBps per Watt
- 97% latency consistency
- Block or Object storage
- 3 x replication
- Streaming media/data/images
Cost/Capacity 優化 - Lowest cost per TB
- Lowest BTU per TB
- Lowest Watts required per TB
- Object storage
- Erasure coding
- Object archive

Referencea Archtictures (RAs)

建議於最小規模 (Small) 最少需三台實體機,而每台 Ceph Server 最小規格,可參考 Red Hat Partner 推薦型號

倘若想自行精算配置的話,則可參考此篇 Technical Detail: Red Hat Ceph Storage on Servers with Intel Processors and SSDs 推算硬體規格

About BlueStore

另因 Red Hat Ceph Storage 3.2 宣布可使用 BlueStore 方式部署,底下是 BlueStore v.s. Filestore 的技術堆疊比較

整體 IOPS 會跟硬碟規格選型會呈現完全正相關,故硬體越好越快

From BlueStore Unleashed
BlueStore Unleashed

除了硬體以外,Ceph 參數調教得當的話可以,讓系統 Latency 及 IOPS 的表現都會非常好

Red Hat Ceph Storage 3.2 PoC 評測文

References