Ceph--分布式存儲(chǔ)

一、存儲(chǔ)基礎(chǔ)

1.單機(jī)存儲(chǔ)設(shè)備

●DAS（直接附加存儲(chǔ)，是直接接到計(jì)算機(jī)的主板總線上去的存儲(chǔ)）
IDE、SATA、SCSI、SAS、USB 接口的磁盤
所謂接口就是一種存儲(chǔ)設(shè)備驅(qū)動(dòng)下的磁盤設(shè)備，提供塊級(jí)別的存儲(chǔ)

●NAS（網(wǎng)絡(luò)附加存儲(chǔ)，是通過網(wǎng)絡(luò)附加到當(dāng)前主機(jī)文件系統(tǒng)之上的存儲(chǔ)）
NFS、CIFS、FTP
文件系統(tǒng)級(jí)別的存儲(chǔ)，本身就是一個(gè)做好的文件系統(tǒng)，通過nfs接口在用戶空間輸出后，客戶端基于內(nèi)核模塊與遠(yuǎn)程主機(jī)進(jìn)行網(wǎng)絡(luò)通信，把它轉(zhuǎn)為好像本地文件系統(tǒng)一樣來使用，這種存儲(chǔ)服務(wù)是沒辦法對(duì)它再一次格式化創(chuàng)建文件系統(tǒng)塊的

●SAN（存儲(chǔ)區(qū)域網(wǎng)絡(luò)）
SCSI協(xié)議（只是用來傳輸數(shù)據(jù)的存取操作，物理層使用SCSI線纜來傳輸）、FCSAN（物理層使用光纖來傳輸）、iSCSI（物理層使用以太網(wǎng)來傳輸）
也是一種網(wǎng)絡(luò)存儲(chǔ)，但不同之處在于SAN提供給客戶端主機(jī)使用的接口是塊級(jí)別的存儲(chǔ)

2.單機(jī)存儲(chǔ)的問題

●存儲(chǔ)處理能力不足
傳統(tǒng)的IDE的IO值是100次/秒，SATA固態(tài)磁盤500次/秒，固態(tài)硬盤達(dá)到2000-4000次/秒。即使磁盤的IO能力再大數(shù)十倍，也不夠抗住網(wǎng)站訪問高峰期數(shù)十萬、數(shù)百萬甚至上億用戶的同時(shí)訪問，這同時(shí)還要受到主機(jī)網(wǎng)絡(luò)IO能力的限制。

●存儲(chǔ)空間能力不足
單塊磁盤的容量再大，也無法滿足用戶的正常訪問所需的數(shù)據(jù)容量限制。

●單點(diǎn)故障問題
單機(jī)存儲(chǔ)數(shù)據(jù)存在單點(diǎn)故障問題

3.商業(yè)存儲(chǔ)解決方案

EMC、NetAPP、IBM、DELL、華為、浪潮

4.分布式存儲(chǔ)（軟件定義的存儲(chǔ) SDS）

Ceph、TFS、FastDFS、MooseFS（MFS）、HDFS、GlusterFS（GFS）
存儲(chǔ)機(jī)制會(huì)把數(shù)據(jù)分散存儲(chǔ)到多個(gè)節(jié)點(diǎn)上，具有高擴(kuò)展性、高性能、高可用性等優(yōu)點(diǎn)。

5.分布式存儲(chǔ)的類型

●塊存儲(chǔ)（例如硬盤，一般是一個(gè)存儲(chǔ)被一個(gè)服務(wù)器掛載使用，適用于容器或虛擬機(jī)存儲(chǔ)卷分配、日志存儲(chǔ)、文件存儲(chǔ)）
就是一個(gè)裸設(shè)備，用于提供沒有被組織過的存儲(chǔ)空間，底層以分塊的方式來存儲(chǔ)數(shù)據(jù)

●文件存儲(chǔ)（例如NFS，解決塊存儲(chǔ)無法共享問題，可以一個(gè)存儲(chǔ)被多個(gè)服務(wù)器同時(shí)掛載，適用于目錄結(jié)構(gòu)的存儲(chǔ)、日志存儲(chǔ)）
是一種數(shù)據(jù)的組織存放接口，一般是建立在塊級(jí)別的存儲(chǔ)結(jié)構(gòu)之上，以文件形式來存儲(chǔ)數(shù)據(jù)，而文件的元數(shù)據(jù)和實(shí)際數(shù)據(jù)是分開存儲(chǔ)的

●對(duì)象存儲(chǔ)（例如OSS，一個(gè)存儲(chǔ)可以被多服務(wù)同時(shí)訪問，具備塊存儲(chǔ)的高速讀寫能力，也具備文件存儲(chǔ)共享的特性，適用圖片存儲(chǔ)、視頻存儲(chǔ)）
基于API接口提供的文件存儲(chǔ)，每一個(gè)文件都是一個(gè)對(duì)象，且文件大小各不相同的，文件的元數(shù)據(jù)和實(shí)際數(shù)據(jù)是存放在一起的

二、Ceph 概述

1.Ceph 簡(jiǎn)介

Ceph使用C++語言開發(fā)，是一個(gè)開放、自我修復(fù)和自我管理的開源分布式存儲(chǔ)系統(tǒng)。具有高擴(kuò)展性、高性能、高可靠性的優(yōu)點(diǎn)。

Ceph目前已得到眾多云計(jì)算廠商的支持并被廣泛應(yīng)用。RedHat及OpenStack，Kubernetes都可與Ceph整合以支持虛擬機(jī)鏡像的后端存儲(chǔ)。
粗略估計(jì)，我國(guó)70%—80%的云平臺(tái)都將Ceph作為底層的存儲(chǔ)平臺(tái)，由此可見Ceph儼然成為了開源云平臺(tái)的標(biāo)配。目前國(guó)內(nèi)使用Ceph搭建分布式存儲(chǔ)系統(tǒng)較為成功的企業(yè)有華為、阿里、中興、華三、浪潮、中國(guó)移動(dòng)、網(wǎng)易、樂視、360、星辰天合存儲(chǔ)、杉巖數(shù)據(jù)等。

2.Ceph 優(yōu)勢(shì)

●高擴(kuò)展性：去中心化，支持使用普通X86服務(wù)器，支持上千個(gè)存儲(chǔ)節(jié)點(diǎn)的規(guī)模，支持TB到EB級(jí)的擴(kuò)展。
●高可靠性：沒有單點(diǎn)故障，多數(shù)據(jù)副本，自動(dòng)管理，自動(dòng)修復(fù)。
●高性能：摒棄了傳統(tǒng)的集中式存儲(chǔ)元數(shù)據(jù)尋址的方案，采用 CRUSH 算法，數(shù)據(jù)分布均衡，并行度高。
●功能強(qiáng)大：Ceph是個(gè)大一統(tǒng)的存儲(chǔ)系統(tǒng)，集塊存儲(chǔ)接口（RBD）、文件存儲(chǔ)接口（CephFS）、對(duì)象存儲(chǔ)接口（RadosGW）于一身，因而適用于不同的應(yīng)用場(chǎng)景。

3.Ceph 架構(gòu)

自下向上，可以將Ceph系統(tǒng)分為四個(gè)層次:

●RADOS 基礎(chǔ)存儲(chǔ)系統(tǒng)（Reliab1e，Autonomic，Distributed object store，即可靠的、自動(dòng)化的、分布式的對(duì)象存儲(chǔ)）
RADOS是Ceph最底層的功能模塊，是一個(gè)無限可擴(kuò)容的對(duì)象存儲(chǔ)服務(wù)，能將文件拆解成無數(shù)個(gè)對(duì)象（碎片）存放在硬盤中，大大提高了數(shù)據(jù)的穩(wěn)定性。它主要由OSD和Monitor兩個(gè)組件組成，OSD和Monitor都可以部署在多臺(tái)服務(wù)器中，這就是ceph分布式的由來，高擴(kuò)展性的由來。

●LIBRADOS 基礎(chǔ)庫(kù)
Librados提供了與RADOS進(jìn)行交互的方式，并向上層應(yīng)用提供Ceph服務(wù)的API接口，因此上層的RBD、RGW和CephFS都是通過Librados訪問的，目前提供PHP、Ruby、Java、Python、Go、C和C++支持，以便直接基于RADOS（而不是整個(gè)Ceph）進(jìn)行客戶端應(yīng)用開發(fā)。

●高層應(yīng)用接口：包括了三個(gè)部分
1）對(duì)象存儲(chǔ)接口 RGW（RADOS Gateway）
網(wǎng)關(guān)接口，基于Librados開發(fā)的對(duì)象存儲(chǔ)系統(tǒng)，提供S3和Swift兼容的RESTful API接口。

2）塊存儲(chǔ)接口 RBD（Reliable Block Device）
基于Librados提供塊設(shè)備接口，主要用于Host/VM。

3）文件存儲(chǔ)接口 CephFS（Ceph File System）
Ceph文件系統(tǒng)，提供了一個(gè)符合POSIX標(biāo)準(zhǔn)的文件系統(tǒng)，它使用Ceph存儲(chǔ)集群在文件系統(tǒng)上存儲(chǔ)用戶數(shù)據(jù)?；贚ibrados提供的分布式文件系統(tǒng)接口。

●應(yīng)用層：基于高層接口或者基礎(chǔ)庫(kù)Librados開發(fā)出來的各種APP，或者Host、VM等諸多客戶端

4.Ceph 核心組件

Ceph是一個(gè)對(duì)象式存儲(chǔ)系統(tǒng)，它把每一個(gè)待管理的數(shù)據(jù)流（如文件等數(shù)據(jù)）切分為一到多個(gè)固定大小（默認(rèn)4兆）的對(duì)象數(shù)據(jù)（Object），并以其為原子單元（原子是構(gòu)成元素的最小單元）完成數(shù)據(jù)的讀寫。

●OSD（Object Storage Daemon，守護(hù)進(jìn)程 ceph-osd）
是負(fù)責(zé)物理存儲(chǔ)的進(jìn)程，一般配置成和磁盤一一對(duì)應(yīng)，一塊磁盤啟動(dòng)一個(gè)OSD進(jìn)程。主要功能是存儲(chǔ)數(shù)據(jù)、復(fù)制數(shù)據(jù)、平衡數(shù)據(jù)、恢復(fù)數(shù)據(jù)，以及與其它OSD間進(jìn)行心跳檢查，負(fù)責(zé)響應(yīng)客戶端請(qǐng)求返回具體數(shù)據(jù)的進(jìn)程等。通常至少需要3個(gè)OSD來實(shí)現(xiàn)冗余和高可用性。

●PG（Placement Group 歸置組）
PG 是一個(gè)虛擬的概念而已，物理上不真實(shí)存在。它在數(shù)據(jù)尋址時(shí)類似于數(shù)據(jù)庫(kù)中的索引：Ceph 先將每個(gè)對(duì)象數(shù)據(jù)通過HASH算法固定映射到一個(gè) PG 中，然后將 PG 通過 CRUSH 算法映射到 OSD。

●Pool
Pool 是存儲(chǔ)對(duì)象的邏輯分區(qū)，它起到 namespace 的作用。每個(gè) Pool 包含一定數(shù)量（可配置）的 PG。Pool 可以做故障隔離域，根據(jù)不同的用戶場(chǎng)景統(tǒng)一進(jìn)行隔離。

#Pool中數(shù)據(jù)保存方式支持兩種類型：
●多副本（replicated）：類似 raid1，一個(gè)對(duì)象數(shù)據(jù)默認(rèn)保存 3 個(gè)副本，放在不同的 OSD
●糾刪碼（Erasure Code）：類似 raid5，對(duì) CPU 消耗稍大，但是節(jié)約磁盤空間，對(duì)象數(shù)據(jù)保存只有 1 個(gè)副本。由于Ceph部分功能不支持糾刪碼池，此類型存儲(chǔ)池使用不多

#Pool、PG 和 OSD 的關(guān)系：
一個(gè)Pool里有很多個(gè)PG；一個(gè)PG里包含一堆對(duì)象，一個(gè)對(duì)象只能屬于一個(gè)PG；PG有主從之分，一個(gè)PG分布在不同的OSD上（針對(duì)多副本類型）

●Monitor（守護(hù)進(jìn)程 ceph-mon）
用來保存OSD的元數(shù)據(jù)。負(fù)責(zé)維護(hù)集群狀態(tài)的映射視圖（Cluster Map：OSD Map、Monitor Map、PG Map 和 CRUSH Map），維護(hù)展示集群狀態(tài)的各種圖表， 管理集群客戶端認(rèn)證與授權(quán)。一個(gè)Ceph集群通常至少需要 3 或 5 個(gè)（奇數(shù)個(gè)）Monitor 節(jié)點(diǎn)才能實(shí)現(xiàn)冗余和高可用性，它們通過 Paxos 協(xié)議實(shí)現(xiàn)節(jié)點(diǎn)間的同步數(shù)據(jù)。

●Manager（守護(hù)進(jìn)程 ceph-mgr）
負(fù)責(zé)跟蹤運(yùn)行時(shí)指標(biāo)和 Ceph 集群的當(dāng)前狀態(tài)，包括存儲(chǔ)利用率、當(dāng)前性能指標(biāo)和系統(tǒng)負(fù)載。為外部監(jiān)視和管理系統(tǒng)提供額外的監(jiān)視和接口，例如 zabbix、prometheus、 cephmetrics 等。一個(gè) Ceph 集群通常至少需要 2 個(gè) mgr 節(jié)點(diǎn)實(shí)現(xiàn)高可用性，基于 raft 協(xié)議實(shí)現(xiàn)節(jié)點(diǎn)間的信息同步。

●MDS（Metadata Server，守護(hù)進(jìn)程 ceph-mds）
是 CephFS 服務(wù)依賴的元數(shù)據(jù)服務(wù)。負(fù)責(zé)保存文件系統(tǒng)的元數(shù)據(jù)，管理目錄結(jié)構(gòu)。對(duì)象存儲(chǔ)和塊設(shè)備存儲(chǔ)不需要元數(shù)據(jù)服務(wù)；如果不使用 CephFS 可以不安裝。

5.OSD 存儲(chǔ)引擎

OSD 有兩種方式管理它們存儲(chǔ)的數(shù)據(jù)。在 Luminous 12.2.z 及以后的發(fā)行版中，默認(rèn)（也是推薦的）后端是 BlueStore。在 Luminous 發(fā)布之前， 默認(rèn)是 FileStore， 也是唯一的選項(xiàng)。

●Filestore
FileStore是在Ceph中存儲(chǔ)對(duì)象的一個(gè)遺留方法。它依賴于一個(gè)標(biāo)準(zhǔn)文件系統(tǒng)（只能是XFS)，并結(jié)合一個(gè)鍵/值數(shù)據(jù)庫(kù)（傳統(tǒng)上是LevelDB，現(xiàn)在BlueStore是RocksDB），用于保存和管理元數(shù)據(jù)。

FileStore經(jīng)過了良好的測(cè)試，在生產(chǎn)中得到了廣泛的應(yīng)用。然而，由于它的總體設(shè)計(jì)和對(duì)傳統(tǒng)文件系統(tǒng)的依賴，使得它在性能上存在許多不足。

●Bluestore
從 Ceph 12.2.0（Luminous） 版本開始的。在 Luminous 版本中，BlueStore 被引入作為一種新的、高性能的 OSD 存儲(chǔ)引擎，以替代舊的 FileStore 引擎。

在 Ceph 中，BlueStore 可以提供更快的響應(yīng)時(shí)間和更高的數(shù)據(jù)吞吐量，同時(shí)也具有更好的可靠性和穩(wěn)定性。相比之下，舊的 FileStore 存儲(chǔ)引擎通常需要更多的 CPU 和內(nèi)存資源，對(duì) IO 延遲的敏感度也較高。

FileStore 將對(duì)象存儲(chǔ)為塊設(shè)備基礎(chǔ)上的文件系統(tǒng)（通常是 XFS）中的文件。

BlueStore 將對(duì)象直接存儲(chǔ)在原始?jí)K設(shè)備上，免除了對(duì)文件系統(tǒng)層的需要，提高了讀寫操作速度，通過直接操作底層塊設(shè)備來管理數(shù)據(jù)，而不是傳統(tǒng)的文件系統(tǒng)。

這種方法提供了更好的性能和可靠性，因?yàn)榭梢詫?shù)據(jù)劃分為較小的塊并使用校驗(yàn)和來檢測(cè)錯(cuò)誤。此外，BlueStore可以直接與Solid State Drive（SSD）交互，并利用其快速讀寫速度。

BlueStore還具有可擴(kuò)展性，可以處理數(shù)百萬個(gè)物理盤和千億個(gè)對(duì)象。它實(shí)現(xiàn)了動(dòng)態(tài)負(fù)載平衡和自動(dòng)恢復(fù)機(jī)制，以確保高可用性和數(shù)據(jù)可靠性。

6.Ceph 數(shù)據(jù)的存儲(chǔ)過程

1）客戶端從 mon 獲取最新的 Cluster Map

2）在 Ceph 中，一切皆對(duì)象。Ceph 存儲(chǔ)的數(shù)據(jù)都會(huì)被切分成為一到多個(gè)固定大小的對(duì)象（Object）。Object size 大小可以由管理員調(diào)整，通常為 2M 或 4M。
每個(gè)對(duì)象都會(huì)有一個(gè)唯一的 OID，由 ino 與 ono 組成：
●ino ：即是文件的 FileID，用于在全局唯一標(biāo)識(shí)每一個(gè)文件
●ono ：則是分片的編號(hào)
比如：一個(gè)文件 FileID 為 A，它被切成了兩個(gè)對(duì)象，一個(gè)對(duì)象編號(hào)0，另一個(gè)編號(hào)1，那么這兩個(gè)文件的 oid 則為 A0 與 A1。
OID 的好處是可以唯一標(biāo)示每個(gè)不同的對(duì)象，并且存儲(chǔ)了對(duì)象與文件的從屬關(guān)系。由于 Ceph 的所有數(shù)據(jù)都虛擬成了整齊劃一的對(duì)象，所以在讀寫時(shí)效率都會(huì)比較高。

3）通過對(duì) OID 使用 HASH 算法得到一個(gè)16進(jìn)制的特征碼，用特征碼與 Pool 中的 PG 總數(shù)取余，得到的序號(hào)則是 PGID 。
即 Pool_ID + HASH(OID) % PG_NUM 得到 PGID

4）PG 會(huì)根據(jù)設(shè)置的副本數(shù)量進(jìn)行復(fù)制，通過對(duì) PGID 使用 CRUSH 算法算出 PG 中目標(biāo)主和次 OSD 的 ID，存儲(chǔ)到不同的 OSD 節(jié)點(diǎn)上（其實(shí)是把 PG 中的所有對(duì)象存儲(chǔ)到 OSD 上）。
即通過 CRUSH(PGID) 得到將 PG 中的數(shù)據(jù)存儲(chǔ)到各個(gè) OSD 組中
CRUSH 是 Ceph 使用的數(shù)據(jù)分布算法，類似一致性哈希，讓數(shù)據(jù)分配到預(yù)期的地方。

7.Ceph 版本發(fā)行生命周期

Ceph從Nautilus版本（14.2.0）開始，每年都會(huì)有一個(gè)新的穩(wěn)定版發(fā)行，預(yù)計(jì)是每年的3月份發(fā)布，每年的新版本都會(huì)起一個(gè)新的名稱（例如，“Mimic”）和一個(gè)主版本號(hào)（例如，13代表Mimic，因?yàn)椤癕”是字母表的第13個(gè)字母）。

版本號(hào)的格式為 x.y.z，x 表示發(fā)布周期（例如，13 代表 Mimic，17 代表 Quincy），y 表示發(fā)布版本類型，即
● x.0.z ：y等于 0，表示開發(fā)版本
● x.1.z ：y等于 1，表示發(fā)布候選版本（用于測(cè)試集群）
● x.2.z ：y等于 2，表示穩(wěn)定/錯(cuò)誤修復(fù)版本（針對(duì)用戶）

8.Ceph 集群部署

目前 Ceph 官方提供很多種部署 Ceph 集群的方法，常用的分別是 ceph-deploy，cephadm 和 二進(jìn)制：
●ceph-deploy ：一個(gè)集群自動(dòng)化部署工具，使用較久，成熟穩(wěn)定，被很多自動(dòng)化工具所集成，可用于生產(chǎn)部署。

●cephadm ：從 Octopus 和較新的版本版本后使用 cephadm 來部署 ceph 集群，使用容器和 systemd 安裝和管理 Ceph 集群。目前不建議用于生產(chǎn)環(huán)境。

●二進(jìn)制：手動(dòng)部署，一步步部署 Ceph 集群，支持較多定制化和了解部署細(xì)節(jié)，安裝難度較大。

三、基于 ceph-deploy 部署 Ceph 集群

Ceph 生產(chǎn)環(huán)境推薦：

1、存儲(chǔ)集群全采用萬兆網(wǎng)絡(luò)
2、集群網(wǎng)絡(luò)（cluster-network，用于集群內(nèi)部通訊）與公共網(wǎng)絡(luò)（public-network，用于外部訪問Ceph集群）分離
3、mon、mds 與 osd 分離部署在不同主機(jī)上（測(cè)試環(huán)境中可以讓一臺(tái)主機(jī)節(jié)點(diǎn)運(yùn)行多個(gè)組件）
4、OSD 使用 SATA 亦可
5、根據(jù)容量規(guī)劃集群
6、至強(qiáng)E5 2620 V3或以上 CPU，64GB或更高內(nèi)存
7、集群主機(jī)分散部署，避免機(jī)柜的電源或者網(wǎng)絡(luò)故障

Ceph 環(huán)境規(guī)劃

主機(jī)名    Public網(wǎng)絡(luò)     Cluster網(wǎng)絡(luò)        角色
admin   192.168.10.120                  admin（管理節(jié)點(diǎn)負(fù)責(zé)集群整體部署）、client
node01  192.168.10.121   192.168.100.11   mon、mgr、osd(/dev/sdb、/dev/sdc、/dev/sdd)
node02  192.168.10.122   192.168.100.12   mon,mgr,osd（/dev/sdb、/dev/sdc、/dev/sdd)
node03  192.168.10.123   192.168.100.13   mon,osd（/dev/sdb、/dev/sdc、/dev/sdd）
client    192.168.10.124                  client

環(huán)境準(zhǔn)備
可選步驟：創(chuàng)建 Ceph 的管理用戶

useraddcephadm
passwdcephadm
visudo
cephadmALL=(root) NOPASSWD:ALL

1.關(guān)閉 selinux 與防火墻

systemctl disable --now firewalld
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

2.根據(jù)規(guī)劃設(shè)置主機(jī)名

hostnamectl set-hostname admin
hostnamectl set-hostname node01
hostnamectl set-hostname node02
hostnamectl set-hostname node03
hostnamectl set-hostname client

3.配置 hosts 解析

cat >> /etc/hosts << EOF
192.168.10.120 admin
192.168.10.121 node01
192.168.10.122 node02
192.168.10.123 node03
192.168.10.124 client
EOF

4.安裝常用軟件和依賴包

wget-O/etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum-yinstall epel-release
yum-yinstall yum-plugin-prioritiesyum-utilsntpdate python-setuptoolspython-pipgcc gcc-c++ autoconf libjpeg libjpeg-devellibpng libpng-develfreetype freetype-devellibxml2 libxml2-develzlib zlib-develglibc glibc-develglib2 glib2-develbzip2 bzip2-develzip unzip ncurses ncurses-develcurlcurl-devele2fsprogs e2fsprogs-develkrb5-devellibidn libidn-developenssl openssh openssl-develnss_ldap openldap openldap-developenldap-clientsopenldap-serverslibxslt-devellibevent-develntp libtool-ltdlbison libtool vim-enhancedpythonwgetlsof iptraf strace lrzsz kernel-develkernel-headerspam-develtcl tk cmake ncurses-develbison setuptool popt-develnet-snmpscreen perl-develpcre-develnet-snmpscreen tcpdump rsync sysstatmaniptables sudo libconfig git bind-utilstmux elinks numactl iftop bwm-ngnet-toolsexpect snappy leveldb gdisk python-argparsegperftools-libsconntrack ipset jq libseccomp socat chrony sshpass

5.在 admin 管理節(jié)點(diǎn)配置 ssh 免密登錄所有節(jié)點(diǎn)

ssh-keygen -t rsa -P''-f ~/.ssh/id_rsasshpass -p'abc1234'ssh-copy-id -o StrictHostKeyChecking=noroot@adminsshpass -p'abc1234'ssh-copy-id -o StrictHostKeyChecking=noroot@node01sshpass -p'abc1234'ssh-copy-id -o StrictHostKeyChecking=noroot@node02sshpass -p'abc1234'ssh-copy-id -o StrictHostKeyChecking=noroot@node03

6.配置時(shí)間同步

systemctl enable --now chronydtimedatectl set-ntptrue          #開啟 NTPtimedatectl set-timezone Asia/Shanghai    #設(shè)置時(shí)區(qū)chronyc -a makestep              #強(qiáng)制同步下系統(tǒng)時(shí)鐘timedatectl status              #查看時(shí)間同步狀態(tài)chronyc sources -v              #查看 ntp 源服務(wù)器信息timedatectl set-local-rtc0          #將當(dāng)前的UTC時(shí)間寫入硬件時(shí)鐘

#重啟依賴于系統(tǒng)時(shí)間的服務(wù)

systemctl restart rsyslog
systemctl restart crond

#關(guān)閉無關(guān)服務(wù)

systemctl disable --now postfix

7.配置 Ceph yum源

wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificate

rpm -ivh ceph-release-1-1.el7.noarch.rpm --force

8、執(zhí)行完上面所有的操作之后重啟所有主機(jī)（可選）

sync
reboot

四、部署 Ceph 集群

1.為所有節(jié)點(diǎn)都創(chuàng)建一個(gè) Ceph 工作目錄，后續(xù)的工作都在該目錄下進(jìn)行

mkdir -p /etc/ceph

2.安裝 ceph-deploy 部署工具

cd /etc/ceph
yum install -y ceph-deploy

ceph-deploy --version

3.在管理節(jié)點(diǎn)為其它節(jié)點(diǎn)安裝 Ceph 軟件包

#ceph-deploy 2.0.1 默認(rèn)部署的是 mimic 版的 Ceph，若想安裝其他版本的 Ceph，可以用 --

release 手動(dòng)指定版本
cd /etc/ceph
ceph-deploy install --release nautilus node0{1..3} admin

#ceph-deploy install 本質(zhì)就是在執(zhí)行下面的命令：
yum clean all
yum -y install epel-release
yum -y install yum-plugin-priorities
yum -y install ceph-release ceph ceph-radosgw

#也可采用手動(dòng)安裝 Ceph 包方式，在其它節(jié)點(diǎn)上執(zhí)行下面的命令將 Ceph 的安裝包都部署上：
sed -i 's#download.ceph.com#mirrors.tuna.tsinghua.edu.cn/ceph#' /etc/yum.repos.d/ceph.repo
yum install -y ceph-mon ceph-radosgw ceph-mds ceph-mgr ceph-osd ceph-common ceph

添加網(wǎng)絡(luò)適配器

4.生成初始配置

#在管理節(jié)點(diǎn)運(yùn)行下述命令，告訴 ceph-deploy 哪些是 mon 監(jiān)控節(jié)點(diǎn)

cd /etc/ceph
ceph-deploy new --public-network 192.168.10.0/24 --cluster-network 192.168.100.0/24 node01 node02 node03

#命令執(zhí)行成功后會(huì)在 /etc/ceph 下生成配置文件

ls /etc/ceph
ceph.conf #ceph的配置文件
ceph-deploy-ceph.log #monitor的日志
ceph.mon.keyring #monitor的密鑰環(huán)文件

5.在管理節(jié)點(diǎn)初始化 mon 節(jié)點(diǎn)

cd/etc/cephceph-deploy mon create node01 node02 node03      #創(chuàng)建 mon 節(jié)點(diǎn)，由于 monitor 使用 Paxos 算法，其高可用集群節(jié)點(diǎn)數(shù)量要求為大于等于 3 的奇數(shù)臺(tái)
ceph-deploy --overwrite-conf mon create-initial       #配置初始化 mon 節(jié)點(diǎn)，并向所有節(jié)點(diǎn)同步配置    --overwrite-conf 參數(shù)用于表示強(qiáng)制覆蓋配置文件
ceph-deploy gatherkeys node01             #可選操作，向 node01 節(jié)點(diǎn)收集所有密鑰

#命令執(zhí)行成功后會(huì)在 /etc/ceph 下生成配置文件

ls/etc/cephceph.bootstrap-mds.keyring      #引導(dǎo)啟動(dòng) mds 的密鑰文件ceph.bootstrap-mgr.keyring      #引導(dǎo)啟動(dòng) mgr 的密鑰文件ceph.bootstrap-osd.keyring      #引導(dǎo)啟動(dòng) osd 的密鑰文件ceph.bootstrap-rgw.keyring      #引導(dǎo)啟動(dòng) rgw 的密鑰文件ceph.client.admin.keyring      #ceph客戶端和管理端通信的認(rèn)證密鑰，擁有ceph集群的所有權(quán)限ceph.confceph-deploy-ceph.logceph.mon.keyring

#在 mon 節(jié)點(diǎn)上查看自動(dòng)開啟的 mon 進(jìn)程ps aux | grep cephroot    1823 0.0 0.2 189264 9216 ?    Ss  19:46  0:00 /usr/bin/python2.7 /usr/bin/ceph-crashceph    3228 0.0 0.8 501244 33420 ?    Ssl 21:08  0:00 /usr/bin/ceph-mon -f --cluster ceph --idnode03 --setuser ceph --setgroupcephroot    3578 0.0 0.0 112824  988 pts/1  R+  21:24  0:00 grep --color=auto ceph

#在管理節(jié)點(diǎn)查看 Ceph 集群狀態(tài)

cd/etc/cephceph -s
cluster:  id:  7e9848bb-909c-43fa-b36c-5805ffbbeb39  health: HEALTH_WARN      mons are allowing insecure global_id reclaim services:  mon:3daemons, quorum node01,node02,node03  mgr: no daemons active  osd:0osds:0up,0in data:  pools: 0pools,0pgs  objects:0objects,0B  usage: 0B used,0B /0B avail  pgs:

#查看 mon 集群選舉的情況
ceph quorum_status --format json-pretty | grep leader
"quorum_leader_name": "node01",

注意：這條命令只能在admin執(zhí)行，其他節(jié)點(diǎn)執(zhí)行會(huì)報(bào)錯(cuò)，如下，因?yàn)閏eph目錄里沒有配置文件

#擴(kuò)容 mon 節(jié)點(diǎn)
ceph-deploy mon add <節(jié)點(diǎn)名稱>

6.部署能夠管理 Ceph 集群的節(jié)點(diǎn)（可選）

#可實(shí)現(xiàn)在各個(gè)節(jié)點(diǎn)執(zhí)行 ceph 命令管理集群

cd /etc/ceph
ceph-deploy --overwrite-conf config push node01 node02 node03 #向所有 mon 節(jié)點(diǎn)同步配置，確保所有 mon 節(jié)點(diǎn)上的 ceph.conf 內(nèi)容必須一致

ceph-deploy admin node01 node02 node03 #本質(zhì)就是把 ceph.client.admin.keyring 集群認(rèn)證文件拷貝到各個(gè)節(jié)點(diǎn)

#在 mon 節(jié)點(diǎn)上查看

ls /etc/ceph
ceph.client.admin.keyring ceph.conf rbdmap tmpr8tzyc

cd /etc/ceph
ceph -s

7.部署 osd 存儲(chǔ)節(jié)點(diǎn)

#主機(jī)添加完硬盤后不要分區(qū)，直接使用

lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 60G 0 disk
├─sda1 8:1 0 500M 0 part /boot
├─sda2 8:2 0 4G 0 part [SWAP]
└─sda3 8:3 0 55.5G 0 part /
sdb 8:16 0 20G 0 disk
sdc 8:32 0 20G 0 disk
sdd 8:48 0 20G 0 disk

使用命令刷新硬盤

echo "- - -" > /sys/class/scsi_host/host0/scan
echo "- - -" > /sys/class/scsi_host/host1/scan
echo "- - -" > /sys/class/scsi_host/host2/scan

#如果是利舊的硬盤，則需要先擦凈（刪除分區(qū)表）磁盤（可選，無數(shù)據(jù)的新硬盤可不做）cd/etc/cephceph-deploy disk zap node01 /dev/sdbceph-deploy disk zap node02 /dev/sdbceph-deploy disk zap node03 /dev/sdb
#添加 osd 節(jié)點(diǎn)ceph-deploy --overwrite-conf osd create node01 --data /dev/sdbceph-deploy --overwrite-conf osd create node02 --data /dev/sdbceph-deploy --overwrite-conf osd create node03 --data /dev/sdb

#查看 ceph 集群狀態(tài)

ceph-s
cluster:  id:  7e9848bb-909c-43fa-b36c-5805ffbbeb39  health: HEALTH_WARN      no avtive mgr services:  mon:3daemons, quorum node01,node02,node03 (age119m)  mgr: no daemons active  osd:3osds:3up (since35s),3in (since35s) data:  pools: 0pools,0pgs  objects:0objects,0B  usage: 3.0GiB used,57GiB /60GiB avail  pgs:

ceph osd stat
ceph osd tree
rados df
ssh root@node01 systemctl status ceph-osd@0
ssh root@node02 systemctl status ceph-osd@1
ssh root@node03 systemctl status ceph-osd@2

ceph osd status  #查看 osd 狀態(tài)，需部署 mgr 后才能執(zhí)行
+----+--------+-------+-------+--------+---------+--------+---------+-----------+| id | host | used | avail | wr ops | wr data | rd ops | rd data | state |+----+--------+-------+-------+--------+---------+--------+---------+-----------+|0 | node01 |1025M |18.9G |  0 |  0 |  0 |  0 |exists,up ||1 | node02 |1025M |18.9G |  0 |  0 |  0 |  0 |exists,up ||2 | node03 |1025M |18.9G |  0 |  0 |  0 |  0 |exists,up |+----+--------+-------+-------+--------+---------+--------+---------+-----------+

?

cephosd df  #查看 osd 容量，需部署 mgr 后才能執(zhí)行ID CLASS WEIGHT REWEIGHT SIZE  RAW USE DATA  OMAP META AVAIL %USE VAR PGS STATUS 0 hdd0.019491.0000020GiB1.0GiB1.8MiB 0B1GiB19GiB5.011.00 0  up 1 hdd0.019491.0000020GiB1.0GiB1.8MiB 0B1GiB19GiB5.011.00 0  up 2 hdd0.019491.0000020GiB1.0GiB1.8MiB 0B1GiB19GiB5.011.00 0  up           TOTAL60GiB3.0GiB5.2MiB 0B3GiB57GiB5.01        MIN/MAX VAR:1.00/1.00 STDDEV:0

#擴(kuò)容 osd 節(jié)點(diǎn)cd /etc/cephceph-deploy--overwrite-confosd create node01--data/dev/sdcceph-deploy--overwrite-confosd create node02--data/dev/sdcceph-deploy--overwrite-confosd create node03--data/dev/sdcceph-deploy--overwrite-confosd create node01--data/dev/sddceph-deploy--overwrite-confosd create node02--data/dev/sddceph-deploy--overwrite-confosd create node03--data/dev/sdd

添加 OSD 中會(huì)涉及到 PG 的遷移，由于此時(shí)集群并沒有數(shù)據(jù)，因此 health 的狀態(tài)很快就變成 OK，如果在生產(chǎn)環(huán)境中添加節(jié)點(diǎn)則會(huì)涉及到大量的數(shù)據(jù)的遷移。

8.部署 mgr 節(jié)點(diǎn)

#ceph-mgr守護(hù)進(jìn)程以Active/Standby模式運(yùn)行，可確保在Active節(jié)點(diǎn)或其ceph-mgr守護(hù)進(jìn)程故障時(shí)，其中的一個(gè)Standby實(shí)例可以在不中斷服務(wù)的情況下接管其任務(wù)。根據(jù)官方的架構(gòu)原則，mgr至少要有兩個(gè)節(jié)點(diǎn)來進(jìn)行工作。

cd /etc/ceph
ceph-deploy mgr create node01 node02

ceph -s
cluster:
id: 7e9848bb-909c-43fa-b36c-5805ffbbeb39
health: HEALTH_WARN
mons are allowing insecure global_id reclaim

services:
mon: 3 daemons, quorum node01,node02,node03
mgr: node01(active, since 10s), standbys: node02
osd: 0 osds: 0 up, 0 in

#解決 HEALTH_WARN 問題：mons are allowing insecure global_id reclaim問題：

禁用不安全模式：ceph config set mon auth_allow_insecure_global_id_reclaim false

#擴(kuò)容 mgr 節(jié)點(diǎn)
ceph-deploy mgr create <節(jié)點(diǎn)名稱>

9.開啟監(jiān)控模塊

#在 ceph-mgr Active節(jié)點(diǎn)執(zhí)行命令開啟
ceph -s | grep mgr

yum install -y ceph-mgr-dashboard

cd /etc/ceph

ceph mgr module ls | grep dashboard

#開啟 dashboard 模塊
ceph mgr moduleenabledashboard --force
#禁用 dashboard 的 ssl 功能
ceph configsetmgr mgr/dashboard/sslfalse
#配置 dashboard 監(jiān)聽的地址和端口
ceph configsetmgr mgr/dashboard/server_addr 0.0.0.0ceph configsetmgr mgr/dashboard/server_port 8000
#重啟 dashboardceph mgr module disable dashboardceph mgr module enable dashboard --force
#確認(rèn)訪問 dashboard 的 urlceph mgr services

#設(shè)置 dashboard 賬戶以及密碼
echo "12345678" > dashboard_passwd.txt
ceph dashboard set-login-credentials admin -i dashboard_passwd.txt
或
ceph dashboard ac-user-create admin administrator -i dashboard_passwd.txt