隨著數(shù)字化轉(zhuǎn)型的深入，海量數(shù)據(jù)對存儲提出了新的要求。傳統(tǒng)存儲雖然有技術(shù)成熟、性能良好、可用性高等優(yōu)點，但面對海量數(shù)據(jù)，其缺點也越來越明顯：如擴(kuò)展性差、成本高等。為了克服上述缺點，滿足海量數(shù)據(jù)的存儲需求，市場上出現(xiàn)了分布式存儲技術(shù)。

分布式存儲系統(tǒng)，通常包括主控服務(wù)器、存儲服務(wù)器，以及多個客戶端組成。其本質(zhì)是將大量的文件，均勻分布到多個存儲服務(wù)器上。

當(dāng)前，分布式存儲有多種實現(xiàn)技術(shù)，如HDFS、Ceph、GFS、Switf等。在實際工作中，為了更好地引入分布式存儲技術(shù)，我們需了解各種分布式存儲技術(shù)的特點，以及各種技術(shù)的適用場景。

本文擬通過對Ceph、HDFS、Swift、GFS、Luster等幾種主流的分布式存儲技術(shù)實現(xiàn)原理的闡述，并總結(jié)其各自的特點和合適的使用場景，以幫助架構(gòu)師在進(jìn)行存儲架構(gòu)規(guī)劃時，選擇合適的存儲技術(shù)。

關(guān)鍵詞：傳統(tǒng)存儲技術(shù) 分布式存儲技術(shù) 塊存儲 文件存儲 對象存儲 Ceph GFS HDFS Swift Luster

存儲根據(jù)其類型，可分為塊存儲，對象存儲和文件存儲。在主流的分布式存儲技術(shù)中，HDFS/GPFS/GFS屬于文件存儲，Swift屬于對象存儲，而Ceph可支持塊存儲、對象存儲和文件存儲，故稱為統(tǒng)一存儲。

一、 Ceph

Ceph最早起源于Sage就讀博士期間的工作、成果于2004年發(fā)表，并隨后貢獻(xiàn)給開源社區(qū)。經(jīng)過多年的發(fā)展之后，已得到眾多云計算和存儲廠商的支持，成為應(yīng)用最廣泛的開源分布式存儲平臺。Ceph根據(jù)場景可分為對象存儲、塊設(shè)備存儲和文件存儲。Ceph相比其它分布式存儲技術(shù)，其優(yōu)勢點在于：它不單是存儲，同時還充分利用了存儲節(jié)點上的計算能力，在存儲每一個數(shù)據(jù)時，都會通過計算得出該數(shù)據(jù)存儲的位置，盡量將數(shù)據(jù)分布均衡。同時，由于采用了CRUSH、HASH等算法，使得它不存在傳統(tǒng)的單點故障，且隨著規(guī)模的擴(kuò)大，性能并不會受到影響。1.Ceph的主要架構(gòu)

Ceph的最底層是RADOS（分布式對象存儲系統(tǒng)），它具有可靠、智能、分布式等特性，實現(xiàn)高可靠、高可拓展、高性能、高自動化等功能，并最終存儲用戶數(shù)據(jù)。RADOS系統(tǒng)主要由兩部分組成，分別是OSD和Monitor。RADOS之上是LIBRADOS，LIBRADOS是一個庫，它允許應(yīng)用程序通過訪問該庫來與RADOS系統(tǒng)進(jìn)行交互，支持多種編程語言，比如C、C++、Python等?；贚IBRADOS層開發(fā)的有三種接口，分別是RADOSGW、librbd和MDS。RADOSGW是一套基于當(dāng)前流行的RESTFUL協(xié)議的網(wǎng)關(guān)，支持對象存儲，兼容S3和Swift。librbd提供分布式的塊存儲設(shè)備接口，支持塊存儲。MDS提供兼容POSIX的文件系統(tǒng)，支持文件存儲。

2.Ceph的功能模塊

Ceph的核心組件包括Client客戶端、MON監(jiān)控服務(wù)、MDS元數(shù)據(jù)服務(wù)、OSD存儲服務(wù)，各組件功能如下：? Client客戶端：負(fù)責(zé)存儲協(xié)議的接入，節(jié)點負(fù)載均衡? MON監(jiān)控服務(wù)：負(fù)責(zé)監(jiān)控整個集群，維護(hù)集群的健康狀態(tài)，維護(hù)展示集群狀態(tài)的各種圖表，如OSD Map、Monitor Map、PG Map和CRUSH Map? MDS元數(shù)據(jù)服務(wù)：負(fù)責(zé)保存文件系統(tǒng)的元數(shù)據(jù)，管理目錄結(jié)構(gòu)? OSD存儲服務(wù)：主要功能是存儲數(shù)據(jù)、復(fù)制數(shù)據(jù)、平衡數(shù)據(jù)、恢復(fù)數(shù)據(jù)，以及與其它OSD間進(jìn)行心跳檢查等。一般情況下一塊硬盤對應(yīng)一個OSD。

3.Ceph的資源劃分Ceph采用crush算法，在大規(guī)模集群下，實現(xiàn)數(shù)據(jù)的快速、準(zhǔn)確存放，同時能夠在硬件故障或擴(kuò)展硬件設(shè)備時，做到盡可能小的數(shù)據(jù)遷移，其原理如下：當(dāng)用戶要將數(shù)據(jù)存儲到Ceph集群時，數(shù)據(jù)先被分割成多個object，（每個object一個object id，大小可設(shè)置，默認(rèn)是4MB），object是Ceph存儲的最小存儲單元。由于object的數(shù)量很多，為了有效減少了Object到OSD的索引表、降低元數(shù)據(jù)的復(fù)雜度，使得寫入和讀取更加靈活，引入了pg（Placement Group ）：PG用來管理object，每個object通過Hash，映射到某個pg中，一個pg可以包含多個object。Pg再通過CRUSH計算，映射到osd中。如果是三副本的，則每個pg都會映射到三個osd，保證了數(shù)據(jù)的冗余。

4.Ceph的數(shù)據(jù)寫入Ceph數(shù)據(jù)的寫入流程

數(shù)據(jù)通過負(fù)載均衡獲得節(jié)點動態(tài)IP地址；

通過塊、文件、對象協(xié)議將文件傳輸?shù)焦?jié)點上；

數(shù)據(jù)被分割成4M對象并取得對象ID；

對象ID通過HASH算法被分配到不同的PG；

不同的PG通過CRUSH算法被分配到不同的OSD

5.Ceph的特點

? Ceph支持對象存儲、塊存儲和文件存儲服務(wù)，故 稱為統(tǒng)一存儲。

? 采用CRUSH算法，數(shù)據(jù)分布均衡，并行度高，不需要維護(hù)固定的元數(shù)據(jù)結(jié)構(gòu)；

? 數(shù)據(jù)具有強(qiáng)一致，確保所有副本寫入完成才返回確認(rèn)，適合讀多寫少場景；

? 去中心化，MDS之間地位相同，無固定的中心節(jié)點

Ceph存在一些缺點：

? 去中心化的分布式解決方案，需要提前做好規(guī)劃設(shè)計，對技術(shù)團(tuán)隊的要求能力比較高。

? Ceph擴(kuò)容時，由于其數(shù)據(jù)分布均衡的特性，會導(dǎo)致整個存儲系統(tǒng)性能的下降。

二、 GFS

GFS是google的分布式文件存儲系統(tǒng)，是專為存儲海量搜索數(shù)據(jù)而設(shè)計的，2003年提出，是閉源的分布式文件系統(tǒng)。適用于大量的順序讀取和順序追加，如大文件的讀寫。注重大文件的持續(xù)穩(wěn)定帶寬，而不是單次讀寫的延遲。

1.GFS的主要架構(gòu)GFS 架構(gòu)比較簡單，一個 GFS 集群一般由一個 master 、多個 chunkserver 和多個 clients 組成。在 GFS 中，所有文件被切分成若干個 chunk，每個 chunk 擁有唯一不變的標(biāo)識（在 chunk 創(chuàng)建時，由 master 負(fù)責(zé)分配），所有 chunk 都實際存儲在 chunkserver 的磁盤上。為了容災(zāi)，每個 chunk 都會被復(fù)制到多個 chunkserve

2.GFS的功能模塊

? GFS client客戶端：為應(yīng)用提供API，與POSIX API類似。同時緩存從GFS master讀取的元數(shù)據(jù)chunk信息；? GFS master元數(shù)據(jù)服務(wù)器：管理所有文件系統(tǒng)的元數(shù)據(jù)，包括命令空間（目錄層級）、訪問控制信息、文件到chunk的映射關(guān)系，chunk的位置等。同時 master 還管理系統(tǒng)范圍內(nèi)的各種活動，包括chunk 創(chuàng)建、復(fù)制、數(shù)據(jù)遷移、垃圾回收等；? GFS chunksever存儲節(jié)點：用于所有 chunk的存儲。一個文件被分割為多個大小固定的chunk（默認(rèn)64M），每個chunk有全局唯一的chunk ID。

3.GFS的寫入流程

Client 向 master 詢問要修改的 chunk在哪個 chunkserver上，以及 該chunk 其他副本的位置信息。

Master 將Primary、secondary的相關(guān)信息返回給 client。

Client 將數(shù)據(jù)推送給 primary 和 secondary；。

當(dāng)所有副本都確認(rèn)收到數(shù)據(jù)后，client 發(fā)送寫請求給 primary，primary 各不同 client 的操作分配序號，保證操作順序執(zhí)行。

Primary 把寫請求發(fā)送到 secondary，secondary 按照 primary 分配的序號順序執(zhí)行所有操作

當(dāng) Secondary 執(zhí)行完后回復(fù) primary 執(zhí)行結(jié)果。

Primary 回復(fù) client 執(zhí)行結(jié)果。

由上述可見，GFS在進(jìn)行寫數(shù)據(jù)時，有如下特點：

? GFS在數(shù)據(jù)讀寫時，數(shù)據(jù)流與控制流是分開的，并通過租約機(jī)制，在跨多個副本的數(shù)據(jù)寫入中， 保障順序一致性;

? Master將chunk租約發(fā)放給其中一個副本，這個副本稱為主副本，由主副本確定chunk的寫入順序，此副本則遵守這個順序，這樣就保障了全局順序一致性

? Master返回客戶端主副本和次副本的位置信息，客戶端緩存這些信息以備將來使用，只有當(dāng)主副本所在chunkserver不可用或返回租約過期了，客戶端才需要再次聯(lián)系Master；

? GFS采用鏈?zhǔn)酵扑?，以最大化利用每個機(jī)器的網(wǎng)絡(luò)帶寬，避免網(wǎng)絡(luò)瓶頸和高延遲連接，最小化推送延遲；

? GFS使用TCP流式傳輸數(shù)據(jù)，以最小化延遲。

4.GFS特點? 適合大文件場景的應(yīng)用，特別是針對GB級別的大文件，適用于數(shù)據(jù)訪問延時不敏感的搜索類業(yè)務(wù)? 中心化架構(gòu)，只有1個master處于active狀態(tài)? 緩存和預(yù)取，通過在client端緩存元數(shù)據(jù)，盡量減少與master的交互，通過文件的預(yù)讀取來提升并發(fā)性能? 高可靠性，master需要持久化的數(shù)據(jù)會通過操作日志與checkpoint的方式存放多份，故障后master會自動切換重啟。

三、 HDFS

HDFS（Hadoop Distributed File System），是一個適合運(yùn)行在通用硬件（commodity hardware）上的分布式文件系統(tǒng)，是Hadoop的核心子項目，是基于流數(shù)據(jù)模式訪問和處理超大文件的需求而開發(fā)的。該系統(tǒng)仿效了谷歌文件系統(tǒng)（GFS），是GFS的一個簡化和開源版本。

1.HDFS的主要架構(gòu)

? HDFS Client（客戶端）：從NameNode獲取文件的位置信息，再從DataNode讀取或者寫入數(shù)據(jù)。此外，client在數(shù)據(jù)存儲時，負(fù)責(zé)文件的分割；? NameNode（元數(shù)據(jù)節(jié)點）：管理名稱空間、數(shù)據(jù)塊（Block）映射信息、配置副本策略、處理客戶端讀寫請求；? DataNode（存儲節(jié)點）：負(fù)責(zé)執(zhí)行實際的讀寫操作，存儲實際的數(shù)據(jù)塊，同一個數(shù)據(jù)塊會被存儲在多個DataNode上? Secondary NameNode：定期合并元數(shù)據(jù)，推送給NameNode，在緊急情況下，可輔助NameNode的HA恢復(fù)。

2.HDFS的特點（Vs GFS）? 分塊更大，每個數(shù)據(jù)塊默認(rèn)128MB；? 不支持并發(fā)，同一時刻只允許一個寫入者或追加者;? 過程一致性，寫入數(shù)據(jù)的傳輸順序與最終寫入順序一致;? Master HA，2.X版本支持兩個NameNode，（分別處于Active和Standby狀態(tài)），故障切換時間一般幾十秒到數(shù)分鐘

3.HDFS適合的應(yīng)用場景：? 適用于大文件、大數(shù)據(jù)處理，處理數(shù)據(jù)達(dá)到 GB、TB、甚至PB級別的數(shù)據(jù)。? 適合流式文件訪問，一次寫入，多次讀取。? 文件一旦寫入不能修改，只能追加。

4.HDFS不適合的場景：? 低延時數(shù)據(jù)訪問。? 小文件存儲? 并發(fā)寫入、文件隨機(jī)修改

四、 Swift

Swift 最初是由Rackspace公司開發(fā)的分布式對象存儲服務(wù)， 2010 年貢獻(xiàn)給 OpenStack 開源社區(qū)。作為其最初的核心子項目之一，為其 Nova 子項目提供虛機(jī)鏡像存儲服務(wù)。

1.Swift的主要架構(gòu)Swift 采用完全對稱、面向資源的分布式系統(tǒng)架構(gòu)設(shè)計，所有組件都可擴(kuò)展，避免因單點失效而影響整個系統(tǒng)的可用性。

Swift 組件包括：? 代理服務(wù)（Proxy Server）：對外提供對象服務(wù) API，轉(zhuǎn)發(fā)請求至相應(yīng)的賬戶、容器或?qū)ο蠓?wù)? 認(rèn)證服務(wù)（Authentication Server）：驗證用戶的身份信息，并獲得一個訪問令牌（Token）? 緩存服務(wù)（Cache Server）：緩存令牌，賬戶和容器信息，但不會緩存對象本身的數(shù)據(jù)? 賬戶服務(wù)（Account Server）：提供賬戶元數(shù)據(jù)和統(tǒng)計信息，并維護(hù)所含容器列表的服務(wù)? 容器服務(wù)（Container Server）：提供容器元數(shù)據(jù)和統(tǒng)計信息，并維護(hù)所含對象列表的服務(wù)? 對象服務(wù)（Object Server）：提供對象元數(shù)據(jù)和內(nèi)容服務(wù)，每個對象會以文件存儲在文件系統(tǒng)中? 復(fù)制服務(wù)（Replicator）：檢測本地副本和遠(yuǎn)程副本是否一致，采用推式（Push）更新遠(yuǎn)程副本? 更新服務(wù)（Updater）：對象內(nèi)容的更新? 審計服務(wù)（Auditor）：檢查對象、容器和賬戶的完整性，如果發(fā)現(xiàn)錯誤，文件將被隔離? 賬戶清理服務(wù)（Account Reaper）：移除被標(biāo)記為刪除的賬戶，刪除其所包含的所有容器和對象

2.Swift的數(shù)據(jù)模型**Swift的數(shù)據(jù)模型采用層次結(jié)構(gòu)，共設(shè)三層：**Account/Container/Object（即賬戶/容器/對象），每層節(jié)點數(shù)均沒有限制，可以任意擴(kuò)展。數(shù)據(jù)模型如下：

3.一致性散列函數(shù)Swift是基于一致性散列技術(shù)，通過計算將對象均勻分布到虛擬空間的虛擬節(jié)點上，在增加或刪除節(jié)點時可大大減少需移動的數(shù)據(jù)量；為便于高效的移位操作，虛擬空間大小通常采用 2 n；通過獨特的數(shù)據(jù)結(jié)構(gòu) Ring（環(huán)），再將虛擬節(jié)點映射到實際的物理存儲設(shè)備上，完成尋址過程。如下圖所示：

散列空間4 個字節(jié)（32為），虛擬節(jié)點數(shù)最大為232，如將散列結(jié)果右移 m 位，可產(chǎn)生 2（32-m）個虛擬節(jié)點，（如上圖中所示，當(dāng)m=29 時，可產(chǎn)生 8 個虛擬節(jié)點）。

4.環(huán)的數(shù)據(jù)結(jié)構(gòu)Swift為賬戶、容器和對象分別定義了的環(huán)。環(huán)是為了將虛擬節(jié)點（分區(qū)）映射到一組物理存儲設(shè)備上，并提供一定的冗余度而設(shè)計的，環(huán)的數(shù)據(jù)信息包括存儲設(shè)備列表和設(shè)備信息、分區(qū)到設(shè)備的映射關(guān)系、計算分區(qū)號的位移（即上圖中的m）。賬戶、容器和對象的尋址過程。（以對象的尋址過程為例）：

以對象的層次結(jié)構(gòu) account/container/object 作為鍵，采用 MD5 散列算法得到一個散列值；

對該散列值的前 4 個字節(jié)進(jìn)行右移操作（右移m位），得到分區(qū)索引號；

在分區(qū)到設(shè)備映射表里，按照分區(qū)索引號，查找該對象所在分區(qū)對應(yīng)的所有物理設(shè)備編號。如下圖：

5.Swift的一致性設(shè)計

Swift 采用 Quorum 仲裁協(xié)議

? 定義：N：數(shù)據(jù)的副本總數(shù)；W：寫操作被確認(rèn)接受的副本數(shù)量；R：讀操作的副本數(shù)量

? 強(qiáng)一致性：R+W》N， 就能保證對副本的讀寫操作會產(chǎn)生交集，從而保證可以讀取到最新版本；

? 弱一致性：R+W《=N，讀寫操作的副本集合可能不產(chǎn)生交集，此時就可能會讀到臟數(shù)據(jù)；

Swift 默認(rèn)配置是N=3，W=2，R=2，即每個對象會存在 3 個副本，至少需要更新 2 個副本才算寫成功；如果讀到的2個數(shù)據(jù)存在不一致，則通過檢測和復(fù)制協(xié)議來完成數(shù)據(jù)同步。

如R=1，就可能會讀到臟數(shù)據(jù)，此時，通過犧牲一定的一致性，可提高讀取速度，（而一致性可以通過后臺的方式完成同步，從而保證數(shù)據(jù)的最終一致性）

Quorum 協(xié)議示例如下所示：

6.Swift特點

? 原生的對象存儲，不支持實時的文件讀寫、編輯功能

? 完全對稱架構(gòu)，無主節(jié)點，無單點故障，易于大規(guī)模擴(kuò)展，性能容量線性增長

? 數(shù)據(jù)實現(xiàn)最終一致性，不需要所有副本寫入即可返回，讀取數(shù)據(jù)時需要進(jìn)行數(shù)據(jù)副本的校驗

? 是OpenStack的子項目之一，適合云環(huán)境的部署

? Swift的對象存儲與Ceph提供的對象存儲區(qū)別：客戶端在訪問對象存儲系統(tǒng)服務(wù)時，Swift要求客戶端必須訪問Swift網(wǎng)關(guān)才能獲得數(shù)據(jù)。而Ceph可以在每個存儲節(jié)點上的OSD（對象存儲設(shè)備）獲取數(shù)據(jù)信息； 在數(shù)據(jù)一致性方面，Swift的數(shù)據(jù)是最終一致，而Ceph是始終跨集群強(qiáng)一致性）

五、 Lustre分布式存儲

Lustre是基于Linux平臺的開源集群（并行）文件系統(tǒng)，最早在1999年由皮特?布拉姆創(chuàng)建的集群文件系統(tǒng)公司（Cluster File Systems Inc.）開始研發(fā)，后由HP、Intel、Cluster File System和美國能源部聯(lián)合開發(fā)，2003年正式開源，主要用于HPC超算領(lǐng)域。

1、Lustre的主要架構(gòu)

Lustre組件包括：? 管理服務(wù)器（MGS）：存放集群中所有Lustre文件系統(tǒng)的配置信息，Lustre客戶通過聯(lián)系MGS獲取信息，可以與MDS共享存儲空間? 元數(shù)據(jù)服務(wù)器（MDS）： 管理存儲在MDT中的元數(shù)據(jù)，使存儲在一個或多個MDT中的元數(shù)據(jù)可供Lustre客戶端使用，每個MDS可管理一個或多個MDT。? 元數(shù)據(jù)目標(biāo)（MDT）： MDS用于存儲元數(shù)據(jù)（例如文件名，目錄，權(quán)限和文件布局），一個MDT可用于多個MDS，但一次只能有一個MDS訪問? 對象存儲服務(wù)器（OSS）：為一個或多個本地OST提供文件I / O服務(wù)和網(wǎng)絡(luò)請求處理， 通常，OSS服務(wù)于兩個到八個OST? 對象存儲目標(biāo)（OST）：用戶文件數(shù)據(jù)存儲在一個或多個對象中，每個對象位于單獨OST中? Lustre客戶端：運(yùn)行Lustre客戶端軟件的計算節(jié)點，可掛載Lustre文件系統(tǒng)?？蛻舳塑浖ㄒ粋€管理客戶端（MGC），一個元數(shù)據(jù)客戶端（MDC）和多個對象存儲客戶端（OSC）。每個OSC對應(yīng)于文件系統(tǒng)中的一個OST。? 邏輯對象卷（LOV）通過聚合OSC以提供對所有OST的透明訪問，邏輯元數(shù)據(jù)卷（LMV）通過聚合MDC提供一種對所有MDT透明的訪問。

2、Lustre特點? 支持?jǐn)?shù)萬個客戶端系統(tǒng)，支持PB級存儲容量，單個文件最大支持320TB容量? 支持RDMA網(wǎng)絡(luò)，大文件讀寫分片優(yōu)化，多個OSS能獲得更高的聚合帶寬? 缺少副本機(jī)制，存在單點故障。如果一個客戶端或節(jié)點發(fā)生故障，存儲在該節(jié)點上的數(shù)據(jù)在重新啟動前將不可訪問? 適用高性能計算HPC領(lǐng)域，適用于大文件連續(xù)讀寫。

六、 主流分布式存儲技術(shù)的比較

幾種主流分布式存儲技術(shù)的特點比較如下：

此外，根據(jù)分布式存儲系統(tǒng)的設(shè)計理念，其軟件和硬件解耦，分布式存儲的許多功能，包括可靠性和性能增強(qiáng)都由軟件提供，因此大家往往會認(rèn)為底層硬件已不再重要。但事實往往并非如此，我們在進(jìn)行分布式存儲系統(tǒng)集成時，除考慮選用合適的分布式存儲技術(shù)以外，還需考慮底層硬件的兼容性。一般而言，分布式存儲系統(tǒng)的產(chǎn)品有三種形態(tài)：軟硬件一體機(jī)、硬件OEM和軟件+標(biāo)準(zhǔn)硬件，大家在選擇時，需根據(jù)產(chǎn)品的成熟度、風(fēng)險規(guī)避、運(yùn)維要求等，結(jié)合自身的技術(shù)力量等，選擇合適的產(chǎn)品形態(tài)。