GFS、AFS分布式文件系統(tǒng)

隨著云計(jì)算在全球范圍內(nèi)的高速發(fā)展，谷歌、亞馬遜等企業(yè)的崛起，特別是"互聯(lián)網(wǎng)+"深入融合背景下的業(yè)務(wù)云化需求，傳統(tǒng)企業(yè)在數(shù)據(jù)中心建設(shè)中被動(dòng)地徘徊在傳統(tǒng)存儲(chǔ)陣列與分布式存儲(chǔ)兩種體系存儲(chǔ)架構(gòu)之間。這兩種存儲(chǔ)結(jié)構(gòu)并沒(méi)有絕對(duì)的優(yōu)劣之分，而大數(shù)據(jù)的繁盛讓分布式存儲(chǔ)架構(gòu)近幾年中獲得了前所未有的關(guān)注。

傳統(tǒng)存儲(chǔ)于分布式系統(tǒng)

傳統(tǒng)SAN以高度的可靠性、穩(wěn)定性和功能豐富性，在應(yīng)用實(shí)踐中獲得了廣泛認(rèn)可。隨著數(shù)據(jù)量不斷增加，企業(yè)對(duì)于數(shù)據(jù)存儲(chǔ)可擴(kuò)展性提出要求，分布式存儲(chǔ)系統(tǒng)逐步成為擴(kuò)展性強(qiáng)、價(jià)格低廉的選擇。

考量分布式存儲(chǔ)的關(guān)鍵技術(shù)主要包括：全局名字空間、緩存一致性、安全性、可用性和可擴(kuò)展性。從數(shù)據(jù)形態(tài)來(lái)劃分，主要有：結(jié)構(gòu)化數(shù)據(jù)、非機(jī)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。

GFS、AFS和Lustre成為主流的三種分布式存儲(chǔ)文件系統(tǒng)。其中，GFS（Google file system）被稱為谷歌文件系統(tǒng)，其性能、可擴(kuò)展性、可靠性和可用性都收到了肯定，主要部件包括一個(gè)Master和n個(gè)chunkserver，和Chunk Server（數(shù)據(jù)塊服務(wù)器）同時(shí)可以被多個(gè)客戶Client訪問(wèn)。

GFS架構(gòu)

不同于傳統(tǒng)的文件系統(tǒng)，GFS不再將組建錯(cuò)誤當(dāng)成異常，而是將其看做一種常見情況予以處理。對(duì)待文件的大小一直是文件系統(tǒng)要考慮的問(wèn)題，對(duì)于任何一種文件系統(tǒng)，成千上萬(wàn)的幾KB的系統(tǒng)，總會(huì)壓死內(nèi)存，所以，對(duì)于大型的文件，管理要高效，對(duì)于小型文件也要支持，但是并沒(méi)有進(jìn)行優(yōu)化。

在GFS中chunk server大小被固定為64MB，這樣的塊規(guī)模比一般的文件系統(tǒng)的塊規(guī)模要大得多，可以減少元數(shù)據(jù)metadata開銷，減少M(fèi)aster的交互，但太大的塊規(guī)模也會(huì)產(chǎn)生內(nèi)部碎片，或者同一個(gè)Chunk中存在多個(gè)小文件可能產(chǎn)生訪問(wèn)熱點(diǎn)。

GFS主要運(yùn)行在大量運(yùn)行Linux系統(tǒng)的普通機(jī)器上，從而降低了其硬件成本。但一系列冗余備份、快速恢復(fù)等技術(shù)保證其正常和高效運(yùn)行，GFS也是實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的主要技術(shù)和文件系統(tǒng)。

AFS是Andrew File System的簡(jiǎn)稱。AFS將文件系統(tǒng)的可擴(kuò)展性放在了設(shè)計(jì)和實(shí)踐的首要位置，因此AFS擁有過(guò)很好的擴(kuò)展性，能夠輕松支持?jǐn)?shù)百個(gè)節(jié)點(diǎn)，甚至數(shù)千個(gè)節(jié)點(diǎn)的分布式環(huán)境。AFS由卡內(nèi)基美隆大學(xué)最初設(shè)計(jì)開發(fā)，目前已經(jīng)相當(dāng)成熟，用于研究和部分大型網(wǎng)絡(luò)之上。

AFS概況

AFS主要組建包括：Cells、AFS clients、基本存儲(chǔ)單元Volumes、AFS servers和Volume replication。AFS實(shí)現(xiàn)的是模塊化的，并不要求在每臺(tái)服務(wù)器上運(yùn)行所有服務(wù)器進(jìn)程。AFS擁有良好可擴(kuò)展性，客戶端華村能夠帶來(lái)性能的提升和可用性的提高、AFS的缺點(diǎn)在于管理員界面友好性不足，需要更多的專業(yè)知識(shí)來(lái)支持AFS。

Lustre平行分布式文件系統(tǒng)

Lustre是HP，Intel，Cluster File System公司聯(lián)合美國(guó)能源部開發(fā)的Linux集群并行文件系統(tǒng)，名稱來(lái)源于Linux和Clusters。同時(shí)Lustre也是一個(gè)遵循GPL許可協(xié)議的開源軟件，Lustre也被稱為平行分布式文件系統(tǒng)，常用于大型計(jì)算機(jī)集群和超級(jí)電腦中。

Lustre架構(gòu)圖

Lustre的主要組建包括：元數(shù)據(jù)服務(wù)器（Metadataservers， MDSs）、對(duì)象存儲(chǔ)服務(wù)器（objectstorage servers， OSSs）和客戶端。其中MDSs提供元數(shù)據(jù)服務(wù)，MGS管理服務(wù)器提供Lustre文件系統(tǒng)配置信息，OSS對(duì)象存儲(chǔ)服務(wù)器expose塊設(shè)備提供數(shù)據(jù)。

Lustre文件系統(tǒng)針對(duì)大文件讀寫進(jìn)行了優(yōu)化，能夠提高性能的IO能力；在源數(shù)據(jù)獨(dú)立存儲(chǔ)、服務(wù)和網(wǎng)絡(luò)失效的快速恢復(fù)、基于意圖的分布式鎖管理和系統(tǒng)可快速配置方面優(yōu)異。