基于FDP SSD的ROCKSDB寫放大優(yōu)化

作為SSD的關(guān)鍵指標(biāo)，寫放大(WriteAmplification，WA)始終是SSD領(lǐng)域待攻克的技術(shù)難題之一。其本質(zhì)表現(xiàn)為SSD的實際物理寫入量超過主機(jī)原始請求寫入量。這一現(xiàn)象的根本原因在于NAND閃存介質(zhì)必須以塊(BIoCK)為單位進(jìn)行擦除，而主機(jī)端的寫入請求往往以頁(Page)為單位分散分布于多個塊中。當(dāng)某塊內(nèi)有效數(shù)據(jù)占比低于闊值時，SSD控制器啟動垃圾回收(Garbage Collection，GC)機(jī)制，將尚存的有效數(shù)據(jù)搬運(yùn)至新擦除的塊中，同時釋放原塊以供復(fù)用，這一過程必然產(chǎn)生額外的寫入量。這些額外的寫開銷不僅影響系統(tǒng)整體性能，導(dǎo)致吞吐量下降和延遲升高，還會縮短SSD的使用壽命。

這一挑戰(zhàn)推動了SSD領(lǐng)域的一個重要研究方向一數(shù)據(jù)放置技術(shù)。SSD數(shù)據(jù)放置技術(shù)是通過硬件與軟件的深度協(xié)同設(shè)計，對主機(jī)數(shù)據(jù)在SSD介質(zhì)中的物理布局進(jìn)行優(yōu)化的技術(shù)方案，其核心在于通過降低GC的觸發(fā)頻率，從根本上抑制寫放大(Write Amplification，WA)效應(yīng)的產(chǎn)生機(jī)制。

NVMev2.1規(guī)范所定義的靈活數(shù)據(jù)放置(Flexible Data Placement，F(xiàn)DP)技術(shù)，既從底層閃存管理層面顯著減少無效GC操作引I發(fā)的超額寫入流量，又通過FDP的控制指令集降低了上層存儲棧的適配復(fù)雜度。此外，F(xiàn)DP還具有向后兼容能力，能夠復(fù)用當(dāng)前的軟件棧，最終在解決寫放大問題與軟件生態(tài)兼容性之間建立了技術(shù)平衡點(diǎn)。FDP突破了傳統(tǒng)SSD被動式數(shù)據(jù)管理的局限，通過向主機(jī)公開設(shè)備資源信息，并提供數(shù)據(jù)分類放置接口，使主機(jī)能夠根據(jù)數(shù)據(jù)特性(如冷/熱數(shù)據(jù))主動將數(shù)據(jù)分類放置在SSD上不同的存儲單元中。這一機(jī)制實現(xiàn)了數(shù)據(jù)的分流隔離和存儲單元的精細(xì)化布局，從根本上解決了不同特性數(shù)據(jù)混合存儲導(dǎo)致的的余搬移問題。關(guān)于FDP技術(shù)的實現(xiàn)機(jī)制的深度解析，可參考我們發(fā)布在ODCC官網(wǎng)上的《FDPSSD技術(shù)與應(yīng)用白皮書》。

Linux虛擬文件系統(tǒng)(VFS)從版本4.13起，定義了文件生命周期的管理機(jī)制，分別為SHORT(短周期)，MEDIUM(中周期)，LONG(長周期)和EXTREME(超長周期)。應(yīng)用可通過fcntI(2)系統(tǒng)調(diào)用對文件顯式的指定上述生命周期等級。此外，VFS還定義了NOT_SET和NONE兩種類型，NOT_SET為VFS默認(rèn)類型，表示當(dāng)文件沒有被顯示聲明生命周期時的類型。

NONE表示文件不關(guān)聯(lián)任何生命周期屬性的配置。該機(jī)制與FDP SSD相結(jié)合時，可將不同生命周期的文件映射至FDP內(nèi)部預(yù)設(shè)數(shù)據(jù)流中降低寫放大效應(yīng)。

RocksDB是Meta公司開源的一款高性能嵌入式鍵值對存儲系統(tǒng)，其核心架構(gòu)基于Log-StructuredMerge-Tree(LSM-Tree)算法設(shè)計，采用分層存儲結(jié)構(gòu)進(jìn)行數(shù)據(jù)管理，通過追加寫(Append-only)與合并(Compaction)兩大核心機(jī)制實現(xiàn)高吞吐與低延遲特性。其中，SSTable(Sorted String Table)，是RocksDB持久化存儲的核心文件，以鍵值對有序序列的形式存儲數(shù)據(jù)，并按層級(Level)進(jìn)行組織。較新的數(shù)據(jù)存儲在Levelo中，較老的數(shù)據(jù)隨著合并(Compaction)過程逐步歸并在編號更高的Level中。

ROCkSDB默認(rèn)的數(shù)據(jù)分類策略是將文件的層級特性映射為VFS的文件生命周期標(biāo)識，具體表現(xiàn)為：預(yù)寫日志(WAL)文件被標(biāo)記為SHORT;LeVelO和LeVel1的SSTable文件被標(biāo)記為MEDIUM;LeVeI2的SSTable文件被標(biāo)記為LONG;LeVeI3及更高層級的SSTable文件則被標(biāo)記為EXTREME;其它文件(包括MANIFEST、CURRENT、檢查點(diǎn)日志等)未進(jìn)行顯式生命周期標(biāo)記，默認(rèn)保留為NOT_SET標(biāo)識。

通過對ROockSDB的數(shù)據(jù)分類策略進(jìn)行系統(tǒng)性分析，我們發(fā)現(xiàn)SSTable文件在LSM-Tree層級中的生命周期存在顯著的階段性分布特征：位于LevelO至Level3的SSTable文件具有相對較短的駐留周期，而Level4以及上的文件則展現(xiàn)出最長的存活時間?；谶@一觀測結(jié)果，本實驗摒棄了RoCkSDB原生的數(shù)據(jù)分類策略，轉(zhuǎn)而提出一種優(yōu)化的分類方案。即WAL文件標(biāo)記保持不變，將LeVeI03文件標(biāo)記為MEDIUM，LeVel4文件標(biāo)記為LONG，LeVeI5及以上文件標(biāo)記為EXTREME，其余未歸類文件統(tǒng)一標(biāo)記為NOT_SET。如表1所示：

表 1：RocksDB 分類策略對比

我們采用FDPSSD(型號U.2PM9D3a，7.68TB容量)，針對優(yōu)化前后的ROCkSDB分類方案進(jìn)行了對比測試。通過YCSB基準(zhǔn)測試工具對2億條記錄進(jìn)行數(shù)據(jù)加載(Load)與更新(Update)操作，全面評估不同分類策略的表現(xiàn)。測試結(jié)果表明，RocksDB的原生分類方案在FDPSSD上的WAF相比普通SSD降低了約8%，而優(yōu)化后的分類方案將WAF顯著降低30%。此外，優(yōu)化后的分類方案使每秒操作數(shù)(OPS)提升了10%，同時p99.9延遲得到了55%的改善。

圖1. RocksDB 在關(guān)閉 FDP，開啟 FDP 使用原生分類策略和優(yōu)化分類策略的 WAF 對比

圖 2. 寫放大和 SSD 容量利用率的相關(guān)性

圖3.ROCKSDB在關(guān)閉FDP，開啟FDP使用優(yōu)化分類策略的性能對比

除了在文件系統(tǒng)層面支持FDPSSD外，我們還為ROCKSDB開發(fā)了基于FDPSSD的端到端解決方案。ROCKSDB通過抽象封裝API支持多種存儲后端，我們開發(fā)了RoCkSDB擴(kuò)展插件一TorFS。該插件通過深度集成FDP特性，實現(xiàn)了面向FDPSSD的數(shù)據(jù)分流。在IO調(diào)度層，依托xNVMe開源庫實現(xiàn)多路徑IO的支持。為促進(jìn)生態(tài)發(fā)展，TorFS提供了標(biāo)準(zhǔn)化IO接口，允許第三方開發(fā)者集成定制化的10路徑。

圖 4. TorFS 架構(gòu)

基于TorFS的端到端方案進(jìn)行測試，測試結(jié)果表明，RocksDB成功實現(xiàn)了對寫放大效應(yīng)的顯著抑制，其寫放大因子(WAF)值近乎趨近于理論極限的1，同時系統(tǒng)性能指標(biāo)達(dá)到最優(yōu)水平，展現(xiàn)出低延遲、高吞吐量與穩(wěn)定持久化的綜合優(yōu)勢。

圖5.RocksDB使用TorFS端到端解決方案的寫放大和性能

上述實驗證實，通過對數(shù)據(jù)生命周期管理，F(xiàn)DP技術(shù)顯著提升了SSD的性能與壽命指標(biāo)。我們期待將這項技術(shù)及優(yōu)勢帶給整個超大規(guī)模數(shù)據(jù)中心。我們致力于將這一技術(shù)及優(yōu)勢推廣至超大規(guī)模數(shù)據(jù)中心生態(tài)系統(tǒng)，以實現(xiàn)存儲架構(gòu)中數(shù)據(jù)布局與底層介質(zhì)特性的深度適配。