91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

一款面向區(qū)塊鏈可信數(shù)據(jù)存儲(chǔ)的技術(shù)

jf_WZTOguxH ? 來(lái)源:螞蟻鏈 LETUS ? 作者:田世坤 ? 2022-12-02 14:06 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

作者 | 螞蟻鏈 LETUS 技術(shù)負(fù)責(zé)人 田世坤

寫在前面 文字產(chǎn)生以前,結(jié)繩記事是人類用來(lái)存儲(chǔ)知識(shí)和信息的主要方式。此后,從竹簡(jiǎn)、紙張的發(fā)明,到工業(yè)時(shí)代的磁盤存儲(chǔ),再到信息時(shí)代的數(shù)據(jù)庫(kù),存儲(chǔ)方式不斷革新,“存力”不斷提高。

11 月 3 日,在 2022 云棲大會(huì)上,螞蟻鏈歷經(jīng) 4 年技術(shù)攻關(guān)與測(cè)試驗(yàn)證的區(qū)塊鏈存儲(chǔ)引擎 LETUS(Log-structured Efficient Trusted Universal Storage)正式發(fā)布。
這一款面向區(qū)塊鏈可信數(shù)據(jù)存儲(chǔ)的技術(shù)產(chǎn)品,不僅用來(lái)解決當(dāng)前螞蟻鏈及區(qū)塊鏈產(chǎn)業(yè)的規(guī)?;l(fā)展問(wèn)題,也面向 Web3 時(shí)代提供“可信存力”支撐。
我們認(rèn)為,隨著大量的數(shù)據(jù)和數(shù)字資產(chǎn)在數(shù)字化世界里流轉(zhuǎn),可信數(shù)據(jù)的“存力”將如同電力網(wǎng)絡(luò)的承載力一樣重要。
本文希望通過(guò)對(duì) LETUS 的深入技術(shù)解讀,回答讀者們普遍關(guān)心的關(guān)鍵問(wèn)題:LETUS 是什么?主要解決哪些問(wèn)題?為什么堅(jiān)持用“可驗(yàn)證結(jié)構(gòu)”?為什么要自研?以及未來(lái)要走向何處? 背景是什么?

從 2009 年序號(hào)為 0 的創(chuàng)世塊誕生至今已過(guò)去十多年,“中本聰”依然神秘,但區(qū)塊鏈技術(shù)的發(fā)展卻因?yàn)楣湣oken、開(kāi)源的推動(dòng),沒(méi)有絲毫神秘感。

經(jīng)過(guò)幾代技術(shù)演進(jìn),在比特幣的 UTXO 模型基礎(chǔ)上誕生了應(yīng)用更為廣泛、支持可編程智能合約的區(qū)塊鏈技術(shù):通過(guò)密碼學(xué)、共識(shí)算法、虛擬機(jī)、可信存儲(chǔ)等技術(shù),多個(gè)參與方執(zhí)行相同的“指令”,來(lái)完成同一個(gè)業(yè)務(wù)邏輯,如賬戶轉(zhuǎn)賬,或者合約調(diào)用,維護(hù)不可篡改和不可偽造的業(yè)務(wù)數(shù)據(jù)。

簡(jiǎn)單講,可將這類賬本數(shù)據(jù)庫(kù),看作一個(gè)去中心化防作惡、防篡改的復(fù)制狀態(tài)機(jī),所執(zhí)行的是智能合約描述的業(yè)務(wù)邏輯,而狀態(tài)機(jī)通過(guò)日志 (區(qū)塊數(shù)據(jù))產(chǎn)生新的狀態(tài)(狀態(tài)數(shù)據(jù)):

區(qū)塊數(shù)據(jù):包括交易、回執(zhí)、世界狀態(tài) Root Hash 等信息,和數(shù)據(jù)庫(kù)系統(tǒng)中的日志類似,但是塊之間由 Hash 錨定防篡改,并且不會(huì)刪除。(區(qū)塊數(shù)據(jù)記錄的是區(qū)塊鏈上發(fā)生的每一筆交易,如:Alice 向 Bob 轉(zhuǎn)賬 xx)

狀態(tài)數(shù)據(jù):記錄賬戶、資產(chǎn)、業(yè)務(wù)合約數(shù)據(jù)等狀態(tài)信息,和數(shù)據(jù)庫(kù)系統(tǒng)中表數(shù)據(jù)類似,需要實(shí)現(xiàn)可驗(yàn)證可追溯。(狀態(tài)數(shù)據(jù)記錄的是區(qū)塊鏈上每個(gè)賬戶或智能合約的當(dāng)前狀態(tài),如:Bob 賬戶剩余 xx)

鏈上數(shù)據(jù)的特點(diǎn)可以總結(jié)為以下三個(gè):

持續(xù)增長(zhǎng):從創(chuàng)世塊開(kāi)始,賬本數(shù)據(jù)隨交易持續(xù)增長(zhǎng),保留周期長(zhǎng);

多版本:交易修改狀態(tài)數(shù)據(jù)產(chǎn)生新版本,系統(tǒng)提供歷史版本查詢和驗(yàn)證功能;

可驗(yàn)證:交易和賬戶狀態(tài)通過(guò) Merkle 根哈希(Merkle Root Hash)錨定在區(qū)塊頭,通過(guò) SPV(simple payment verification,簡(jiǎn)單支付證明)提供存在性證明;

11a2218c-7206-11ed-8abf-dac502259ad0.jpg

區(qū)塊鏈應(yīng)用通過(guò)可驗(yàn)證數(shù)據(jù)結(jié)構(gòu)(Authenticated Data Structure,如 Merkle tree)實(shí)現(xiàn)可驗(yàn)證和可追溯。我們認(rèn)為,Web3“存力”一個(gè)非常重要的要素是可驗(yàn)證,而今天我們看到的區(qū)塊鏈存儲(chǔ)瓶頸大多來(lái)源于可驗(yàn)證結(jié)構(gòu) ADS(如 Merkle tree)的低效存取和查詢,這正是螞蟻鏈 LETUS 重點(diǎn)攻克的難題。

我們要什么?

隨著時(shí)間推移和鏈上交易的增加,對(duì)存儲(chǔ)容量的要求也不斷增長(zhǎng),隨之而來(lái)的是區(qū)塊數(shù)據(jù)存儲(chǔ)成本的大幅提升;與此同時(shí),鏈上狀態(tài)數(shù)據(jù)規(guī)模也持續(xù)增加,可驗(yàn)證數(shù)據(jù)結(jié)構(gòu)持續(xù)膨脹,導(dǎo)致交易性能隨賬戶規(guī)模提升和歷史狀態(tài)數(shù)據(jù)增加而持續(xù)下降。

2019 年,螞蟻鏈上線了一個(gè)供應(yīng)鏈金融業(yè)務(wù),大家特別興奮。但是,這種興奮并沒(méi)有維持多久,隨著程序跑的時(shí)間越來(lái)越長(zhǎng),問(wèn)題慢慢暴露出來(lái)。

供應(yīng)鏈金融是面向 ToB 的,不像 ToC 端隨時(shí)都有數(shù)據(jù),可能會(huì)在某個(gè)時(shí)刻(比如每天晚上)有一筆狀態(tài)數(shù)據(jù)非常大的交易進(jìn)來(lái),跑了一個(gè)星期后發(fā)現(xiàn)性能越來(lái)越慢。

鏈平臺(tái) TPS 的衰減和存儲(chǔ)直接相關(guān),而與共識(shí)、虛擬機(jī)都無(wú)關(guān),隨著業(yè)務(wù)合約持續(xù)寫入數(shù)據(jù),存儲(chǔ)性能大幅衰減。

如果要在技術(shù)上長(zhǎng)時(shí)間支持億級(jí)賬戶規(guī)模、每天能穩(wěn)定支撐億級(jí)交易量,存儲(chǔ)的規(guī)模和性能問(wèn)題必須要攻克。

期間,團(tuán)隊(duì)也曾試過(guò)各種技術(shù)方法對(duì)他進(jìn)行優(yōu)化,得到一些緩解。但多次嘗試之后發(fā)現(xiàn),隨著數(shù)量增加而出現(xiàn)的性能衰減,是一個(gè)繞不開(kāi)的瓶頸,需要從本質(zhì)上解決。

我們需要從問(wèn)題表象分析背后的原因。

區(qū)塊鏈應(yīng)用通過(guò)可驗(yàn)證數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)可驗(yàn)證和可追溯,但是可驗(yàn)證數(shù)據(jù)結(jié)構(gòu)會(huì)帶來(lái)讀寫放大(問(wèn)題 1)和數(shù)據(jù)局部性(問(wèn)題 2)。

而存儲(chǔ)系統(tǒng)為了實(shí)現(xiàn)數(shù)據(jù)管理,需要對(duì)數(shù)據(jù)分頁(yè) / 分層、排序,如 KV 數(shù)據(jù)庫(kù)基于 LSM-tree 將數(shù)據(jù)分層有序存儲(chǔ),而 MySQL 之類的數(shù)據(jù)庫(kù)將數(shù)據(jù)分頁(yè),也會(huì)基于 B-tree 數(shù)據(jù)結(jié)構(gòu)來(lái)排序索引。

11b51580-7206-11ed-8abf-dac502259ad0.jpg

業(yè)界現(xiàn)有的實(shí)現(xiàn)方式,大多采用基于 LSM 架構(gòu)的通用 Key-Value 數(shù)據(jù)庫(kù),在數(shù)據(jù)庫(kù)之上運(yùn)行一個(gè)獨(dú)立 Merkle 樹(shù)來(lái)實(shí)現(xiàn)可驗(yàn)證,如:

以太坊:MPT(Merkle Patricia Tree)+LevelDB

Diem:JMT(Jellyfish Merkle Tree)+RocksDB

背后的核心矛盾為:

01 Merkle 樹(shù)每次狀態(tài)數(shù)據(jù)修改,即使只改一個(gè) KV,也需要從葉子節(jié)點(diǎn)到根節(jié)點(diǎn),每一層節(jié)點(diǎn)都重新編碼后,寫到 KV 數(shù)據(jù)庫(kù),例如上圖中 Alice 給 Bob 轉(zhuǎn)賬,需要寫入 Merkle 樹(shù)的 2 個(gè)葉子節(jié)點(diǎn)和 3 個(gè)中間節(jié)點(diǎn),最壞情況需要寫入數(shù)十個(gè)中間節(jié)點(diǎn); 02 Merkle 樹(shù)的節(jié)點(diǎn)的 key 完全隨機(jī) (如對(duì)內(nèi)容算 hash,再以 hash 為 key),數(shù)據(jù)局部性(data locality)非常不友好,如 RocksDB 里為了讓 Level 內(nèi) sst 文件有序,即使沒(méi)有垃圾依然需要層層進(jìn)行數(shù)據(jù)壓實(shí)(compaction),從而消耗了大部分的磁盤讀寫帶寬; 03 數(shù)據(jù)規(guī)模越大,Merkle 樹(shù)本身的層數(shù)越多,需要額外寫入的 key-value 越多,DB 里的數(shù)據(jù)量越多,后臺(tái)數(shù)據(jù)管理的代價(jià)越大(如 compaction 流量),消耗大量的磁盤和 CPU 資源。

除此之外,吞吐、延時(shí)等存儲(chǔ)性能(問(wèn)題 3)、持續(xù)增長(zhǎng)下的存儲(chǔ)成本(問(wèn)題 4)、單機(jī)存儲(chǔ)下的規(guī)模瓶頸(問(wèn)題 5)也都是需要解決的問(wèn)題。

面臨什么挑戰(zhàn)?

在過(guò)去幾年的快速發(fā)展中,區(qū)塊鏈的業(yè)務(wù)場(chǎng)景對(duì)交易吞吐量和響應(yīng)時(shí)間要求越來(lái)越高,很多技術(shù)也被推動(dòng)迭代發(fā)展,如 PBFT、HoneyBadger、MyTumbler 等高性能共識(shí)算法,BTN 等網(wǎng)絡(luò)基礎(chǔ)設(shè)施,JIT 加持的 WASM 虛擬機(jī)、以及高效的并行執(zhí)行技術(shù)。

但比較而言,存儲(chǔ)的性能對(duì)區(qū)塊鏈平臺(tái)整體性能影響非常大。對(duì)面向 2C 場(chǎng)景的數(shù)字藏品類業(yè)務(wù)(如鯨探,需支持秒殺),交易 TPS 與延時(shí)要求極為苛刻;而對(duì)需要在鏈上保存大量數(shù)據(jù)的存證類業(yè)務(wù),大容量存儲(chǔ)帶來(lái)的成本又十分可觀。

要支撐業(yè)務(wù)的長(zhǎng)期可持續(xù)發(fā)展,我們歸納出區(qū)塊鏈存儲(chǔ)面臨的核心挑戰(zhàn):

規(guī)模:業(yè)務(wù)賬戶規(guī)??蛇_(dá)數(shù) 10 億,狀態(tài)數(shù)據(jù)和歷史版本規(guī)模分別需要支撐到十億、千億級(jí);

性能:轉(zhuǎn)賬交易需求可達(dá)十萬(wàn)級(jí) TPS、百毫秒級(jí)延時(shí),要求性能不能受制于單機(jī)瓶頸,數(shù)據(jù)規(guī)模持續(xù)增長(zhǎng)下性能不衰減;

成本:隨著交易增長(zhǎng),存儲(chǔ)容量持續(xù)增加,存儲(chǔ)空間占用、節(jié)點(diǎn)間帶寬占用居高不下。業(yè)務(wù)持續(xù)增長(zhǎng)要求低成本存儲(chǔ)。

這些問(wèn)題在行業(yè)內(nèi)很普遍。業(yè)界技術(shù)路線主要分三條:

路線 A:弱化可驗(yàn)證可追溯,如 HyperLedger Fabric 1.0 開(kāi)始不支持可驗(yàn)證和多版本,保存讀寫集、只持久化最新版本狀態(tài)數(shù)據(jù);

路線 B:優(yōu)化 KV 數(shù)據(jù)庫(kù)存儲(chǔ),如實(shí)現(xiàn)鍵值分離、hash 索引的 KV 數(shù)據(jù)庫(kù)等 (BadgerDB、ParityDB),接入通用分布式數(shù)據(jù)庫(kù) (MySQL) 等;

路線 C:優(yōu)化 Merkle 樹(shù),交易 ID 作為版本、樹(shù)結(jié)構(gòu)稀疏化,如 Diem JMT。

根據(jù)公開(kāi)信息,目前區(qū)塊鏈產(chǎn)品中主流的 MPT + LevelDB、JMT + RocksDB、MySQL 等存儲(chǔ)架構(gòu),沒(méi)有能全部解決上述 5 個(gè)問(wèn)題的方案,難以在支持多版本和可驗(yàn)證的同時(shí),滿足 10 億級(jí)賬戶規(guī)模下的高性能、易擴(kuò)展、低成本的業(yè)務(wù)要求。

我們做到了什么?

我們自研了一套區(qū)塊鏈存儲(chǔ)引擎 LETUS(Log-structured Efficient Trusted Universal Storage),保證完整的可驗(yàn)證、多版本能力,既滿足區(qū)塊數(shù)據(jù)不可篡改、可追溯、可驗(yàn)證等要求,也提供對(duì)合約數(shù)據(jù)友好訪問(wèn)、存儲(chǔ)規(guī)??煞制瑪U(kuò)展,高性能低成本等特性。同時(shí)也滿足通用性,統(tǒng)一管理區(qū)塊數(shù)據(jù)、狀態(tài)數(shù)據(jù)。

11c69a26-7206-11ed-8abf-dac502259ad0.png

4 年前不敢想象的能力現(xiàn)在具備了(以下數(shù)據(jù)為統(tǒng)一環(huán)境下的測(cè)試結(jié)果)

01 大規(guī)模:通過(guò)存儲(chǔ)集群擴(kuò)展支持十億賬戶規(guī)模,TPS 超過(guò) 12 萬(wàn),交易平均時(shí)延低于 150ms; 02 高性能:存儲(chǔ)層 IO 吞吐相比以太坊 MPT + LevelDB 等架構(gòu)提升 10~20 倍,IO 延遲降低 90% 以上。鏈平臺(tái)在 7x24 高壓力壓測(cè)中,端到端 TPS 不隨數(shù)據(jù)量增加而衰減;

03 低成本:相比 MPT + LevelDB 架構(gòu),磁盤帶寬減少 95%、空間占用減少 60%;相比于 Diem JMT + RocksDB 架構(gòu),磁盤帶寬減少約 60%、空間占用降低約 40%; 04 進(jìn)一步降成本方案,供用戶選用:

a.針對(duì)區(qū)塊數(shù)據(jù)容量與成本持續(xù)增長(zhǎng),提供智能控溫分層存儲(chǔ)能力,并應(yīng)用于存證等業(yè)務(wù)降低約 70% 存儲(chǔ)成本,同時(shí)也降低運(yùn)維成本。

針對(duì)狀態(tài)數(shù)據(jù)的歷史版本容量與成本持續(xù)增長(zhǎng),提供范圍掃描的批量裁剪能力,實(shí)現(xiàn)歷史版本狀態(tài)數(shù)據(jù)的裁剪和后臺(tái)空間回收,在十億賬戶規(guī)模時(shí),使用鏈原生存儲(chǔ)可以減少近 90% 狀態(tài)存儲(chǔ)空間。

但這背后是一個(gè)技術(shù)架構(gòu)的跨越,從下圖左邊的可驗(yàn)證數(shù)據(jù)結(jié)構(gòu) +KV 數(shù)據(jù)庫(kù)架構(gòu),升級(jí)為現(xiàn)在的 LETUS 存儲(chǔ)引擎,架構(gòu)更簡(jiǎn)潔,系統(tǒng)更高效。

11e9f78c-7206-11ed-8abf-dac502259ad0.jpg

如 Alice 給 Bob 轉(zhuǎn)賬,只需要寫增量數(shù)據(jù),不需要寫入 7 個(gè) Merkle 樹(shù)節(jié)點(diǎn),數(shù)據(jù)局部性更友好,如 Alice 和 Bob 的賬戶數(shù)據(jù),按區(qū)塊號(hào)有序,不再 hash 隨機(jī)。

怎么做到的?

圖片回顧這四年,主要經(jīng)歷的三個(gè)大的階段。

階段一:開(kāi)源思路優(yōu)化

第一年里,為了滿足業(yè)務(wù)急迫訴求,我們需要在有限時(shí)間內(nèi),實(shí)現(xiàn)億級(jí)賬戶規(guī)模和交易 TPS。先從已有系統(tǒng)入手,深度優(yōu)化了狀態(tài)樹(shù),基于開(kāi)源 MPT 到自研 FDMT,同時(shí)調(diào)優(yōu) RocksDB 數(shù)據(jù)庫(kù)、增加并發(fā)、提升介質(zhì)性能。

一系列優(yōu)化措施緩解了問(wèn)題,但依然無(wú)法根本解決,例如數(shù)據(jù)規(guī)模增加后,寫放大依然有幾十倍,數(shù)據(jù)在底層存儲(chǔ)里依然隨機(jī)分布。

階段二:自研存儲(chǔ)引擎

為了能徹底解決上述所有問(wèn)題,我們不得不重新思考存儲(chǔ)引擎的設(shè)計(jì)。

核心設(shè)計(jì)

針對(duì)讀寫放大(問(wèn)題 1)、數(shù)據(jù)局部性(問(wèn)題 2)和性能(問(wèn)題 3),我們結(jié)合區(qū)塊鏈特征,如可驗(yàn)證數(shù)據(jù)結(jié)構(gòu)的讀寫行為、鏈上數(shù)據(jù)的多版本訴求、只追加和不可篡改等,重新設(shè)計(jì)存儲(chǔ)引擎的架構(gòu)分層、關(guān)鍵組件、索引數(shù)據(jù)結(jié)構(gòu):

根據(jù)區(qū)塊鏈特征,我們根據(jù)可驗(yàn)證數(shù)據(jù)結(jié)構(gòu)的讀寫行為、鏈上數(shù)據(jù)的多版本訴求,重新設(shè)計(jì)存儲(chǔ)引擎的架構(gòu)分層、關(guān)鍵組件、索引數(shù)據(jù)結(jié)構(gòu):

11f9dada-7206-11ed-8abf-dac502259ad0.jpg

將可驗(yàn)證特性下推到存儲(chǔ)引擎內(nèi)部,由內(nèi)置的 Version-based(區(qū)塊號(hào))多版本 Merkle 樹(shù)提供可驗(yàn)證可追溯,并且直接操作文件,從而縮短 IO 路徑;

01 將可驗(yàn)證特性下推到存儲(chǔ)引擎內(nèi)部,由內(nèi)置的 Version-based(區(qū)塊號(hào))多版本 Merkle 樹(shù)提供可驗(yàn)證可追溯,并且直接操作文件,從而縮短 IO 路徑; 02 多版本 Merkle 樹(shù)的 Node 聚合為 page,提升磁盤友好性,page 存儲(chǔ)采用 Delta-encoding 思想避免 in-place 更新(結(jié)合 Bw-tree 思路),狀態(tài)數(shù)據(jù)修改時(shí)主要保存增量,定期保存基線,從而減少寫放大,也減少了空間占用; 03 為 page 存儲(chǔ)實(shí)現(xiàn) Version-based 的存儲(chǔ)與檢索,索引 page 都按區(qū)塊號(hào)有序?qū)懭?、在索引文件里有序總局,核心?shù)據(jù)結(jié)構(gòu)為 B 樹(shù)變種,從而實(shí)現(xiàn)有序數(shù)據(jù) locality; 04 利用區(qū)塊鏈場(chǎng)景數(shù)據(jù)的追加寫、Immutable 特點(diǎn),架構(gòu)上采用 Log-Structured 思想,通過(guò)日志文件來(lái)組織數(shù)據(jù); 05 數(shù)據(jù)與索引分離,數(shù)據(jù)按區(qū)塊號(hào)有序?qū)懭霐?shù)據(jù)文件,通過(guò)異步 IO、協(xié)程并發(fā)等提升系統(tǒng)并發(fā)度,索引多模,區(qū)塊 & 狀態(tài)通用,除 Merkle 樹(shù)支持狀態(tài)數(shù)據(jù),實(shí)現(xiàn)有序 B 樹(shù)支持區(qū)塊數(shù)據(jù); 06 當(dāng)前最新版本 Merkle 樹(shù)優(yōu)先在內(nèi)存里緩存或者全部緩存,鏈上合約執(zhí)行時(shí),如果存在則直接讀取,不需要訪問(wèn) page 來(lái)重放,從而加速合約執(zhí)行。

基于些核心設(shè)計(jì),實(shí)現(xiàn)了成本降低的同時(shí)性能提升,鏈平臺(tái)交易 TPS、延時(shí)等性能指標(biāo)不會(huì)隨著數(shù)據(jù)規(guī)模的提升而衰減。

降成本

雖然存儲(chǔ)資源占用大幅降低后,但是鏈上數(shù)據(jù)依然面臨持續(xù)增長(zhǎng)帶來(lái)的高成本問(wèn)題(問(wèn)題 4)。

基于 LETUS 架構(gòu)的后臺(tái)數(shù)據(jù)治理框架,我們能很方便的擴(kuò)展實(shí)現(xiàn)數(shù)據(jù)遷移 / 壓縮 / 垃圾回收等治理策略,基于這些策略,為用戶提供進(jìn)一步降成本能力,并針對(duì)自己的業(yè)務(wù)特點(diǎn)來(lái)選擇使用:

(1)智能控溫分層存儲(chǔ):存儲(chǔ)介質(zhì)按照性能、成本分層,通過(guò)智能控溫調(diào)度數(shù)據(jù)在不同介質(zhì)的分布量,將冷數(shù)據(jù)后臺(tái)自動(dòng)遷移到廉價(jià)介質(zhì)(如 NAS),降低存儲(chǔ)整體成本,并實(shí)現(xiàn)容量擴(kuò)展,不受單盤空間限制。

(2)范圍掃描的批量裁剪:對(duì)于歷史版本 Merkle 樹(shù)和狀態(tài)對(duì)象,基于版本有序性與內(nèi)置 Merkle 樹(shù),讓用戶可以指定目標(biāo)區(qū)塊號(hào)范圍裁剪,通過(guò) Page 邊界掃描,批量索引與數(shù)據(jù)裁剪、垃圾回收實(shí)現(xiàn)存儲(chǔ)空間釋放,進(jìn)一步降低狀態(tài)數(shù)據(jù)成本。

規(guī)模擴(kuò)展

針對(duì)問(wèn)題 5,LETUS 采用分布式存儲(chǔ)架構(gòu),實(shí)現(xiàn)單個(gè)共識(shí)參與方計(jì)算和存儲(chǔ)分離,計(jì)算層和存儲(chǔ)層可分別部署獨(dú)立集群,通過(guò)高性能網(wǎng)絡(luò)通訊框架進(jìn)行數(shù)據(jù)讀寫訪問(wèn)。

為了對(duì)海量狀態(tài)數(shù)據(jù)進(jìn)行靈活的數(shù)據(jù)分片,并且保證各個(gè)區(qū)塊鏈的參與方 hash 計(jì)算的一致性,將數(shù)據(jù)切片為 256 個(gè)最小存儲(chǔ)單元(msu),并將一個(gè)或者多個(gè) msu 構(gòu)成一個(gè)狀態(tài)數(shù)據(jù)分片(partition),將所有數(shù)據(jù)分片調(diào)度到多個(gè)物理機(jī)器。從而實(shí)現(xiàn)規(guī)模彈性擴(kuò)展,解決了單機(jī)存儲(chǔ)的容量瓶頸和帶寬瓶頸。

階段三:生產(chǎn)落地

為了全面落地鋪開(kāi)的同時(shí)讓業(yè)務(wù)平穩(wěn)運(yùn)行,能夠開(kāi)著飛機(jī)換引擎,在這幾年的研發(fā)過(guò)程里,我們充分準(zhǔn)備、循序漸進(jìn)的分階段落地:

120af766-7206-11ed-8abf-dac502259ad0.jpg

2021 年 5 月,基于 LETUS 存儲(chǔ)引擎的區(qū)塊數(shù)據(jù)冷熱分層,在版權(quán)存證業(yè)務(wù)灰度上線,存儲(chǔ)成本降低 71%,解決容量瓶頸并降低運(yùn)維成本。

2021 年 8 月,基于 LETUS 存儲(chǔ)引擎的狀態(tài)數(shù)據(jù),在數(shù)字藏品平臺(tái)“鯨探”雙寫灰度上線,并成功支撐秒殺場(chǎng)景;

2022 年 2-6 月,LETUS 引擎的歷史狀態(tài)數(shù)據(jù)裁剪、存儲(chǔ)服務(wù)架構(gòu)升級(jí)等生產(chǎn) ready,在數(shù)字藏品和版權(quán)存證等業(yè)務(wù)全面落地,并從灰度雙寫切為單寫;LETUS 單寫意味著對(duì)硬件資源要求大幅下降,我們將“鯨探”生產(chǎn)環(huán)境的云資源全面降配,降配后鏈平臺(tái)性能水位提升 200%,同時(shí)存儲(chǔ)成本下降 75%。

總結(jié)與展望

螞蟻一直堅(jiān)持“成熟一個(gè)開(kāi)放一個(gè)”的技術(shù)戰(zhàn)略。同樣的,LETUS 不只為螞蟻鏈定制,也同樣給其他聯(lián)盟鏈、公鏈提供高性能、低成本的支持。

螞蟻鏈堅(jiān)持技術(shù)自研,確保在共識(shí)協(xié)議、智能合約、網(wǎng)絡(luò)傳輸、存儲(chǔ)引擎、跨鏈技術(shù)、區(qū)塊鏈隱私計(jì)算等領(lǐng)域處于全球領(lǐng)先水平。我們始終認(rèn)為,堅(jiān)持技術(shù)自主研發(fā)是建立長(zhǎng)期可持續(xù)競(jìng)爭(zhēng)力的關(guān)鍵。

在“可信存力”這條賽道上,我們也需要為進(jìn)一步的技術(shù)壁壘提前布局,如合約結(jié)構(gòu)化查詢語(yǔ)言,為鏈上合約實(shí)現(xiàn)結(jié)構(gòu)化 + 可驗(yàn)證的查詢能力, 提升開(kāi)發(fā)者體驗(yàn);Fast-Sync 與節(jié)點(diǎn)多形態(tài),提升組網(wǎng)效率和節(jié)點(diǎn)成本靈活性;以及 Web3 等潛在的技術(shù)生態(tài)。

編輯:黃飛

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴

原文標(biāo)題:如何破解Web3的「存力」難題?

文章出處:【微信號(hào):AI前線,微信公眾號(hào):AI前線】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    深入解析Atmel AT24CM01:一款多功能串行EEPROM

    深入解析Atmel AT24CM01:一款多功能串行EEPROM 在電子設(shè)計(jì)領(lǐng)域,EEPROM(電可擦除可編程只讀存儲(chǔ)器)是種常用的非易失性存儲(chǔ)器,它能在斷電后保留
    的頭像 發(fā)表于 02-25 16:40 ?474次閱讀

    微pMLC技術(shù)重塑工業(yè)存儲(chǔ)標(biāo)準(zhǔn)

    微電子SGM8103J是一款基于pMLC架構(gòu)的工業(yè)級(jí)嵌入式存儲(chǔ)芯片,支持-40℃~105℃寬溫工作與32-128GB容量。其高耐用性與數(shù)據(jù)保護(hù)特性,專為工業(yè)自動(dòng)化、車載系統(tǒng)等嚴(yán)苛應(yīng)
    的頭像 發(fā)表于 02-09 10:05 ?211次閱讀
    得<b class='flag-5'>一</b>微pMLC<b class='flag-5'>技術(shù)</b>重塑工業(yè)<b class='flag-5'>存儲(chǔ)</b>標(biāo)準(zhǔn)

    深入解析CD4512B:一款高性能8通道數(shù)據(jù)選擇器

    電壓特性(額定20V)的CMOS 8通道數(shù)據(jù)選擇器,在眾多應(yīng)用場(chǎng)景中展現(xiàn)出了強(qiáng)大的性能。今天,我們就來(lái)深入剖析這款器件,探討其特點(diǎn)、參數(shù)以及應(yīng)用。 文件下載: cd4512b.pdf 、CD4512B概述 CD4512B是一款
    的頭像 發(fā)表于 01-16 14:20 ?226次閱讀

    物聯(lián)網(wǎng)新手小白,求前輩推薦一款學(xué)習(xí)用開(kāi)發(fā)板

    我是新手小白,想自學(xué)物聯(lián)網(wǎng)和人工智能技術(shù),希望前輩們能推薦一款適合進(jìn)行初級(jí)到中級(jí)知識(shí)學(xué)習(xí)、實(shí)驗(yàn)和項(xiàng)目開(kāi)發(fā)的開(kāi)發(fā)板兼顧性價(jià)比,包括具體的品牌和型號(hào)。
    發(fā)表于 12-25 18:44

    IPv6 × 數(shù)據(jù)空間,構(gòu)筑跨境數(shù)據(jù)可信流通的全路信任底座

    近日,下代互聯(lián)網(wǎng)國(guó)家工程中心主任劉東教授,在“世界互聯(lián)網(wǎng)大會(huì)數(shù)據(jù)治理論壇”發(fā)表了《IPv6驅(qū)動(dòng)的跨境數(shù)據(jù)流通實(shí)踐與未來(lái)展望》的主題演講。系統(tǒng)闡述了以IPv6為核心的全球數(shù)據(jù)
    的頭像 發(fā)表于 12-02 09:33 ?542次閱讀
    IPv6 × <b class='flag-5'>數(shù)據(jù)</b>空間,構(gòu)筑跨境<b class='flag-5'>數(shù)據(jù)</b><b class='flag-5'>可信</b>流通的全<b class='flag-5'>鏈</b>路信任底座

    靈動(dòng)微電子最新最火熱的一款芯片推薦

    希望找一款靈動(dòng)微電子最新最火熱的一款芯片,我們想做個(gè)圖形化的界面配置,供大家以后直接創(chuàng)建工程,用國(guó)產(chǎn)工具M(jìn)cuStudio做,McuStudio支持任何內(nèi)核任何廠家的芯片,希望大家有推薦的型號(hào)可以發(fā)給我
    發(fā)表于 10-29 17:15

    曙光存儲(chǔ)推出面向金融的可信AI存儲(chǔ)

    近日,曙光存儲(chǔ)推出面向金融的可信AI存儲(chǔ),助力金融行業(yè)高效、安全、穩(wěn)定地使用關(guān)鍵業(yè)務(wù)敏感數(shù)據(jù)。該方案基于全球領(lǐng)先的集中式全閃
    的頭像 發(fā)表于 10-23 09:24 ?649次閱讀

    2028 年建成 100 + 可信數(shù)據(jù)空間,數(shù)據(jù)要素市場(chǎng)迎來(lái)新引擎

    可信數(shù)據(jù)空間是指在特定范圍內(nèi)構(gòu)建的具備安全可信、高效流通、合規(guī)應(yīng)用特性的數(shù)據(jù)共享與交換環(huán)境。其核心目標(biāo)是解決數(shù)據(jù)要素市場(chǎng)化配置中的信任缺失和
    的頭像 發(fā)表于 10-21 09:56 ?753次閱讀
    2028 年建成 100 + <b class='flag-5'>可信</b><b class='flag-5'>數(shù)據(jù)</b>空間,<b class='flag-5'>數(shù)據(jù)</b>要素市場(chǎng)迎來(lái)新引擎

    萬(wàn)里紅推出可信數(shù)據(jù)空間平臺(tái)

    案例,這殊榮不僅彰顯公司在可信數(shù)據(jù)空間領(lǐng)域的技術(shù)實(shí)力獲得業(yè)界權(quán)威認(rèn)可,更充分展現(xiàn)萬(wàn)里紅在數(shù)據(jù)要素市場(chǎng)化建設(shè)方面的優(yōu)勢(shì)能力。
    的頭像 發(fā)表于 08-28 09:14 ?1974次閱讀

    如何通過(guò)技術(shù)賦能提高汽車行業(yè)設(shè)備資產(chǎn)管理的效率和質(zhì)量?

    技術(shù)賦能汽車設(shè)備資產(chǎn)管理,核心是通過(guò) “感知(IoT)→分析(大數(shù)據(jù) / AI)→仿真(數(shù)字孿生)→可信區(qū)塊)→協(xié)同(移動(dòng)互聯(lián))” 的
    的頭像 發(fā)表于 08-15 10:35 ?681次閱讀
    如何通過(guò)<b class='flag-5'>技術(shù)</b>賦能提高汽車行業(yè)設(shè)備資產(chǎn)管理的效率和質(zhì)量?

    CPM系列核心板,一款存儲(chǔ)靈活的嵌入式核心板

    在嵌入式產(chǎn)品開(kāi)發(fā)中,存儲(chǔ)空間不足是個(gè)常見(jiàn)問(wèn)題。旦硬件設(shè)計(jì)定型,后期想擴(kuò)容往往面臨成本飆升、周期拉長(zhǎng)、可靠性風(fēng)險(xiǎn)等難題。本文將介紹種創(chuàng)新的解決方案,幫助開(kāi)發(fā)者靈活應(yīng)對(duì)
    的頭像 發(fā)表于 08-13 11:34 ?509次閱讀
    CPM系列核心板,<b class='flag-5'>一款</b><b class='flag-5'>存儲(chǔ)</b>靈活的嵌入式核心板

    可信數(shù)據(jù)空間解鎖數(shù)據(jù)流新范式

    特定范圍內(nèi)構(gòu)建的具備安全可信、高效流通、合規(guī)應(yīng)用特性的數(shù)據(jù)共享與交換環(huán)境。其核心目標(biāo)是解決數(shù)據(jù)要素市場(chǎng)化配置中的信任缺失和流通壁壘問(wèn)題,通過(guò)技術(shù)創(chuàng)新與制度創(chuàng)新的雙輪
    的頭像 發(fā)表于 08-12 09:37 ?2008次閱讀
    <b class='flag-5'>可信</b><b class='flag-5'>數(shù)據(jù)</b>空間解鎖<b class='flag-5'>數(shù)據(jù)</b>流新范式

    飛利信推出面向可信數(shù)據(jù)空間的利智方體機(jī)

    數(shù)據(jù)要素驅(qū)動(dòng)新質(zhì)生產(chǎn)力的時(shí)代,企業(yè)資產(chǎn)的核心價(jià)值已從“私有封閉”轉(zhuǎn)向“可信流通”。可信數(shù)據(jù)空間作為國(guó)家數(shù)據(jù)基礎(chǔ)設(shè)施的關(guān)鍵組成部分,正是源于
    的頭像 發(fā)表于 07-30 15:46 ?1086次閱讀

    兆芯+圖云創(chuàng)智—可信分布式存儲(chǔ)系統(tǒng)解決方案

    圖云創(chuàng)智分布式存儲(chǔ)系統(tǒng)采用全分布式設(shè)計(jì)與先進(jìn)的存儲(chǔ)虛擬化技術(shù)相結(jié)合,由多個(gè)獨(dú)立的兆芯 x86 服務(wù)器作為存儲(chǔ)節(jié)點(diǎn),聯(lián)合道熵存儲(chǔ)軟件和思贊博微
    的頭像 發(fā)表于 04-23 10:29 ?948次閱讀
    兆芯+圖云創(chuàng)智—<b class='flag-5'>可信</b>分布式<b class='flag-5'>存儲(chǔ)</b>系統(tǒng)解決方案

    設(shè)備管理系統(tǒng)新范式:區(qū)塊存證+動(dòng)態(tài)權(quán)限管理

    企業(yè)面對(duì)數(shù)字化轉(zhuǎn)型挑戰(zhàn),設(shè)備管理面臨安全與靈活性問(wèn)題。傳統(tǒng)設(shè)備管理方案漏洞頻出,數(shù)據(jù)易遭篡改,權(quán)限管理僵化。企業(yè)需構(gòu)建區(qū)塊存證+動(dòng)態(tài)權(quán)限管理方案,提升設(shè)備管理可信度、靈活性與效率,實(shí)
    的頭像 發(fā)表于 03-13 10:41 ?1037次閱讀
    設(shè)備管理系統(tǒng)新范式:<b class='flag-5'>區(qū)塊</b><b class='flag-5'>鏈</b>存證+動(dòng)態(tài)權(quán)限管理