2023年2月，openGemini正式申請加入openEuler DB SIG，現已完成對openEuler的各項兼容性測試，并計劃加入openEuler 23.03版本。openGemini可在物聯(lián)網、嵌入式、邊緣計算、運維監(jiān)控（AIOps）等領域與openEuler社區(qū)展開合作，充分利用自身技術競爭優(yōu)勢，增強openEuler社區(qū)的影響力和競爭力的同時，不斷挖掘新的機遇和技術創(chuàng)新點，進一步提升openGemini的技術實力和社區(qū)品牌知名度。

項目地址

https://github.com/openGemini

https://gitee.com/src-openeuler/openGemini

項目官網

http://opengemini.org

openGemini簡介

openGemini是由華為云數據庫創(chuàng)新實驗室自行設計、研發(fā)并面向全球開源的一款云原生分布式時序數據庫。主要面向物聯(lián)網和運維監(jiān)控等場景，提供海量時序數據庫處理和分析的開源解決方案，以進一步降低企業(yè)運營和運維成本，提升產品質量和生產效率。

openGemini發(fā)展歷程

如圖所示，openGemini經歷了最初由InfluxDB改造的技術探索，到云服務商用、自研內核增強和開源等多個階段的發(fā)展，經受住了華為云內外部100余家用戶不同業(yè)務場景的打磨和檢驗，現已開放全部核心源碼，全面擁抱開源，打造共享、共治、共建的開發(fā)社區(qū)，構建全球技術生態(tài)和影響力。

openGemini的架構

openGemini采用MPP大規(guī)模并行處理分層架構，由ts-sql、ts-store、ts-meta組成。

ts-sql：統(tǒng)一處理客戶端請求

數據按照時間線一致性Hash方式打散存儲在不同的ts-store中，在查詢語句執(zhí)行期間，從ts-store獲取數據并匯總，并返回客戶端

ts-meta：統(tǒng)一元數據管理

數據庫集群元數據和數據庫元數據管理，如節(jié)點信息、數據保留時間、數據分區(qū)信息、表信息等

ts-store：統(tǒng)一數據管理

將原始數據按時序優(yōu)化的數據格式進行統(tǒng)一組織和存儲，查詢時，按指定時間范圍和時間線ID查詢數據，并根據過濾條件，返回目標數據

openGemini的核心競爭力

openGemini開源后持續(xù)版本迭代，現已發(fā)布v1.0.0版本，在高性能、高安全、企業(yè)級特性、可擴展性、功能、應用開發(fā)等六個方面已全面具備生產環(huán)境可使用的完整能力。

● 高性能

openGemini針對物聯(lián)網、運維監(jiān)控等領域海量數據管理和分析訴求，對計算引擎和存儲引擎做了大量的優(yōu)化設計，取得了明顯效果。

支持億級指標管理

每秒千萬級指標數據并發(fā)寫入

查詢萬級指標數據毫秒級響應

在30萬指標，259億條指標測試數據的場景下，采用TSBS（https://github.com/timescale/tsbs）性能測試工具，相比開源的單機版InfluxDB v1.7，openGemini單機版寫入性能提升5倍，簡單查詢提升2-5倍，復雜查詢響應時間縮短60倍以上。

● 高安全

openGemini支持數據傳輸加密和用戶密碼鑒權，支持用戶弱密碼校驗和審計日志。此外，openGemini集群的各組件之間通信可配置HTTPS雙向認證（Mutual TLS），確保每一個鏈接都是可信的。

●企業(yè)級特性

openGemini具備豐富的企業(yè)級特性，部分關鍵特性如下：

l 高效數據壓縮

采用列式數據存儲，不同數據類型對應不同的數據壓縮算法，可支持PB級指標數據的長期數據存儲。存儲成本是傳統(tǒng)關系型數據庫 1/20，是NoSQL的 1/10

l 支持數據保留策略

數據過期后自動刪除

l 支持寫前日志（WAL）

設備掉電后，緩存數據不丟失

l 流計算

當數據量較大時，傳統(tǒng)降采樣工作方式對磁盤I/O消耗過大，I/O放大也很嚴重?？赏ㄟ^流式計算，寫入數據的同時實現數據降采樣，該方法具有高性能、網絡開銷小的優(yōu)點

l 數據分級存儲

結合時序數據特點，數據按熱、溫、冷多級存儲，進一步提升查詢性能

l 內核運行狀態(tài)可觀測

提供了開源監(jiān)控工具ts-monitor，可采集260余種內核和服務器關鍵監(jiān)控指標，更好的觀察系統(tǒng)的運行狀況，快速排查、定位和解決問題

l多級降采樣

可針對不同時間范圍的歷史數據進行不同方式的降采樣，保留歷史數據的特征，原地刪除其余歷史數據，節(jié)約存儲空間50%，計算資源節(jié)約90%

l 向量化

充分利用架構的并行處理優(yōu)勢，每次迭代批量返回數據，大數據量下查詢性能更好

l 異常檢測和預測

內置基于AI的時序異常檢測和預測分析框架，具備流批一體、嚴重程度分級等多項能力，支持每秒萬級實時指標數據并發(fā)檢測，內含13種異常檢測器，可覆蓋常見的離群點、數值變化、閾值、持續(xù)上升下降等常見時序異常場景

● 可擴展性

openGemini集群由ts-sql、ts-store、ts-meta組成，支持單一組件獨立橫向擴展，可支持100+節(jié)點的集群規(guī)模。

● 功能

openGemini提供豐富的聚合算子（如COUNT、SUM、MAX等）、統(tǒng)計分析算子（如PERCENTILE分位數、DIFFERENCE等）、算術分析算子（如ABS、LN等）、Full Join、近似統(tǒng)計算子以及字符串算子（如SUBSTR、STR等）共60+個。此外，還支持秒、毫秒、納秒等多種時間精度以及TAG（分組查詢）和嵌套查詢。

●應用開發(fā)（技術生態(tài)）

如圖所示，在時序大數據處理方面，openGemini已初步完成對數據接入、數據存儲、數據可視化、數據分析、數據遷移等各環(huán)節(jié)關鍵能力構建和技術生態(tài)對接。

在云原生方面，openGemini已支持K8s、KubeEdge容器化部署，正在積極和KubeEdge社區(qū)進行聯(lián)合創(chuàng)新。

在底層操作系統(tǒng)方面，openGemini支持主流的Linux系統(tǒng)和x86、arm64等架構。

在應用開發(fā)方面，支持C/C++、Java、JavaScript、Ruby、GO、Python、PHP等主流的開發(fā)語言。

總結

openGemini具備卓越的讀寫性能和高效的數據分析能力，支持單機和集群，部署形式多樣，可邊緣、可云、可物理機部署，支持主流開發(fā)語言，二進制運行，無第三方組件依賴，帶有260+項系統(tǒng)運行指標監(jiān)控，運維簡單。

獨木難成林，百川聚江海。openGemini與openEuler共同攜手，雙方將在IoT、AIOps、嵌入式、邊緣計算等領域深化技術解決方案集成，開展線上開源協(xié)作和線下社區(qū)互動等方面合作，努力為全球開發(fā)者提供一流的行業(yè)解決方案。