91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

CeresDB 1.0正式發(fā)布,Rust高性能云原生時序數據庫

OSC開源社區(qū) ? 來源:OSC開源社區(qū) ? 2023-03-06 10:22 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

CeresDB 是一款高性能、分布式的云原生時序數據庫,采用 Rust 編寫。其開發(fā)團隊近日宣布:經過近一年的開源研發(fā)工作,時序數據庫 CeresDB 1.0 正式發(fā)布,達到生產可用標準。

CeresDB 1.0 官方中文文檔:https://docs.ceresdb.io/cn/

CeresDB 1.0 核心特性介紹

存儲引擎
  • 支持列式混合存儲
  • 高效 XOR 過濾器
云原生分布式
  • 實現了計算存儲分離(支持 OSS 作為數據存儲,WAL 實現支持 OBKV、Kafka)
  • 支持 HASH 分區(qū)表
部署與運維
  • 支持單機部署
  • 支持分布式集群部署
  • 支持 Prometheus + Grafana 搭建自監(jiān)控
讀寫協(xié)議
  • 支持 SQL 查詢與寫入
  • 實現了 CeresDB 內置高性能讀寫協(xié)議,提供多語言 SDK
  • 支持 Prometheus,可以作為 Prometheus 的 remote storage 進行使用
多語言讀寫 SDK
  • 實現了四種語言的客戶端 SDK:Java、Python、Go、Rust

CeresDB 架構介紹

CeresDB 是一個時序數據庫,與經典時序數據庫相比,CeresDB 的目標是能夠同時處理時序型和分析型兩種模式的數據,并提供高效的讀寫。在經典的時序數據庫中,Tag列(InfluxDB稱之為Tag,Prometheus稱之為Label)通常會對其生成倒排索引,但在實際使用中,Tag的基數在不同的場景中是不一樣的 ———— 在某些場景下,Tag的基數非常高(這種場景下的數據,我們稱之為分析型數據),而基于倒排索引的讀寫要為此付出很高的代價。而另一方面,分析型數據庫常用的掃描 + 剪枝方法,可以比較高效地處理這樣的分析型數據。因此 CeresDB 的基本設計理念是采用混合存儲格式和相應的查詢方法,從而達到能夠同時高效處理時序型數據和分析型數據。下圖展示了 CeresDB 單機版本的架構
┌──────────────────────────────────────────┐
│       RPC Layer (HTTP/gRPC/MySQL)        │
└──────────────────────────────────────────┘
┌──────────────────────────────────────────┐
│                 SQL Layer                │
│ ┌─────────────────┐  ┌─────────────────┐ │
│ │     Parser      │  │     Planner     │ │
│ └─────────────────┘  └─────────────────┘ │
└──────────────────────────────────────────┘
┌───────────────────┐  ┌───────────────────┐
│    Interpreter    │  │      Catalog      │
└───────────────────┘  └───────────────────┘
┌──────────────────────────────────────────┐
│               Query Engine               │
│ ┌─────────────────┐  ┌─────────────────┐ │
│ │    Optimizer    │  │    Executor     │ │
│ └─────────────────┘  └─────────────────┘ │
└──────────────────────────────────────────┘
┌──────────────────────────────────────────┐
│         Pluggable Table Engine           │
│  ┌────────────────────────────────────┐  │
│  │              Analytic              │  │
│  │┌────────────────┐┌────────────────┐│  │
│  ││      Wal       ││    Memtable    ││  │
│  │└────────────────┘└────────────────┘│  │
│  │┌────────────────┐┌────────────────┐│  │
│  ││     Flush      ││   Compaction   ││  │
│  │└────────────────┘└────────────────┘│  │
│  │┌────────────────┐┌────────────────┐│  │
│  ││    Manifest    ││  Object Store  ││  │
│  │└────────────────┘└────────────────┘│  │
│  └────────────────────────────────────┘  │
│  ┌ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─   │
│           Another Table Engine        │  │
│  └ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─   │
└──────────────────────────────────────────┘

性能優(yōu)化與實驗結果

CeresDB 組合使用了列式混合存儲、數據分區(qū)、剪枝、高效掃描等技術,解決海量時間線(high cardinality)下寫入查詢性能變差的問題。

寫入優(yōu)化

CeresDB 采用類 LSM(Log-structured merge-tree)寫入模型,無需在寫入時處理復雜的倒排索引,因此寫入性能上較好。

查詢優(yōu)化

主要采用以下技術手段提高查詢性能:

剪枝:

  • min/max 剪枝:構建代價比較低,在特定場景,性能較好
  • XOR 過濾器:提高對 parquet 文件中的 row group 的篩選精度

高效掃描:

  • 多個 SST 間并發(fā):同時掃描多個 SST 文件
  • 單個 SST 內部并發(fā):支持 Parquet 層并行拉取多個 row group
  • 合并小 IO:針對 OSS 上的文件,合并小 IO 請求,提高拉取效率
  • 本地 cache:緩存 OSS 拉取文件,支持內存和磁盤緩存

性能測試結果

采用 TSBS 進行性能測試。壓測參數如下:

  • 10 個 Tag
  • 10 個 Field
  • 時間線(Tags 組合數)100w 量級

壓測機器配置:24c90g

InfluxDB 版本:1.8.5

CeresDB 版本:1.0.0

寫入性能對比

InfluxDB 寫入性能隨著時間下降較多。CeresDB 在寫入穩(wěn)定后,寫入速率趨于平穩(wěn),并且總體寫入性能表現為 InfluxDB 的 1.5 倍以上(一段時間后可達 2 倍以上差距)

下圖中,單行 row 包含 10 個 Field。

66b64880-bb79-11ed-bfe3-dac502259ad0.png66d16606-bb79-11ed-bfe3-dac502259ad0.png

上圖為 Influxdb,下圖為 CeresDB

查詢性能對比

低篩選度條件(條件:os=Ubuntu15.10),CeresDB 比 InfluxDB 快 26 倍,具體數據如下:

  • CeresDB 查詢耗時:15s
  • InfluxDB 查詢耗時:6m43s

高篩選度條件(命中的數據較少,條件:hostname=[8 個],此時理論上傳統(tǒng)倒排索引會更有效),這是 InfluxDB 更有優(yōu)勢的場景,此時在預熱完成條件下,CeresDB 比 InfluxDB 慢 5 倍。

  • CeresDB:85ms
  • InfluxDB:15ms

2023 年 roadmap

開發(fā)團隊表示,2023 年,在 CeresDB 1.0 發(fā)布之后,他們大部分工作將聚焦在性能、分布式與周邊生態(tài)方面的工作。尤其周邊生態(tài)的對接支持工作,希望能讓各種不同的用戶更加簡單的用上 CeresDB:

周邊生態(tài)

  • 生態(tài)兼容,包括 PromQL、InfluxdbQL、OpenTSDB 等常用時序數據庫協(xié)議兼容
  • 運維工具支持,包括 k8s 支持、CeresDB 運維系統(tǒng)、自監(jiān)控等
  • 開發(fā)者工具,包括數據導入導出等

性能

  • 探索新的存儲格式
  • 增強不同類型索引,強化 CeresDB 在不同工作負載下的表現

分布式

  • 自動負載均衡
  • 提高可用性、可靠性

審核編輯 :李倩


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯系本站處理。 舉報投訴
  • 數據存儲
    +關注

    關注

    5

    文章

    1025

    瀏覽量

    52955
  • 數據庫
    +關注

    關注

    7

    文章

    4020

    瀏覽量

    68365
  • Rust
    +關注

    關注

    1

    文章

    240

    瀏覽量

    7594

原文標題:CeresDB 1.0正式發(fā)布,Rust高性能云原生時序數據庫

文章出處:【微信號:OSC開源社區(qū),微信公眾號:OSC開源社區(qū)】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    使用NVIDIA Nemotron RAG和Microsoft SQL Server 2025構建高性能AI應用

    在 Microsoft Ignite 2025 大會上,隨著 Microsoft SQL Server 2025 的發(fā)布,AI 就緒型企業(yè)數據庫愿景成為現實,為開發(fā)者提供強大的新工具,例如內置向量
    的頭像 發(fā)表于 12-01 09:31 ?809次閱讀
    使用NVIDIA Nemotron RAG和Microsoft SQL Server 2025構建<b class='flag-5'>高性能</b>AI應用

    國產數據庫的AI戰(zhàn)事

    國產數據庫硝煙再起,Vastbase V100構筑企業(yè)智能基座
    的頭像 發(fā)表于 10-24 20:45 ?4043次閱讀
    國產<b class='flag-5'>數據庫</b>的AI戰(zhàn)事

    華納云為游戲數據庫選擇高性能NVMe SSD存儲

    游戲數據庫對速度、可靠性和可擴展性有極高要求。隨著在線游戲的發(fā)展,開發(fā)者越來越依賴NVMe SSD存儲來提供服務器租用和服務器托管解決方案。本文將指導您了解為游戲數據庫選擇高性能NVMe SSD存儲
    的頭像 發(fā)表于 09-30 16:03 ?1081次閱讀

    數據庫性能瓶頸分析與SQL優(yōu)化實戰(zhàn)案例

    作為一名在一線摸爬滾打8年的運維工程師,我見過太多因為數據庫性能問題而半夜被叫醒的場景。今天分享幾個真實的優(yōu)化案例,希望能幫你避開這些坑。
    的頭像 發(fā)表于 08-27 14:31 ?593次閱讀

    數據庫性能優(yōu)化指南

    作為一名在大廠摸爬滾打多年的運維老兵,我見過太多因為數據庫性能問題導致的生產事故。今天分享一套完整的數據庫優(yōu)化方法論,從SQL層面到硬件配置,幫你徹底解決性能瓶頸!
    的頭像 發(fā)表于 08-18 11:21 ?753次閱讀

    數據庫數據恢復—服務器異常斷電導致Oracle數據庫故障的數據恢復案例

    Oracle數據庫故障: 某公司一臺服務器上部署Oracle數據庫。服務器意外斷電導致數據庫報錯,報錯內容為“system01.dbf需要更多的恢復來保持一致性”。該Oracle數據庫
    的頭像 發(fā)表于 07-24 11:12 ?651次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—服務器異常斷電導致Oracle<b class='flag-5'>數據庫</b>故障的<b class='flag-5'>數據</b>恢復案例

    三款主流國產數據庫的技術特點

    隨著數字經濟的快速發(fā)展和數據安全要求的提升,國產數據庫正迎來前所未有的發(fā)展機遇。在信創(chuàng)浪潮推動下,達夢數據庫、TiDB、華為高斯數據庫等國產數據庫
    的頭像 發(fā)表于 07-14 11:08 ?1153次閱讀

    數據庫數據恢復—MongoDB數據庫文件丟失的數據恢復案例

    MongoDB數據庫數據恢復環(huán)境: 一臺操作系統(tǒng)為Windows Server的虛擬機上部署MongoDB數據庫。 MongoDB數據庫故障: 工作人員在MongoDB服務仍
    的頭像 發(fā)表于 07-01 11:13 ?644次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—MongoDB<b class='flag-5'>數據庫</b>文件丟失的<b class='flag-5'>數據</b>恢復案例

    數據庫數據恢復—SQL Server數據庫被加密如何恢復數據?

    SQL Server數據庫故障: SQL Server數據庫被加密,無法使用。 數據庫MDF、LDF、log日志文件名字被篡改。
    的頭像 發(fā)表于 06-25 13:54 ?683次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—SQL Server<b class='flag-5'>數據庫</b>被加密如何恢復<b class='flag-5'>數據</b>?

    云原生環(huán)境里Nginx的故障排查思路

    本文聚焦于云原生環(huán)境下Nginx的故障排查思路。隨著云原生技術的廣泛應用,Nginx作為常用的高性能Web服務器和反向代理服務器,在容器化和編排的環(huán)境中面臨著新的故障場景和挑戰(zhàn)。
    的頭像 發(fā)表于 06-17 13:53 ?982次閱讀
    <b class='flag-5'>云原生</b>環(huán)境里Nginx的故障排查思路

    oracle數據恢復—oracle數據庫誤執(zhí)行錯誤truncate命令如何恢復數據?

    oracle數據庫誤執(zhí)行truncate命令導致數據丟失是一種常見情況。通常情況下,oracle數據庫誤操作刪除數據只需要通過備份恢復數據
    的頭像 發(fā)表于 06-05 16:01 ?1123次閱讀
    oracle<b class='flag-5'>數據</b>恢復—oracle<b class='flag-5'>數據庫</b>誤執(zhí)行錯誤truncate命令如何恢復<b class='flag-5'>數據</b>?

    SQLSERVER數據庫是什么

    SQL Server 是由微軟公司開發(fā)的一款 關系型數據庫管理系統(tǒng)(RDBMS) ,用于存儲、管理和檢索結構化數據。它是企業(yè)級應用中廣泛使用的數據庫解決方案之一,尤其適用于Windows平臺,但也
    的頭像 發(fā)表于 05-26 09:19 ?1177次閱讀

    MySQL數據庫是什么

    MySQL數據庫是一種 開源的關系型數據庫管理系統(tǒng)(RDBMS) ,由瑞典MySQL AB公司開發(fā),后被Oracle公司收購。它通過結構化查詢語言(SQL)進行數據存儲、管理和操作,廣泛應用于Web
    的頭像 發(fā)表于 05-23 09:18 ?1224次閱讀

    數據庫數據恢復——MongoDB數據庫文件拷貝后服務無法啟動的數據恢復

    MongoDB數據庫數據恢復環(huán)境: 一臺Windows Server操作系統(tǒng)虛擬機上部署MongoDB數據庫。 MongoDB數據庫故障: 管理員在未關閉MongoDB服務的
    的頭像 發(fā)表于 04-09 11:34 ?873次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復——MongoDB<b class='flag-5'>數據庫</b>文件拷貝后服務無法啟動的<b class='flag-5'>數據</b>恢復

    TDengine 發(fā)布時序數據分析 AI 智能體 TDgpt,核心代碼開源

    組成部分,標志著時序數據庫原生集成 AI 能力方面邁出了關鍵一步。 TDgpt 是內嵌于 TDengine 中的時序數據分析 AI 智能體,具備時序數據預測、異常檢測、
    的頭像 發(fā)表于 03-27 10:30 ?734次閱讀
    TDengine <b class='flag-5'>發(fā)布</b><b class='flag-5'>時序數據</b>分析 AI 智能體 TDgpt,核心代碼開源