91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Hbase的基礎(chǔ)性介紹與入門(mén)

汽車(chē)玩家 ? 來(lái)源:今日頭條 ? 作者:不一樣的程序猿 ? 2020-03-15 17:21 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

無(wú)論是 NoSQL,還是大數(shù)據(jù)領(lǐng)域,HBase 都是非常"炙熱"的一門(mén)數(shù)據(jù)庫(kù)。本文將對(duì) HBase 做一些基礎(chǔ)性的介紹,旨在入門(mén)。

一、簡(jiǎn)介

HBase 是一個(gè)開(kāi)源的、面向列的非關(guān)系型分布式數(shù)據(jù)庫(kù),目前是Hadoop體系中非常關(guān)鍵的一部分。在最初,HBase是基于谷歌的 BigTable 原型實(shí)現(xiàn)的,許多技術(shù)來(lái)自于Fay Chang在2006年所撰寫(xiě)的Google論文"BigTable"。與 BigTable基于Google文件系統(tǒng)(File System)一樣,HBase則是基于HDFS(Hadoop的分布式文件系統(tǒng))之上而開(kāi)發(fā)的。

HBase 采用 Java 語(yǔ)言實(shí)現(xiàn),在其內(nèi)部實(shí)現(xiàn)了BigTable論文提到的一些壓縮算法、內(nèi)存操作和布隆過(guò)濾器等,這些能力使得HBase 在海量數(shù)據(jù)存儲(chǔ)、高性能讀寫(xiě)場(chǎng)景中得到了大量應(yīng)用,如 Facebook 在 2010年11 月開(kāi)始便一直選用 HBase來(lái)作為消息平臺(tái)的存儲(chǔ)層技術(shù)。HBase 以Apache License Version 2.0開(kāi)源,這是一種對(duì)商業(yè)應(yīng)用友好的協(xié)議,同時(shí)該項(xiàng)目當(dāng)前也是Apache軟件基金會(huì)的頂級(jí)項(xiàng)目之一。

有什么特性

基于列式存儲(chǔ)模型,對(duì)于數(shù)據(jù)實(shí)現(xiàn)了高度壓縮,節(jié)省存儲(chǔ)成本

采用 LSM 機(jī)制而不是B(+)樹(shù),這使得HBase非常適合海量數(shù)據(jù)實(shí)時(shí)寫(xiě)入的場(chǎng)景

高可靠,一個(gè)數(shù)據(jù)會(huì)包含多個(gè)副本(默認(rèn)是3副本),這得益于HDFS的復(fù)制能力,由RegionServer提供自動(dòng)故障轉(zhuǎn)移的功能

高擴(kuò)展,支持分片擴(kuò)展能力(基于Region),可實(shí)現(xiàn)自動(dòng)、數(shù)據(jù)均衡

強(qiáng)一致性讀寫(xiě),數(shù)據(jù)的讀寫(xiě)都針對(duì)主Region上進(jìn)行,屬于CP型的系統(tǒng)

易操作,HBase提供了Java API、RestAPI/Thrift API等接口

查詢優(yōu)化,采用Block Cache 和 布隆過(guò)濾器來(lái)支持海量數(shù)據(jù)的快速查找

與RDBMS的區(qū)別

對(duì)于傳統(tǒng) RDBMS 來(lái)說(shuō),支持 ACID 事務(wù)是數(shù)據(jù)庫(kù)的基本能力,而 HBase 則使用行級(jí)鎖來(lái)保證寫(xiě)操作的原子性,但是不支持多行寫(xiě)操作的事務(wù)性,這主要是從靈活性和擴(kuò)展性上做出的權(quán)衡。

ACID 要素包含 原子性(Atomicity)、一致性(Consistency)、隔離性(Isolation)以及持久性(Durability)

總體來(lái)說(shuō), HBase 與傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的區(qū)別,如下表所示:

Hbase的基礎(chǔ)性介紹與入門(mén)

二、數(shù)據(jù)模型

下面,我們以關(guān)系型數(shù)據(jù)庫(kù)的一個(gè)數(shù)據(jù)表來(lái)演示 HBase 的不同之處。

先來(lái)看下面這張表:

Hbase的基礎(chǔ)性介紹與入門(mén)

這里記錄的是一些家庭設(shè)備上報(bào)的狀態(tài)數(shù)據(jù)(DeviceState),其中包括設(shè)備名、狀態(tài)、時(shí)間戳這些字段。

在 HBase 中,數(shù)據(jù)是按照列族(Column Family,簡(jiǎn)稱CF)來(lái)存儲(chǔ)的,也就是說(shuō)對(duì)于不同的列會(huì)被分開(kāi)存儲(chǔ)到不同的文件。那么對(duì)于上面的狀態(tài)數(shù)據(jù)表來(lái)說(shuō),在HBase中會(huì)被存儲(chǔ)為兩份:

列族1. 設(shè)備名

Hbase的基礎(chǔ)性介紹與入門(mén)

列族2. 狀態(tài)

Hbase的基礎(chǔ)性介紹與入門(mén)

這里Row-key是唯一定位數(shù)據(jù)行的ID字段,而Row-key 加上 CF、Column-Key,再加上一個(gè)時(shí)間戳才可以定位到一個(gè)單元格數(shù)據(jù)。其中時(shí)間戳用來(lái)表示數(shù)據(jù)行的版本, 在HBase中默認(rèn)會(huì)有 3 個(gè)時(shí)間戳的版本數(shù)據(jù),這意味著對(duì)同一條數(shù)據(jù)(同一個(gè)Rowkey關(guān)聯(lián)的數(shù)據(jù))進(jìn)行寫(xiě)入時(shí),最多可以保存3個(gè)版本。

在查詢某一行的數(shù)據(jù)時(shí),HBase需要同時(shí)從兩個(gè)列族(文件)中進(jìn)行查找,最終將結(jié)果合并后返回給客戶端。 由此可見(jiàn)如果列族太多,則會(huì)影響讀取的性能,在設(shè)計(jì)時(shí)就需要做一些權(quán)衡。

由此可見(jiàn),HBase的使用方式與關(guān)系型數(shù)據(jù)庫(kù)是大不相同的,在使用 HBase 時(shí)需要拋棄許多關(guān)系型數(shù)據(jù)庫(kù)的思維及做法,比如強(qiáng)類型、二級(jí)索引、表連接、觸發(fā)器等等。

然而 HBase 的靈活性及高度可伸縮性卻是傳統(tǒng) RDBMS 無(wú)法比擬的。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 大數(shù)據(jù)
    +關(guān)注

    關(guān)注

    64

    文章

    9065

    瀏覽量

    143781
  • Hbase
    +關(guān)注

    關(guān)注

    0

    文章

    27

    瀏覽量

    11715
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    車(chē)載OBC電磁兼容測(cè)試必要分析報(bào)告

    車(chē)載OBC的電磁兼容測(cè)試需滿足從國(guó)際到企業(yè)的多層級(jí)法規(guī)要求,且標(biāo)準(zhǔn)換版與實(shí)施節(jié)點(diǎn)直接影響產(chǎn)品上市周期及合規(guī)。法規(guī)要求呈現(xiàn)明確的層級(jí)遞進(jìn)結(jié)構(gòu):國(guó)際標(biāo)準(zhǔn)為基礎(chǔ)框架,區(qū)域標(biāo)準(zhǔn)為市場(chǎng)準(zhǔn)入門(mén)檻,企業(yè)標(biāo)準(zhǔn)則進(jìn)一步細(xì)化技術(shù)要求。
    的頭像 發(fā)表于 01-28 16:31 ?168次閱讀
    車(chē)載OBC電磁兼容<b class='flag-5'>性</b>測(cè)試必要<b class='flag-5'>性</b>分析報(bào)告

    BlackBerry QNX與Vector發(fā)布Alloy Kore基礎(chǔ)性車(chē)輛軟件平臺(tái)

    BlackBerry有限公司(紐約證券交易所代碼:BB;多倫多證券交易所代碼:BB)旗下業(yè)務(wù)部門(mén)QNX與Vector今日發(fā)布Alloy Kore基礎(chǔ)性車(chē)輛軟件平臺(tái)(Foundational
    的頭像 發(fā)表于 01-10 09:45 ?2482次閱讀

    電池連接器氣密檢測(cè)儀操作入門(mén)指南-岳信儀器

    電池連接器的氣密對(duì)于電池的性能和安全至關(guān)重要,而電池連接器氣密檢測(cè)儀能有效檢測(cè)其氣密。下面為大家?guī)?lái)該檢測(cè)儀的操作入門(mén)指南。檢測(cè)前準(zhǔn)
    的頭像 發(fā)表于 09-26 11:29 ?510次閱讀
    電池連接器氣密<b class='flag-5'>性</b>檢測(cè)儀操作<b class='flag-5'>入門(mén)</b>指南-岳信儀器

    labview入門(mén)手冊(cè)

    電子發(fā)燒友網(wǎng)站提供《labview入門(mén)手冊(cè).pdf》資料免費(fèi)下載
    發(fā)表于 09-23 17:15 ?2次下載

    新手必看:電池包氣密檢測(cè)儀操作入門(mén)指南-岳信儀器

    對(duì)于剛接觸電池包氣密檢測(cè)儀的新手來(lái)說(shuō),了解其操作方法至關(guān)重要。下面就為大家詳細(xì)介紹電池包氣密檢測(cè)儀的操作入門(mén)知識(shí)。(1)操作前準(zhǔn)備在開(kāi)啟檢測(cè)儀前,要確保設(shè)備放置于平穩(wěn)、干燥且通風(fēng)良
    的頭像 發(fā)表于 09-12 11:39 ?695次閱讀
    新手必看:電池包氣密<b class='flag-5'>性</b>檢測(cè)儀操作<b class='flag-5'>入門(mén)</b>指南-岳信儀器

    【PZ7020-StarLite 入門(mén)級(jí)開(kāi)發(fā)板】——FPGA 開(kāi)發(fā)的理想起點(diǎn),入門(mén)與工業(yè)場(chǎng)景的雙重優(yōu)選

    對(duì)于初入 FPGA 與嵌入式系統(tǒng)開(kāi)發(fā)領(lǐng)域的工程師而言,一款兼具專業(yè)與易用入門(mén)級(jí)開(kāi)發(fā)板是快速建立技術(shù)認(rèn)知、提升實(shí)踐能力的關(guān)鍵工具。璞致電子科技(上海)有限公司深耕 SDR 及 ARM/FPGA
    的頭像 發(fā)表于 08-08 14:53 ?1237次閱讀
    【PZ7020-StarLite <b class='flag-5'>入門(mén)</b>級(jí)開(kāi)發(fā)板】——FPGA 開(kāi)發(fā)的理想起點(diǎn),<b class='flag-5'>入門(mén)</b>與工業(yè)場(chǎng)景的雙重優(yōu)選

    CAN入門(mén)應(yīng)用手冊(cè)

    電子發(fā)燒友網(wǎng)站提供《CAN入門(mén)應(yīng)用手冊(cè) .pdf》資料免費(fèi)下載
    發(fā)表于 07-14 14:45 ?2次下載

    DSP從入門(mén)到精通全集

    這是一本循序漸進(jìn)介紹DSP的書(shū)籍,從DSP的入門(mén)知識(shí)介紹到DPS的硬件,接口,應(yīng)用,從DSP的ADC/DAC到數(shù)字濾波器處理。本文除了對(duì)DSP的各種軟硬件知識(shí)進(jìn)行介紹后,還結(jié)合實(shí)際,接
    發(fā)表于 07-12 14:36

    DeepSeek:從入門(mén)到精通

    電子發(fā)燒友網(wǎng)站提供《DeepSeek:從入門(mén)到精通.pdf》資料免費(fèi)下載
    發(fā)表于 05-28 14:12 ?5次下載

    【「零基礎(chǔ)開(kāi)發(fā)AI Agent」閱讀體驗(yàn)】總體預(yù)覽及入門(mén)

    基礎(chǔ)知識(shí)有所補(bǔ)充,另外書(shū)本后面的案例也會(huì)對(duì)Ai的應(yīng)用產(chǎn)生一些啟發(fā). 首先老規(guī)矩,先看一下目錄結(jié)構(gòu) 包含3大主題: 入門(mén)篇:介紹了Agent的概念、發(fā)展、與Prompt和Copilot的區(qū)別
    發(fā)表于 04-20 21:53

    分布式存儲(chǔ)數(shù)據(jù)恢復(fù)—虛擬機(jī)上hbase和hive數(shù)據(jù)庫(kù)數(shù)據(jù)恢復(fù)案例

    分布式存儲(chǔ)數(shù)據(jù)恢復(fù)環(huán)境: 16臺(tái)某品牌R730xd服務(wù)器節(jié)點(diǎn),每臺(tái)服務(wù)器節(jié)點(diǎn)上有數(shù)臺(tái)虛擬機(jī)。 虛擬機(jī)上部署Hbase和Hive數(shù)據(jù)庫(kù)。 分布式存儲(chǔ)故障: 數(shù)據(jù)庫(kù)底層文件被誤刪除,數(shù)據(jù)庫(kù)不能使用。要求恢復(fù)hbase和hive數(shù)據(jù)庫(kù)。
    的頭像 發(fā)表于 04-17 11:05 ?729次閱讀

    典型電路原理、電路識(shí)圖從入門(mén)到精通等資料

    1、電路識(shí)圖從入門(mén)到精通高清電子資料 由淺入深地介紹了電路圖的基礎(chǔ)知識(shí)、典型單元電路的識(shí)圖方法,通過(guò)“入門(mén)篇”和“精通篇”循序漸進(jìn)、由淺入深地介紹了電路圖的基礎(chǔ)知識(shí)、典型單元電路的識(shí)圖
    的頭像 發(fā)表于 04-15 15:53 ?2.4w次閱讀
    典型電路原理、電路識(shí)圖從<b class='flag-5'>入門(mén)</b>到精通等資料

    電路識(shí)圖從入門(mén)到精通高清電子資料

    由淺入深地介紹了電路圖的基礎(chǔ)知識(shí)、典型單元電路的識(shí)圖方法,通過(guò)“入門(mén)篇”和“精通篇”循序漸進(jìn)、由淺入深地介紹了電路圖的基礎(chǔ)知識(shí)、典型單元電路的識(shí)圖方法,以及典型小家電、電動(dòng)車(chē)、洗衣機(jī)、電冰箱、空調(diào)器
    發(fā)表于 04-10 16:22

    矩陣混音技術(shù)快速入門(mén)

    A&H矩陣混音技術(shù)快速入門(mén)Live_Matrix_MixingChinese
    發(fā)表于 03-26 14:12 ?0次下載

    2025年氣密測(cè)試設(shè)備使用教程:入門(mén)必看,氣密測(cè)試儀使用方法

    在2025年的現(xiàn)代制造業(yè)中,氣密測(cè)試儀已成為確保產(chǎn)品品質(zhì)不可或缺的工具。無(wú)論是新能源汽車(chē)的電池包、精密醫(yī)療器械,還是高端消費(fèi)電子產(chǎn)品,氣密測(cè)試都是生產(chǎn)流程中的關(guān)鍵環(huán)節(jié)。本文將詳細(xì)介紹如何正確操作
    的頭像 發(fā)表于 03-10 11:46 ?1736次閱讀
    2025年氣密<b class='flag-5'>性</b>測(cè)試設(shè)備使用教程:<b class='flag-5'>入門(mén)</b>必看,氣密<b class='flag-5'>性</b>測(cè)試儀使用方法