HBase相對于關系數(shù)據(jù)庫能解決的問題是什么？

關于HBase與關系數(shù)據(jù)的區(qū)別問題其實就是關系數(shù)據(jù)庫與HBase各自的優(yōu)缺點。

關系數(shù)據(jù)庫的缺憾：

1） 擴展困難

2） 維護復雜

HBase就是解決可伸縮行的問題。通過簡單增加節(jié)點來獲取線性擴展性。不支持SQL。

圖解Nosql（hbase）與傳統(tǒng)數(shù)據(jù)庫的區(qū)別

對于大多數(shù)做技術的人員，都知道我們傳統(tǒng)數(shù)據(jù)庫是什么樣子的，那么如下圖所示，我們操作的對象是行。也就是增刪改查，都是以為對象

1. 傳統(tǒng)數(shù)據(jù)庫增加刪除介紹

?

下面我們以mysql為例：

?

插入數(shù)據(jù)

mysql》INSERT INTO blog_user （`user_Name`，`user_Password`，`user_emial`）VALUES （‘aboutyun’，‘aboutyun’， ‘aboutyun@sina.com’）;

?

刪除數(shù)據(jù)：

mysql》 delete from blog_user where user_name=“aboutyun”;

?

2. Nosql數(shù)據(jù)庫增加刪除介紹

?

以hbase為例：

創(chuàng)建表：

create ‘blog_user’，‘userInfo’

?

插入數(shù)據(jù)

這里是關鍵點，也是很多人不容易理解的地方

hbase（main）：012:0》 put‘blog_user’，‘www.aboutyun.com’，‘userInfo:user_Name’，‘aboutyun’

0 row（s） in 1.7530 seconds

?

上面我們看到了

1所示是什么，我們在傳統(tǒng)數(shù)據(jù)塊里面根本沒有，這是nosql所特有的，是一個rowkey，是系統(tǒng)自帶的，也是nosql中一條記錄的唯一標識。但是這個唯一標識，有跟我們的傳統(tǒng)數(shù)據(jù)庫是有所差別的。如圖1所示，“記錄1”便是rowkey.

2所示是我們插入的列user_Name，這也是最難以理解的地方，列竟然可以插入。并且其’value‘為3即‘aboutyun’

我們插入了列，下面我們來查看一下效果：?

下面來解釋一下上面的含義：

我們會看到

1為rowkey，插入數(shù)據(jù)’www.aboutyun.com‘，

2為列族下面列的名字user_Name

3我們并沒有在設計的添加這個列族，所以這個是系統(tǒng)自帶的，這個是記錄的操作時間，以時間戳的形式放到hbase里面。

4是我們插入的user_Name的值

下面我們在插入password：

1. hbase（main）：015:0》 put‘blog_user’，‘www.aboutyun.com’，‘userInfo:user_Password’，‘aboutyun’

?

再次查詢結果：

1. hbase（main）：016:0》 scan ‘blog_user’

2. ROW COLUMN+CELL

3. www.aboutyun.com column=userInfo:user_Name， timestamp=1400663775901， value=aboutyun

4. www.aboutyun.com column=userInfo:user_Password， timestamp=1400665203430， value=aboutyun

5. 1 row（s） in 0.0390 seconds

?

到這里，我們看到兩行記錄，傳統(tǒng)數(shù)據(jù)塊認為這是兩行數(shù)據(jù)，對于nosql，這是一條記錄。

刪除列數(shù)據(jù)

刪除數(shù)據(jù)分為刪除列和刪除記錄

1.刪除列

這里面的刪除，沒有刪除

delete ‘blog_user’，‘www.aboutyun.com’，‘userInfo:user_Password’

?

從上面我們看出列被刪除了

2.刪除記錄：

1. deleteall ‘blog_user’，‘www.aboutyun.com’

2. 這是刪除之前顯示結果，這里已經是

?

刪除后結果

?

結論：

對于傳統(tǒng)數(shù)據(jù)庫，增加列對于一個項目來講，改變是非常大的。但是對于nosql，插入列和刪除列，跟傳統(tǒng)數(shù)據(jù)庫里面的增加記錄和刪除記錄類似

HBase有哪些基本的特征？

HBase是類似于google的bigtable的開源實現(xiàn)，擁有以下特征：

1）在HDFS之上

2） 基于列存儲的分布式數(shù)據(jù)庫

3） 用于實時地讀、寫大規(guī)模數(shù)據(jù)集

其他HBase的特性：

1）沒有真正的索引，行順序存儲，也沒有所謂的索引膨脹問題。

2） 自動分區(qū)，表增長時，自動分區(qū)到新的節(jié)點上。

3） 線性擴展和區(qū)域會自動重新平衡，運行RegionServer，達到負載均衡的目的。

4）容錯和普通商用的硬件支持。這點同hadoop類似。

HBase與RDBMS的區(qū)別？

1） 表的設計：HBase的表可以很高，很寬，可伸縮性很強。而且表的模式是物理存儲的直接反映。

2） 拓撲： HBase能水平分區(qū)并在上千個節(jié)點上自動復制。

3） 應用形式： 開發(fā)者必須承擔更多的責任來正確地利用HBase的檢索和存儲方式。

4） RDBMS 遵循固定的模式，如“codd 12 規(guī)則”，強調事務的“強一致性”、參照完整性、SQL支持、數(shù)據(jù)的邏輯與物理形式相對獨立。等等。適用于中小規(guī)模的數(shù)據(jù)，但對于數(shù)據(jù)的規(guī)模和并發(fā)讀寫方面進行大規(guī)模擴展時，RDBMS會性能大大降低，分布式更為困難，因為其需要放棄很多RDBMS的易用的特性。

HBase適用于上億、上千億級的數(shù)據(jù)，如果是只有上千、上百萬級別是數(shù)據(jù)，傳統(tǒng)的RDBMS是更好的選擇。

HBase需要更多硬件，如果硬件較少，如5個，干不成什么好事。

如果從RDBMS移植到HBase，需要消除RDBMS的很多額外特性，如列數(shù)據(jù)類型、第二索引、事務、高級查詢等。

HBase的數(shù)據(jù)模式是怎么樣的？即有哪些元素？如何存儲？

1） 數(shù)據(jù)模式

如下列三個表：

第一個是一個稀疏的表，實際上它是一個虛表，僅是一個概念視圖，不是真實的存儲形式，它來源于后兩個表。

而后兩個表才是真正的表，物理視圖，他們是實際的存儲形式，而且它們是按列族進行存儲的。

2） HBase的基本元素：

表、行、列、單元格： 表的基本要素

鍵：一般是指行的鍵，即唯一標識某行的元素。表中的行，可以根據(jù)鍵進行排序，而對表的訪問，也通過鍵。

列族：所有列族成員擁有相同的前綴，某列族的成員，需要預先定義，但也可以直接進行追加。

列族成員會一起放進存儲器。而HBase面向列的存儲，是面向列族的數(shù)據(jù)存儲（這個通過上面那個表的示例可以看出來），數(shù)據(jù)存儲與調優(yōu)都在這個層次，HBase表與RDBMS中表類似，行是排序的，客戶端可以把列添加到列族中去。

單元格cell： 單元格中存放的是不可分割的字節(jié)數(shù)組。并且每個單元格擁有版本信息。HBase的是按版本信息倒序排列。

區(qū)域region：將表水平劃分，是HBase集群分布數(shù)據(jù)的最小單位。在線的所有區(qū)域就構成了表的內容。

加鎖：對數(shù)據(jù)行進行更新，都需加鎖。保持原子性。

3） 數(shù)據(jù)模型有哪些操作？

Get、Scan、Put、Delete，即返回特定行的屬性，多行屬性、插入、刪除數(shù)據(jù)。

這些都需要一個HTable實例來操作。分別有Get、Scan、Put、Delete類來指定相應的參數(shù)、屬性。

4） 返回結果的排序方式是什么？

先是行、再是列族、再是列修飾符，最后是時間戳（反向排序，最新的在前面）。

5）最后，HBase不支持聯(lián)合查詢

6）mapreduce與HBase表配合使用，默認mapreduce的任務分割是根據(jù)HBase表中region的多少來分割，一個region就有一個map。

HBase的模式Schema設計的一些概念和原則

1）模式的創(chuàng)建與更新

可以使用HBase Shell或HBase Admin來創(chuàng)建和編輯HBase的模式。

在0.90.x 版本，只能先禁用表，再修改列族，而0.92.x版本以后，支持在線修改。

而且表和列族修改后，如size， region， block size等，在下次 主緊縮 或 存儲文件時 起作用。

2）列族的數(shù)量

-列族數(shù)量越少越好，即使同時有兩個列族，查詢的時候總是訪問其中一個列族，不會同時訪問。

-當一個表存在多個列族，當基數(shù)差距很大時，如A族有100萬行，B族10億行，A族可能會被分散到很多區(qū)域region，導致掃描A的效率降低。

-另外，多個列族在flush和compaction時，會造成很多I/O負擔。

3）行鍵設計RowKey

a. 不要將RowKey設計成有序的形式，因為這樣容易阻塞并行性，將負載壓都在一臺機器上

b. 定位一個單元，需要行，列名和時間戳。如果一個單元格的坐標很大，會占用內存，索引用光。所以，解決方法：列族名盡量小，如一個字符a，短屬性名，而行鍵長度可讀即可（行鍵長度對數(shù)據(jù)訪問無太大影響），將數(shù)字字符轉換為數(shù)字字節(jié)模式（節(jié)省空間）。

c. 倒序時間戳有助于找到找到最近版本值

d. 行鍵是在列族范圍內有效，不同列族中可以擁有同樣的行鍵

e. 行鍵永遠不能變

4）HBase支持所有能轉換為字節(jié)數(shù)組的東西，如字符串、數(shù)字、復雜對象、計數(shù)器、甚至圖像。

5）列族可以設置存活時間TTL，超時后，HBase自動刪除數(shù)據(jù)

6）第二索引和查詢： 這里面有很多東西，需要查看對應版本官方的文檔更好些。

HBase的拓撲結構是什么？

1）拓撲結構： 類似于HDFS的mast與slave，mapreduce的tasktracker與jobtracker的關系，HBase也有master和RegionServer

2）HBase與ZooKeeper的關系是什么？

HBase必須管理一個ZooKeeper實例，它依賴ZooKeeper，主要目的是，通過ZooKeeper來協(xié)調區(qū)域內的服務器，它負責目錄表、主控機地址等重要信息，若有服務器崩潰，HBase就可以通過ZooKeeper來協(xié)調分配。

RegionServer在HBase的配置文件conf/regionservers文件中，而HBase集群的站點配置在conf/hbase-site.xml和conf/hbase-env.sh中配置。HBase盡量遵循了Hadoop的規(guī)則。

3）HBase的內部結構管理狀況：

其內部有-ROOT， -META的特殊目錄表，用于維護當前集群上所有區(qū)域的列表、位置和狀態(tài)。

-ROOT表包含 -META表的區(qū)域列表，而-META表示包含用戶的的區(qū)域列表。

所以，HBase管理的流程是：

Client -- 鏈接到ZooKeeper -- 查找-ROOT表的位置 -- 查找-META表的位置 -- 查找用戶的區(qū)域所在的節(jié)點、位置及其狀態(tài)等 -- 直接管理指定區(qū)域的RegionServer并進行交互。

HBase支持Java及MapReduce的開發(fā)。

HBase提供了Thrift、REST及Avro的接口。HBase需要有一個相應的接口客戶端負責與這些接口的交互。但是這些需要代理進行處理請求和響應，所以比java更慢。

%hbase-daemon.sh start/stop rest/thrift/avro //啟動或終止對應的客戶端