Hadoop

　　Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎架構。

　　用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。

　　Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)。

　　Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了計算。

　　Hadoop特點和優(yōu)缺點

　　一、 Hadoop 特點

　　1、支持超大文件

　　一般來說，HDFS存儲的文件可以支持TB和PB級別的數(shù)據(jù)。

　　2、檢測和快速應對硬件故障

　　在集群環(huán)境中，硬件故障是常見性問題。因為有上千臺服務器連在一起，故障率高，因此故障檢測和自動恢復hdfs文件系統(tǒng)的一個設計目標。假設某一個datanode節(jié)點掛掉之后，因為數(shù)據(jù)備份，還可以從其他節(jié)點里找到。namenode通過心跳機制來檢測datanode是否還存在

　　3、流式數(shù)據(jù)訪問

　　HDFS的數(shù)據(jù)處理規(guī)模比較大，應用一次需要大量的數(shù)據(jù)，同時這些應用一般都是批量處理，而不是用戶交互式處理，應用程序能以流的形式訪問數(shù)據(jù)庫。主要的是數(shù)據(jù)的吞吐量，而不是訪問速度。訪問速度最終是要受制于網(wǎng)絡和磁盤的速度，機器節(jié)點再多，也不能突破物理的局限，HDFS不適合于低延遲的數(shù)據(jù)訪問，HDFS的是高吞吐量。

　　4、簡化的一致性模型

　　對于外部使用用戶，不需要了解hadoop底層細節(jié)，比如文件的切塊，文件的存儲，節(jié)點的管理。

　　一個文件存儲在HDFS上后，適合一次寫入，多次寫出的場景once-write-read-many。因為存儲在HDFS上的文件都是超大文件，當上傳完這個文件到hadoop集群后，會進行文件切塊，分發(fā)，復制等操作。如果文件被修改，會導致重新出發(fā)這個過程，而這個過程耗時是最長的。所以在hadoop里，不允許對上傳到HDFS上文件做修改（隨機寫），在2.0版本時可以在后面追加數(shù)據(jù)。但不建議。

　　5、高容錯性

　　數(shù)據(jù)自動保存多個副本，副本丟失后自動恢復?？蓸嫿ㄔ诹畠r機上，實現(xiàn)線性（橫向）擴展，當集群增加新節(jié)點之后，namenode也可以感知，將數(shù)據(jù)分發(fā)和備份到相應的節(jié)點上。

　　6、商用硬件

　　Hadoop并不需要運行在昂貴且高可靠的硬件上，它是設計運行在商用硬件的集群上的，因此至少對于龐大的集群來說，節(jié)點故障的幾率還是非常高的。HDFS遇到上述故障時，被設計成能夠繼續(xù)運行且不讓用戶察覺到明顯的中斷。

　　二、HDFS缺點

　　1、不能做到低延遲

　　由于hadoop針對高數(shù)據(jù)吞吐量做了優(yōu)化，犧牲了獲取數(shù)據(jù)的延遲，所以對于低延遲數(shù)據(jù)訪問，不適合hadoop，對于低延遲的訪問需求，HBase是更好的選擇，

　　2、不適合大量的小文件存儲

　　由于namenode將文件系統(tǒng)的元數(shù)據(jù)存儲在內存中，因此該文件系統(tǒng)所能存儲的文件總數(shù)受限于namenode的內存容量，根據(jù)經(jīng)驗，每個文件、目錄和數(shù)據(jù)塊的存儲信息大約占150字節(jié)。因此，如果大量的小文件存儲，每個小文件會占一個數(shù)據(jù)塊，會使用大量的內存，有可能超過當前硬件的能力。

　　3、不適合多用戶寫入文件，修改文件

　　Hadoop2.0雖然支持文件的追加功能，但是還是不建議對HDFS上的 文件進行修改，因為效率低。

　　對于上傳到HDFS上的文件，不支持修改文件，HDFS適合一次寫入，多次讀取的場景。

　　HDFS不支持多用戶同時執(zhí)行寫操作，即同一時間，只能有一個用戶執(zhí)行寫操作。

　　三、HDFS優(yōu)點

　　Hadoop是一個能夠讓用戶輕松架構和使用的分布式計算平臺。用戶可以輕松地在Hadoop上開發(fā)和運行處理海量數(shù)據(jù)的應用程序。它主要有以下幾個優(yōu)點：

　　高可靠性。Hadoop按位存儲和處理數(shù)據(jù)的能力值得人們信賴。

　　高擴展性。Hadoop是在可用的計算機集簇間分配數(shù)據(jù)并完成計算任務的，這些集簇可以方便地擴展到數(shù)以千計的節(jié)點中。

　　高效性。Hadoop能夠在節(jié)點之間動態(tài)地移動數(shù)據(jù)，并保證各個節(jié)點的動態(tài)平衡，因此處理速度非?？?。

　　高容錯性。Hadoop能夠自動保存數(shù)據(jù)的多個副本，并且能夠自動將失敗的任務重新分配。

　　低成本。與一體機、商用數(shù)據(jù)倉庫以及QlikView、Yonghong Z-Suite等數(shù)據(jù)集市相比，hadoop是開源的，項目的軟件成本因此會大大降低。

　　Hadoop帶有用Java語言編寫的框架，因此運行在 Linux 生產(chǎn)平臺上是非常理想的。Hadoop 上的應用程序也可以使用其他語言編寫，比如 C++。