隨著時(shí)代的不斷進(jìn)步，信息化的氣息也遍布在當(dāng)今各個(gè)領(lǐng)域，尤其在計(jì)算機(jī)行業(yè)。隨著系統(tǒng)硬件地不斷精確化，系統(tǒng)軟件更要不斷的更新。近年來(lái)，研究者面臨著接收、處理、分析爆炸式的數(shù)據(jù)信息的問(wèn)題，如何使這些數(shù)據(jù)更加高效的運(yùn)轉(zhuǎn)成為了當(dāng)今研究者普遍關(guān)心的問(wèn)題。海量數(shù)據(jù)既為大量數(shù)據(jù)，在人們?nèi)粘Ｉ钪校缢块T(mén)測(cè)量的大量數(shù)據(jù)，氣象局不時(shí)獲得的氣象信息等，這些數(shù)據(jù)均極其龐大，同時(shí)這些數(shù)據(jù)的格式也是千變?nèi)f化，有聲音、文字、圖像等。對(duì)于一個(gè)企業(yè)而言，這些數(shù)據(jù)至關(guān)重要，大量的數(shù)據(jù)統(tǒng)計(jì)不僅可發(fā)現(xiàn)客戶潛在的需求，同時(shí)還能夠開(kāi)發(fā)出更多滿足客服需求的應(yīng)用。然而，任何事情均有兩面性，數(shù)據(jù)量的增大必然會(huì)導(dǎo)致大量數(shù)據(jù)存儲(chǔ)及處理速度的難題，為了解決以上難題就必須要求研究者不斷提出更高效的算法，本文提出的算法就是在該問(wèn)題的前提下研究更加高效的數(shù)據(jù)處理及分析方法。

　　目前，硬件系統(tǒng)的性能改善已提高到了有限度的境界。此外，文中可從軟件上改善數(shù)據(jù)處理的方式，目前最流行的技術(shù)就是多核技術(shù)，該技術(shù)的核心為并行技術(shù)，即分而治之，本文所要討論的并行技術(shù)為MapReduce技術(shù)和并行數(shù)據(jù)庫(kù)技術(shù)這兩種主流技術(shù)。