（文章來(lái)源：砍柴網(wǎng)）

Apache Spark是專(zhuān)為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎,常用來(lái)構(gòu)建大型、低延遲的數(shù)據(jù)分析應(yīng)用程序。Spark一個(gè)主要特點(diǎn)在于,其能夠在內(nèi)存中進(jìn)行計(jì)算,這使得其數(shù)據(jù)分析效率往往高于其它計(jì)算引擎,但是,服務(wù)器內(nèi)存資源的限制也使得其性能的擴(kuò)展存在著一定的瓶頸,在超大規(guī)模負(fù)載中無(wú)法充分發(fā)揮其利用內(nèi)存進(jìn)行計(jì)算的性能優(yōu)勢(shì)。

某全球領(lǐng)先的語(yǔ)音識(shí)別服務(wù)提供商是最早將Spark應(yīng)用到生產(chǎn)環(huán)境的團(tuán)隊(duì)之一,該公司的語(yǔ)音云通過(guò)幾千臺(tái)服務(wù)器構(gòu)成的云計(jì)算平臺(tái)向用戶(hù)提供多樣的、實(shí)時(shí)語(yǔ)音處理能力,日均服務(wù)終端用戶(hù)超過(guò)15億,日增數(shù)據(jù)超過(guò)100TB。2014年該公司基于Spark和AI技術(shù)構(gòu)建了DMP大數(shù)據(jù)平臺(tái)(用戶(hù)數(shù)據(jù)管理平臺(tái))。DMP平臺(tái)的主要功能就是收集、存儲(chǔ)、分析和挖掘龐大的用戶(hù)數(shù)據(jù),以實(shí)現(xiàn)廣告精準(zhǔn)投放。

Spark在該公司的大數(shù)據(jù)平臺(tái)中主要用于海量用戶(hù)數(shù)據(jù)分析,每天支撐穩(wěn)定運(yùn)行的Spark SQL統(tǒng)計(jì)分析指標(biāo)和SQL腳本有幾千個(gè)。但是在將Spark SQL用于海量用戶(hù)數(shù)據(jù)分析的過(guò)程中,仍然面臨著一些痛點(diǎn),這些都限制了該公司語(yǔ)音云的數(shù)據(jù)分析能力。

Spark的性能不僅受到CPU、內(nèi)存、網(wǎng)絡(luò)、磁盤(pán)等硬件設(shè)備的制約,而且Spark SQL目前還不支持索引,也嚴(yán)重影響了Spark SQL在進(jìn)行大規(guī)模數(shù)據(jù)分析時(shí)的性能,索引能夠提升數(shù)據(jù)檢索的效率,降低硬盤(pán)的IO瓶頸。

隨著數(shù)據(jù)量越來(lái)越大,即席分析的需求越來(lái)越強(qiáng)烈,即席查詢(xún)是用戶(hù)根據(jù)用戶(hù)自己的需求,靈活選擇查詢(xún)條件,系統(tǒng)能夠根據(jù)用戶(hù)的選擇生成響應(yīng)的統(tǒng)計(jì)報(bào)表和結(jié)果集;在數(shù)據(jù)倉(cāng)庫(kù)和大數(shù)據(jù)分析系統(tǒng)中,即席查詢(xún)使用的越多,對(duì)系統(tǒng)的性能要求也就越高,如果內(nèi)存能夠緩存更多的熱點(diǎn)數(shù)據(jù),能夠極大的提升即席查詢(xún)處理速度并降低響應(yīng)延遲。

數(shù)據(jù)既有隨機(jī)讀的需求(即席查詢(xún)-Ad-hoc),又有全表掃描的需求(機(jī)器學(xué)習(xí));機(jī)器學(xué)習(xí)就是通過(guò)特定算法從海量的歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律,從而對(duì)新的樣本進(jìn)行分析并對(duì)未來(lái)做出預(yù)測(cè),在模型訓(xùn)練的過(guò)程中會(huì)產(chǎn)生大量的中間結(jié)果數(shù)據(jù),通常情況下需要將中間結(jié)果數(shù)據(jù)持久化到文件系統(tǒng)上,如果內(nèi)存能夠緩存更多的中間結(jié)果數(shù)據(jù),可以提升模型訓(xùn)練的速度。
（責(zé)任編輯：fqj）