目前大數(shù)據(jù)處理過程較少關注任務所處理數(shù)據(jù)間的依賴關系，在任務執(zhí)行過程中可能產生大量數(shù)據(jù)遷移，影響數(shù)據(jù)處理效率．為減少數(shù)據(jù)遷移，提升任務執(zhí)行性能，從數(shù)據(jù)關聯(lián)性及數(shù)據(jù)本地性兩個角度出發(fā)，提出了一種數(shù)據(jù)關聯(lián)性驅動的大數(shù)據(jù)處理任務優(yōu)化調度方案：D3S2（data_dependency_driven scheduling scheme）.D3S2由兩部分組成：（1）數(shù)據(jù)關聯(lián)性感知的數(shù)據(jù)優(yōu)化放置機制（dependency-aware placement mechanism，簡稱DAPM），根據(jù)日志信息挖掘數(shù)據(jù)關聯(lián)性，進而將強關聯(lián)的數(shù)據(jù)聚合并放置于相同機架上，減少了跨機架的數(shù)據(jù)遷移；（2）數(shù)據(jù)遷移代價感知的任務優(yōu)化調度機制（transfer-aware scheduling mechanism，簡稱TASM），完成數(shù)據(jù)放置后，以數(shù)據(jù)本地性為約束，對任務進行統(tǒng)一調度，最小化任務執(zhí)行過程中的數(shù)據(jù)遷移代價.DAPM和TASM互相提供決策依據(jù)，以任務執(zhí)行代價最小化為目標不斷迭代調整調度方案，直至最優(yōu)任務調度方案．在Hadoop平臺上進行的實驗結果表明：較之原生Hadoop，在不增加作業(yè)完成時間的基礎上，D3S2減少了作業(yè)執(zhí)行過程中的數(shù)據(jù)遷移量。