資料介紹
Spark的原生調(diào)度策略建立在集群同質(zhì)化的基本假設(shè)上。然而隨著硬件的更迭以及高性能硬件的引入,集群異質(zhì)化現(xiàn)象日趨顯著。因此現(xiàn)有的調(diào)度策略在異構(gòu)集群環(huán)境下并不高效,短板效應(yīng)嚴(yán)重。針對這個(gè)問題,本文提出了一種新的調(diào)度策略以優(yōu)化Spark在異構(gòu)集群下的表現(xiàn)。新策略引入了分層調(diào)度的思想,調(diào)度時(shí)綜合考量了任務(wù)復(fù)雜度、節(jié)點(diǎn)性能及節(jié)點(diǎn)資源使用情況等因素,實(shí)現(xiàn)了更加高效公平的任務(wù)調(diào)度算法。通過仿真和真機(jī)實(shí)驗(yàn),證明了新策略的效果相對于原策略有明顯提升。

- 大規(guī)模異構(gòu)計(jì)算集群的雙層作業(yè)調(diào)度系統(tǒng) 1次下載
- 云環(huán)境下HEDSM工作流調(diào)度策略綜述 6次下載
- 異構(gòu)云環(huán)境中二級實(shí)時(shí)密碼服務(wù)調(diào)度策略 9次下載
- 基于約束關(guān)鍵路徑的代價(jià)優(yōu)化調(diào)度算法 2次下載
- 一種5G網(wǎng)絡(luò)云原生應(yīng)用資源調(diào)度優(yōu)化策略 9次下載
- 一種全新的綜合能源系統(tǒng)動(dòng)態(tài)經(jīng)濟(jì)調(diào)度方法 0次下載
- 在Storm環(huán)境下如何進(jìn)行拓?fù)浣Y(jié)構(gòu)的任務(wù)調(diào)度策略 9次下載
- 如何使用Spark進(jìn)行并行FP-Growth算法優(yōu)化及實(shí)現(xiàn) 4次下載
- 基于Docker的云資源彈性調(diào)度策略 0次下載
- 異構(gòu)Hadoop集群下的負(fù)載自適應(yīng)反饋調(diào)度策略 11次下載
- 一種新的多級能量異構(gòu)WSNs簇優(yōu)化算法 0次下載
- 一種可重構(gòu)流媒體調(diào)度算法
- 一種面向應(yīng)用優(yōu)化的片上總線調(diào)度策略
- 一種解決函數(shù)優(yōu)化問題的免疫算法
- 一種動(dòng)態(tài)并行I/O調(diào)度新策略的研究
- 【產(chǎn)品介紹】Altair PBS Professional HPC工作負(fù)載管理器和作業(yè)調(diào)度管理系統(tǒng) 445次閱讀
- Redis集群部署與性能優(yōu)化實(shí)戰(zhàn) 739次閱讀
- 詳解Kubernetes中的Pod調(diào)度親和性 784次閱讀
- redis三種集群方案詳解 1.4k次閱讀
- FusionCompute集群重點(diǎn)知識點(diǎn)梳理 1.6k次閱讀
- Blaze: 用Rust重寫Spark執(zhí)行層,平均提升30%算力 1.9k次閱讀
- 解析優(yōu)化的調(diào)度邏輯和cuda實(shí)現(xiàn) 2.6k次閱讀
- 基于matlab遺傳算法求解柔性車間調(diào)度問題 1.5k次閱讀
- 基于邊界點(diǎn)優(yōu)化和多步路徑規(guī)劃的機(jī)器人自主探索策略 2.5k次閱讀
- RTOS應(yīng)用中的調(diào)度策略 1.3k次閱讀
- Kubernetes的集群部署 2.6k次閱讀
- 基于下界函數(shù)的最優(yōu)化這樣一種優(yōu)化思路 3.1k次閱讀
- 什么是Hadoop? Spark和Hadoop對比 7.1k次閱讀
- 一文讀懂 Spark 內(nèi)存管理 1.3k次閱讀
- 數(shù)字集群對講機(jī)的定義及功能解讀 1.9w次閱讀
下載排行
本周
- 1MDD品牌三極管MMBT3906數(shù)據(jù)手冊
- 2.33 MB | 次下載 | 免費(fèi)
- 2MDD品牌三極管S9012數(shù)據(jù)手冊
- 2.62 MB | 次下載 | 免費(fèi)
- 3聯(lián)想flex2-14D/15D說明書
- 4.92 MB | 次下載 | 免費(fèi)
- 4收音環(huán)繞擴(kuò)音機(jī) AVR-1507手冊
- 2.50 MB | 次下載 | 免費(fèi)
- 524Pin Type-C連接器設(shè)計(jì)報(bào)告
- 1.06 MB | 次下載 | 免費(fèi)
- 6新一代網(wǎng)絡(luò)可視化(NPB 2.0)
- 3.40 MB | 次下載 | 免費(fèi)
- 7MS1000TA 超聲波測量模擬前端芯片技術(shù)手冊
- 0.60 MB | 次下載 | 免費(fèi)
- 8MS1022高精度時(shí)間測量(TDC)電路數(shù)據(jù)手冊
- 1.81 MB | 次下載 | 免費(fèi)
本月
- 1愛華AIWA HS-J202維修手冊
- 3.34 MB | 37次下載 | 免費(fèi)
- 2PC5502負(fù)載均流控制電路數(shù)據(jù)手冊
- 1.63 MB | 23次下載 | 免費(fèi)
- 3NB-IoT芯片廠商的資料說明
- 0.31 MB | 22次下載 | 1 積分
- 4H110主板CPU PWM芯片ISL95858HRZ-T核心供電電路圖資料
- 0.63 MB | 6次下載 | 1 積分
- 5UWB653Pro USB口測距通信定位模塊規(guī)格書
- 838.47 KB | 5次下載 | 免費(fèi)
- 6技嘉H110主板IT8628E_BX IO電路圖資料
- 2.61 MB | 4次下載 | 1 積分
- 7蘇泊爾DCL6907(即CHK-S007)單芯片電磁爐原理圖資料
- 0.04 MB | 4次下載 | 1 積分
- 8100W準(zhǔn)諧振反激式恒流電源電路圖資料
- 0.09 MB | 2次下載 | 1 積分
總榜
- 1matlab軟件下載入口
- 未知 | 935137次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關(guān)降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設(shè)計(jì)
- 1.48MB | 420064次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233089次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191439次下載 | 10 積分
- 5十天學(xué)會AVR單片機(jī)與C語言視頻教程 下載
- 158M | 183353次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81602次下載 | 10 積分
- 7Keil工具M(jìn)DK-Arm免費(fèi)下載
- 0.02 MB | 73822次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65991次下載 | 10 積分
電子發(fā)燒友App





創(chuàng)作
發(fā)文章
發(fā)帖
提問
發(fā)資料
發(fā)視頻
上傳資料賺積分
評論