云原生計(jì)算基金會(huì)(CNCF)宣布，由華為云捐獻(xiàn)的業(yè)界首個(gè)云原生批量計(jì)算項(xiàng)目Volcano正式晉級(jí)為CNCF孵化項(xiàng)目。這意味著Volcano的技術(shù)生態(tài)受到業(yè)界廣泛認(rèn)可，CNCF云原生技術(shù)版圖對(duì)于批量計(jì)算的支持也已趨于成熟。

華為云CTO張宇昕表示：“華為云一直致力于云原生技術(shù)、產(chǎn)業(yè)和生態(tài)的建設(shè)，Volcano融入了華為云在云原生、AI、大數(shù)據(jù)、HPC等領(lǐng)域中沉積的行業(yè)和技術(shù)經(jīng)驗(yàn)，促進(jìn)云原生技術(shù)與企業(yè)數(shù)據(jù)資產(chǎn)高效融合、充分釋放數(shù)據(jù)紅利，加速企業(yè)數(shù)字化、智能化進(jìn)程?！?/p>

CNCF首席技術(shù)官Chris Aniszczyk也表示：“對(duì)于復(fù)雜的Kubernetes工作負(fù)載，尤其是AI、大數(shù)據(jù)等領(lǐng)域，批處理可以大大簡(jiǎn)化部署。以云原生的方式來精簡(jiǎn)大批量數(shù)據(jù)的處理是非常新穎和有價(jià)值的實(shí)踐，Volcano使得Kubernetes能夠成為世界級(jí)的工具，助力科學(xué)研究、高性能計(jì)算等行業(yè)的發(fā)展?！?/p>

Volcano項(xiàng)目于2019年6月開源，2020年4月正式成為CNCF沙箱項(xiàng)目。Volcano自2020年進(jìn)入CNCF以來，在人工智能、大數(shù)據(jù)、基因測(cè)序等海量數(shù)據(jù)計(jì)算和分析場(chǎng)景得到快速應(yīng)用，并構(gòu)建起完善的上下游生態(tài)，目前騰訊、愛奇藝、小紅書、蘑菇街、唯品會(huì)、鵬城實(shí)驗(yàn)室、銳天投資等企業(yè)均已將Volcano應(yīng)用于生產(chǎn)環(huán)境。

自加入CNCF以來，Volcano社區(qū)已吸引2.6萬全球開發(fā)者、并獲得2.3k Star和530+ Fork。Google、Facebook、Amazon、Red Hat、華為、百度、騰訊、建信金融科技等科技巨頭紛紛加入Volcano社區(qū)貢獻(xiàn)，海內(nèi)外生產(chǎn)落地用戶廣泛分布于互聯(lián)網(wǎng)、先進(jìn)制造、金融、生命科學(xué)、科研等行業(yè)。Volcano也因其創(chuàng)新的技術(shù)理念、活躍的社區(qū)生態(tài)獲得第二屆“中國(guó)優(yōu)秀開源項(xiàng)目”和 “2021年OSCAR尖峰開源社區(qū)及開源項(xiàng)目獎(jiǎng)”，其作業(yè)管理能力被寫入由中國(guó)信息通信研究院牽頭制定的《高性能計(jì)算(HPC)云平臺(tái)標(biāo)準(zhǔn)》，成為行業(yè)標(biāo)準(zhǔn)。

過去兩年，Volcano全球生態(tài)發(fā)展迅速，一批行業(yè)標(biāo)桿用戶不僅積極地推動(dòng)Volcano落地生產(chǎn)環(huán)境，也基于自身實(shí)踐反哺社區(qū)，實(shí)現(xiàn)雙贏。

小紅書技術(shù)部負(fù)責(zé)人張雷表示：“云原生批量計(jì)算項(xiàng)目Volcano應(yīng)用于小紅書大規(guī)模機(jī)器學(xué)習(xí)平臺(tái)、大數(shù)據(jù)平臺(tái)等生產(chǎn)系統(tǒng)，支撐著搜索、推薦、廣告、內(nèi)容審核等多項(xiàng)關(guān)鍵業(yè)務(wù)，Volcano大大簡(jiǎn)化和加速了大數(shù)據(jù)以及AI應(yīng)用在云原生環(huán)境的落地進(jìn)程，小紅書業(yè)務(wù)系統(tǒng)借助Volcano提供的豐富功能和優(yōu)越性能，實(shí)現(xiàn)了資源成本的降低和作業(yè)性能的提升，期待Volcano在云原生領(lǐng)域持續(xù)深耕，發(fā)揮更大價(jià)值?！?/p>

中科類腦研發(fā)總監(jiān)常峰提出：“Volcano是最早針對(duì)批量計(jì)算場(chǎng)景開源的云原生項(xiàng)目之一，其動(dòng)態(tài)可配的高級(jí)調(diào)度策略和優(yōu)秀的資源管理能力解決了AI場(chǎng)景下作業(yè)調(diào)度、生命周期管理、異構(gòu)硬件支持等多個(gè)問題。在落地實(shí)踐的過程中，我們基于Volcano的能力做擴(kuò)展，有效提升了系統(tǒng)穩(wěn)定性和資源利用效率。期待加入CNCF后，在社區(qū)的加持下Volcano能持續(xù)孕育出更多優(yōu)秀的解決方案和最佳實(shí)踐?！?/p>

截止目前，Volcano社區(qū)共發(fā)布21個(gè)版本，最新版本為v1.5.1。2022年，社區(qū)將會(huì)進(jìn)一步擴(kuò)大技術(shù)版圖，聚焦以下能力建設(shè)：

跨云跨集群調(diào)度：跨集群一直是分布調(diào)度系統(tǒng)解決大規(guī)模、災(zāi)備等問題的主要解決方案。同時(shí)，為了降低廠商綁定的風(fēng)險(xiǎn)，并最大限度兼顧不同云廠商的優(yōu)勢(shì)，多云環(huán)境下的負(fù)載高效分發(fā)逐漸成為趨勢(shì)。Volcano將會(huì)通過多個(gè)項(xiàng)目構(gòu)建分層調(diào)度體系，基于全局資源視圖，提供多樣化策略如成本優(yōu)先、效率優(yōu)先等，為作業(yè)發(fā)放提供最佳決策。

在離線作業(yè)混部：針對(duì)業(yè)界普遍存在的數(shù)據(jù)中心集群資源率低下的問題，Volcano將圍繞業(yè)務(wù)感知、在離線統(tǒng)一調(diào)度、資源超賣、資源隔離與搶占、動(dòng)態(tài)調(diào)度等能力的構(gòu)建，在保證業(yè)務(wù)穩(wěn)定性的前提下實(shí)現(xiàn)降本增效。

彈性調(diào)度：針對(duì)彈性訓(xùn)練、競(jìng)價(jià)實(shí)例的場(chǎng)景，Volcano將會(huì)增強(qiáng)基于min，max的調(diào)度能力、作業(yè)感知、資源搶占能力，實(shí)現(xiàn)資源利用最大化。

GPU虛擬化：推理場(chǎng)景以及GPU開發(fā)的場(chǎng)景，GPU使用率普遍偏低，Volcano已實(shí)現(xiàn)多容器共享使用GPU，未來將進(jìn)一步增強(qiáng)算力、顯存的隔離能力，保障在提升利用率的同時(shí)，降低業(yè)務(wù)間的干擾。

細(xì)粒度資源管理：Volcano目前通過Queue提供資源的高效復(fù)用，針對(duì)更復(fù)雜的場(chǎng)景，Volcano將會(huì)通過Hierarchy Queue,、Policy per Queue、Plugin per Queue等機(jī)制提供更細(xì)粒度的管理和共享。

工作流管理：工作量的編排使用越來越廣泛，Volcano將基于子項(xiàng)目JobFlow，構(gòu)建多場(chǎng)景、輕量化、高性能的編排能力。

基于真實(shí)負(fù)載的動(dòng)態(tài)調(diào)度與重調(diào)度：針對(duì)當(dāng)前基于資源申請(qǐng)進(jìn)行的負(fù)載調(diào)度、資源碎片化引入的節(jié)點(diǎn)使用率不均衡的問題，Volcano將結(jié)合監(jiān)控能力構(gòu)建基于真實(shí)負(fù)載的動(dòng)態(tài)調(diào)度和重調(diào)度。

華為云一直是云原生新技術(shù)的探路者、產(chǎn)業(yè)新格局的開拓者，2015年華為作為唯一亞洲企業(yè)參與云原生計(jì)算基金會(huì)(CNCF)創(chuàng)建，并一直是CNCF核心項(xiàng)目的主要貢獻(xiàn)者，代碼貢獻(xiàn)穩(wěn)居亞洲第一。除Volcano項(xiàng)目外，華為云還捐獻(xiàn)了首個(gè)智能邊緣計(jì)算項(xiàng)目KubeEdge、首個(gè)多云容器編排項(xiàng)目Karmada，完善了CNCF的技術(shù)生態(tài);同時(shí)，華為云還擁有服務(wù)網(wǎng)格頂級(jí)開源社區(qū)Istio在亞洲的首個(gè)指導(dǎo)委員會(huì)席位。

為進(jìn)一步推動(dòng)云原生技術(shù)在各行業(yè)的落地、構(gòu)建產(chǎn)業(yè)融合新格局，華為云聯(lián)合中國(guó)信通院先后發(fā)布了《云原生2.0白皮書》、《數(shù)字政府云原生基礎(chǔ)設(shè)施白皮書》為企業(yè)落地云原生提供體系化的理論參考，并與CNCF、中國(guó)信通院聯(lián)合成立了全球云原生交流平臺(tái)——?jiǎng)?chuàng)原會(huì)，為全球企業(yè)提供共享、共創(chuàng)、共贏的云原生交流平臺(tái)，已服務(wù)于500+企業(yè)的技術(shù)管理者。未來，華為云將持續(xù)與廣大客戶一起共建云原生產(chǎn)業(yè)生態(tài)圈，做深耕數(shù)字化的先行者。

原文標(biāo)題：重磅!業(yè)界首個(gè)云原生批量計(jì)算項(xiàng)目Volcano正式晉級(jí)為CNCF孵化項(xiàng)目

文章出處：【微信公眾號(hào)：華為開發(fā)者社區(qū)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅