首屆開放原子開源大賽系列成果

“Intel借助開源大賽在全國的影響力，吸引更多開發(fā)者加入大語言模型及其在人工智能領(lǐng)域的創(chuàng)新應用?！必撠烞igDL-LLM賽題運營的Intel工作人員表示。

2023年，大語言模型（LLM）及應用成為全球焦點，參數(shù)量激增至萬億級。隨著模型參數(shù)數(shù)量的不斷增加，推理時間變得越來越長，運行大模型所需的資源消耗也越來越多，導致其運行緩慢，這為AI應用開發(fā)者帶來了極大的挑戰(zhàn)。

為此，Intel開發(fā)并開源了BigDL-LLM，可借助Intel平臺優(yōu)勢，助力AI開發(fā)者和研究者加速優(yōu)化大語言模型，提升大語言模型的使用體驗。

為了使BigDL-LLM服務更多開發(fā)者，并為大型語言模型的開源應用提供更多實際應用場景，Intel與開放原子開源基金會合作，通過舉辦開源大賽，激勵開發(fā)者創(chuàng)新。2023年11月，“BigDL-LLM輕量級大語言模型應用開發(fā)創(chuàng)新賽”在開放原子開源大賽平臺正式上線，致力于進一步推動大語言模型技術(shù)的發(fā)展和應用。

開源大賽

加速優(yōu)化大語言模型

開放原子開源大賽——BigDL-LLM輕量級大語言模型應用開發(fā)創(chuàng)新賽，以30萬獎金和Intel實習機會為激勵，匯聚了全國120所高校與企業(yè)單位的163支團隊，經(jīng)過嚴格篩選，來自微軟公司、華東師范大學、上海交通大學、北京航空航天大學、復旦大學、同濟大學、浙江靜好控股集團等單位的十強團隊脫穎而出，進入決賽。

本次大賽要求參賽選手通過在Intel本地PC（無需獨立顯卡）或云端，開發(fā)基于大語言模型的創(chuàng)新應用，如智能語音助手、智能助理、聊天機器人、智能客服等。參賽作品應以可執(zhí)行代碼和文檔為主，并可選包括演示、PPT、演示視頻等形式。

在決賽上，上海交通大學的SJTUNavSailor團隊使用BigDL-LLM量化后的int4模型，不僅內(nèi)存占用大幅下降，對話響應時間也從原本超過5分鐘（仍未響應）降至8秒；華東師范大學的VidBot團隊則用BigDL-LLM將Whipser語音模型放在XPU加速推理后，轉(zhuǎn)錄時間提速了一倍；

“在使用BigDL-LLM模型加速后，效果顯著，尤其是在Intel CPU平臺上可以實現(xiàn)很大程度的加速效果，提升大模型在個人電腦運行的性能，降低AI PC的使用門檻?！蓖瑵髮W、浙江靜好控股集團等入圍選手在路演現(xiàn)場接受采訪時表示。

最終，獲獎團隊通過應用大語言模型技術(shù)，為教育、招聘和美容等行業(yè)提供了創(chuàng)新的技術(shù)解決方案，展現(xiàn)了高效、穩(wěn)定和可靠的深度學習應用潛力。

開源大賽

助力輕量級大語言模型應用落地

在決賽的路演中，經(jīng)過9位資深評委專家的細致評選，浙江靜好控股集團的“美業(yè)AI大腦”團隊脫穎而出，榮獲一等獎。華東師范大學的OpenEduECNU和Vidbot團隊也展現(xiàn)了卓越實力，共同榮獲二等獎。

“美業(yè)AI大腦”團隊負責人賽后總結(jié)時表示：“我們非常幸運能夠參加開放原子開源大賽，此次獲獎不僅將AI工具落地應用在美業(yè)領(lǐng)域，更是對美業(yè)產(chǎn)業(yè)未來轉(zhuǎn)型升級的一種推動?！?/p>

據(jù)路演團隊的介紹，“美業(yè)AI大腦”旨在全面覆蓋美業(yè)的應用場景，打造一個全面、智能、互動的學習平臺。該平臺將為美業(yè)人員提供便捷、高效、有趣的學習體驗，無論是解答日常疑問、查詢專業(yè)知識、即時生成話術(shù)等，都能提供專業(yè)的解決方案。

華東師范大學OpenEduECNU團隊的代表張豈明在接受采訪時表示：“非常感謝開放原子開源大賽為我們提供了展示作品的平臺。我們的方案利用BigDL-LLM輕量級大語言模型，結(jié)合華東師范大學的海量教育數(shù)據(jù)資源，開發(fā)出了集課程問答、試題生成和課件定制（教學大綱、教學PPT）等個性化功能于一體的教育工具，旨在幫助教育工作者提高教研效率，推動教學個性化發(fā)展，促進教育公平?！?/p>

為了深入挖掘如何運用BigDL-LLM輕量級大語言模型實現(xiàn)應用開發(fā)的實際應用，我們特別邀請了本次比賽的獲獎團隊代表，分享他們的開發(fā)流程和參賽經(jīng)驗！

來自華東師范大學的數(shù)據(jù)科學與工程學院碩士研究生張豈明，將直播分享《開放原子開源大賽獲獎選手經(jīng)驗分享——Open Edu ECNU個性化課程智能助教》，回顧參賽心得與經(jīng)驗分享。