作為信息化、數(shù)字化、智能化的新型技術(shù)基座，生成式人工智能對(duì)于提升國家戰(zhàn)略地位與國際競爭力具有重要意義。2022年11月以來，隨著以ChatGPT為代表的大語言模型迅速發(fā)展，生成式人工智能（Generative Artificial Intelligence， GenAI）推動(dòng)人工智能從算法智能（Algorithmic Intelligence，AI）進(jìn)入語言智能（Linguistic Intelligence，LI）時(shí)代，正在全面革新社會(huì)生產(chǎn)力。當(dāng)前，大語言模型成為現(xiàn)代人工智能的基石，構(gòu)筑起連接多模態(tài)的橋梁。2024年2月美國OpenAI發(fā)布的Sora，以其長達(dá)1分鐘的高質(zhì)量視頻生成能力，進(jìn)一步開啟了想象智能（Imaginative Intelligence，II）新時(shí)代。Sora初步體現(xiàn)出世界模擬器的能力，為探索通用人工智能（Artificial General Intelligence， AGI）邁出了重要一步。我國近年來也在生成式人工智能領(lǐng)域不斷取得進(jìn)展，文心一言、通義千問、盤古、混元、Kimi等大模型在中文應(yīng)用領(lǐng)域建立優(yōu)勢，呈現(xiàn)出“百模爭鳴”的繁榮局面。同時(shí)，我國生成式人工智能也面臨著算法低效、數(shù)據(jù)不足、算力緊缺、能耗過高等問題，特別是我國在芯片受限的情況下，算力問題尤為突出。本文將介紹生成式人工智能的發(fā)展，重點(diǎn)分析我國生成式人工智能所面臨的挑戰(zhàn)，進(jìn)一步討論對(duì)策，并展望未來發(fā)展趨勢。

生成式人工智能的源起與發(fā)展

生成式人工智能是指一類能夠自主生成新內(nèi)容的人工智能技術(shù)，這些內(nèi)容可以包括文本、圖像、音頻和視頻等多種形式。生成式人工智能通過學(xué)習(xí)已有數(shù)據(jù)的模式和結(jié)構(gòu)，創(chuàng)造出全新的、未曾出現(xiàn)過的數(shù)據(jù)實(shí)例。生成式人工智能的核心在于其創(chuàng)造性和創(chuàng)新性，它不僅僅是復(fù)制或模仿現(xiàn)實(shí)，而是能夠基于已有知識(shí)進(jìn)行創(chuàng)新，生成有價(jià)值的新內(nèi)容。生成式人工智能模型的例子包括生成對(duì)抗網(wǎng)絡(luò)（GAN）、變分自編碼器（VAE）和生成式預(yù)訓(xùn)練Transformer（GPT）等。生成式人工智能應(yīng)用領(lǐng)域廣泛，已經(jīng)對(duì)藝術(shù)、設(shè)計(jì)、娛樂，甚至科學(xué)研究帶來實(shí)質(zhì)變革。生成式人工智能的發(fā)展前景廣闊，它不僅能夠?yàn)槿藗兊娜粘Ｉ顜肀憷?還能夠幫助人們提高工作效率，促進(jìn)產(chǎn)業(yè)升級(jí)，推進(jìn)社會(huì)發(fā)展。

生成式人工智能研究范式與之前的深度學(xué)習(xí)有著明顯的不同之處。在過去，深度學(xué)習(xí)的理論與算法研究主要由學(xué)術(shù)界參與，而生成式人工智能的發(fā)展主要由包括Open AI、 Google、Met、Anthropi、Midjourney和Stability AI在內(nèi)的多家公司推動(dòng)。這些公司在生成式人工智能領(lǐng)域投入了大量資源，并通過研發(fā)和商業(yè)應(yīng)用推動(dòng)了技術(shù)的進(jìn)步和應(yīng)用，使得生成式人工智能能夠更快地從實(shí)驗(yàn)室走向市場，并在各個(gè)領(lǐng)域取得廣泛的應(yīng)用和影響。

生成式人工智能在創(chuàng)造新內(nèi)容和推動(dòng)技術(shù)進(jìn)步的同時(shí)，也可能帶來一系列安全問題，主要包括以下幾個(gè)方面：

在虛假信息方面，生成式人工智能能夠制作逼真的文本、圖像、音頻和視頻內(nèi)容，這可能導(dǎo)致虛假新聞、偽造證據(jù)和誤導(dǎo)性信息的產(chǎn)生和傳播，對(duì)社會(huì)秩序和公共安全造成威脅。通過生成式人工智能技術(shù)，深度偽造技術(shù)（Deepfakes）可以創(chuàng)建逼真的偽造人臉和聲音，這可能被用于身份冒充、欺詐和誹謗，侵犯個(gè)人隱私和名譽(yù)權(quán)。生成式人工智能模型可能被用于制造惡意軟件或進(jìn)行網(wǎng)絡(luò)攻擊，例如生成用于釣魚攻擊的逼真電子郵件或創(chuàng)建用于繞過安全系統(tǒng)的虛假憑證。

在版權(quán)與隱私保護(hù)方面，在訓(xùn)練生成式人工智能模型時(shí)，可能需要大量的個(gè)人數(shù)據(jù)，這些數(shù)據(jù)如果未經(jīng)妥善處理，可能會(huì)泄露個(gè)人隱私，增加數(shù)據(jù)泄露的風(fēng)險(xiǎn)。生成式人工智能在創(chuàng)作過程中可能會(huì)無意中復(fù)制或模仿受版權(quán)保護(hù)的作品，從而引發(fā)知識(shí)產(chǎn)權(quán)糾紛。

在倫理和道德方面，生成式人工智能在創(chuàng)作內(nèi)容時(shí)，可能缺乏人類的判斷和審查，從而產(chǎn)生不當(dāng)或不敏感的輸出。為此，世界各國正在加速立法，鼓勵(lì)生成式人工智能技術(shù)的創(chuàng)新應(yīng)用，同時(shí)規(guī)定了服務(wù)提供者和使用者應(yīng)當(dāng)遵守的基本規(guī)范，包括尊重知識(shí)產(chǎn)權(quán)和他人合法權(quán)益，提高生成內(nèi)容的準(zhǔn)確性和可靠性等，確保其健康有序地發(fā)展。

此外，據(jù)《紐約客》相關(guān)報(bào)道，OpenAI的GPT-3在訓(xùn)練階段單次耗電量高達(dá)128.7萬度；而ChatGPT部署上線后，按照日均請(qǐng)求2億次計(jì)算，支撐推理應(yīng)答服務(wù)的耗電高達(dá)每天50萬度。在我國，根據(jù)公開資料，三峽大壩年平均發(fā)電量約為850億度，而2022年我國主要數(shù)據(jù)中心耗電量達(dá)到2700億度，已是三峽年均發(fā)電量的3倍多。冷卻用水消耗、碳排放足跡等，也將對(duì)生態(tài)環(huán)境造成不可忽視的影響。

我國生成式人工智能發(fā)展現(xiàn)狀

總體情況。自2022年11月ChatGPT發(fā)布以來，國產(chǎn)大模型迅速崛起，形成了“百模爭鳴”的繁榮局面。百度的文心1.0通用大模型自2019年首次推出后，已升級(jí)至4.0版本。阿里云、華為、騰訊、科大訊飛等公司也推出了各自的通用大模型，如通義千問、盤古、混元和星火等，并向公眾開放。在這場競賽中，初創(chuàng)企業(yè)也取得了顯著成就，例如“月之暗面”推出的Kimi智能助手大模型，支持高達(dá)200萬漢字的上下文長度，引起了業(yè)界廣泛關(guān)注。學(xué)術(shù)界也積極參與國產(chǎn)大模型的研究，例如中科院自動(dòng)化所發(fā)布了全球首個(gè)圖文音三模態(tài)預(yù)訓(xùn)練模型——紫東太初大模型，上海人工智能實(shí)驗(yàn)室與復(fù)旦大學(xué)聯(lián)合發(fā)布了書生·浦語通用大模型（InternLM）。為推動(dòng)技術(shù)與市場發(fā)展，一些廠商提供了開源版本的大模型，如阿里云的Qwen系列、零一萬物的Yi系列、智譜華章的GLM系列、科大訊飛的iFlytekSpark系列、百川智能的Baichuan系列等。這些開源模型為研究和應(yīng)用提供了便利，進(jìn)一步促進(jìn)了國產(chǎn)大模型技術(shù)的創(chuàng)新和應(yīng)用。

為了增強(qiáng)對(duì)蓬勃發(fā)展的國產(chǎn)大模型的認(rèn)識(shí)，新華社研究院中國企業(yè)發(fā)展研究中心于2023年發(fā)布了三版《2023年人工智能大模型體驗(yàn)報(bào)告》，回顧了大模型產(chǎn)品市場的激烈競爭，并對(duì)當(dāng)前大模型產(chǎn)品和廠商進(jìn)行了整體測評(píng)。同時(shí)，多個(gè)機(jī)構(gòu)也推出了各自的大模型評(píng)測體系和排行榜，如“司南”（OpenCompass）、C-Eval、SuperCLUE等，廠商間的激烈競爭彰顯了該行業(yè)的活力與吸引力。排行榜在展現(xiàn)國產(chǎn)大模型激烈競爭的同時(shí)，也揭示出業(yè)內(nèi)的亂象，例如模型套殼、評(píng)分作假等。

領(lǐng)域應(yīng)用。在通用大模型的基礎(chǔ)上發(fā)展領(lǐng)域?qū)Ｓ媚Ｐ?，推進(jìn)垂直領(lǐng)域應(yīng)用是我國生成式人工智能領(lǐng)域的特色。國內(nèi)專用領(lǐng)域大模型在科學(xué)研究、教育、醫(yī)學(xué)、工業(yè)、金融多個(gè)行業(yè)得到應(yīng)用和發(fā)展。

在AI4S（AI for Science）領(lǐng)域，華為的盤古氣象大模型利用深度神經(jīng)網(wǎng)絡(luò)和地球先驗(yàn)知識(shí)，實(shí)現(xiàn)了高精度的實(shí)時(shí)氣象預(yù)測，超越了傳統(tǒng)數(shù)值預(yù)測方法?；瘜W(xué)領(lǐng)域，中國科學(xué)技術(shù)大學(xué)提出的Chem-GPT模型/華東師范大學(xué)的提出的ChenGPT1.0/上海交通大學(xué)提出的BAI-Chem大模型，以及西北工業(yè)大學(xué)與華為合作的“秦嶺·翱翔”流體力學(xué)大模型，均在各自領(lǐng)域取得了一定的成果。

在教育領(lǐng)域，華東師范大學(xué)和北京語言大學(xué)分別開發(fā)的EduChat和桃李教育大模型，以及學(xué)而思的九章大模型（MathGPT）和網(wǎng)易有道的子曰教育大模型，展示了大模型在輔助教學(xué)過程中的重要作用。

在工業(yè)領(lǐng)域，中國廣核集團(tuán)推出的“錦書”核工業(yè)語言大模型、中科院大連化物所的化工大模型、中工互聯(lián)公司的“智工”大模型，以及中煤科工西安研究院的“GeoGPT”地質(zhì)大模型，提升了工業(yè)領(lǐng)域的智能化水平。

在醫(yī)學(xué)領(lǐng)域，華南理工大學(xué)的生活空間健康大模型扁鵲（BianQue）和心理健康大模型靈心（SoulChat）、香港中文大學(xué)的華佗GPT模型、浙江大學(xué)的啟真醫(yī)療大模型、醫(yī)聯(lián)科技的medGPT大模型，以及多個(gè)中醫(yī)藥大模型如百度健康的岐黃問道大模型、華東師范大學(xué)的神農(nóng)中醫(yī)藥大模型（ShenNong-TCM）、復(fù)旦大學(xué)和同濟(jì)大學(xué)合作的仲景中醫(yī)大語言模型（CMLM-ZhongJing）、南京大學(xué)與鄭州大學(xué)的黃帝模型（Huang-Di）等等，推動(dòng)了醫(yī)療健康領(lǐng)域的智能化發(fā)展。

在金融領(lǐng)域，中國科學(xué)院成都計(jì)算機(jī)應(yīng)用研究所的“聚寶盆”金融知識(shí)問答大模型、度小滿的“軒轅”千億級(jí)開源金融大模型、恒生電子的LightGP、瀾舟科技的孟子大模型，以及香港科技大學(xué)的InvestLM投資金融大模型，在金融行業(yè)中發(fā)揮日益重要的作用。

這些行業(yè)大模型初步提升了行業(yè)生產(chǎn)效率，不斷塑造新動(dòng)能、新優(yōu)勢。同時(shí)，大模型在某些行業(yè)的落地應(yīng)用還存在很多挑戰(zhàn)，發(fā)展前景具有不確定因素。

政策法規(guī)。為了國產(chǎn)大模型的規(guī)范化和健康化發(fā)展，國家網(wǎng)信辦聯(lián)合國家發(fā)展改革委、教育部、科技部等七部門聯(lián)合發(fā)布《生成式人工智能服務(wù)管理暫行辦法》，規(guī)定對(duì)生成式人工智能大模型實(shí)施“備案制”管理。此外，為了滿足當(dāng)前國產(chǎn)大模型發(fā)展所引發(fā)的巨大算力需求，我國陸續(xù)出臺(tái)了《全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實(shí)施方案》《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動(dòng)計(jì)劃》《“十四五”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃》等一系列文件推動(dòng)算力基礎(chǔ)設(shè)施建設(shè)。

我國生成式人工智能面臨的挑戰(zhàn)

雖然我國在生成式人工智能領(lǐng)域呈現(xiàn)出繁榮景象，但與國際領(lǐng)先水平相比，我國在算力設(shè)施、數(shù)據(jù)質(zhì)量、算法創(chuàng)新、資金投入、人才儲(chǔ)備、產(chǎn)業(yè)發(fā)展、生態(tài)建設(shè)等方面仍有一定差距。

算力。在AI算力領(lǐng)域，美國英偉達(dá)公司在全球占據(jù)主導(dǎo)地位，而國內(nèi)AI芯片制造商如華為、寒武紀(jì)、摩爾線程、壁仞科技、海光信息、天數(shù)智芯等也在積極發(fā)展，百度、科大訊飛等企業(yè)也聯(lián)合國產(chǎn)芯片廠開放部署了自主可控大模型算力底座“星火一體機(jī)”、“飛星一號(hào)”等平臺(tái)。其中，華為在AI計(jì)算領(lǐng)域水平最為領(lǐng)先，推出了基于達(dá)芬奇架構(gòu)的昇騰系列AI芯片。面對(duì)當(dāng)前海外高性能芯片進(jìn)口受限的現(xiàn)實(shí)，國產(chǎn)高性能芯片取得了一定的發(fā)展，但與國際先進(jìn)水平相比，仍存在一定差距。

以英偉達(dá)的H100（SXM）和華為的昇騰Ascend 910B為例，作為國際和國內(nèi)主力AI芯片，H100（SXM）的FP16算力達(dá)到1979TFLOPS，是昇騰910B的5.2倍；顯存方面，H100（SXM）的80G HBM3是昇騰910B的64GHBM2的1.25倍，且新一代顯存帶來的性能差距更大。此外，H100（SXM）采用NVLINK技術(shù)，具有900GB/s的卡間互聯(lián)帶寬，是昇騰910B的2.25倍。英偉達(dá)的CUDA架構(gòu)和專用庫如CuDNN，形成了成熟的軟硬件生態(tài)，而華為的CANN架構(gòu)雖在不斷完善，但起步較晚，在算子豐富度及算法優(yōu)化方面仍存在差距。尤其值得注意的是，英偉達(dá)等企業(yè)的AI芯片快速迭代升級(jí)，而我國由于受到芯片制造技術(shù)封鎖，產(chǎn)品更新速度大大減慢。英偉達(dá)在2023年發(fā)布了新一代H200芯片，顯存容量提升至141G，大模型推理速度翻倍。2024年3月，英偉達(dá)又發(fā)布了Blackwell計(jì)算平臺(tái)，性能顯著提升。例如，訓(xùn)練1.8萬億參數(shù)的GPT-4，使用Blackwell平臺(tái)相比Hopper能耗大幅降低。相比之下，華為的昇騰Ascend 910在2019年就已推出，而升級(jí)版Ascend 910B在2023年才小規(guī)模投入使用。此外，谷歌基于自研TPU的算力平臺(tái)已經(jīng)體現(xiàn)出強(qiáng)大的實(shí)力，近期備受關(guān)注的Groq公司研發(fā)的大語言模型推理芯片LPU，推理速度可達(dá)H100的十倍。綜合來看，我國與國際算力先進(jìn)水平的差距短期內(nèi)進(jìn)一步拉大。

數(shù)據(jù)。數(shù)據(jù)是生成式人工智能的核心要素之一，我國在人工智能訓(xùn)練數(shù)據(jù)的質(zhì)量和數(shù)量、管理、共享、應(yīng)用等方面與國外英文數(shù)據(jù)相比，存在一些差距和挑戰(zhàn)：

在數(shù)據(jù)質(zhì)量和多樣性方面，我國的中文數(shù)據(jù)雖然近年來快速增長，但在某些領(lǐng)域，如專業(yè)醫(yī)療、法律等，高質(zhì)量的標(biāo)注數(shù)據(jù)仍然相對(duì)不足。英文數(shù)據(jù)由于互聯(lián)網(wǎng)歷史較長、用戶基數(shù)大，覆蓋了廣泛的文化和語境，積累了大量的高質(zhì)量文本和多媒體數(shù)據(jù)，這有助于訓(xùn)練出更具泛化能力的AI模型。中文數(shù)據(jù)雖然在本土文化和語境上具有優(yōu)勢，但在處理多方言、多文化背景下的數(shù)據(jù)上，仍需加強(qiáng)多樣性和包容性。

在數(shù)據(jù)管理和共享方面，我國公共數(shù)據(jù)范圍廣泛，但在開放共享和開發(fā)利用方面存在不足。例如，天氣數(shù)據(jù)在范圍和歷史跨度上有所限制，法律領(lǐng)域的裁判文書網(wǎng)由公開轉(zhuǎn)為內(nèi)網(wǎng)查詢。社會(huì)力量主要依賴海外優(yōu)質(zhì)開源數(shù)據(jù)集，中文語料主要來源于網(wǎng)絡(luò)公開數(shù)據(jù)，政府?dāng)?shù)據(jù)貢獻(xiàn)相對(duì)較少。為提升我國在AI領(lǐng)域的競爭力，需要加強(qiáng)公共數(shù)據(jù)的開放共享，優(yōu)化數(shù)據(jù)管理和利用，鼓勵(lì)政府和社會(huì)力量的合作，共同推動(dòng)數(shù)據(jù)資源的高效開發(fā)和應(yīng)用?？傮w而言，中文語料庫的量、質(zhì)、開源情況都不如英文，存在數(shù)據(jù)資源碎片化和流通機(jī)制不完善的問題，尚未形成對(duì)大模型提供有效數(shù)據(jù)資源的生態(tài)，一定程度上阻礙了我國生成式人工智能的發(fā)展。

算法。算法、數(shù)據(jù)和算力是深度學(xué)習(xí)三大要素。在基礎(chǔ)算法方面，2017年谷歌提出的Transformer已經(jīng)成為生成式AI的核心模塊。此后，多模態(tài)領(lǐng)域的CLIP，生成式領(lǐng)域的擴(kuò)散模型（Diffusion Model）、混合專家模型（MoE）等方法均由國外機(jī)構(gòu)提出并發(fā)展，而我國科研機(jī)構(gòu)提出的創(chuàng)新方法相對(duì)較少且影響力不足。

在大語言模型方面，谷歌的Bert和OpenAI的GPT最先開啟了新時(shí)代，特別是OpenAI發(fā)布的 ChatGPT成為AI發(fā)展路程上的一個(gè)里程碑。而后續(xù)的GPT-4以其在多數(shù)任務(wù)指標(biāo)上的優(yōu)異表現(xiàn)，在眾多語言大模型中仍然占據(jù)榜首。Meta開源的Llama大模型雖然稍晚性能稍遜，但是其開源屬性，成為世界上眾多大模型的源頭。在文本生成圖像方面，OpenAI的DALL·E和谷歌的Imagen在2022年最先發(fā)布，以其高真實(shí)度的效果迅速引起了全球范圍的注意，人工智能生成內(nèi)容（AIGC）進(jìn)入新時(shí)代。在文本生成視頻方面，OpenAI在2024年2月發(fā)布Sora，再次取得歷史性突破。在大語言模型領(lǐng)域，國內(nèi)的百度、智源、中科院等單位具有先發(fā)優(yōu)勢，推出文心一言、GLM等大模型。2022年以來在開源力量等因素的推動(dòng)下，形成“百模大戰(zhàn)”的繁榮局面，但整體上的性能沒有超過GPT-4等國外模型。而在文本生成視頻方面，國內(nèi)與Sora的差距更為明顯。

促進(jìn)我國生成式人工智能發(fā)展的對(duì)策建議

在當(dāng)前形勢下，我國應(yīng)在算力能效結(jié)合、數(shù)據(jù)開放共享、模型垂直應(yīng)用、生態(tài)綜合健全等方面統(tǒng)籌規(guī)劃，調(diào)動(dòng)各方力量，實(shí)現(xiàn)全面發(fā)展。

第一，鼓勵(lì)計(jì)算架構(gòu)多元?jiǎng)?chuàng)新，充分利用我國能源優(yōu)勢，建設(shè)高能效智能算力網(wǎng)絡(luò)。在計(jì)算芯片方面，應(yīng)探索發(fā)展更適合AI計(jì)算的架構(gòu)，發(fā)展多樣化技術(shù)路線。雖然在短期內(nèi)Nvidia的GPU系列仍將是AI計(jì)算的主要平臺(tái)，但其也存在設(shè)計(jì)上的不足，一些新、舊勢力正在打破其壟斷局面。例如美國初創(chuàng)公司Groq研發(fā)的LPU，專門面向大語言模型推理，速度獲得顯著提升，而老牌Intel最新研發(fā)的AI計(jì)算芯片Gaudi3，訓(xùn)練性能達(dá)到Nvidia H100的1.7倍。我國也應(yīng)激勵(lì)研發(fā)AI專用體系架構(gòu)，充分利用RISC-V等開源架構(gòu)，加快芯片制造技術(shù)升級(jí)，探索自主可控的計(jì)算生態(tài)體系。此外，應(yīng)加快量子計(jì)算等新計(jì)算形式的研究。量子計(jì)算利用量子疊加和量子糾纏原理，其天然的并行處理能力遠(yuǎn)高于目前的主流處理器。近年來量子計(jì)算實(shí)現(xiàn)技術(shù)快速發(fā)展，量子機(jī)器學(xué)習(xí)等領(lǐng)域已經(jīng)展現(xiàn)出潛力。

在電力供給方面，隨著AI算力的不斷提升，對(duì)電力的需求也在急劇增長，電力已成為AI算力對(duì)決的關(guān)鍵因素。生成式人工智能技術(shù)的發(fā)展離不開算力的支撐，而算力的提升又離不開電力的供應(yīng)。我國“百模大戰(zhàn)”或?qū)?dòng)智算中心及其配套所需的相關(guān)電力、儲(chǔ)能基礎(chǔ)設(shè)施建設(shè)和投運(yùn)速度的大幅提高。對(duì)此，除強(qiáng)化國家級(jí)超算中心之外，我國可著重從兩個(gè)方面應(yīng)對(duì)能源算力不斷增長的挑戰(zhàn)。一是開展算力與能源的結(jié)合，參考比特幣“礦廠”模式，將算力中心部署在在四川、云南、內(nèi)蒙古、新疆等電力充足地區(qū)，就近利用火電、水電、風(fēng)能、太陽能，依托自主硬件設(shè)備，建設(shè)高效能算力中心，助力“東數(shù)西算”。二是通過分布式計(jì)算調(diào)動(dòng)社會(huì)資源，進(jìn)一步利用社會(huì)閑置算力，吸引公眾參與科學(xué)研究。

第二，建立聯(lián)邦數(shù)據(jù)基礎(chǔ)，鼓勵(lì)開放共享，促進(jìn)數(shù)據(jù)提質(zhì)增量。針對(duì)數(shù)據(jù)存量少、質(zhì)量低、開放不足、共享機(jī)制不完善的問題，我國首要任務(wù)是建設(shè)智能聯(lián)邦生態(tài)系統(tǒng)，而聯(lián)邦數(shù)據(jù)是其中的當(dāng)務(wù)之急。聯(lián)邦數(shù)據(jù)為數(shù)據(jù)安全和隱私問題提供有效解決方案，其運(yùn)行機(jī)理遵循平行智能范式，能夠根據(jù)Morton定律和平行強(qiáng)化學(xué)習(xí)等方法探索實(shí)現(xiàn)數(shù)據(jù)最優(yōu)化，為將大數(shù)據(jù)轉(zhuǎn)化為智能打下基礎(chǔ)。聯(lián)邦數(shù)據(jù)的架構(gòu)包括六個(gè)組件，即真實(shí)數(shù)據(jù)/物理對(duì)象、虛擬數(shù)據(jù)/數(shù)字孿生、聯(lián)邦數(shù)據(jù)實(shí)驗(yàn)、聯(lián)邦融合、聯(lián)邦安全和可信聯(lián)邦智慧。前兩個(gè)組件用于處理來自物理對(duì)象的真實(shí)數(shù)據(jù)和安裝在特定設(shè)備上的數(shù)字孿生生成的虛擬數(shù)據(jù)，以及其他方法生成的虛擬數(shù)據(jù)。聯(lián)邦數(shù)據(jù)實(shí)驗(yàn)是探索最優(yōu)模型的關(guān)鍵過程之一，通過在解決方案空間中搜索，例如，使用強(qiáng)化學(xué)習(xí)和并行強(qiáng)化學(xué)習(xí)找到本地模型的最優(yōu)參數(shù)。聯(lián)邦融合組件負(fù)責(zé)將本地模型合成全局最優(yōu)模型，通過使用專門設(shè)計(jì)的模型融合算法，如動(dòng)態(tài)融合機(jī)制。聯(lián)邦安全組件負(fù)責(zé)實(shí)現(xiàn)數(shù)據(jù)安全和隱私。數(shù)據(jù)所有權(quán)和使用權(quán)是分開的，即對(duì)于特定節(jié)點(diǎn)，數(shù)據(jù)存儲(chǔ)在其本地地址，而這些數(shù)據(jù)訓(xùn)練的模型被轉(zhuǎn)移到聯(lián)邦融合和聯(lián)邦數(shù)據(jù)實(shí)驗(yàn)組件，類似于聯(lián)邦學(xué)習(xí)。此外，安全性還可以通過區(qū)塊鏈或其他加密方法進(jìn)一步提高。從聯(lián)邦數(shù)據(jù)實(shí)驗(yàn)和聯(lián)邦融合的結(jié)果中，可以獲得可信的聯(lián)邦智能。

第三，持續(xù)算法創(chuàng)新，打造專業(yè)大模型，開拓垂直領(lǐng)域應(yīng)用新場景。在短期內(nèi)我國AI算力受限、模型算法創(chuàng)新突破難度較大的背景下，應(yīng)在持續(xù)鼓勵(lì)算法創(chuàng)新的同時(shí)，以彌補(bǔ)算力短板、促進(jìn)產(chǎn)業(yè)升級(jí)、解決行業(yè)痛點(diǎn)為出發(fā)點(diǎn)，著力打造專業(yè)大模型，開拓垂直領(lǐng)域應(yīng)用新場景。通過專注于垂直領(lǐng)域的專業(yè)大模型，可以更有效地利用現(xiàn)有算力資源，避免在通用AI模型上的重復(fù)資源浪費(fèi)。專業(yè)大模型針對(duì)特定問題進(jìn)行優(yōu)化，能夠在有限的算力下實(shí)現(xiàn)更高的性能和效率。專業(yè)大模型能夠針對(duì)特定行業(yè)的需求提供定制化的智能解決方案，推動(dòng)傳統(tǒng)產(chǎn)業(yè)的數(shù)字化和智能化轉(zhuǎn)型，從而提升整個(gè)產(chǎn)業(yè)鏈的技術(shù)水平和價(jià)值創(chuàng)造能力。例如，在醫(yī)療、金融、交通、教育等關(guān)鍵領(lǐng)域，專業(yè)大模型能夠解決行業(yè)痛點(diǎn)問題，如提高疾病診斷的準(zhǔn)確性、優(yōu)化金融服務(wù)的個(gè)性化推薦、緩解交通擁堵等，持續(xù)增進(jìn)人民福祉。

第四，探索TAO（True DAO），發(fā)展智能聯(lián)邦生態(tài)，健全智能生態(tài)。如前所述，人工智能技術(shù)的創(chuàng)新和健康發(fā)展涉及到算力、算法、數(shù)據(jù)多個(gè)要素，需要政府、學(xué)術(shù)界、企業(yè)以及社會(huì)大眾的共同努力。因此，建立健全促進(jìn)AI發(fā)展的生態(tài)體系十分關(guān)鍵。

一方面，充分利用區(qū)塊鏈、分布式自治組織（DAO），借助目前國際上開始流行的Web3和DeSci浪潮，推進(jìn)我國AI領(lǐng)域全面發(fā)展。區(qū)塊鏈?zhǔn)且环N分布式賬本技術(shù)，它通過加密和共識(shí)機(jī)制確保數(shù)據(jù)的不可篡改性和透明性。在AI領(lǐng)域，區(qū)塊鏈可以用于確保數(shù)據(jù)的安全性和隱私性，同時(shí)為AI模型提供高質(zhì)量、可追溯的數(shù)據(jù)源。分布式自治組織（DAO）是一種基于區(qū)塊鏈技術(shù)的組織形式，它通過智能合約自動(dòng)執(zhí)行組織的規(guī)則和決策過程，可以為AI項(xiàng)目提供去中心化的管理和資金分配機(jī)制，與區(qū)塊鏈結(jié)合促進(jìn)AI技術(shù)的開放協(xié)作和共同治理之TAO（True DAO）。Web3指的是構(gòu)建在區(qū)塊鏈技術(shù)之上的下一代互聯(lián)網(wǎng)，它所強(qiáng)調(diào)的數(shù)據(jù)去中心化存儲(chǔ)、用戶隱私保護(hù)、數(shù)據(jù)所有權(quán)歸還給用戶等理念，為AI提供了一個(gè)更加開放、透明和安全的數(shù)據(jù)環(huán)境。以上技術(shù)應(yīng)用的一個(gè)領(lǐng)域范例就是DeSci，利用區(qū)塊鏈和智能合約等技術(shù)，實(shí)現(xiàn)科學(xué)研究的去中心化、開放和共享。DeSci鼓勵(lì)跨學(xué)科合作，促進(jìn)科學(xué)數(shù)據(jù)和研究成果的公開共享，也能夠?yàn)锳I提供豐富的數(shù)據(jù)資源和創(chuàng)新動(dòng)力。Web3、分布式自治組織（DAO）、區(qū)塊鏈和DeSci在發(fā)展人工智能中將共同推動(dòng)技術(shù)進(jìn)步、促進(jìn)數(shù)據(jù)共享、增強(qiáng)系統(tǒng)安全性和推動(dòng)去中心化治理，為AI的健康發(fā)展和廣泛應(yīng)用提供堅(jiān)實(shí)的基礎(chǔ)。

另一方面，應(yīng)建立聯(lián)邦數(shù)據(jù)、聯(lián)邦控制、聯(lián)邦管理和聯(lián)邦服務(wù)為一體的聯(lián)邦生態(tài)，推動(dòng)聯(lián)邦智能發(fā)展為智能系統(tǒng)聯(lián)邦。聯(lián)邦控制在聯(lián)邦生態(tài)中扮演核心角色，其主要目標(biāo)是維護(hù)信息安全和保護(hù)數(shù)據(jù)的所有權(quán)、控制權(quán)、隱私權(quán)和使用權(quán)。作為一種分布式控制策略，聯(lián)邦控制為大型復(fù)雜系統(tǒng)提供高效、安全和可靠的管理和控制。聯(lián)邦管理是聯(lián)邦生態(tài)的關(guān)鍵組成部分，負(fù)責(zé)根據(jù)生態(tài)目標(biāo)和要求制定管理決策，并根據(jù)系統(tǒng)狀態(tài)變化動(dòng)態(tài)調(diào)整。通過聯(lián)邦管理，生態(tài)系統(tǒng)能夠達(dá)到最優(yōu)狀態(tài)，實(shí)現(xiàn)目標(biāo)，并在保障安全的前提下，實(shí)現(xiàn)智能化管理。聯(lián)邦管理的目的是通過對(duì)聯(lián)邦數(shù)據(jù)的聯(lián)邦控制來實(shí)現(xiàn)聯(lián)邦服務(wù)。在實(shí)現(xiàn)聯(lián)邦服務(wù)的過程中，不斷產(chǎn)生大量新的數(shù)據(jù)，這些數(shù)據(jù)可以添加到聯(lián)邦數(shù)據(jù)中，用于優(yōu)化聯(lián)邦管理決策。

通過構(gòu)建上述分布式和聯(lián)邦化相結(jié)合的生態(tài)系統(tǒng)，做到資源有效調(diào)配，激發(fā)創(chuàng)新活力，綜合維度促進(jìn)AI全面健康發(fā)展。以DeSci為基礎(chǔ)，國際化的無人駕駛大模型MetaVista、食品大模型MeTaurant、運(yùn)動(dòng)大模型MetaSport、健康大模型MetaSEEH3O2，以及慧拓智能推出的礦山大模型愚公（YuKon）等正在快速發(fā)展，展現(xiàn)出新生態(tài)的活力。

生成式人工智能的發(fā)展趨勢與展望

生成式人工智能作為人工智能中發(fā)展最快的一個(gè)領(lǐng)域，傳統(tǒng)巨頭和創(chuàng)業(yè)公司的突破性產(chǎn)品在短時(shí)間內(nèi)相繼推出，可謂日新月異。算法、模型、算力、應(yīng)用的相互促進(jìn)，形成飛輪效應(yīng)，在未來一段時(shí)期為生成式人工智能的持續(xù)繁榮提供動(dòng)力?？傮w而言，我國雖然面臨算力能源約束、數(shù)據(jù)質(zhì)量不足等問題，但生成式人工智能的發(fā)展前景依然廣闊。

第一，大模型的規(guī)模效應(yīng)（Scaling Law）仍有擴(kuò)展?jié)摿?。雖然研究新算法以替代Transformer的呼聲日益高漲，但如Mamba等新架構(gòu)尚在驗(yàn)證和改進(jìn)階段，未被廣泛接受和使用?；赥ransformer 并結(jié)合MoE的架構(gòu)在短期內(nèi)仍將不斷擴(kuò)展規(guī)模效益的邊界。

第二，多模態(tài)大模型是發(fā)力的重點(diǎn)。語言大模型能力相對(duì)完備，成為鏈接各個(gè)模態(tài)的橋梁，文生圖、文生視頻等將逐步完善，促進(jìn)從語言智能向想象智能的范式轉(zhuǎn)換。

第三，行業(yè)大模型是重點(diǎn)方向。基于少數(shù)基礎(chǔ)大模型打造面向特定行業(yè)的專業(yè)模型是“AI+”行業(yè)賦能的有效方式，參數(shù)高效微調(diào)（PEFT）技術(shù)通過最小化微調(diào)參數(shù)數(shù)量和計(jì)算復(fù)雜度，能夠顯著降低訓(xùn)練時(shí)間和成本。例如，LoRA、Prompt Tuning等技術(shù)能在計(jì)算資源有限的情況下，實(shí)現(xiàn)高效的遷移學(xué)習(xí)。

第四，生成式人工智能將進(jìn)一步增加對(duì)算力與能源的需求。隨著大模型規(guī)模效應(yīng)的進(jìn)一步發(fā)展，以及文生圖、文生視頻等多模態(tài)應(yīng)用需求的高速增長，算力緊缺將是未來一段時(shí)間的常態(tài)，特別是我國在芯片受限的情況下這一問題更加突出。同時(shí)，算力緊缺也將促進(jìn)AI專用芯片的研發(fā)，面向底層算法加速的異構(gòu)芯片將擠占Nvidia的市場，我國自主AI算力芯片也將快速成長。

作為信息化、數(shù)字化、智能化的新型技術(shù)基座，生成式人工智能對(duì)于提升國家戰(zhàn)略地位與國際競爭力具有重要意義。2022年11月以來，隨著以ChatGPT為代表的大語言模型迅速發(fā)展，生成式人工智能（Generative Artificial Intelligence, GenAI）推動(dòng)人工智能從算法智能（Algorithmic Intelligence，AI）進(jìn)入語言智能（Linguistic Intelligence，LI）時(shí)代，正在全面革新社會(huì)生產(chǎn)力。當(dāng)前，大語言模型成為現(xiàn)代人工智能的基石，構(gòu)筑起連接多模態(tài)的橋梁。2024年2月美國OpenAI發(fā)布的Sora，以其長達(dá)1分鐘的高質(zhì)量視頻生成能力，進(jìn)一步開啟了想象智能（Imaginative Intelligence，II）新時(shí)代。Sora初步體現(xiàn)出世界模擬器的能力，為探索通用人工智能（Artificial General Intelligence, AGI）邁出了重要一步。我國近年來也在生成式人工智能領(lǐng)域不斷取得進(jìn)展，文心一言、通義千問、盤古、混元、Kimi等大模型在中文應(yīng)用領(lǐng)域建立優(yōu)勢，呈現(xiàn)出“百模爭鳴”的繁榮局面。同時(shí)，我國生成式人工智能也面臨著算法低效、數(shù)據(jù)不足、算力緊缺、能耗過高等問題，特別是我國在芯片受限的情況下，算力問題尤為突出。本文將介紹生成式人工智能的發(fā)展，重點(diǎn)分析我國生成式人工智能所面臨的挑戰(zhàn)，進(jìn)一步討論對(duì)策，并展望未來發(fā)展趨勢。

生成式人工智能的源起與發(fā)展

生成式人工智能是指一類能夠自主生成新內(nèi)容的人工智能技術(shù)，這些內(nèi)容可以包括文本、圖像、音頻和視頻等多種形式。生成式人工智能通過學(xué)習(xí)已有數(shù)據(jù)的模式和結(jié)構(gòu)，創(chuàng)造出全新的、未曾出現(xiàn)過的數(shù)據(jù)實(shí)例。生成式人工智能的核心在于其創(chuàng)造性和創(chuàng)新性，它不僅僅是復(fù)制或模仿現(xiàn)實(shí)，而是能夠基于已有知識(shí)進(jìn)行創(chuàng)新，生成有價(jià)值的新內(nèi)容。生成式人工智能模型的例子包括生成對(duì)抗網(wǎng)絡(luò)（GAN）、變分自編碼器（VAE）和生成式預(yù)訓(xùn)練Transformer（GPT）等。生成式人工智能應(yīng)用領(lǐng)域廣泛，已經(jīng)對(duì)藝術(shù)、設(shè)計(jì)、娛樂，甚至科學(xué)研究帶來實(shí)質(zhì)變革。生成式人工智能的發(fā)展前景廣闊，它不僅能夠?yàn)槿藗兊娜粘Ｉ顜肀憷?還能夠幫助人們提高工作效率，促進(jìn)產(chǎn)業(yè)升級(jí)，推進(jìn)社會(huì)發(fā)展。
生成式人工智能研究范式與之前的深度學(xué)習(xí)有著明顯的不同之處。在過去，深度學(xué)習(xí)的理論與算法研究主要由學(xué)術(shù)界參與，而生成式人工智能的發(fā)展主要由包括Open AI、 Google、Met、Anthropi、Midjourney和Stability AI在內(nèi)的多家公司推動(dòng)。這些公司在生成式人工智能領(lǐng)域投入了大量資源，并通過研發(fā)和商業(yè)應(yīng)用推動(dòng)了技術(shù)的進(jìn)步和應(yīng)用，使得生成式人工智能能夠更快地從實(shí)驗(yàn)室走向市場，并在各個(gè)領(lǐng)域取得廣泛的應(yīng)用和影響。
生成式人工智能在創(chuàng)造新內(nèi)容和推動(dòng)技術(shù)進(jìn)步的同時(shí)，也可能帶來一系列安全問題，主要包括以下幾個(gè)方面：
在虛假信息方面，生成式人工智能能夠制作逼真的文本、圖像、音頻和視頻內(nèi)容，這可能導(dǎo)致虛假新聞、偽造證據(jù)和誤導(dǎo)性信息的產(chǎn)生和傳播，對(duì)社會(huì)秩序和公共安全造成威脅。通過生成式人工智能技術(shù)，深度偽造技術(shù)（Deepfakes）可以創(chuàng)建逼真的偽造人臉和聲音，這可能被用于身份冒充、欺詐和誹謗，侵犯個(gè)人隱私和名譽(yù)權(quán)。生成式人工智能模型可能被用于制造惡意軟件或進(jìn)行網(wǎng)絡(luò)攻擊，例如生成用于釣魚攻擊的逼真電子郵件或創(chuàng)建用于繞過安全系統(tǒng)的虛假憑證。
在版權(quán)與隱私保護(hù)方面，在訓(xùn)練生成式人工智能模型時(shí)，可能需要大量的個(gè)人數(shù)據(jù)，這些數(shù)據(jù)如果未經(jīng)妥善處理，可能會(huì)泄露個(gè)人隱私，增加數(shù)據(jù)泄露的風(fēng)險(xiǎn)。生成式人工智能在創(chuàng)作過程中可能會(huì)無意中復(fù)制或模仿受版權(quán)保護(hù)的作品，從而引發(fā)知識(shí)產(chǎn)權(quán)糾紛。
在倫理和道德方面，生成式人工智能在創(chuàng)作內(nèi)容時(shí)，可能缺乏人類的判斷和審查，從而產(chǎn)生不當(dāng)或不敏感的輸出。為此，世界各國正在加速立法，鼓勵(lì)生成式人工智能技術(shù)的創(chuàng)新應(yīng)用，同時(shí)規(guī)定了服務(wù)提供者和使用者應(yīng)當(dāng)遵守的基本規(guī)范，包括尊重知識(shí)產(chǎn)權(quán)和他人合法權(quán)益，提高生成內(nèi)容的準(zhǔn)確性和可靠性等，確保其健康有序地發(fā)展。
此外，據(jù)《紐約客》相關(guān)報(bào)道，OpenAI的GPT-3在訓(xùn)練階段單次耗電量高達(dá)128.7萬度；而ChatGPT部署上線后，按照日均請(qǐng)求2億次計(jì)算，支撐推理應(yīng)答服務(wù)的耗電高達(dá)每天50萬度。在我國，根據(jù)公開資料，三峽大壩年平均發(fā)電量約為850億度，而2022年我國主要數(shù)據(jù)中心耗電量達(dá)到2700億度，已是三峽年均發(fā)電量的3倍多。冷卻用水消耗、碳排放足跡等，也將對(duì)生態(tài)環(huán)境造成不可忽視的影響。

我國生成式人工智能發(fā)展現(xiàn)狀

總體情況。自2022年11月ChatGPT發(fā)布以來，國產(chǎn)大模型迅速崛起，形成了“百模爭鳴”的繁榮局面。百度的文心1.0通用大模型自2019年首次推出后，已升級(jí)至4.0版本。阿里云、華為、騰訊、科大訊飛等公司也推出了各自的通用大模型，如通義千問、盤古、混元和星火等，并向公眾開放。在這場競賽中，初創(chuàng)企業(yè)也取得了顯著成就，例如“月之暗面”推出的Kimi智能助手大模型，支持高達(dá)200萬漢字的上下文長度，引起了業(yè)界廣泛關(guān)注。學(xué)術(shù)界也積極參與國產(chǎn)大模型的研究，例如中科院自動(dòng)化所發(fā)布了全球首個(gè)圖文音三模態(tài)預(yù)訓(xùn)練模型——紫東太初大模型，上海人工智能實(shí)驗(yàn)室與復(fù)旦大學(xué)聯(lián)合發(fā)布了書生·浦語通用大模型（InternLM）。為推動(dòng)技術(shù)與市場發(fā)展，一些廠商提供了開源版本的大模型，如阿里云的Qwen系列、零一萬物的Yi系列、智譜華章的GLM系列、科大訊飛的iFlytekSpark系列、百川智能的Baichuan系列等。這些開源模型為研究和應(yīng)用提供了便利，進(jìn)一步促進(jìn)了國產(chǎn)大模型技術(shù)的創(chuàng)新和應(yīng)用。
為了增強(qiáng)對(duì)蓬勃發(fā)展的國產(chǎn)大模型的認(rèn)識(shí)，新華社研究院中國企業(yè)發(fā)展研究中心于2023年發(fā)布了三版《2023年人工智能大模型體驗(yàn)報(bào)告》，回顧了大模型產(chǎn)品市場的激烈競爭，并對(duì)當(dāng)前大模型產(chǎn)品和廠商進(jìn)行了整體測評(píng)。同時(shí)，多個(gè)機(jī)構(gòu)也推出了各自的大模型評(píng)測體系和排行榜，如“司南”（OpenCompass）、C-Eval、SuperCLUE等，廠商間的激烈競爭彰顯了該行業(yè)的活力與吸引力。排行榜在展現(xiàn)國產(chǎn)大模型激烈競爭的同時(shí)，也揭示出業(yè)內(nèi)的亂象，例如模型套殼、評(píng)分作假等。
領(lǐng)域應(yīng)用。在通用大模型的基礎(chǔ)上發(fā)展領(lǐng)域?qū)Ｓ媚Ｐ停七M(jìn)垂直領(lǐng)域應(yīng)用是我國生成式人工智能領(lǐng)域的特色。國內(nèi)專用領(lǐng)域大模型在科學(xué)研究、教育、醫(yī)學(xué)、工業(yè)、金融多個(gè)行業(yè)得到應(yīng)用和發(fā)展。
在AI4S（AI for Science）領(lǐng)域，華為的盤古氣象大模型利用深度神經(jīng)網(wǎng)絡(luò)和地球先驗(yàn)知識(shí)，實(shí)現(xiàn)了高精度的實(shí)時(shí)氣象預(yù)測，超越了傳統(tǒng)數(shù)值預(yù)測方法?；瘜W(xué)領(lǐng)域，中國科學(xué)技術(shù)大學(xué)提出的Chem-GPT模型/華東師范大學(xué)的提出的ChenGPT1.0/上海交通大學(xué)提出的BAI-Chem大模型，以及西北工業(yè)大學(xué)與華為合作的“秦嶺·翱翔”流體力學(xué)大模型，均在各自領(lǐng)域取得了一定的成果。
在教育領(lǐng)域，華東師范大學(xué)和北京語言大學(xué)分別開發(fā)的EduChat和桃李教育大模型，以及學(xué)而思的九章大模型（MathGPT）和網(wǎng)易有道的子曰教育大模型，展示了大模型在輔助教學(xué)過程中的重要作用。
在工業(yè)領(lǐng)域，中國廣核集團(tuán)推出的“錦書”核工業(yè)語言大模型、中科院大連化物所的化工大模型、中工互聯(lián)公司的“智工”大模型，以及中煤科工西安研究院的“GeoGPT”地質(zhì)大模型，提升了工業(yè)領(lǐng)域的智能化水平。
在醫(yī)學(xué)領(lǐng)域，華南理工大學(xué)的生活空間健康大模型扁鵲（BianQue）和心理健康大模型靈心（SoulChat）、香港中文大學(xué)的華佗GPT模型、浙江大學(xué)的啟真醫(yī)療大模型、醫(yī)聯(lián)科技的medGPT大模型，以及多個(gè)中醫(yī)藥大模型如百度健康的岐黃問道大模型、華東師范大學(xué)的神農(nóng)中醫(yī)藥大模型（ShenNong-TCM）、復(fù)旦大學(xué)和同濟(jì)大學(xué)合作的仲景中醫(yī)大語言模型（CMLM-ZhongJing）、南京大學(xué)與鄭州大學(xué)的黃帝模型（Huang-Di）等等，推動(dòng)了醫(yī)療健康領(lǐng)域的智能化發(fā)展。
在金融領(lǐng)域，中國科學(xué)院成都計(jì)算機(jī)應(yīng)用研究所的“聚寶盆”金融知識(shí)問答大模型、度小滿的“軒轅”千億級(jí)開源金融大模型、恒生電子的LightGP、瀾舟科技的孟子大模型，以及香港科技大學(xué)的InvestLM投資金融大模型，在金融行業(yè)中發(fā)揮日益重要的作用。
這些行業(yè)大模型初步提升了行業(yè)生產(chǎn)效率，不斷塑造新動(dòng)能、新優(yōu)勢。同時(shí)，大模型在某些行業(yè)的落地應(yīng)用還存在很多挑戰(zhàn)，發(fā)展前景具有不確定因素。
政策法規(guī)。為了國產(chǎn)大模型的規(guī)范化和健康化發(fā)展，國家網(wǎng)信辦聯(lián)合國家發(fā)展改革委、教育部、科技部等七部門聯(lián)合發(fā)布《生成式人工智能服務(wù)管理暫行辦法》，規(guī)定對(duì)生成式人工智能大模型實(shí)施“備案制”管理。此外，為了滿足當(dāng)前國產(chǎn)大模型發(fā)展所引發(fā)的巨大算力需求，我國陸續(xù)出臺(tái)了《全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實(shí)施方案》《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動(dòng)計(jì)劃》《“十四五”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃》等一系列文件推動(dòng)算力基礎(chǔ)設(shè)施建設(shè)。

我國生成式人工智能面臨的挑戰(zhàn)

雖然我國在生成式人工智能領(lǐng)域呈現(xiàn)出繁榮景象，但與國際領(lǐng)先水平相比，我國在算力設(shè)施、數(shù)據(jù)質(zhì)量、算法創(chuàng)新、資金投入、人才儲(chǔ)備、產(chǎn)業(yè)發(fā)展、生態(tài)建設(shè)等方面仍有一定差距。
算力。在AI算力領(lǐng)域，美國英偉達(dá)公司在全球占據(jù)主導(dǎo)地位，而國內(nèi)AI芯片制造商如華為、寒武紀(jì)、摩爾線程、壁仞科技、海光信息、天數(shù)智芯等也在積極發(fā)展，百度、科大訊飛等企業(yè)也聯(lián)合國產(chǎn)芯片廠開放部署了自主可控大模型算力底座“星火一體機(jī)”、“飛星一號(hào)”等平臺(tái)。其中，華為在AI計(jì)算領(lǐng)域水平最為領(lǐng)先，推出了基于達(dá)芬奇架構(gòu)的昇騰系列AI芯片。面對(duì)當(dāng)前海外高性能芯片進(jìn)口受限的現(xiàn)實(shí)，國產(chǎn)高性能芯片取得了一定的發(fā)展，但與國際先進(jìn)水平相比，仍存在一定差距。
以英偉達(dá)的H100(SXM)和華為的昇騰Ascend 910B為例，作為國際和國內(nèi)主力AI芯片，H100(SXM)的FP16算力達(dá)到1979TFLOPS，是昇騰910B的5.2倍；顯存方面，H100(SXM)的80G HBM3是昇騰910B的64GHBM2的1.25倍，且新一代顯存帶來的性能差距更大。此外，H100(SXM)采用NVLINK技術(shù)，具有900GB/s的卡間互聯(lián)帶寬，是昇騰910B的2.25倍。英偉達(dá)的CUDA架構(gòu)和專用庫如CuDNN，形成了成熟的軟硬件生態(tài)，而華為的CANN架構(gòu)雖在不斷完善，但起步較晚，在算子豐富度及算法優(yōu)化方面仍存在差距。尤其值得注意的是，英偉達(dá)等企業(yè)的AI芯片快速迭代升級(jí)，而我國由于受到芯片制造技術(shù)封鎖，產(chǎn)品更新速度大大減慢。英偉達(dá)在2023年發(fā)布了新一代H200芯片，顯存容量提升至141G，大模型推理速度翻倍。2024年3月，英偉達(dá)又發(fā)布了Blackwell計(jì)算平臺(tái)，性能顯著提升。例如，訓(xùn)練1.8萬億參數(shù)的GPT-4，使用Blackwell平臺(tái)相比Hopper能耗大幅降低。相比之下，華為的昇騰Ascend 910在2019年就已推出，而升級(jí)版Ascend 910B在2023年才小規(guī)模投入使用。此外，谷歌基于自研TPU的算力平臺(tái)已經(jīng)體現(xiàn)出強(qiáng)大的實(shí)力，近期備受關(guān)注的Groq公司研發(fā)的大語言模型推理芯片LPU，推理速度可達(dá)H100的十倍。綜合來看，我國與國際算力先進(jìn)水平的差距短期內(nèi)進(jìn)一步拉大。
數(shù)據(jù)。數(shù)據(jù)是生成式人工智能的核心要素之一，我國在人工智能訓(xùn)練數(shù)據(jù)的質(zhì)量和數(shù)量、管理、共享、應(yīng)用等方面與國外英文數(shù)據(jù)相比，存在一些差距和挑戰(zhàn)：
在數(shù)據(jù)質(zhì)量和多樣性方面，我國的中文數(shù)據(jù)雖然近年來快速增長，但在某些領(lǐng)域，如專業(yè)醫(yī)療、法律等，高質(zhì)量的標(biāo)注數(shù)據(jù)仍然相對(duì)不足。英文數(shù)據(jù)由于互聯(lián)網(wǎng)歷史較長、用戶基數(shù)大，覆蓋了廣泛的文化和語境，積累了大量的高質(zhì)量文本和多媒體數(shù)據(jù)，這有助于訓(xùn)練出更具泛化能力的AI模型。中文數(shù)據(jù)雖然在本土文化和語境上具有優(yōu)勢，但在處理多方言、多文化背景下的數(shù)據(jù)上，仍需加強(qiáng)多樣性和包容性。
在數(shù)據(jù)管理和共享方面，我國公共數(shù)據(jù)范圍廣泛，但在開放共享和開發(fā)利用方面存在不足。例如，天氣數(shù)據(jù)在范圍和歷史跨度上有所限制，法律領(lǐng)域的裁判文書網(wǎng)由公開轉(zhuǎn)為內(nèi)網(wǎng)查詢。社會(huì)力量主要依賴海外優(yōu)質(zhì)開源數(shù)據(jù)集，中文語料主要來源于網(wǎng)絡(luò)公開數(shù)據(jù)，政府?dāng)?shù)據(jù)貢獻(xiàn)相對(duì)較少。為提升我國在AI領(lǐng)域的競爭力，需要加強(qiáng)公共數(shù)據(jù)的開放共享，優(yōu)化數(shù)據(jù)管理和利用，鼓勵(lì)政府和社會(huì)力量的合作，共同推動(dòng)數(shù)據(jù)資源的高效開發(fā)和應(yīng)用?？傮w而言，中文語料庫的量、質(zhì)、開源情況都不如英文，存在數(shù)據(jù)資源碎片化和流通機(jī)制不完善的問題，尚未形成對(duì)大模型提供有效數(shù)據(jù)資源的生態(tài)，一定程度上阻礙了我國生成式人工智能的發(fā)展。
算法。算法、數(shù)據(jù)和算力是深度學(xué)習(xí)三大要素。在基礎(chǔ)算法方面，2017年谷歌提出的Transformer已經(jīng)成為生成式AI的核心模塊。此后，多模態(tài)領(lǐng)域的CLIP，生成式領(lǐng)域的擴(kuò)散模型（Diffusion Model）、混合專家模型（MoE）等方法均由國外機(jī)構(gòu)提出并發(fā)展，而我國科研機(jī)構(gòu)提出的創(chuàng)新方法相對(duì)較少且影響力不足。
在大語言模型方面，谷歌的Bert和OpenAI的GPT最先開啟了新時(shí)代，特別是OpenAI發(fā)布的 ChatGPT成為AI發(fā)展路程上的一個(gè)里程碑。而后續(xù)的GPT-4以其在多數(shù)任務(wù)指標(biāo)上的優(yōu)異表現(xiàn)，在眾多語言大模型中仍然占據(jù)榜首。Meta開源的Llama大模型雖然稍晚性能稍遜，但是其開源屬性，成為世界上眾多大模型的源頭。在文本生成圖像方面，OpenAI的DALL·E和谷歌的Imagen在2022年最先發(fā)布，以其高真實(shí)度的效果迅速引起了全球范圍的注意，人工智能生成內(nèi)容（AIGC）進(jìn)入新時(shí)代。在文本生成視頻方面，OpenAI在2024年2月發(fā)布Sora，再次取得歷史性突破。在大語言模型領(lǐng)域，國內(nèi)的百度、智源、中科院等單位具有先發(fā)優(yōu)勢，推出文心一言、GLM等大模型。2022年以來在開源力量等因素的推動(dòng)下，形成“百模大戰(zhàn)”的繁榮局面，但整體上的性能沒有超過GPT-4等國外模型。而在文本生成視頻方面，國內(nèi)與Sora的差距更為明顯。

促進(jìn)我國生成式人工智能發(fā)展的對(duì)策建議

在當(dāng)前形勢下，我國應(yīng)在算力能效結(jié)合、數(shù)據(jù)開放共享、模型垂直應(yīng)用、生態(tài)綜合健全等方面統(tǒng)籌規(guī)劃，調(diào)動(dòng)各方力量，實(shí)現(xiàn)全面發(fā)展。
第一，鼓勵(lì)計(jì)算架構(gòu)多元?jiǎng)?chuàng)新，充分利用我國能源優(yōu)勢，建設(shè)高能效智能算力網(wǎng)絡(luò)。在計(jì)算芯片方面，應(yīng)探索發(fā)展更適合AI計(jì)算的架構(gòu)，發(fā)展多樣化技術(shù)路線。雖然在短期內(nèi)Nvidia的GPU系列仍將是AI計(jì)算的主要平臺(tái)，但其也存在設(shè)計(jì)上的不足，一些新、舊勢力正在打破其壟斷局面。例如美國初創(chuàng)公司Groq研發(fā)的LPU，專門面向大語言模型推理，速度獲得顯著提升，而老牌Intel最新研發(fā)的AI計(jì)算芯片Gaudi3，訓(xùn)練性能達(dá)到Nvidia H100的1.7倍。我國也應(yīng)激勵(lì)研發(fā)AI專用體系架構(gòu)，充分利用RISC-V等開源架構(gòu)，加快芯片制造技術(shù)升級(jí)，探索自主可控的計(jì)算生態(tài)體系。此外，應(yīng)加快量子計(jì)算等新計(jì)算形式的研究。量子計(jì)算利用量子疊加和量子糾纏原理，其天然的并行處理能力遠(yuǎn)高于目前的主流處理器。近年來量子計(jì)算實(shí)現(xiàn)技術(shù)快速發(fā)展，量子機(jī)器學(xué)習(xí)等領(lǐng)域已經(jīng)展現(xiàn)出潛力。
在電力供給方面，隨著AI算力的不斷提升，對(duì)電力的需求也在急劇增長，電力已成為AI算力對(duì)決的關(guān)鍵因素。生成式人工智能技術(shù)的發(fā)展離不開算力的支撐，而算力的提升又離不開電力的供應(yīng)。我國“百模大戰(zhàn)”或?qū)?dòng)智算中心及其配套所需的相關(guān)電力、儲(chǔ)能基礎(chǔ)設(shè)施建設(shè)和投運(yùn)速度的大幅提高。對(duì)此，除強(qiáng)化國家級(jí)超算中心之外，我國可著重從兩個(gè)方面應(yīng)對(duì)能源算力不斷增長的挑戰(zhàn)。一是開展算力與能源的結(jié)合，參考比特幣“礦廠”模式，將算力中心部署在在四川、云南、內(nèi)蒙古、新疆等電力充足地區(qū)，就近利用火電、水電、風(fēng)能、太陽能，依托自主硬件設(shè)備，建設(shè)高效能算力中心，助力“東數(shù)西算”。二是通過分布式計(jì)算調(diào)動(dòng)社會(huì)資源，進(jìn)一步利用社會(huì)閑置算力，吸引公眾參與科學(xué)研究。
第二，建立聯(lián)邦數(shù)據(jù)基礎(chǔ)，鼓勵(lì)開放共享，促進(jìn)數(shù)據(jù)提質(zhì)增量。針對(duì)數(shù)據(jù)存量少、質(zhì)量低、開放不足、共享機(jī)制不完善的問題，我國首要任務(wù)是建設(shè)智能聯(lián)邦生態(tài)系統(tǒng)，而聯(lián)邦數(shù)據(jù)是其中的當(dāng)務(wù)之急。聯(lián)邦數(shù)據(jù)為數(shù)據(jù)安全和隱私問題提供有效解決方案，其運(yùn)行機(jī)理遵循平行智能范式，能夠根據(jù)Morton定律和平行強(qiáng)化學(xué)習(xí)等方法探索實(shí)現(xiàn)數(shù)據(jù)最優(yōu)化，為將大數(shù)據(jù)轉(zhuǎn)化為智能打下基礎(chǔ)。聯(lián)邦數(shù)據(jù)的架構(gòu)包括六個(gè)組件，即真實(shí)數(shù)據(jù)/物理對(duì)象、虛擬數(shù)據(jù)/數(shù)字孿生、聯(lián)邦數(shù)據(jù)實(shí)驗(yàn)、聯(lián)邦融合、聯(lián)邦安全和可信聯(lián)邦智慧。前兩個(gè)組件用于處理來自物理對(duì)象的真實(shí)數(shù)據(jù)和安裝在特定設(shè)備上的數(shù)字孿生生成的虛擬數(shù)據(jù)，以及其他方法生成的虛擬數(shù)據(jù)。聯(lián)邦數(shù)據(jù)實(shí)驗(yàn)是探索最優(yōu)模型的關(guān)鍵過程之一，通過在解決方案空間中搜索，例如，使用強(qiáng)化學(xué)習(xí)和并行強(qiáng)化學(xué)習(xí)找到本地模型的最優(yōu)參數(shù)。聯(lián)邦融合組件負(fù)責(zé)將本地模型合成全局最優(yōu)模型，通過使用專門設(shè)計(jì)的模型融合算法，如動(dòng)態(tài)融合機(jī)制。聯(lián)邦安全組件負(fù)責(zé)實(shí)現(xiàn)數(shù)據(jù)安全和隱私。數(shù)據(jù)所有權(quán)和使用權(quán)是分開的，即對(duì)于特定節(jié)點(diǎn)，數(shù)據(jù)存儲(chǔ)在其本地地址，而這些數(shù)據(jù)訓(xùn)練的模型被轉(zhuǎn)移到聯(lián)邦融合和聯(lián)邦數(shù)據(jù)實(shí)驗(yàn)組件，類似于聯(lián)邦學(xué)習(xí)。此外，安全性還可以通過區(qū)塊鏈或其他加密方法進(jìn)一步提高。從聯(lián)邦數(shù)據(jù)實(shí)驗(yàn)和聯(lián)邦融合的結(jié)果中，可以獲得可信的聯(lián)邦智能。
第三，持續(xù)算法創(chuàng)新，打造專業(yè)大模型，開拓垂直領(lǐng)域應(yīng)用新場景。在短期內(nèi)我國AI算力受限、模型算法創(chuàng)新突破難度較大的背景下，應(yīng)在持續(xù)鼓勵(lì)算法創(chuàng)新的同時(shí)，以彌補(bǔ)算力短板、促進(jìn)產(chǎn)業(yè)升級(jí)、解決行業(yè)痛點(diǎn)為出發(fā)點(diǎn)，著力打造專業(yè)大模型，開拓垂直領(lǐng)域應(yīng)用新場景。通過專注于垂直領(lǐng)域的專業(yè)大模型，可以更有效地利用現(xiàn)有算力資源，避免在通用AI模型上的重復(fù)資源浪費(fèi)。專業(yè)大模型針對(duì)特定問題進(jìn)行優(yōu)化，能夠在有限的算力下實(shí)現(xiàn)更高的性能和效率。專業(yè)大模型能夠針對(duì)特定行業(yè)的需求提供定制化的智能解決方案，推動(dòng)傳統(tǒng)產(chǎn)業(yè)的數(shù)字化和智能化轉(zhuǎn)型，從而提升整個(gè)產(chǎn)業(yè)鏈的技術(shù)水平和價(jià)值創(chuàng)造能力。例如，在醫(yī)療、金融、交通、教育等關(guān)鍵領(lǐng)域，專業(yè)大模型能夠解決行業(yè)痛點(diǎn)問題，如提高疾病診斷的準(zhǔn)確性、優(yōu)化金融服務(wù)的個(gè)性化推薦、緩解交通擁堵等，持續(xù)增進(jìn)人民福祉。
第四，探索TAO（True DAO），發(fā)展智能聯(lián)邦生態(tài)，健全智能生態(tài)。如前所述，人工智能技術(shù)的創(chuàng)新和健康發(fā)展涉及到算力、算法、數(shù)據(jù)多個(gè)要素，需要政府、學(xué)術(shù)界、企業(yè)以及社會(huì)大眾的共同努力。因此，建立健全促進(jìn)AI發(fā)展的生態(tài)體系十分關(guān)鍵。
一方面，充分利用區(qū)塊鏈、分布式自治組織（DAO），借助目前國際上開始流行的Web3和DeSci浪潮，推進(jìn)我國AI領(lǐng)域全面發(fā)展。區(qū)塊鏈?zhǔn)且环N分布式賬本技術(shù)，它通過加密和共識(shí)機(jī)制確保數(shù)據(jù)的不可篡改性和透明性。在AI領(lǐng)域，區(qū)塊鏈可以用于確保數(shù)據(jù)的安全性和隱私性，同時(shí)為AI模型提供高質(zhì)量、可追溯的數(shù)據(jù)源。分布式自治組織（DAO）是一種基于區(qū)塊鏈技術(shù)的組織形式，它通過智能合約自動(dòng)執(zhí)行組織的規(guī)則和決策過程，可以為AI項(xiàng)目提供去中心化的管理和資金分配機(jī)制，與區(qū)塊鏈結(jié)合促進(jìn)AI技術(shù)的開放協(xié)作和共同治理之TAO（True DAO）。Web3指的是構(gòu)建在區(qū)塊鏈技術(shù)之上的下一代互聯(lián)網(wǎng)，它所強(qiáng)調(diào)的數(shù)據(jù)去中心化存儲(chǔ)、用戶隱私保護(hù)、數(shù)據(jù)所有權(quán)歸還給用戶等理念，為AI提供了一個(gè)更加開放、透明和安全的數(shù)據(jù)環(huán)境。以上技術(shù)應(yīng)用的一個(gè)領(lǐng)域范例就是DeSci，利用區(qū)塊鏈和智能合約等技術(shù)，實(shí)現(xiàn)科學(xué)研究的去中心化、開放和共享。DeSci鼓勵(lì)跨學(xué)科合作，促進(jìn)科學(xué)數(shù)據(jù)和研究成果的公開共享，也能夠?yàn)锳I提供豐富的數(shù)據(jù)資源和創(chuàng)新動(dòng)力。Web3、分布式自治組織（DAO）、區(qū)塊鏈和DeSci在發(fā)展人工智能中將共同推動(dòng)技術(shù)進(jìn)步、促進(jìn)數(shù)據(jù)共享、增強(qiáng)系統(tǒng)安全性和推動(dòng)去中心化治理，為AI的健康發(fā)展和廣泛應(yīng)用提供堅(jiān)實(shí)的基礎(chǔ)。
另一方面，應(yīng)建立聯(lián)邦數(shù)據(jù)、聯(lián)邦控制、聯(lián)邦管理和聯(lián)邦服務(wù)為一體的聯(lián)邦生態(tài)，推動(dòng)聯(lián)邦智能發(fā)展為智能系統(tǒng)聯(lián)邦。聯(lián)邦控制在聯(lián)邦生態(tài)中扮演核心角色，其主要目標(biāo)是維護(hù)信息安全和保護(hù)數(shù)據(jù)的所有權(quán)、控制權(quán)、隱私權(quán)和使用權(quán)。作為一種分布式控制策略，聯(lián)邦控制為大型復(fù)雜系統(tǒng)提供高效、安全和可靠的管理和控制。聯(lián)邦管理是聯(lián)邦生態(tài)的關(guān)鍵組成部分，負(fù)責(zé)根據(jù)生態(tài)目標(biāo)和要求制定管理決策，并根據(jù)系統(tǒng)狀態(tài)變化動(dòng)態(tài)調(diào)整。通過聯(lián)邦管理，生態(tài)系統(tǒng)能夠達(dá)到最優(yōu)狀態(tài)，實(shí)現(xiàn)目標(biāo)，并在保障安全的前提下，實(shí)現(xiàn)智能化管理。聯(lián)邦管理的目的是通過對(duì)聯(lián)邦數(shù)據(jù)的聯(lián)邦控制來實(shí)現(xiàn)聯(lián)邦服務(wù)。在實(shí)現(xiàn)聯(lián)邦服務(wù)的過程中，不斷產(chǎn)生大量新的數(shù)據(jù)，這些數(shù)據(jù)可以添加到聯(lián)邦數(shù)據(jù)中，用于優(yōu)化聯(lián)邦管理決策。
通過構(gòu)建上述分布式和聯(lián)邦化相結(jié)合的生態(tài)系統(tǒng)，做到資源有效調(diào)配，激發(fā)創(chuàng)新活力，綜合維度促進(jìn)AI全面健康發(fā)展。以DeSci為基礎(chǔ)，國際化的無人駕駛大模型MetaVista、食品大模型MeTaurant、運(yùn)動(dòng)大模型MetaSport、健康大模型MetaSEEH3O2，以及慧拓智能推出的礦山大模型愚公（YuKon）等正在快速發(fā)展，展現(xiàn)出新生態(tài)的活力。

生成式人工智能的發(fā)展趨勢與展望

生成式人工智能作為人工智能中發(fā)展最快的一個(gè)領(lǐng)域，傳統(tǒng)巨頭和創(chuàng)業(yè)公司的突破性產(chǎn)品在短時(shí)間內(nèi)相繼推出，可謂日新月異。算法、模型、算力、應(yīng)用的相互促進(jìn)，形成飛輪效應(yīng)，在未來一段時(shí)期為生成式人工智能的持續(xù)繁榮提供動(dòng)力?？傮w而言，我國雖然面臨算力能源約束、數(shù)據(jù)質(zhì)量不足等問題，但生成式人工智能的發(fā)展前景依然廣闊。
第一，大模型的規(guī)模效應(yīng)（Scaling Law）仍有擴(kuò)展?jié)摿?。雖然研究新算法以替代Transformer的呼聲日益高漲，但如Mamba等新架構(gòu)尚在驗(yàn)證和改進(jìn)階段，未被廣泛接受和使用?；赥ransformer 并結(jié)合MoE的架構(gòu)在短期內(nèi)仍將不斷擴(kuò)展規(guī)模效益的邊界。
第二，多模態(tài)大模型是發(fā)力的重點(diǎn)。語言大模型能力相對(duì)完備，成為鏈接各個(gè)模態(tài)的橋梁，文生圖、文生視頻等將逐步完善，促進(jìn)從語言智能向想象智能的范式轉(zhuǎn)換。
第三，行業(yè)大模型是重點(diǎn)方向?；谏贁?shù)基礎(chǔ)大模型打造面向特定行業(yè)的專業(yè)模型是“AI+”行業(yè)賦能的有效方式，參數(shù)高效微調(diào)（PEFT）技術(shù)通過最小化微調(diào)參數(shù)數(shù)量和計(jì)算復(fù)雜度，能夠顯著降低訓(xùn)練時(shí)間和成本。例如，LoRA、Prompt Tuning等技術(shù)能在計(jì)算資源有限的情況下，實(shí)現(xiàn)高效的遷移學(xué)習(xí)。
第四，生成式人工智能將進(jìn)一步增加對(duì)算力與能源的需求。隨著大模型規(guī)模效應(yīng)的進(jìn)一步發(fā)展，以及文生圖、文生視頻等多模態(tài)應(yīng)用需求的高速增長，算力緊缺將是未來一段時(shí)間的常態(tài)，特別是我國在芯片受限的情況下這一問題更加突出。同時(shí)，算力緊缺也將促進(jìn)AI專用芯片的研發(fā)，面向底層算法加速的異構(gòu)芯片將擠占Nvidia的市場，我國自主AI算力芯片也將快速成長。