文：Gartner研究副總裁周玲

中國(guó)企業(yè)機(jī)構(gòu)已逐步在生產(chǎn)環(huán)境中運(yùn)行或者計(jì)劃運(yùn)行大語(yǔ)言模型，但在AI基礎(chǔ)設(shè)施的生產(chǎn)部署與高效運(yùn)營(yíng)方面仍面臨諸多挑戰(zhàn)。目前，中國(guó)正加速提升其生成式AI能力，覆蓋大語(yǔ)言模型、軟件開發(fā)、生態(tài)集成與硬件革新。隨著DeepSeek、通義千問(wèn)（Qwen）等高性價(jià)比模型日益普及和本地部署的深入推進(jìn)，越來(lái)越多的中國(guó)企業(yè)將重心放在數(shù)據(jù)隱私、數(shù)據(jù)主權(quán)、安全性、可擴(kuò)展性和低延遲等核心需求上。2025年Gartner首席信息官（CIO）和技術(shù)高管調(diào)研顯示，2025年中國(guó)企業(yè)計(jì)劃大幅增加在生成式AI和AI領(lǐng)域的技術(shù)投資，其平均增幅分別達(dá)到40.3%和33.3%（見圖1），這一數(shù)據(jù)表明，相關(guān)技術(shù)將在短期內(nèi)得到廣泛采用。

Gartner預(yù)測(cè)，到2028年，中國(guó)70%的大型企業(yè)將為大語(yǔ)言模型在AI基礎(chǔ)設(shè)施上的部署建立完善的治理框架，而2025年這一比例不足10%。

然而，要成功實(shí)現(xiàn)大語(yǔ)言模型在AI基礎(chǔ)設(shè)施中的生產(chǎn)部署并非易事，需要制定復(fù)雜的技術(shù)、運(yùn)維和治理戰(zhàn)略，以確保模型達(dá)到性能指標(biāo)（例如GPU算力利用率），同時(shí)保障數(shù)據(jù)安全與合規(guī)。

中國(guó)企業(yè)與全球企業(yè)的一個(gè)關(guān)鍵區(qū)別在于，其更傾向于在本地AI基礎(chǔ)設(shè)施環(huán)境中部署大語(yǔ)言模型，這對(duì)I&O團(tuán)隊(duì)提出了更高要求，需要他們對(duì)重要AI基礎(chǔ)設(shè)施技術(shù)棧有更深入的理解。AI基礎(chǔ)設(shè)施是指AI應(yīng)用構(gòu)建、測(cè)試、訓(xùn)練與部署所需的最新、最先進(jìn)的硬軟件技術(shù)棧。

為了在新的AI基礎(chǔ)設(shè)施上成功實(shí)現(xiàn)大語(yǔ)言模型的生產(chǎn)部署，企業(yè)應(yīng)從以下三個(gè)方面著手：構(gòu)建全面的生產(chǎn)發(fā)布策略；制定健全的治理框架；并加強(qiáng)與法律、安全、AI、數(shù)據(jù)團(tuán)隊(duì)及生態(tài)伙伴的緊密協(xié)作。這些舉措為大語(yǔ)言模型在生產(chǎn)環(huán)境中的高效運(yùn)行提供了堅(jiān)實(shí)的保障。

構(gòu)建全面的部署戰(zhàn)略

隨著企業(yè)開始在AI基礎(chǔ)設(shè)施上部署大語(yǔ)言模型，I&O領(lǐng)導(dǎo)者所面臨的壓力日益增大，需要幫助AI開發(fā)人員和工程師在全企業(yè)范圍內(nèi)以更快的速度、更大的規(guī)模來(lái)推進(jìn)AI項(xiàng)目的開發(fā)和部署。與此同時(shí)，針對(duì)不同用戶和應(yīng)用場(chǎng)景不斷涌現(xiàn)的各種AI工具和服務(wù)，顯著增加了評(píng)估與選擇的難度和復(fù)雜性。此外，傳統(tǒng)的生產(chǎn)發(fā)布策略與流程已無(wú)法有效支持大語(yǔ)言模型在AI基礎(chǔ)設(shè)施中的生產(chǎn)部署需求。因此，I&O領(lǐng)導(dǎo)者亟需制定完善的生產(chǎn)發(fā)布戰(zhàn)略，以保障部署工作的順利進(jìn)行。

然而，要為大語(yǔ)言模型在AI基礎(chǔ)設(shè)施上的部署構(gòu)建一套穩(wěn)健的戰(zhàn)略，就需要從整體視角出發(fā)，包括適配AI基礎(chǔ)設(shè)施環(huán)境、為特定場(chǎng)景設(shè)計(jì)架構(gòu)、實(shí)施技術(shù)優(yōu)化以及確保符合監(jiān)管框架要求。

中國(guó)的I&O領(lǐng)導(dǎo)者應(yīng)：

使部署策略與企業(yè)數(shù)字化轉(zhuǎn)型戰(zhàn)略保持一致

按照使用場(chǎng)景構(gòu)建多層次部署架構(gòu)以優(yōu)化性能

優(yōu)化模型與推理以提升效率

使用云原生技術(shù)實(shí)現(xiàn)靈活調(diào)度

加強(qiáng)合規(guī)并強(qiáng)化安全管理

建立全鏈路監(jiān)控與成本控制機(jī)制

制定穩(wěn)健的部署治理流程

大語(yǔ)言模型已經(jīng)從研究原型轉(zhuǎn)變?yōu)槎喾N任務(wù)的關(guān)鍵核心組件，包括客戶支持AI智能體、法律文檔摘要、代碼生成或測(cè)試工具、企業(yè)級(jí)代理型AI用例以及多模態(tài)應(yīng)用等領(lǐng)域。然而，大語(yǔ)言模型在AI基礎(chǔ)設(shè)施中的生產(chǎn)部署需要解決如下幾個(gè)固有挑戰(zhàn)：

資源密集

非確定性行為與提示敏感

延遲與吞吐限制

安全與隱私

因此，為了成功將大語(yǔ)言模型部署到AI基礎(chǔ)設(shè)施的生產(chǎn)環(huán)境中，中國(guó)的I&O部門必須建立一套穩(wěn)健的治理流程，采取切實(shí)可行的步驟促進(jìn)資源管理、持續(xù)監(jiān)控以及敏捷更新。比如：

提前規(guī)劃并進(jìn)行試點(diǎn)

確定產(chǎn)品部署位置

建立高效的資源管理

在大語(yǔ)言模型生產(chǎn)發(fā)布流程中嵌入安全治理與提示治理

管理版本并執(zhí)行A/B測(cè)試

采用持續(xù)集成/持續(xù)交付流程

實(shí)施生產(chǎn)監(jiān)控

促進(jìn)關(guān)鍵利益相關(guān)方之間的緊密協(xié)作

部署大語(yǔ)言模型十分復(fù)雜，要求業(yè)務(wù)、法務(wù)、安全以及AI與數(shù)據(jù)團(tuán)隊(duì)以協(xié)同一致的方式共同工作。過(guò)去各自獨(dú)立的部門如今必須從大語(yǔ)言模型項(xiàng)目的啟動(dòng)階段就開展合作，以確保技術(shù)開發(fā)能夠反映法律和安全方面的考量。建立跨職能的AI治理委員會(huì)至關(guān)重要，成員應(yīng)包括法務(wù)、安全、數(shù)據(jù)工程與數(shù)據(jù)科學(xué)、產(chǎn)品管理、軟件開發(fā)以及高管層的代表。

文章來(lái)源：Gartner