當前，以人工智能為代表的前沿技術正推動一場新的范式革命，傳統(tǒng)的學科壁壘不斷被打破，跨學科融合與邊界突破為復雜問題提供了新的解決方案。

近日，2025世界頂尖科學家論壇之國際工程智能大會成功召開，大會以“工程智能：面向未來工業(yè)體系的智能變革”為主題，全球頂尖學者與產業(yè)專家齊聚，共同勾勒由人工智能深度驅動的未來工業(yè)新圖景。

上海交通大學特聘教授、思必馳聯(lián)合創(chuàng)始人、首席科學家俞凱應邀出席，發(fā)表了《Towards Reliable Task-oriented LLM Agents》主題演講，深刻剖析了當前大語言模型智能體的核心痛點——“幻覺”問題，創(chuàng)新性的提出了“不確定性感知的可靠性對齊”新范式，為構建真正可靠、可用的人工智能指明了方向。

從“輸出錯誤”到“行為意外”：

智能體時代的幻覺新挑戰(zhàn)

演講伊始，俞凱首先厘清了“智能體”幻覺與傳統(tǒng)大語言模型幻覺的本質區(qū)別。他指出，傳統(tǒng)大語言模型的幻覺主要表現為“事實性錯誤”，而當大語言模型進化成能夠主動執(zhí)行、調用工具/與環(huán)境交互的“智能體”時，其幻覺則升維為“與人類合理預期不一致的行為”。

“例如，當你讓智能體‘9點提醒我一下’，它可能并未理解你的意圖是設定一個‘提醒’，而是機械地設定了晚上9點的鬧鐘，甚至回答‘我不能設定鬧鐘’你可以嘗試......”。俞凱表示，這種行為上的偏差，在任務執(zhí)行中可能帶來比事實錯誤更嚴重的后果。

他進一步指出，幻覺的根源在于模型內外的“不確定性”。外部不確定性源于訓練數據的噪聲、缺失或過時信息；內部不確定性則源于神經網絡模型的概率生成特性。為解決這些不確定性造成的幻覺問題，產業(yè)界形成了兩種主流范式：一是通過引入搜索、數學/代碼、數據庫等工具增強的方式來擴展知識邊界；二是通過評估模型輸出的置信度，并設定閾值來拒絕低置信度的回答。

然而，這兩種范式均面臨嚴峻挑戰(zhàn)：工具增強的方式雖擴展了知識，卻引發(fā)了“工具幻覺”——包括工具的種類、調用時機、格式、內容等幻覺。即使增加訓練數據能提升任務成功率，也無法消除“工具幻覺”的發(fā)生；而“置信度評估”范式則遭遇了更為棘手的“妄想”問題，即模型在輸出完全錯誤答案時，卻表現出極高的置信度，這使得基于閾值的拒答機制近乎失效。

范式轉變：

從“消除不確定性”到“管理與利用不確定性”

在深入分析現有范式的局限后，俞凱帶領與會者進行了一場認知層面的思辨。他提出，不確定性并非純粹的缺陷，而是人類認知和交互中的本質屬性，有時甚至是高效率溝通的必要條件。

“我們的目標不應是試圖徹底消除不確定性，而是要像人類一樣，學會識別、管理并利用它?！庇釀P強調，“可靠性”的定義需要從單純的“正確性”轉變?yōu)榫C合考量“交互代價”與“有用性”的性價效用平衡?；谶@一理念，他提出了第三種范式，即“基于不確定性感知的可靠性對齊”。這一范式的核心在于，將智能體從傳統(tǒng)的“回答”或“拒答”擴展為包含“澄清”、“詢問”、“切換工具”等在內的“非決定性行動”。

俞凱表示，智能體的可靠性不應片面追求絕對正確率，而應構建一個兼顧“有用性”與“負責度”的框架，讓系統(tǒng)學會在不確定中做出合理決策與擔當。

實踐路徑：

單智能體與多智能體的可靠性解決方案

會上，俞凱介紹了在實踐中落實新范式的情況。在單智能體可靠性方面，團隊通過“顯式知識邊界感知建?！钡姆绞?，來訓練智能體明確區(qū)分“確定”、“不確定”和“拒答”區(qū)域。通過基于知識反饋的強化學習等技術，讓智能體學會在信息不足時主動向用戶澄清，而非強行執(zhí)行或直接放棄。例如，當用戶查詢“請幫我查一下去北京的票價”時，可靠的智能體會主動詢問“您從哪個城市出發(fā)？”，從而避免因信息缺失而產生的工具調用幻覺。實踐證明，該方法顯著降低了知識幻覺和工具幻覺，在數值推理和工具調用任務中的幻覺率甚至低于頂尖商業(yè)模型。

針對更為復雜的多輪交互場景，則引入“慢思考”精煉機制。對于智能體標記為“不確定”的響應，由一個獨立的“精煉模型”進行深度推理和優(yōu)化，形成“快速思維”負責高精度輸出、“慢速思維”處理模糊地帶的協(xié)同系統(tǒng)，有效解決了多輪對話中不確定性的傳播與放大問題。

在多智能體可靠性方面，俞凱提出了“分布式路由選擇”架構。不同規(guī)模和能力的模型組成一個模型池，面對用戶查詢，成本較低的小型模型首先進行自我評估，若勝任則直接回答，若不勝任則“路由”給更強大的模型?！斑@實現了一種既可靠又高效的資源配置，在保證性能的同時，盡可能控制計算成本?！?/p>

演講的最后，俞凱表示，基于“不確定性感知的可靠性對齊”框架能夠將人工智能從一臺追求絕對正確的“答題機器”，轉變?yōu)橐粋€能夠感知邊界、主動溝通、協(xié)同決策的“可靠伙伴”。

作為思必馳首席科學家，俞凱帶領團隊研發(fā)的“1+N”分布式大模型智能體系統(tǒng)，也是基于“不確定性感知的可靠性對齊”范式構建?！?”即一個中樞大模型，負責基礎語言處理與通用知識整合；“N”即N個垂域模型，針對具體行業(yè)場景進行優(yōu)化，形成可柔性定制的行業(yè)語言大模型?，F已廣泛用于智能汽車、智慧物聯(lián)、會議辦公等領域，成本與響應速度優(yōu)勢顯著。

這一創(chuàng)新范式并非一蹴而就，而是建立在俞凱與團隊長期的學術研究與產業(yè)實踐基礎上。在今年8月召開的第二十四屆中國計算語言學大會（CCL2025）和10月舉行的2025年第二十屆全國人機語音通訊學術會議（NCMMSC2025）現場，俞凱已就相關研究方向進行了分享，在行業(yè)內形成了持續(xù)討論。

“不確定性感知的可靠性對齊”范式切中了AI工程化應用時所遇到問題的要害，引發(fā)了在場頂尖科學家與產業(yè)專家的共鳴與深入討論。隨著任務型大語言模型智能體在各個行業(yè)場景的深度融合，對“可靠性”的重新定義與技術攻堅，已成為推動人工智能縱深發(fā)展的關鍵引擎，并將催生以高質量、高可靠性為特征的新質生產力。