ICML（International Conference on Machine Learning）是機(jī)器學(xué)習(xí)領(lǐng)域的頂級學(xué)術(shù)會議之一，由國際機(jī)器學(xué)習(xí)學(xué)會（IMLS）主辦，被中國計(jì)算機(jī)學(xué)會認(rèn)定為A類會議。會議涵蓋了機(jī)器學(xué)習(xí)的各個(gè)前沿方向，包括但不限于深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、自然語言處理、計(jì)算機(jī)視覺、貝葉斯方法及優(yōu)化算法等。

近日，ICML 2025公布了本屆論文審稿結(jié)果，思必馳-上海交大聯(lián)合實(shí)驗(yàn)室2篇論文被收錄。本次收錄的論文成果聚焦大語言模型可靠性、可解釋性前沿研究方向，針對復(fù)雜任務(wù)執(zhí)行與工具幻覺應(yīng)對、大模型內(nèi)部模塊功能探測等關(guān)鍵技術(shù)取得重要突破，不僅增強(qiáng)了大模型在嚴(yán)肅場景下的可靠任務(wù)執(zhí)行能力，還為產(chǎn)業(yè)級大模型的可解釋審計(jì)、推理加速與低成本定制部署提供了全新技術(shù)路徑。兩項(xiàng)成果共同助力思必馳“讓大模型更可靠、更可控、更高效”，以下為兩項(xiàng)成果介紹：

大模型與工具協(xié)作的可靠性

Reducing Tool Hallucination via Reliability Alignment

針對大語言模型（LLMs）與外部工具交互中出現(xiàn)的工具幻覺問題，提出“Relign” 可靠性對齊框架，通過定義工具幻覺類型并引入RelyToolBench基準(zhǔn)集，強(qiáng)化了模型在工具選擇和使用上的可靠性，顯著降低大模型的工具幻覺率并減少無效調(diào)用次數(shù)，從而同步提升任務(wù)成功率并節(jié)省算力與接口成本。

論文簡介：大型語言模型（LLMs）的能力已從單純的語言生成擴(kuò)展到與外部工具的交互，從而實(shí)現(xiàn)了自動化和現(xiàn)實(shí)世界的應(yīng)用。然而，工具幻覺（tool hallucinations）——即模型選擇不恰當(dāng)?shù)墓ぞ呋蝈e(cuò)誤使用工具——帶來了重大挑戰(zhàn)，導(dǎo)致任務(wù)執(zhí)行錯(cuò)誤、計(jì)算成本增加以及系統(tǒng)可靠性降低。為系統(tǒng)性地解決這一問題，我們將工具幻覺定義并分類為兩種主要類型：工具選擇幻覺（tool selection hallucination）和工具使用幻覺（tool usage hallucination）。為評估和緩解這些問題，我們提出了RelyToolBench，該基準(zhǔn)集整合了專門的測試案例和新穎的指標(biāo)，用于評估考慮幻覺的任務(wù)成功率和效率。最后，我們提出了Relign，一個(gè)可靠性對齊框架，該框架將工具使用的動作空間擴(kuò)展為包含猶豫性動作，允許LLMs推遲使用工具、尋求澄清或動態(tài)調(diào)整工具選擇。通過大量實(shí)驗(yàn)，我們證明Relign 能顯著減少工具幻覺，提升任務(wù)可靠性，并提高LLM工具交互的效率。

大模型可解釋性與輕量化

Heads up! Large Language Models Can Perform Tasks Without Your Instruction via Selective Attention Head Masking

針對大語言模型內(nèi)部模塊組合的功能探測問題，提出二元注意力頭掩碼功能分區(qū)方法，可快速識別執(zhí)行特定任務(wù)所需的關(guān)鍵注意力通路，并支持解釋性、剪枝加速與小參數(shù)微調(diào)三合一，該成果助力思必馳在保持模型性能的同時(shí)大幅降低定制與部署成本。

論文簡介：大語言模型（LLM）由眾多Transformer模塊構(gòu)成，雖然這些模型可以執(zhí)行各種功能，但如何將這些模塊組合起來以展現(xiàn)各自獨(dú)特的內(nèi)在功能仍然是一個(gè)懸而未決的問題。本文研究了LLM內(nèi)部的模塊，并證明在推理過程中，僅通過屏蔽或保留特定的注意力頭，LLM便能展現(xiàn)出特定任務(wù)的功能，而無需明確的指令或修改模型參數(shù)。針對不同模型和任務(wù)的實(shí)驗(yàn)表明，LLM天生編碼了“功能路徑”——這是一組結(jié)構(gòu)化的、相互依賴的注意力頭群，它們對于執(zhí)行特定任務(wù)至關(guān)重要。這些路徑不僅決定了模型的功能行為，還提高了參數(shù)效率，因?yàn)橐种坡窂街獾淖⒁饬︻^可以改善任務(wù)性能。

長期以來，思必馳深度參與國內(nèi)外學(xué)術(shù)前沿研究，在ICASSP、INTERSPEECH、ACL、EMNLP、AAAI、ICML等頂級學(xué)術(shù)會議上屢獲佳績，持續(xù)產(chǎn)出高質(zhì)量科研成果。思必馳-上海交大聯(lián)合實(shí)驗(yàn)室憑借一系列高水平論文，彰顯了在人工智能語音語言關(guān)鍵技術(shù)領(lǐng)域的深度探索和重大突破，為行業(yè)的發(fā)展注入了強(qiáng)大動力。思必馳秉持科研與產(chǎn)業(yè)應(yīng)用緊密結(jié)合的理念，未來也將持續(xù)探索科技成果的應(yīng)用轉(zhuǎn)化。

作為專業(yè)的對話式人工智能平臺型企業(yè)，思必馳具有源頭技術(shù)創(chuàng)新和應(yīng)用創(chuàng)新的能力，自2022年7月獲國家科技部批準(zhǔn)建設(shè)“語言計(jì)算國家新一代人工智能開放創(chuàng)新平臺”以來，接連于2023-2024年獲批組建蘇州市、江蘇省、長三角三級創(chuàng)新聯(lián)合體，并于2025年攜手上海交通大學(xué)、蘇州大學(xué)，牽頭組建“江蘇省語言計(jì)算及應(yīng)用重點(diǎn)實(shí)驗(yàn)室”，成為國家人工智能戰(zhàn)略科技力量的重要組成部分。

思必馳承擔(dān)了包括國家重點(diǎn)研發(fā)計(jì)劃、國家發(fā)改委“互聯(lián)網(wǎng)+”重大工程和人工智能創(chuàng)新發(fā)展工程、國家工信部人工智能與實(shí)體經(jīng)濟(jì)深度融合項(xiàng)目、長三角科技創(chuàng)新共同體聯(lián)合攻關(guān)計(jì)劃項(xiàng)目等十余項(xiàng)國家級、省部級項(xiàng)目，展現(xiàn)出卓越的科研實(shí)力與項(xiàng)目落地能力。

思必馳深耕語音語言領(lǐng)域，憑借自主研發(fā)的核心技術(shù)多次在國際研究機(jī)構(gòu)評測中奪得冠軍；曾三度斬獲國內(nèi)人工智能最高獎(jiǎng)“吳文俊獎(jiǎng)”，榮獲中國專利優(yōu)秀獎(jiǎng)，以及信通院車載智能語音交互系統(tǒng)最高級別認(rèn)證等重要榮譽(yù)。技術(shù)創(chuàng)新能力備受全球矚目，被高盛全球人工智能報(bào)告列為關(guān)鍵參與者，也被Gartner評為東亞五大明星AI公司之一。

截至2024年年底，思必馳擁有近100項(xiàng)全球獨(dú)創(chuàng)技術(shù)，已授權(quán)知識產(chǎn)權(quán)1597件，其中已授權(quán)發(fā)明專利633項(xiàng)，參與了71項(xiàng)國家/行業(yè)/團(tuán)體標(biāo)準(zhǔn)，獲得23項(xiàng)國家級的產(chǎn)品認(rèn)證。近期，大模型人機(jī)對話技術(shù)創(chuàng)新與產(chǎn)業(yè)賦能發(fā)展提速，思必馳堅(jiān)持自主的大模型技術(shù)路線，即“構(gòu)建可靠性優(yōu)先的1+N分布式智能體系統(tǒng)：1 個(gè)中樞大模型+ N 個(gè)垂域模型及全鏈路交互組件組成全功能系統(tǒng)”，以任務(wù)型交互為核心，結(jié)合智能硬件感知優(yōu)勢，構(gòu)建垂域大模型和中樞大模型系統(tǒng)，服務(wù)企業(yè)客戶。