5月31日(當(dāng)?shù)貢r(shí)間),openai宣布其開(kāi)始對(duì)抗人工智能的“錯(cuò)覺(jué)”,并采用新的方法來(lái)訓(xùn)練人工智能模型。
據(jù)說(shuō),如果open ai開(kāi)發(fā)的chatgpt和谷歌開(kāi)發(fā)的bard等模型完全捏造信息,就像羅列事實(shí)一樣,顯示ai的“幻覺(jué)(hallucination)”。例如,在谷歌今年2月公開(kāi)的bard宣傳視頻中,聊天機(jī)器人對(duì)詹姆斯-韋伯太空望遠(yuǎn)鏡進(jìn)行了虛假說(shuō)明。chatgpt最近在紐約聯(lián)邦法院寫(xiě)了一份引用虛假案件的文件,涉及此案的紐約律師可能會(huì)受到處罰。
目前,openai提出了一種新的方法——來(lái)緩解chatgpt中的“幻覺(jué)”,并讓激情變得更好,這是通過(guò)“過(guò)程監(jiān)督”來(lái)提高大ai模型的數(shù)學(xué)推理能力。
openai研究組在報(bào)告書(shū)中表示:“最先進(jìn)的模型也可能生成虛假信息——,有在不確定的瞬間捏造事實(shí)的傾向?!薄斑@種幻想在需要多個(gè)層次推論的領(lǐng)域尤其有問(wèn)題,因?yàn)檫壿嬪e(cuò)誤可能會(huì)破壞更大的解決方案。”
openai對(duì)抗ai“幻覺(jué)”的新戰(zhàn)略不是單純地因?yàn)檎_答案而給予補(bǔ)償,而是因?yàn)椴聦?duì)正確的推理過(guò)程而給予補(bǔ)償。據(jù)研究者稱(chēng),這種方法被稱(chēng)為“過(guò)程監(jiān)測(cè)”,而不是“結(jié)果監(jiān)測(cè)”。
這一策略也可能會(huì)導(dǎo)致更具描述性的人工智能,因?yàn)樗膭?lì)模型更多地遵循人類(lèi)“思想”之類(lèi)的方法鏈。除了結(jié)果監(jiān)控以外,過(guò)程監(jiān)控也有助于解決排序問(wèn)題。
openai的研究人員還不知道這些結(jié)果是否適用于數(shù)學(xué)以外的領(lǐng)域,但他們認(rèn)為在其他領(lǐng)域探索“過(guò)程監(jiān)督”的影響也很重要。
-
模型
+關(guān)注
關(guān)注
1文章
3755瀏覽量
52124 -
聊天機(jī)器人
+關(guān)注
關(guān)注
0文章
348瀏覽量
13093 -
OpenAI
+關(guān)注
關(guān)注
9文章
1245瀏覽量
10098
發(fā)布評(píng)論請(qǐng)先 登錄
用于窄帶匹配高速射頻ADC的全新方法
奧松電子榮獲2025年中國(guó)創(chuàng)新方法大賽全國(guó)總決賽二等獎(jiǎng)
??低晿s獲2025年中國(guó)創(chuàng)新方法大賽總決賽金獎(jiǎng)
奧松半導(dǎo)體榮獲2025中國(guó)創(chuàng)新方法大賽重慶賽區(qū)二等獎(jiǎng)
GPT-5.1發(fā)布 OpenAI開(kāi)始拼情商
OpenAI Sora 2模型上線(xiàn)微軟Azure AI Foundry國(guó)際版
【「AI芯片:科技探索與AGI愿景」閱讀體驗(yàn)】+第二章 實(shí)現(xiàn)深度學(xué)習(xí)AI芯片的創(chuàng)新方法與架構(gòu)
【「AI芯片:科技探索與AGI愿景」閱讀體驗(yàn)】+內(nèi)容總覽
OpenAI開(kāi)源模型登陸IBM watsonx.ai開(kāi)發(fā)平臺(tái)
澎峰科技完成OpenAI最新開(kāi)源推理模型適配
亞馬遜云科技現(xiàn)已上線(xiàn)OpenAI開(kāi)放權(quán)重模型
OpenAI發(fā)布2款開(kāi)源模型
芯片制造中高精度膜厚測(cè)量與校準(zhǔn):基于紅外干涉技術(shù)的新方法
OpenAI稱(chēng)找到新方法減輕大模型“幻覺(jué)”
評(píng)論