作者 / 語(yǔ)言模型可解釋性團(tuán)隊(duì)

大語(yǔ)言模型 (LLM) 具備令人驚嘆的推理能力，但其內(nèi)部決策過(guò)程在很大程度上仍然不透明。如果系統(tǒng)未按預(yù)期運(yùn)行，對(duì)其內(nèi)部運(yùn)作機(jī)制缺乏可見性將難以準(zhǔn)確定位問(wèn)題根源。過(guò)去，我們通過(guò)發(fā)布Gemma Scope工具包推動(dòng)了可解釋性科學(xué)的發(fā)展，該工具旨在幫助研究人員理解我們輕量級(jí)開放模型系列 Gemma 2 的內(nèi)部運(yùn)作機(jī)制。

近期我們正式發(fā)布了Gemma Scope 2: 這是一套全面且開放的可解釋性工具套件，適用于從 2.7 億到 270 億參數(shù)的所有Gemma 3模型規(guī)模。借助這套工具，我們可以追蹤模型整個(gè) "大腦" 中的潛在風(fēng)險(xiǎn)。

據(jù)我們了解，這是迄今為止 AI 實(shí)驗(yàn)室發(fā)布的最大規(guī)?？山忉屝怨ぞ唛_源項(xiàng)目。構(gòu)建 Gemma Scope 2 共涉及存儲(chǔ)約 110PB 數(shù)據(jù)，訓(xùn)練的參數(shù)量更是超過(guò)了 1 萬(wàn)億。

隨著 AI 持續(xù)發(fā)展，我們期待 AI 研究社區(qū)運(yùn)用 Gemma Scope 2 來(lái)調(diào)試模型涌現(xiàn)行為，借助這些工具更有效地審計(jì)與調(diào)試 AI 智能體，最終實(shí)現(xiàn)加速開發(fā)實(shí)用且穩(wěn)健的安全干預(yù)方案，以應(yīng)對(duì)越獄攻擊、幻覺(jué)生成及諂媚傾向等問(wèn)題。

我們與 Neuronpedia 合作推出的Gemma Scope 2 交互式演示現(xiàn)已開放體驗(yàn)。

Gemma Scope 2 新功能

可解釋性研究旨在揭示 AI 模型的內(nèi)部運(yùn)作機(jī)制及其訓(xùn)練中習(xí)得的算法。隨著 AI 的能力日益增強(qiáng)、系統(tǒng)日趨復(fù)雜，可解釋性對(duì)于構(gòu)建安全可靠的 AI 至關(guān)重要。

與上一代工具類似，Gemma Scope 2 如同為 Gemma 系列語(yǔ)言模型配備的顯微鏡。通過(guò)結(jié)合稀疏自編碼器 (SAEs) 與轉(zhuǎn)碼器，研究人員得以深入模型內(nèi)部，觀察其思考內(nèi)容，溯源這些思維如何形成并與模型行為產(chǎn)生關(guān)聯(lián)。由此，這種洞察力進(jìn)一步推動(dòng)對(duì)越獄攻擊等 AI 安全相關(guān)問(wèn)題的更深入研究，例如揭示模型對(duì)外表述的推理過(guò)程與其內(nèi)部真實(shí)狀態(tài)之間的差異。

初代 Gemma Scope 已在模型幻覺(jué)、識(shí)別模型已知機(jī)密信息、訓(xùn)練更安全模型等關(guān)鍵安全研究領(lǐng)域發(fā)揮作用，而 Gemma Scope 2 則通過(guò)以下重大升級(jí)來(lái)支持更具雄心的研究:

全規(guī)模覆蓋: 我們?yōu)檎麄€(gè) Gemma 3 系列 (參數(shù)規(guī)模最高達(dá) 270 億) 提供了一整套完整的工具，這對(duì)于研究?jī)H在大規(guī)模模型中顯現(xiàn)的涌現(xiàn)行為至關(guān)重要。例如，此前270 億參數(shù)的 C2S Scale 模型曾協(xié)助科研人員發(fā)現(xiàn)潛在的新型癌癥治療路徑。盡管 Gemma Scope 2 并未在該模型上進(jìn)行訓(xùn)練，但這一案例體現(xiàn)了此工具套件未來(lái)有望解析的涌現(xiàn)行為類型。

更精細(xì)的復(fù)雜內(nèi)部行為解析工具: Gemma Scope 2 包含針對(duì) Gemma 3 模型系列每一層訓(xùn)練的稀疏自編碼器與轉(zhuǎn)碼器。通過(guò)引入跳躍轉(zhuǎn)碼器和跨層轉(zhuǎn)碼器，讓解析貫穿在模型中的多步驟計(jì)算與算法變得更加輕松。

先進(jìn)的訓(xùn)練技術(shù): 我們采用最前沿的訓(xùn)練技術(shù)，特別是Matryoshka 訓(xùn)練技術(shù)，該技術(shù)能幫助稀疏自編碼器識(shí)別更有價(jià)值的概念，并修正了在初代 Gemma Scope 中發(fā)現(xiàn)的部分缺陷。

對(duì)話機(jī)器人行為分析工具: 對(duì)于針對(duì)聊天場(chǎng)景微調(diào)的 Gemma 3 版本，我們還專門提供定制化的可解釋性工具。這些工具有助于分析復(fù)雜、多步驟的行為模式，例如越獄攻擊、拒絕響應(yīng)機(jī)制以及思維鏈的忠實(shí)度。

推動(dòng)領(lǐng)域發(fā)展

我們希望通過(guò)發(fā)布 Gemma Scope 2 為 AI 安全研究社區(qū)提供一套前沿的可解釋性工具，以推動(dòng)該領(lǐng)域發(fā)展。針對(duì)那些僅在更大、更先進(jìn)的大語(yǔ)言模型中出現(xiàn)的現(xiàn)實(shí)安全問(wèn)題，這種全新的開放程度提供了至關(guān)重要的解決途徑。歡迎您持續(xù)關(guān)注 "谷歌開發(fā)者" 微信公眾號(hào)，及時(shí)了解更多開發(fā)技術(shù)和產(chǎn)品更新等資訊動(dòng)態(tài)。