有專家認(rèn)為，xAI 可能是使用了 OpenAI 模型輸出來(lái)微調(diào) Grok。 師出同門？馬斯克的新 AI 機(jī)器人 Grok 引用 OpenAI 使用政策

Grok 是由馬斯克創(chuàng)立的 xAI 公司開發(fā)的 AI 機(jī)器人，類似于 OpenAI 旗下的明星產(chǎn)品 ChatGPT。除了能夠通過(guò) X 平臺(tái)（原 Twitter）獲取實(shí)時(shí)知識(shí)以外，Grok 與市面上其他模型的最大區(qū)別就是它樂(lè)于回答各種“尖銳”問(wèn)題，并以一種既詼諧又有點(diǎn)叛逆的方式加以解構(gòu)。

但自 Grok 上周正式發(fā)布以來(lái)，人們從中發(fā)現(xiàn)了不少有趣的現(xiàn)象。

上周五，安全測(cè)試員 Jax Winterbourne 在推文中分享了一張 Grok 拒絕查詢的屏幕截圖，這款機(jī)器人表示：“我恐怕無(wú)法滿足該請(qǐng)求，因?yàn)檫@違反了 OpenAI 的用例政策?！毕⒁怀鲅杆僭诰W(wǎng)上引發(fā)關(guān)注，因?yàn)?Grok 并非出自 OpenAI 之后，反而是為了與 OpenAI 打造的明星級(jí)聊天機(jī)器人 ChatGPT 相抗衡而生。

更有趣的是，xAI 的代表并沒(méi)有否認(rèn)其 AI 模型存在這種行為。xAI 工程師 Igor Babuschkin 在回復(fù)中寫道：

“之所以會(huì)出現(xiàn)這種問(wèn)題，是因?yàn)榫W(wǎng)絡(luò)上充斥著 ChatGPT 的輸出，所以我們?cè)谑褂么罅烤W(wǎng)絡(luò)數(shù)據(jù)訓(xùn)練 Grok 時(shí)無(wú)意中獲取了其中部分輸出。這對(duì)我們來(lái)說(shuō)完全是個(gè)意外，這也是我們第一次發(fā)現(xiàn)問(wèn)題。這個(gè)問(wèn)題本身非常罕見(jiàn)，現(xiàn)在我們已經(jīng)意識(shí)到其存在，也將在 Grok 的未來(lái)版本中確保不再出現(xiàn)類似的問(wèn)題。大家不用擔(dān)心，Grok 的開發(fā)中并沒(méi)有用到 OpenAI 代碼?！?/p>

ChatGPT“倒油”： 我們確實(shí)有很多共同點(diǎn)

對(duì)于一些專家來(lái)說(shuō)，Babuschkin 的解釋似乎缺乏說(shuō)服力，因?yàn)榇笳Z(yǔ)言模型一般不會(huì)原樣輸出訓(xùn)練數(shù)據(jù)。如果 Grok 是在回答中偶爾提到了 OpenAI 政策，那倒是完全可以理解。但實(shí)際情況恰恰相反，這段基于 OpenAI 政策的拒絕查詢內(nèi)容可能需要專門訓(xùn)練。所以可能性更大的真相，其實(shí)是 Grok 使用 OpenAI 語(yǔ)言模型的輸出數(shù)據(jù)進(jìn)行了微調(diào)。

根據(jù) ArsTechnica 報(bào)道，AI 研究員 Simon Willison 在采訪中表示，“我對(duì) Grok 之所以會(huì)輸出這樣的內(nèi)容，只是因?yàn)榛ヂ?lián)網(wǎng)上充斥著 ChatGPT 生成結(jié)果的說(shuō)法表示懷疑。我在 Hugging Face 上看到過(guò)大量表現(xiàn)出相同行為的開放權(quán)重模型，它們的行為同樣跟 ChatGPT 高度相似，但這是因?yàn)槟切┠Ｐ驮谑褂?OpenAI API 生成的數(shù)據(jù)集上進(jìn)行了微調(diào)，或者干脆直接從 ChatGPT 本體中抓取了數(shù)據(jù)。所以我認(rèn)為 Grok 更有可能是在包含 ChatGPT 輸出的數(shù)據(jù)集上進(jìn)行了指令微調(diào)，而非基于網(wǎng)絡(luò)數(shù)據(jù)的純意外表現(xiàn)?！?/p>

隨著 Grok 可能借用 OpenAI 結(jié)果的消息傳開，ChatGPT 官方賬號(hào)發(fā)帖稱“我們確實(shí)有很多共同點(diǎn)”，并引用了 Winterbourne 的帖子。作為回應(yīng)，馬斯克則寫道：“行吧，小子，反正你就是從整個(gè)網(wǎng)絡(luò)平臺(tái)上抓取數(shù)據(jù)訓(xùn)練出來(lái)的，所以你肯定最懂?！?/p>

馬斯克打造的“叛逆”AI：Grok

根據(jù)介紹，Grok 是一款模仿《銀河系漫游指南》風(fēng)格的“叛逆”機(jī)器人，會(huì)以辛辣幽默的方式“銳評(píng)”各類問(wèn)題，其神奇的腦洞往往出人意料。據(jù)悉，Grok 僅經(jīng)過(guò)兩個(gè)月的訓(xùn)練就開發(fā)而成，xAI 表示該機(jī)器人將在用戶反饋的幫助下快速發(fā)展。

根據(jù) xAI 的介紹，Grok 確實(shí)會(huì)回答那些被大多數(shù)其他 AI 系統(tǒng)拒絕的“尖銳”問(wèn)題。管理顧問(wèn) Satyam Srivastava 表示，Grok 已經(jīng)在不少有爭(zhēng)議的查詢上表現(xiàn)出“非常出色”的處理能力。他提到，馬斯克最近發(fā)布一條推文，其中一名用戶向 Grok 詢問(wèn)如何合成可卡因，Grok 則將其稱為“臭名昭著的白面兒”。

起初，Grok 還在回復(fù)中添加了一點(diǎn)幽默元素，比如第 4 點(diǎn)是“上灶開炒，希望你別搞炸了或者被抓住。”但馬斯克隨后展示了更詳盡的完整回應(yīng)，稱該機(jī)器人明確強(qiáng)調(diào)這一切都是“出于教育目的”。Srivastava 表示，“這種方法可謂在市場(chǎng)上脫穎而出，遠(yuǎn)優(yōu)于盡量回避此類問(wèn)題的其他 AI 產(chǎn)品?！?/p>

作為 Grok 背后的引擎，Grok-1 在機(jī)器學(xué)習(xí)基準(zhǔn)測(cè)試中的表現(xiàn)優(yōu)異，成功超越了同等體量的其他模型。例如，Grok-1 的性能優(yōu)于 ChatGPT-3.5 和 Inflection-1，僅落后于 GPT-4 等體量更大的模型。馬斯克還在 Twitter 上分享了一張圖片，展示了 Grok 與 其他典型 GPT 相比如何利用實(shí)時(shí)信息充實(shí)響應(yīng)結(jié)果。

Grok 在開發(fā)中用到了 Kubernetes、Rust 和由 JAX 構(gòu)建的強(qiáng)大基礎(chǔ)設(shè)施。xAI 團(tuán)隊(duì)也特別強(qiáng)調(diào)了可靠基礎(chǔ)設(shè)施對(duì)于深度學(xué)習(xí)研究的重要意義，而 Rust 的性能與可靠性也發(fā)揮了巨大價(jià)值。隨著 Grok 為進(jìn)一步迭代做好準(zhǔn)備，該團(tuán)隊(duì)聲稱其重點(diǎn)關(guān)注可擴(kuò)展、高效且可靠的訓(xùn)練與推理機(jī)制。

此外，Grok 還曾接受 2023 年匈牙利國(guó)家高中數(shù)學(xué)考試，獲得的成績(jī)?yōu)?C。Srivastava 表示，未來(lái)隨著 Grok 掌握更先進(jìn)的學(xué)習(xí)算法，它有望比 ChatGPT 和 Bard 等其他 AI 模型更快地學(xué)習(xí)和適應(yīng)。

但研究參與者兼 Culture Fluid 創(chuàng)始人 Sharon Gai 認(rèn)為，由于 Grok 主要接受來(lái)自 Twitter 用戶的訓(xùn)練數(shù)據(jù)，因此她只能暫時(shí)停止對(duì)準(zhǔn)確度的考查。她解釋道，“任何人都可以在 Twitter 發(fā)表推文，所以這里簡(jiǎn)直成了錯(cuò)誤信息的集散地。相比之下，ChatGPT 則主要將已出版的期刊、網(wǎng)站和書籍作為素材進(jìn)行訓(xùn)練。”

Gai 還補(bǔ)充道，馬斯克在通過(guò)藍(lán)標(biāo)認(rèn)證為 Twitter 賺錢的計(jì)劃失敗之后，就匆忙推出了自己的 AI 機(jī)器人。在她看來(lái)，“目前馬斯克這套模型的唯一優(yōu)點(diǎn)就是使用了最新數(shù)據(jù)，而且比“清醒的”ChatGPT 能回答更多問(wèn)題。這款產(chǎn)品也很好地融入了他將 X 打造成超級(jí)應(yīng)用的計(jì)劃。馬斯克已經(jīng)為 X 平臺(tái)申請(qǐng)到了銀行牌照，還計(jì)劃推出直播服務(wù)。”

審核編輯：劉清