《權(quán)力的游戲》結(jié)局爛尾？

《權(quán)力的游戲》第八季崩盤(pán)，在一片“爛尾結(jié)局”的評(píng)價(jià)聲中落下了帷幕。采訪身邊很多劇迷的觀后感，一位同事給的評(píng)價(jià)只有一句話：“書(shū)是一本好書(shū)”。

近日，國(guó)外，Medium 平臺(tái)一位作者也分享了他的感受：

“權(quán)力的游戲”第8季的故事情節(jié)，因?yàn)槠浯颐Χ槐M如人意的結(jié)局，讓數(shù)百萬(wàn)名粉絲（包括作者）十分失望。大部分人都在呼吁重寫(xiě)該劇的最后一季，而其他人為了讓自己舒心，則想出他們自己版本的結(jié)局。大家都在等待GRRM完成他的書(shū)，希望他能塑造一個(gè)更令人難以置信的角色，但這可能需要很多年。

作為一名技術(shù)人，任何問(wèn)題都會(huì)忍不住想一下：技術(shù)能不能搞一下？

如果讓 AI 學(xué)習(xí) GRRM 的寫(xiě)作風(fēng)格，然后寫(xiě)一個(gè)結(jié)局如何？

AI 能寫(xiě)得更好嗎？

隨后，作者便用年初 OpenAI 提出的 GPT-2 文本生成模型實(shí)踐操作了一波。模型學(xué)習(xí)的是《冰與火之歌》（A Song of Ice and Fire）原著，輸出三大反派人物（the Night King, Cersei Lannister and Daenerys Targaryen）的結(jié)局。

接下來(lái)的內(nèi)容，我們會(huì)先簡(jiǎn)單一下 GPT-2，詳細(xì)的介紹可以參考我們以前給大家推送的文章；然后介紹一下作者訓(xùn)練模型的方法；最后根據(jù)模型生成結(jié)果進(jìn)行總結(jié)與反思。文章沒(méi)有涉及非常詳細(xì)的技術(shù)細(xì)節(jié)，而是從方法上幫助大家整體把握，后續(xù)無(wú)論是增加數(shù)據(jù)集，還是結(jié)合自己需求做調(diào)整，思路都可以借鑒，對(duì)技術(shù)細(xì)節(jié)沒(méi)有進(jìn)行詳細(xì)說(shuō)明。

GPT-2（生成預(yù)訓(xùn)練的遷移模型）

在現(xiàn)有的 AI 語(yǔ)言模型中，GPT-2 是一種達(dá)到了 SOTA 效果的文本生成模型。他能生成類似人類語(yǔ)言的連貫性語(yǔ)句，并且可以長(zhǎng)期關(guān)注某個(gè)主題。 相比于其他語(yǔ)言模型，GPT-2 兩個(gè)較大改進(jìn)在于：

大量數(shù)據(jù)：研究人員抓取了 800 萬(wàn)個(gè)網(wǎng)頁(yè)，制作了一個(gè) 40GB 的文本語(yǔ)料庫(kù)，用于進(jìn)行無(wú)監(jiān)督的訓(xùn)練。它涵蓋了各種各樣的主題，這就是為什么預(yù)先訓(xùn)練的模型非常適合遷移到特定領(lǐng)域，比如這次我們用到的原著 GoT。

大量計(jì)算：Transformer 模型結(jié)構(gòu)中使用了 15 億個(gè)參數(shù)。不過(guò)，出于安全考慮，他們發(fā)布了僅包含 3.45 億個(gè)參數(shù)的較小版本。這次的模型也是使用這個(gè)版本。

遷移模型

GPT-2 使用的是 Transformer 網(wǎng)絡(luò)架構(gòu)，而不是序列建模傳統(tǒng)模型 RNN、LSTM 等網(wǎng)絡(luò)。不同之處在于 Transformer 使用基于注意力機(jī)制的解碼/編碼器，而不是擁有'memory'門(mén)和時(shí)間步長(zhǎng)的循環(huán)單元。

編碼器利用字節(jié)對(duì)和位置嵌入處理輸入，其中位置嵌入描述的是輸入句子中“嵌入的單詞”和“在何處嵌入”。相同的編碼器將字節(jié)和位置嵌入轉(zhuǎn)換為矢量編碼，然后將該矢量編碼輸入解碼器，解碼器的任務(wù)是將編碼轉(zhuǎn)換為目標(biāo)文本序列。 該輸出和來(lái)自前一步驟的編碼被饋送到下一個(gè)編碼- 解碼步驟，并且重復(fù)多次，以產(chǎn)生更好的文本序列。

而 GPT-2 就可以經(jīng)過(guò)訓(xùn)練，預(yù)測(cè)給定輸入句子中的下一個(gè)單詞。如果模型可以相當(dāng)準(zhǔn)確地預(yù)測(cè)下一個(gè)單詞，那么模型可能具備理解輸入單詞上下文含義的能力。如果不理解文本，語(yǔ)言模型只能預(yù)測(cè)符合語(yǔ)法規(guī)則的單詞，而生成的文本可能不會(huì)符合語(yǔ)義規(guī)則。不同于機(jī)器翻譯任務(wù)中的 seq2seq 模型，GPT-2 僅使用預(yù)訓(xùn)練模型 Transformer 中的解碼器來(lái)生成后續(xù)文本，在文本生成期間并不需要編碼器。

訓(xùn)練模型

數(shù)據(jù)：作者從《冰與火之歌》的 5 本書(shū)中摘錄，組合文本數(shù)據(jù)用于訓(xùn)練。

模型：預(yù)訓(xùn)練 GPT-2 模型包含 345M 參數(shù)。

時(shí)間：該模型在 Google Colab 的 K80 GPU 上訓(xùn)練了大約12個(gè)小時(shí)。

在訓(xùn)練過(guò)程中，作者意外發(fā)現(xiàn)，預(yù)訓(xùn)練模型很擅長(zhǎng)撰寫(xiě)《權(quán)利的游戲》里的角色特征，可能與在初始訓(xùn)練期已經(jīng)接觸過(guò)這些內(nèi)容有關(guān)。想讓模型撰寫(xiě)的內(nèi)容更貼近 GRRM 的風(fēng)格，需要繼續(xù)利用 GoT 數(shù)據(jù)集。

結(jié)果與分析

先在原劇結(jié)局中，找出一些令大家感到失望的情節(jié)，然后再嘗試用訓(xùn)練好的 GPT-2 模型生成結(jié)果，詳細(xì)結(jié)果大家可以看下面的視頻介紹，后面會(huì)對(duì)一些文本輸出做部分介紹。

以下是視頻格式的輸出，后面是相同的文本輸出。

https://youtu.be/_vSov4sldsQ

下面分析一下選取的 3 個(gè)場(chǎng)景

失望場(chǎng)景 1：重寫(xiě)Night King 虎頭蛇尾的結(jié)局

根據(jù) GPT-2，Hodor還活著并趕來(lái)救營(yíng) Bran，這真是一個(gè)轉(zhuǎn)折點(diǎn)！ 或者可能是 Hodor的靈魂進(jìn)入了 Bran 的身體。不過(guò)之后，也不知道這個(gè)模型想說(shuō)些什么。。。

Lightbringer 是殺死 Night King的劍。如果 Night King 的冰劍原來(lái)是 Lightbringer 并且最終會(huì)殺死他，那會(huì)有多酷？！

就算編劇忘了，不過(guò) GPT-2 還記得關(guān)于 Azor Ahai 的預(yù)言，還圍繞 Lightbringer 做了不少展開(kāi)。

這里有個(gè)地方很有意思，不是因?yàn)楣适聦?xiě)得精彩，而是因?yàn)槟Ｐ途尤恢?the dragon 實(shí)際上是“Other”（也就是書(shū)中的 White Walker）。將所有這些細(xì)節(jié)正確地放在一個(gè)段落中，真的太奇妙了。神奇的是，這個(gè)模型已經(jīng)完全了解有關(guān)人物的這些細(xì)節(jié)！

失望場(chǎng)景 2：Cersei Lannister 在沒(méi)有任何計(jì)劃或適當(dāng)?shù)膽?zhàn)斗的情況下倒下

嗯，好吧，這個(gè)生成的劇本完全是垃圾。 但作者還是保留了它，然后再試了一次！

這次稍微好一些！ 雖然模型輸出的某些細(xì)節(jié)錯(cuò)了，特別是關(guān)于 Mad King，但”Jaime試圖在那一刻給予 Cersei 力量的想法“還挺不錯(cuò)的。 也許在這個(gè)時(shí)候使用某種野路子會(huì)給她的故事情節(jié)帶來(lái)一些正義感。 兩個(gè)瘋狂的女王，激烈戰(zhàn)斗，毀壞城市的剩余部分。 這也不失為一個(gè)更好的結(jié)局，表明為什么Iron Throne 的戰(zhàn)爭(zhēng)是不好的。

失望場(chǎng)景 3：Daenerys 急速轉(zhuǎn)彎的結(jié)局

總是吃喝的好時(shí)光？我聽(tīng)說(shuō) King's Landing 有一家很好的咖啡店，Dany 可以嘗試（如果它還沒(méi)有被燒掉）

這段真是挺垃圾的，讓我們?cè)僭囈淮巍?/p>

這段也沒(méi)有多大意義。兩次下來(lái)，似乎模型堅(jiān)持 Dany 想要將 King's Landing 的人們從暴君手中解放出來(lái)。

總結(jié)

雖然嘗試為這些故事情節(jié)生成更多的樣本，但沒(méi)有哪個(gè)能在故事背景下講得通。盡管生成的故事文本不夠好，不過(guò)也能看出來(lái)模型清晰地描述了角色特征和技能。，并且在模型輸出結(jié)果中也體現(xiàn)了彼此之間的關(guān)聯(lián)。此外，作者認(rèn)為 OpenAI 提出的 GPT-2 研究工作，也體現(xiàn)了近來(lái) NLP 領(lǐng)域取得的一些進(jìn)展。

同時(shí)，我們和作者一樣，都很好奇在最大的 GPT-2 模型上訓(xùn)練會(huì)取得怎樣的結(jié)果？畢竟模型訓(xùn)練數(shù)據(jù)也不是十分充分，感興趣的小伙伴們可以把原著所有的文本數(shù)據(jù)加入到最大的 GPT-2 模型訓(xùn)練中，看看是有更多驚喜還是驚嚇？

而無(wú)論是編劇的結(jié)局，還是 AI 改寫(xiě)的結(jié)局，其實(shí)大家心目中的 Perfect Ending 還是要等 GRRM 趕快寫(xiě)完他的書(shū)。