對(duì)于許多無(wú)法發(fā)出聲音的人來(lái)說(shuō)，他們想說(shuō)的話會(huì)通過(guò)某種信號(hào)隱藏在大腦中。

人類無(wú)法直接破譯這些信號(hào)。但是，最近有三個(gè)研究小組在“破譯”這種大腦語(yǔ)言密碼上取得了一定進(jìn)展。

Science雜志最新報(bào)道了哥倫比亞大學(xué)（Columbia University）、德國(guó)不萊梅大學(xué)（Bremen）和加州大學(xué)舊金山分校的三個(gè)研究小組的相關(guān)研究：通過(guò)手術(shù)，他們?cè)诖竽X上放置電極，搜集電極產(chǎn)生的數(shù)據(jù)，再將其通過(guò)計(jì)算機(jī)變成語(yǔ)音信息；接著通過(guò)神經(jīng)網(wǎng)絡(luò)模型，他們重建了在某些情況下，可以被人類聽(tīng)眾所理解的單詞和語(yǔ)句。

通過(guò)計(jì)算機(jī)讓失去語(yǔ)言能力的人表達(dá)自己并不罕見(jiàn)，物理學(xué)家斯蒂芬·霍金在世時(shí)，就會(huì)通過(guò)拉緊他的臉頰肌肉，以觸發(fā)安裝在眼鏡上的開(kāi)關(guān)。對(duì)于經(jīng)歷中風(fēng)或其他疾病失去說(shuō)話能力的人，他們可以使用他們的眼睛或做出其他小幅動(dòng)作用來(lái)控制光標(biāo)或選擇屏幕上的字母。

但是，如果腦機(jī)接口直接重塑語(yǔ)音，這樣的患者可能會(huì)重新獲得更多曾經(jīng)喪失的能力：例如，控制音調(diào)變化，或者介入一個(gè)快速的對(duì)話。

研究該問(wèn)題的道路困難重重。哥倫比亞大學(xué)（Columbia University）計(jì)算機(jī)科學(xué)家Nima Mesgarani說(shuō)：“我們正試圖找出在不同時(shí)間點(diǎn)打開(kāi)與關(guān)閉神經(jīng)元的模式，并由此推斷語(yǔ)音內(nèi)容。”“神經(jīng)元間的映射并不淺顯直白?！边@些信號(hào)如何轉(zhuǎn)換為語(yǔ)音聲音因人而異，因此模型必須針對(duì)每個(gè)人進(jìn)行獨(dú)特“訓(xùn)練”。

這些模型將在非常精確的數(shù)據(jù)上表現(xiàn)最好——而搜集這些精準(zhǔn)的數(shù)據(jù)需要打開(kāi)我們的頭蓋骨。

研究人員只能在極少數(shù)情況下才會(huì)進(jìn)行此類危險(xiǎn)性記錄：一種情況是在移除腦腫瘤期間，暴露在外的大腦產(chǎn)生的電讀數(shù)能夠幫助外科醫(yī)生定位以避開(kāi)關(guān)鍵的語(yǔ)音及運(yùn)動(dòng)區(qū)；另一種情況是在手術(shù)前為癲癇患者植入電極并保持?jǐn)?shù)天以確定癲癇發(fā)作起因。

瑞士日內(nèi)瓦大學(xué)神經(jīng)工程師Stephanie Martin表示說(shuō)，“我們最多只有20分鐘，最多30分鐘來(lái)收集數(shù)據(jù)——真的非常非常受限。”

新論文背后的研究組盡量最大化利用數(shù)據(jù)、將信息提供給神經(jīng)網(wǎng)絡(luò)；神經(jīng)網(wǎng)絡(luò)通過(guò)將信息傳遞到計(jì)算“節(jié)點(diǎn)”層來(lái)處理復(fù)雜的行為模式。網(wǎng)絡(luò)通過(guò)調(diào)整節(jié)點(diǎn)之間的連接來(lái)學(xué)習(xí)。本實(shí)驗(yàn)則使用人類產(chǎn)生或聽(tīng)到的語(yǔ)音以及與此同時(shí)大腦活動(dòng)的數(shù)據(jù)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

Mesgarani的團(tuán)隊(duì)的研究使用了五名癲癇患者的數(shù)據(jù)。

隨著病人們聽(tīng)到故事錄音以及0至9數(shù)字錄音，他們的神經(jīng)網(wǎng)絡(luò)同步分析其聽(tīng)覺(jué)皮層（該皮層在語(yǔ)音和聽(tīng)力過(guò)程中都很活躍）活動(dòng)。隨后計(jì)算機(jī)僅根據(jù)神經(jīng)數(shù)據(jù)來(lái)重新生成數(shù)字。有一組聽(tīng)眾會(huì)在計(jì)算機(jī)“說(shuō)出”數(shù)字同時(shí)對(duì)其進(jìn)行評(píng)估；其精確度大約為75%。

?聲音聽(tīng)起來(lái)有些可怕，

但是仔細(xì)聽(tīng)仍可以辨認(rèn)出數(shù)字

基于人類聽(tīng)到口述數(shù)字時(shí)腦活動(dòng)記錄的電腦重建

由德國(guó)不萊梅大學(xué)（Bremen）計(jì)算機(jī)科學(xué)家Tanja Schultz領(lǐng)導(dǎo)的另一個(gè)團(tuán)隊(duì)使用了六名接受腦腫瘤手術(shù)的人的數(shù)據(jù)。

他們讓被測(cè)試者朗讀單音單詞，用麥克風(fēng)捕捉他們的聲音。同時(shí)，大腦的語(yǔ)音規(guī)劃區(qū)和運(yùn)動(dòng)區(qū)產(chǎn)生的電極會(huì)被記錄下來(lái)（這些電極向聲道發(fā)送命令以清楚地表達(dá)單詞）。

現(xiàn)在正與馬斯特里赫特大學(xué)（Maastricht）合作的計(jì)算機(jī)科學(xué)家Miguel Angrick和Christian Herff訓(xùn)練了一個(gè)將電極讀數(shù)映射到錄音然后從以前看不見(jiàn)的大腦數(shù)據(jù)中重建單詞神經(jīng)網(wǎng)絡(luò)。根據(jù)一項(xiàng)計(jì)算機(jī)評(píng)分系統(tǒng)，大約40％的計(jì)算機(jī)生成單詞是可以理解的。

最后，加州大學(xué)舊金山分校的神經(jīng)外科醫(yī)生Edward Chang和他的團(tuán)隊(duì)根據(jù)由三名癲癇患者大聲朗讀語(yǔ)音引起的、從語(yǔ)言及運(yùn)動(dòng)區(qū)域捕獲的大腦活動(dòng)，重建了整個(gè)句子。

在線上測(cè)試中，有166人聽(tīng)懂了其中一個(gè)句子，并從10項(xiàng)文字選項(xiàng)中進(jìn)行選擇。超過(guò)80％的情況下模型都能夠正確識(shí)別句子。研究人員還進(jìn)一步改進(jìn)了模型：他們使用它根據(jù)人類的唇語(yǔ)來(lái)重新創(chuàng)建句子。Herff說(shuō)，這是一項(xiàng)重要的結(jié)果——“離我們所有人都設(shè)想到的‘語(yǔ)言修復(fù)’更近了一步?！?/p>

然而，“我們真正想知道的是當(dāng)患者不能說(shuō)話時(shí)，（這些方法）將能夠如何起作用”，加州圣地亞哥州立大學(xué)研究語(yǔ)言生成的神經(jīng)科學(xué)家Stephanie Riès說(shuō)。

一個(gè)人默默說(shuō)話或在自己腦中聽(tīng)到自己聲音時(shí)的信號(hào)，與真正說(shuō)話或聽(tīng)到某些內(nèi)容時(shí)產(chǎn)生的信號(hào)并不是完全相同的。如果沒(méi)有外部聲音來(lái)匹配大腦活動(dòng)，計(jì)算機(jī)甚至可能連理清內(nèi)部語(yǔ)音開(kāi)始與結(jié)束位置這種任務(wù)都很難完成。

奧爾巴尼紐約州衛(wèi)生部國(guó)家自適應(yīng)神經(jīng)技術(shù)中心的神經(jīng)工程師Gerwin Schalk說(shuō)，解碼大腦中的演講將需要“科學(xué)大躍進(jìn)”：“根本不清楚如何做到這一點(diǎn)?！?/p>

Herff說(shuō)，有一種可能的方法，是向大腦-計(jì)算機(jī)交互界面的用戶提供反饋：如果他們能夠?qū)崟r(shí)聽(tīng)到計(jì)算機(jī)的語(yǔ)音解釋，他們可能能夠即時(shí)調(diào)整他們的想法以獲得理想結(jié)果。

通過(guò)對(duì)用戶和神經(jīng)網(wǎng)絡(luò)的充分訓(xùn)練，大腦和計(jì)算機(jī)可能最終能達(dá)成一致。