為了揭示過去的秘密，世界各地的歷史學(xué)者花費(fèi)畢生精力翻譯古代手稿。圣母大學(xué)的一個研究小組希望幫助這項(xiàng)任務(wù)，用一種新開發(fā)的機(jī)器學(xué)習(xí)模型來翻譯和記錄幾百年前的手寫文檔。

利用圣加爾修道院圖書館的數(shù)字化手稿和一個考慮到人類感知的機(jī)器學(xué)習(xí)模型 study 在深度學(xué)習(xí)轉(zhuǎn)錄能力方面有顯著提高。

“我們正在處理歷史文件，這些文件的書寫風(fēng)格早已過時，可以追溯到幾個世紀(jì)以前，并且使用拉丁語等語言，而拉丁語已經(jīng)很少使用了。你可以得到這些材料的美麗照片，但我們已經(jīng)著手做的是以一種模仿專家讀者眼睛對頁面感知的方式自動轉(zhuǎn)錄，并提供快速、可搜索的文本閱讀，”圣母大學(xué)副教授、資深作者沃爾特·舍勒在新聞稿中說。

圣加爾修道院圖書館建于 719 年，是世界上最古老、最豐富的圖書館藏品之一。該圖書館藏有大約 160000 卷書和 2000 份手稿，可追溯到八世紀(jì)。在羊皮紙上用現(xiàn)在很少使用的語言手工書寫，這些材料中的許多尚未被閱讀——這是一筆潛在的歷史檔案財富，等待發(fā)掘。

機(jī)器學(xué)習(xí)方法能夠自動轉(zhuǎn)錄這些類型的歷史文件已經(jīng)在工作中，但挑戰(zhàn)仍然存在。

到目前為止，大型數(shù)據(jù)集對于提高這些語言模型的性能是必不可少的。由于可供查閱的書籍?dāng)?shù)量巨大，這項(xiàng)工作需要時間，并且需要相對較少的專家學(xué)者進(jìn)行注釋。缺少知識，如從未編纂過的中世紀(jì)拉丁語詞典，構(gòu)成了更大的障礙。

該團(tuán)隊(duì)將傳統(tǒng)的機(jī)器學(xué)習(xí)方法與研究物理世界和人類行為之間關(guān)系的視覺心理物理學(xué)相結(jié)合，以創(chuàng)建更多信息豐富的注釋。在這種情況下，他們在處理古代文本時將人類視覺測量納入神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程。

“這是機(jī)器學(xué)習(xí)中通常不使用的策略。我們通過這些心理物理測量來標(biāo)記數(shù)據(jù)，這些測量直接來自于通過行為測量對感知進(jìn)行的心理學(xué)研究。然后，我們通知網(wǎng)絡(luò)在感知這些角色方面的常見困難，并可以根據(jù)這些測量結(jié)果進(jìn)行糾正，” Scheirer 說。

為了訓(xùn)練、驗(yàn)證和測試這些模型，研究人員使用了一套來自圣加爾的可追溯到九世紀(jì)的數(shù)字化手寫拉丁手稿。他們要求專家閱讀并將文本行中的手動抄本輸入定制的軟件中。測量每次抄寫的時間，可以洞察單詞、字符或段落的難度。根據(jù)作者的說法，這些數(shù)據(jù)有助于減少算法中的錯誤，并提供更真實(shí)的讀數(shù)。

所有的實(shí)驗(yàn)都是使用 cuDNN-accelerated PyTorch 深度學(xué)習(xí)框架和 GPU 。“如果沒有 NVIDIA 硬件和軟件，我們肯定不可能完成我們所做的事情。

該研究引入了一種新的深度學(xué)習(xí)損失公式，該公式結(jié)合了人類視覺測量，可應(yīng)用于手寫文檔轉(zhuǎn)錄的不同處理管道。信貸： Scheirer 等人/ IEEE

團(tuán)隊(duì)仍在努力改進(jìn)某些方面。損壞和不完整的文檔以及插圖和縮寫對模型提出了特殊的挑戰(zhàn)。

“由于互聯(lián)網(wǎng)規(guī)模的數(shù)據(jù)和 GPU 硬件，人工智能達(dá)到了拐點(diǎn)，這將使文化遺產(chǎn)和人文學(xué)科與其他領(lǐng)域一樣受益。我們只是初步了解我們可以對這個項(xiàng)目做些什么。

關(guān)于作者

Michelle Horton 是 NVIDIA 的高級開發(fā)人員通信經(jīng)理，擁有通信經(jīng)理和科學(xué)作家的背景。她在 NVIDIA 為開發(fā)者博客撰文，重點(diǎn)介紹了開發(fā)者使用 NVIDIA 技術(shù)的多種方式。

審核編輯：郭婷