基于 GPU 的功能， Facebook AI Research 的一個團(tuán)隊開發(fā)了一種更快、更有效的 AI 運(yùn)行相似性搜索的方法。這個 study ，發(fā)表于 IEEE 大數(shù)據(jù)交易 ，創(chuàng)建了一種深度學(xué)習(xí)算法，能夠處理和比較來自媒體的高維數(shù)據(jù)，速度明顯更快，同時與以前的技術(shù)一樣精確。

在一個數(shù)據(jù)供應(yīng)量不斷增長的世界中，這項工作有望減輕處理大型庫所需的計算能力和時間。

“搜索和索引［高維數(shù)據(jù)］最直接的技術(shù)是蠻力比較，你需要對照數(shù)據(jù)庫中的其他圖像檢查［每個圖像］。這對于包含數(shù)十億載體的集合來說是不切實際的，”研究科萊德和 Facebook 的研究工程師杰夫·約翰遜在一份新聞稿中說。

包含數(shù)百萬像素和數(shù)據(jù)點的每幅圖像和視頻都會產(chǎn)生數(shù)十億個矢量。這些大量的數(shù)據(jù)對于分析、檢測、索引和比較向量非常有價值。計算大型庫與依賴于多個超級計算機(jī)組件的傳統(tǒng) CPU 算法的相似性也存在問題，從而降低了總體計算時間。

研究人員只使用了四個 GPU 和 CUDA ，設(shè)計了一個 多 GPU 到宿主和***的算法分析庫圖像數(shù)據(jù)點。該方法還壓縮數(shù)據(jù)，使其更容易，從而更快地進(jìn)行分析。

新算法在 35 分鐘內(nèi)處理了 9500 多萬張高維圖像。 10 億個向量的圖形計算起來不到 12 小時。根據(jù)該研究中的一項比較測試，使用 128 臺 CPU 服務(wù)器集群處理同一數(shù)據(jù)庫需要 108 。 7 小時，約長 8 。 5 倍。

約翰遜說：“通過將計算完全放在 GPU 上，我們可以利用加速器上更快的內(nèi)存，而不是處理 CPU 服務(wù)器上較慢的內(nèi)存，甚至傳統(tǒng)超級計算機(jī)集群中較慢的機(jī)器對機(jī)器網(wǎng)絡(luò)互連?！?。

研究人員表示，這些方法已經(jīng)應(yīng)用于各種各樣的任務(wù)，包括翻譯的語言處理搜索。被稱為 Facebook AI 相似性搜索庫的方法是 開源 用于實現(xiàn)、測試和比較。

關(guān)于作者

Michelle Horton 是 NVIDIA 的高級開發(fā)人員通信經(jīng)理，擁有通信經(jīng)理和科學(xué)作家的背景。她在 NVIDIA 為開發(fā)者博客撰文，重點介紹了開發(fā)者使用 NVIDIA 技術(shù)的多種方式。

審核編輯：郭婷