（文章來(lái)源：機(jī)器之心）

英偉達(dá)近日一篇論文為語(yǔ)音識(shí)別技術(shù)在邊緣設(shè)備上的部署帶來(lái)了福音，其新提出的解碼器方法即使在邊緣嵌入式 GPU 上也能高效高速地執(zhí)行。而且這種方法不僅適用于低端硬件，而且也能為數(shù)據(jù)中心帶來(lái)顯著的效率提升，從而能夠識(shí)別更多并行的在線音頻流。該方法的早期版本已開(kāi)源。

這篇論文提出了一種經(jīng)過(guò)優(yōu)化的加權(quán)式有限狀態(tài)變換器（WFST/ weighted finite-state transducer）解碼器，能夠使用圖像處理單元（GPU）實(shí)現(xiàn)對(duì)音頻數(shù)據(jù)的在線流處理和離線批處理。這種解碼器能高效利用內(nèi)存、輸入/輸出帶寬，并為最大化并行使用了一種全新的維特比（Viterbi）實(shí)現(xiàn)。內(nèi)存節(jié)省讓該解碼器能比之前處理更大的圖，同時(shí)還能支持更多數(shù)量的連續(xù)流。對(duì) lattice 段進(jìn)行 GPU 預(yù)處理能讓中間 lattice 結(jié)果在流推理期間返回給請(qǐng)求者。

總體而言，相比于單核 CPU 解碼，新提出的改進(jìn)能實(shí)現(xiàn)高達(dá) 240 倍的提速，并且解碼速度也比當(dāng)前最佳的 GPU 解碼器快 40 倍，同時(shí)返回的結(jié)果表現(xiàn)相當(dāng)。從大型數(shù)據(jù)中心服務(wù)器到低功耗邊緣設(shè)備，該架構(gòu)可在各種層級(jí)的硬件上部署生產(chǎn)級(jí)模型。

深度學(xué)習(xí)研究推動(dòng)了自動(dòng)語(yǔ)音識(shí)別（ASR）技術(shù)的大發(fā)展，質(zhì)量的顯著提升讓這項(xiàng)技術(shù)在許多人機(jī)交互用例中得到了實(shí)際應(yīng)用，「流 ASR 即服務(wù)（streaming ASR as a service）」的需求也隨之水漲船高。通常來(lái)說(shuō)，如要滿足這一需求，將需要在數(shù)據(jù)中心配置大量商用服務(wù)器。由于很多用例對(duì)時(shí)間延遲有很?chē)?yán)格的要求，因此人們正在大力投入，意圖加快數(shù)據(jù)中心中模型的推理速度；當(dāng)然也有研究正致力于實(shí)現(xiàn)邊緣推理，包括在低功耗設(shè)備上實(shí)現(xiàn)推理。

在這項(xiàng)研究中，研究者提出了一種全新的加權(quán)式有限狀態(tài)變換器（WFST）實(shí)現(xiàn)，其可使用 GPU 和英偉達(dá)的 CUDA 編程語(yǔ)言為語(yǔ)音識(shí)別任務(wù)提供高速解碼。他們將該解碼器設(shè)計(jì)成可直接替代現(xiàn)有解碼器，而無(wú)需修改語(yǔ)言或聲學(xué)模型。其設(shè)計(jì)目標(biāo)是盡力實(shí)現(xiàn)最大的靈活性，能支持多路同時(shí)音頻流的在線識(shí)別和 lattice 生成。

研究者還嚴(yán)格限制了該解碼器的內(nèi)存使用，從而可確保 GPU 內(nèi)存能為大型語(yǔ)言模型和共同常駐的聲學(xué)模型留有足夠的空間。最后，從低功耗嵌入式 GPU 到單個(gè)服務(wù)器中運(yùn)行的多個(gè)數(shù)據(jù)中心級(jí) GPU，該算法都能有效地運(yùn)行。

并行式 WFST 解碼器通常會(huì)遵照串行解碼器中的典型操作順序：對(duì)于聲學(xué)模型（AM）后驗(yàn)的每一幀，該解碼器可基于幀值處理發(fā)射?。?a target="_blank">標(biāo)簽非零的弧），再處理任何非發(fā)射弧鏈，最后執(zhí)行剪枝。新提出的算法利用了兩個(gè)類型不同的異步 CUDA 流：一個(gè)負(fù)責(zé)執(zhí)行計(jì)算核，另一個(gè)負(fù)責(zé)執(zhí)行非阻塞的設(shè)備到主機(jī)（D2H）lattice token 內(nèi)存副本。使用第二個(gè)用于 D2H 副本的流，無(wú)需中止計(jì)算流程就能在在線編碼期間返回中間結(jié)果。

研究者消除了很多常見(jiàn)的面向 CPU 的優(yōu)化和限制，這種做法有時(shí)會(huì)妨害并行表現(xiàn)。具體來(lái)說(shuō)，在擴(kuò)展 token 時(shí)不測(cè)試新 token 是否唯一。將重復(fù)的 token 保留下來(lái)留待以后清理對(duì)正確性而言是足夠的：少量額外的工作能減少對(duì)同步和原子操作的依賴。在 GPU 上，解碼核的執(zhí)行速度很快，其性能受限于核啟動(dòng)的延遲。通過(guò)調(diào)整解碼器的結(jié)構(gòu)，解碼器能并行處理多路音頻流，通過(guò)更長(zhǎng)時(shí)間地運(yùn)行這些核能夠掩蓋啟動(dòng)延遲。

為了同時(shí)處理多路音頻流，研究者引入了兩種不同的機(jī)制：干道（channel）和小道（lane）。小道大致等同于神經(jīng)網(wǎng)絡(luò)中的批大小，代表了正被解碼的話語(yǔ)或流的集合。干道則能為有待繼續(xù)處理（由于缺少音頻或已計(jì)算后驗(yàn)）的話語(yǔ)維持狀態(tài)。這種隨時(shí)準(zhǔn)備 GPU 工作的線程化解碼器負(fù)責(zé)將干道（因?yàn)樗鼈円褱?zhǔn)備就緒）多路復(fù)用到小道（因?yàn)樗鼈兛捎茫┥?。這種方案能根據(jù)模型和代表性數(shù)據(jù)與 GPU 的搭配而輕松地調(diào)整：增加小道的數(shù)量直到收益開(kāi)始下降，并讓通道的數(shù)量匹配所測(cè)得的吞吐量/xRTF。