憑借聽、讀、譯三大功能，對話式人工智能（AI）正逐漸深入人們的生活，成為解放雙手和提高生產(chǎn)力的關(guān)鍵工具。

當你說話時，對話式AI能實時將你說的話記錄成文字，甚至可以實時翻譯成其他語言。

當你聽不懂、記不住醫(yī)生叮囑的藥物或治療方案時，接受過海量醫(yī)學文本訓練的對話式AI，能幫你準確地記下全部醫(yī)囑。

當你因為開車等原因不方便看手機時，對話式AI能將屏幕上的文字讀給你聽。

它既能做穩(wěn)定的速記員，也能勝任專業(yè)的翻譯官，越來越多企業(yè)采用對話式AI來改善工作效率與優(yōu)化客戶支持。

不過，要開發(fā)出一款優(yōu)質(zhì)的對話式AI，并不是一件容易的事。如果只追求最快的響應(yīng)速度，難免犧牲語音識別、語言理解、語音生成的質(zhì)量，而如果過于重視質(zhì)量，可能會響應(yīng)的不夠及時。

怎樣能快速開發(fā)出高質(zhì)量的對話式AI，滿足專業(yè)的轉(zhuǎn)錄和編譯需求？知名硅谷芯片巨頭NVIDIA剛剛推出了一個相當有用的工具。

一、降低實時對話式AI開發(fā)門檻的神器

2020年初突然爆發(fā)的新冠肺炎疫情正刺激企業(yè)AI的應(yīng)用，從遠程教育、遠程辦公、客戶服務(wù)到醫(yī)療健康，眾多行業(yè)加速出現(xiàn)對AI的需求。

知名市場調(diào)研機構(gòu)IDC的數(shù)據(jù)顯示，2019年中國對話式AI的支出約為58億美元，這一數(shù)字有望到2023年攀升至138億美元。其中，中國對話式AI市場規(guī)模有望從2019年的5.761億美元增至2023年的18.593億美元，年均復(fù)合增長率（CAGR）為34.0%。

什么是對話式AI？簡單理解，就是一種能自動理解人類語言的系統(tǒng)，使得人與機器的交流像人與人之間的交流那樣輕松、自然而高效。

想想我們的日常溝通過程，我們不會向?qū)Ψ桨l(fā)出固定的指令，而是用自然的語言進行交流。

而要讓機器更加自然、擬人化的與人類互動，需要先讓機器理解你所說的話，即時了解上下文和語言，判斷話的意圖和隱藏含義，并以最自然的對話方式做出回應(yīng)。

在疫情刺激下，英國高性能語音識別服務(wù)供應(yīng)商Intelligent Voice發(fā)展勢頭相當迅猛，幾個月內(nèi)即推出了新產(chǎn)品Myna，能連接到虛擬會議工具，自動記錄、將錄音轉(zhuǎn)換成文本并發(fā)送文本記錄。

Myna得以快速實現(xiàn)的秘密武器，即是NVIDIA去年5月首次公布的實時對話式AI模型工具Jarvis。

Jarvis是一個基于NVIDIA GPU提供實時性能的靈活、多模態(tài)對話式AI服務(wù)應(yīng)用框架。

“Jarvis采用多模態(tài)的方法，將自動語音識別的關(guān)鍵元素與實體和意圖匹配相融合，滿足需要高吞吐量和低延遲的新用例的需求。Jarvis API不但易于使用，還能整合和自定義客戶的工作流程，實現(xiàn)性能優(yōu)化?！盜ntelligent Voice首席技術(shù)官Nigel Cannings說。

另一家創(chuàng)建阿拉伯語虛擬助手的公司InstaDeep同樣是Jarvis的早期采用者。通過Jarvis中的NeMo工具包，這家公司對阿拉伯語語音–文本模型進行微調(diào)，將單詞錯誤率降低至7.84%。

通過早期采用者的反饋與優(yōu)化，Jarvis逐漸實現(xiàn)了更高的吞吐量和更低的延遲。在打磨成熟后，NVIDIA于昨日正式推出GPU加速的Jarvis 1. 0公測版。

二、延時小于300毫秒，開發(fā)速度提升高達10倍

Jarvis 1. 0公測版中包含用于構(gòu)建和部署實時對話式AI應(yīng)用程序的端到端工作流程，使開發(fā)者能輕松實現(xiàn)實時語音識別、轉(zhuǎn)錄、翻譯、封閉式字幕、虛擬助手和聊天機器人等功能。

它對于改善企業(yè)服務(wù)非常友好。如果從頭開始構(gòu)建對話式AI服務(wù)，必然需要深厚的AI專業(yè)知識、海量數(shù)據(jù)和充足的計算資源，而由NVIDIA GPU加速的Jarvis框架使開發(fā)者無需為這些成本而煩憂。

Jarvis的一大能力是定制解決方案。基于NVIDIA Jarvis，企業(yè)開發(fā)者能很容易地用專有的視頻和語音數(shù)據(jù)，對最新模型進行微調(diào)，從而更深入地理解特定上下文，并對推理進行優(yōu)化，從而構(gòu)建針對其自身行業(yè)、產(chǎn)品和客戶特征而量身定制的高質(zhì)量、端到端實時對話式AI服務(wù)。

這些服務(wù)運行時間不到300毫秒，在GPU上的吞吐量比CPU高7倍。

首先是自動語音識別（ASR），整個系統(tǒng)需要先輸入音頻、提取特征，用聲學模型嘗試找出特定聲音生成相應(yīng)的等效詞，從而識別語音音頻并生成對應(yīng)文本；然后借助Jarvis，可以實現(xiàn)機器翻譯、搜索、意圖識別、語言分析、問答系統(tǒng)等自然語言理解（NLU）服務(wù)；最后從這些服務(wù)獲得文本作為輸出，通過語音合成（TTS）技術(shù)和語音編碼模塊生成像人類聲音的對應(yīng)語音。

此次發(fā)布的Jarvis提供有多個新型對話式AI預(yù)訓練模型，包括基于數(shù)千小時語音數(shù)據(jù)訓練的ASR、NLU和TTS模型，提供使用一行代碼部署服務(wù)的端到端工作流程和工具，并支持遷移學習工具包（TLT），方便企業(yè)根據(jù)自己的具體用例和領(lǐng)域調(diào)整應(yīng)用。

其遷移學習工具包是一個拖放界面，不需要任何先驗編碼經(jīng)驗，即可采用自定義數(shù)據(jù)通過零編碼的方法，快速重新訓練模型。

開發(fā)者可以再訓練TLT，也可以探索用于構(gòu)建和訓練GPU加速的對話式AI模型的Python工具包NeMo，然后用Jarvis集成使用最先進的AI語言模型進行語音識別、語音合成、語義理解的虛擬助手，未來Jarvis還將支持計算機視覺服務(wù)。

通過Jarvis，企業(yè)可以獲得各種先進的模型、通過TLT遷移學習將開發(fā)速度提升高達10倍，以及全面優(yōu)化的GPU加速流程，從而創(chuàng)建能理解每家公司獨特專業(yè)術(shù)語的實時智能語言型應(yīng)用。

其全面加速的深度學習流程經(jīng)過優(yōu)化，可作為可擴展服務(wù)運行。

即日起，NVIDIA Jarvis和TLT可供NVIDIA開發(fā)者計劃成員免費下載。

三、對話式AI正改變各行業(yè)服務(wù)體驗

NVIDIA Jarvis服務(wù)現(xiàn)有的三大功能分別是語音識別、語音合成、自然語言理解。

其語音識別服務(wù)有不同的模式選擇，可以使用不同采樣率，可用于語音識別的英語語音數(shù)據(jù)已經(jīng)被訓練了7000個小時，并提供有Jasper、Quartznet等不同聲學模型，全流程端到端優(yōu)化。

其語音合成有流模式和批處理模式，支持22kHz采樣率，提供acoTron2、Waveglow等模型和完全端到端優(yōu)化的流程。

如果要識別特定領(lǐng)域的實體，Jarvis的自然語言理解模型即可提供幫助，該服務(wù)提供高級NLP API和低級API，能滿足命名實體識別、領(lǐng)域分類、分別標簽等需要。

例如，在醫(yī)療健康領(lǐng)域，眼科醫(yī)生進行遠程診療時，自然語言理解服務(wù)能識別醫(yī)學文本的實體，在對話過程中能檢測出哪些醫(yī)療實體，輔助終端系統(tǒng)為患者進行診斷。

除了醫(yī)療健康外，NVIDIA Jarvis也正為政務(wù)、金融、消費者服務(wù)等更多行業(yè)帶來新的機遇。

企業(yè)和政府機構(gòu)每天都要記錄數(shù)以千萬計的通話，但通過搜索提取這些通話中的關(guān)鍵信息幾乎難以實現(xiàn)。而通過Jarvis把錄音轉(zhuǎn)換成文本，就可以利用AI工具快速搜索并分析這些數(shù)據(jù)。

在金融領(lǐng)域，以用AI顛覆金融分析行業(yè)而聞名的英國公司Kensho用NVIDIA對話式AI開發(fā)了金融和商業(yè)語音識別解決方案Scribe，該方案據(jù)稱在財報電話和財務(wù)音頻方面的準確率比同類其他商業(yè)解決方案高出約20%。

得益于在推薦引擎Merlin、對話式AI Jarvis等關(guān)鍵框架的押注，NVIDIA正不斷強化其數(shù)據(jù)中心業(yè)務(wù)的軟件優(yōu)勢。

本周NVIDIA剛剛公布的最新財報顯示，其數(shù)據(jù)中心業(yè)務(wù)在截至2021年1月31日的第四季度創(chuàng)下19億美元收入新紀錄，同比增長97%，全年收入創(chuàng)下67.0億美元的紀錄，同比增長124%。

結(jié)語：加速對話式AI落地普及

通過虛擬助手、實時轉(zhuǎn)錄、聊天機器人等形態(tài)，對話式AI正帶給企業(yè)客戶更多沉浸式的體驗。

隨著越來越多企業(yè)及消費者擁抱數(shù)字化，更多中小型機構(gòu)也開始在其聯(lián)絡(luò)中心部署更具個性化的對話式AI功能，而開發(fā)部署的成本與復(fù)雜性，往往是制約這一趨勢的核心難題之一。

而NVIDIA Jarvis 1. 0公測版的推出，降低了實時對話式AI開發(fā)的準入門檻，有望推動未來對話式AI在更多行業(yè)的普及落地。
責任編輯:tzh