有人說，設(shè)備不能做人類能做的所有事情。然而，我們?cè)谌粘Ｉ钪惺褂玫脑O(shè)備在過去幾十年中一直在發(fā)展。我們已經(jīng)看到它們?cè)诠δ?、連接性和大小方面發(fā)生了重大變化。然而，最大的挑戰(zhàn)之一是設(shè)備的尺寸，因?yàn)槿藗冋谂?shí)現(xiàn)更小的外形尺寸。

幾年前，出現(xiàn)了一個(gè)新的挑戰(zhàn)：該設(shè)備無法像人類一樣進(jìn)行交流。這導(dǎo)致獨(dú)立設(shè)備轉(zhuǎn)變?yōu)榫哂懈郊诱Z音功能的連接設(shè)備。

語音設(shè)備如何幫助人類？

最初，需要人工觸摸才能在設(shè)備上執(zhí)行任何操作?，F(xiàn)在，借助支持語音的設(shè)備和物聯(lián)網(wǎng)技術(shù)，人類可以通過語音發(fā)出命令來操作設(shè)備。這些新發(fā)明的設(shè)備將人聲轉(zhuǎn)換為設(shè)備動(dòng)作，通過互聯(lián)網(wǎng)向另一臺(tái)設(shè)備發(fā)送命令，并執(zhí)行所需的動(dòng)作。這些設(shè)備不僅可以與人類交互，還可以通過互聯(lián)網(wǎng)與其他設(shè)備交互。

語音設(shè)備測(cè)試的主要挑戰(zhàn)

全球語音設(shè)備的日常使用量正在迅速增加。擁有 500 多個(gè)國(guó)家/地區(qū)支持 1000 多種具有不同口音、性別和基于年齡組的語音調(diào)制的語言，這使得驗(yàn)證支持語音的設(shè)備具有挑戰(zhàn)性。在短時(shí)間內(nèi)用如此多的不同組合和排列來測(cè)試這些設(shè)備幾乎是不可能的。那么，讓我們看看如何自動(dòng)化語音設(shè)備的測(cè)試。

自動(dòng)化語音設(shè)備測(cè)試

為避免手動(dòng)測(cè)試工作，我們需要設(shè)計(jì)一種自動(dòng)化解決方案，可用于使用不同語言測(cè)試這些設(shè)備。最簡(jiǎn)單的選擇是使用可以幫助開發(fā)具有此類語音集成設(shè)備的自動(dòng)化腳本的框架。

截至目前，市場(chǎng)上還沒有提供測(cè)試與語音設(shè)備集成所需的所有功能的開源框架。這里的挑戰(zhàn)是如何以不同的語言向設(shè)備發(fā)出命令，如何讀取設(shè)備的響應(yīng)，以及測(cè)試預(yù)期的輸出。

要在不手動(dòng)操作的情況下向設(shè)備發(fā)出命令，需要以文本格式識(shí)別命令。將文本轉(zhuǎn)換為音頻格式。

播放音頻，以便啟用語音的設(shè)備可以收聽和處理。

等待設(shè)備的響應(yīng)，將其記錄在音頻文件中，作為最后一步，您需要將此音頻轉(zhuǎn)換為文本以匹配預(yù)期的格式。

每個(gè)設(shè)備測(cè)試程序都會(huì)有定制要求；因此，框架必須是模塊化的。為了獲得解決方案，我們需要設(shè)計(jì)一個(gè)模塊化和可擴(kuò)展的框架，其中該解決方案的每一步都可以由市場(chǎng)上可用的開源或付費(fèi)庫來實(shí)現(xiàn)。

我們?cè)谝韵驴蚣苤性O(shè)計(jì)了4個(gè)模塊：

多語言文本：將文本從一種語言轉(zhuǎn)換為另一種語言

文本音頻模塊：將文本轉(zhuǎn)換為 mp3

音頻-文本模塊：將 wav 轉(zhuǎn)換為文本

音頻模塊：

使用音頻輸出設(shè)備播放 mp3 文件

使用麥克風(fēng)讀取音頻數(shù)據(jù)

將音頻數(shù)據(jù)保存到 wav 文件

詳細(xì)解決方案

1.準(zhǔn)備英文設(shè)備命令

a.使用多語言文本模塊將設(shè)備命令轉(zhuǎn)換為設(shè)備可以理解的語言。它使用谷歌提供的翻譯服務(wù)，您可以將文本從任何源語言翻譯成任何所需的語言。

2.為翻譯文本創(chuàng)建音頻文件

a.使用文本音頻模塊將文本轉(zhuǎn)換為音頻。生成的音頻可以在音頻輸出設(shè)備上播放。該模塊在后端使用 Google 文本轉(zhuǎn)語音服務(wù)。

3.播放音頻

a.使用音頻模塊將 mp3 文件播放到音頻輸出設(shè)備。

b.此步驟需要音頻輸出設(shè)備和啟用語音的設(shè)備靠近，以便在播放音頻時(shí)，設(shè)備可以捕獲音頻并處理命令。

4.錄制音頻

a.此步驟是捕獲來自啟用語音的設(shè)備的響應(yīng)所必需的。

b.使用音頻模塊從麥克風(fēng)捕獲錄音數(shù)據(jù)。您需要傳遞持續(xù)時(shí)間參數(shù)以提及您想要錄制多長(zhǎng)時(shí)間，并且模塊返回音頻樣本數(shù)據(jù)

c.一旦樣本數(shù)據(jù)可用，需要將其保存為 wav（音頻）文件。為此，可以使用save_audio_to_file方法。此方法獲取樣本音頻數(shù)據(jù)并將其寫入 wav 文件，該文件稍后可以使用音頻設(shè)備播放，也可用于將其轉(zhuǎn)換為文本。

5.將捕獲的音頻轉(zhuǎn)換為文本

a.使用 Text-Audio 模塊將 wav 文件轉(zhuǎn)換為文本內(nèi)容。這是使用語音識(shí)別器實(shí)現(xiàn)的。您應(yīng)該指定輸入 wav 文件和音頻內(nèi)容語言。

b.要將音頻轉(zhuǎn)換為文本，可以使用各個(gè)供應(yīng)商提供的第三方庫。

6.將以上文本翻譯成英文，并根據(jù)預(yù)期的英文結(jié)果進(jìn)行驗(yàn)證

使用以上4個(gè)模塊，一次就可以實(shí)現(xiàn)基于語音的集成設(shè)備的語音自動(dòng)化。

家庭自動(dòng)化產(chǎn)品端到端測(cè)試的真實(shí)場(chǎng)景

家庭自動(dòng)化系統(tǒng)由可以使用 REST 服務(wù)通過 Web 操作的各種設(shè)備組成。安全攝像頭、燈、恒溫器、傳感器和門鈴是家庭自動(dòng)化設(shè)備的幾個(gè)例子。例如，作為房主的最終用戶可以使用互聯(lián)網(wǎng)門戶遠(yuǎn)程打開或關(guān)閉燈。一些系統(tǒng)提供與 Alexa、Google 等第三方合作伙伴的集成。

閱讀：案例研究 - 用于家庭自動(dòng)化中心的 Alexa 集成

公司提供可以聆聽人聲并執(zhí)行用戶請(qǐng)求的操作的設(shè)備。因此，考慮到燈光作為家庭自動(dòng)化產(chǎn)品，而 Alexa 作為家庭自動(dòng)化系統(tǒng)提供商的第三方合作伙伴，我們想測(cè)試是否可以通過 Alexa 打開/關(guān)閉燈光。

為了自動(dòng)化 E2E 場(chǎng)景，我們需要使用上面討論的自動(dòng)化框架執(zhí)行以下步驟。

1.準(zhǔn)備Alexa命令以英語打開燈。

a.“Alexa，打開燈”

2.上面的命令轉(zhuǎn)換成mp3文件

3.使用連接到自動(dòng)化機(jī)器的揚(yáng)聲器在 Alexa 設(shè)備附近播放 mp3 文件。

4.將來自Alexa的響應(yīng)記錄在wav文件中。

5.將音頻文件轉(zhuǎn)換為“Ok. 打開燈”或“燈已打開”。

6.用預(yù)期的結(jié)果集驗(yàn)證轉(zhuǎn)換后的文本。

7.在驗(yàn)證中，只需提前一步，我們還可以使用以下方法驗(yàn)證實(shí)際的物聯(lián)網(wǎng)燈狀態(tài)：

a.REST API 可用于從家庭安全系統(tǒng)獲取燈光狀態(tài)

b.可以對(duì)網(wǎng)絡(luò)安全門戶進(jìn)行網(wǎng)絡(luò)自動(dòng)化以驗(yàn)證燈狀態(tài)

c.如果燈的狀態(tài)正在存儲(chǔ)在云數(shù)據(jù)庫中，我們可以從數(shù)據(jù)庫中獲取數(shù)據(jù)來驗(yàn)證狀態(tài)

結(jié)論

通過以上步驟，不僅可以只用一臺(tái)語音設(shè)備測(cè)試系統(tǒng)集成或端到端測(cè)試，還可以結(jié)合多個(gè)客戶端或設(shè)備進(jìn)行系統(tǒng)測(cè)試。用戶可以使用 Alexa 在其中一個(gè)設(shè)備/產(chǎn)品上執(zhí)行操作，并使用 Google 或 Portal 驗(yàn)證其狀態(tài)，反之亦然。例如，用戶要求谷歌打開燈，然后使用 Alexa/客戶門戶獲取燈狀態(tài)。

eInfochips 是需要從設(shè)備到應(yīng)用程序進(jìn)行全面測(cè)試覆蓋的產(chǎn)品公司的首選合作伙伴。eInfochips 通過測(cè)試自動(dòng)化、SDET（測(cè)試中的軟件開發(fā)工程師）、左移測(cè)試和 DevOps 節(jié)省了大量的成本和精力。

作者：Dhaval Patel ，Keyur Shah

審核編輯：郭婷