語音輔助技術(shù)使用戶能夠使用語音命令與他們的設(shè)備進(jìn)行交互，并且依靠準(zhǔn)確的語音識(shí)別來確保對(duì)特定用戶的響應(yīng)。但是在許多實(shí)際的使用案例中，這類技術(shù)的輸入一般由重疊的語音組成，這給許多語音識(shí)別算法帶來了巨大的挑戰(zhàn)。

2018年，我們推出了VoiceFilter系統(tǒng)，該系統(tǒng)利用了谷歌的Voice Match，通過允許用戶注冊(cè)和登記自己的語音，實(shí)現(xiàn)與輔助技術(shù)的個(gè)性化交互。

雖然VoiceFiltr的方法很成功，并且實(shí)現(xiàn)了比傳統(tǒng)方法更好的信噪比（SDR），但高效的設(shè)備上流媒體語音識(shí)別需要解決模型大小、CPU、內(nèi)存限制和電池使用注意事項(xiàng)和延遲最小化等的限制。

在“Voice Filter-lite方面：針對(duì)面向設(shè)備上語音識(shí)別的流媒體目標(biāo)語音分離”中，我們推出了針對(duì)設(shè)備上使用的Voice Filter的更新，該更新可以通過利用選定發(fā)言人的注冊(cè)語音來達(dá)到顯著提高和改善重疊語音的語音識(shí)別。重要的是，該模型可以很容易地與現(xiàn)有的設(shè)備語音識(shí)別應(yīng)用程序集成，允許用戶在極其嘈雜的條件下訪問語音輔助功能，即使互聯(lián)網(wǎng)連接不可用。我們的實(shí)驗(yàn)表明，一個(gè)2.2MB的voice filer-lite模型在重疊語音上可以使誤詞率（WER） 改善25.1% 。

改進(jìn)設(shè)備上的語音識(shí)別

雖然最初的VoiceFilter系統(tǒng)非常成功地將目標(biāo)發(fā)言人的語音信號(hào)從其他重疊的信號(hào)源中分離出來，但它的模型大小、計(jì)算成本和延遲，對(duì)于移動(dòng)設(shè)備上的語音識(shí)別是不可行的。

新的Voice Filter-Lite系統(tǒng)經(jīng)過精心設(shè)計(jì)，與設(shè)備上的應(yīng)用程序相適應(yīng)。Voice Filter-Lite不需要處理音頻波形，而是采用與語音識(shí)別模型完全相同的輸入特征功能（stacked log Mel-filterbanks堆疊的對(duì)數(shù)Mel濾波器組） ， 并通過實(shí)時(shí)過濾掉不屬于目標(biāo)說話者的組成部分來直接增強(qiáng)這些特征。加上對(duì)網(wǎng)絡(luò)拓?fù)涞亩囗?xiàng)優(yōu)化，運(yùn)行時(shí)操作的數(shù)量大大減少。在使用Tensor Flow Lite庫(kù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行量化后，模型大小只有2.2MB，適合大多數(shù)設(shè)備上的應(yīng)用程序。

為了訓(xùn)練Voice Filter-Lite模型，將帶噪聲語音的濾波器組與代表目標(biāo)發(fā)言人身份的嵌入向量（i.e.ad-vector d矢量）一起被輸進(jìn)網(wǎng)絡(luò)。該網(wǎng)絡(luò)預(yù)測(cè)了一個(gè)掩碼，將其與輸入逐元素相乘，從而產(chǎn)生增強(qiáng)的過濾庫(kù)。在訓(xùn)練過程中，我們定義了一個(gè)損失函數(shù)來最小化增強(qiáng)濾波器組和干凈語音的濾波器組之間的差異。

Voice Fliter-Lite系統(tǒng)的模型架構(gòu)

Voice Filter-Lite是一種即插即用的模型，它允許實(shí)如果說話者沒有登記他們的聲音，那么實(shí)現(xiàn)它的應(yīng)用程序可以輕松地繞過它。這也意味著語音識(shí)別模型和Voice Filer-Lite模型可以分別進(jìn)行訓(xùn)練和更新，這在很大程度上降低了部署過程中的工程復(fù)雜性。

作為即插即用模型，如果發(fā)言人沒有注冊(cè)他們的聲音，Voice Fliter-Lite可以很輕易地被忽略。

應(yīng)對(duì)過度抑制的挑戰(zhàn)

當(dāng)使用語音分離模型來改進(jìn)語音識(shí)別時(shí)，可能會(huì)出現(xiàn)兩種類型的錯(cuò)誤：抑制不足，即模型無法濾除信號(hào)中的噪聲成分；以及過度抑制，當(dāng)模型不能保留有用的信號(hào)時(shí)，導(dǎo)致一些單詞從識(shí)別的文本中丟失。過度抑制問題尤其嚴(yán)重，因?yàn)楝F(xiàn)代語音識(shí)別模型通常已經(jīng)使用大量的增強(qiáng)數(shù)據(jù)（如房間模擬和SpecAugment） 進(jìn)行訓(xùn)練，因此對(duì)抑制不足更有魯棒性。

Voice Filter-Lite通過兩種新方法解決了過度抑制的問題。首先，它在訓(xùn)練過程中使用了非對(duì)稱性損失，使得模型對(duì)過度抑制的容忍度低于抑制不足的。其次，它對(duì)運(yùn)行時(shí)的噪聲類型進(jìn)行預(yù)測(cè)，并根據(jù)預(yù)測(cè)結(jié)果自適應(yīng)地調(diào)整抑制強(qiáng)度。

當(dāng)檢測(cè)重疊語音時(shí)，Voice Filter-Lite自適應(yīng)地應(yīng)用更強(qiáng)的抑制強(qiáng)度。

通過這兩種解決方案，Voice Filter-Lite模型在其他場(chǎng)景（如安靜或各種噪聲條件下的單揚(yáng)聲器語音）的流媒體語音識(shí)別方面保持了出色的性能，同時(shí)在重疊語音方面仍然提供了顯著的改進(jìn)。從我們的實(shí)驗(yàn)中，我們觀察到將2.2MB Voice Filter-Lite模型應(yīng)用于附加性重疊語音后，單詞錯(cuò)誤率改善了25.1%。對(duì)于混響重疊語音，模擬遠(yuǎn)場(chǎng)設(shè)備（如智能家庭揚(yáng)聲器）是一項(xiàng)更具挑戰(zhàn)性的任務(wù)， 我們還觀察到使用Voice Filter-Lite可以改善14.7%的單詞錯(cuò)誤率。

未來的工作

雖然Voice-Filter Lite在各種設(shè)備語音應(yīng)用程序中顯示出了巨大的潛力，但我們也在探索其他幾個(gè)方向，以使Voice-Filter Lite更有用。首先，我們目前的模型只用英語語音進(jìn)行訓(xùn)練和評(píng)估。我們很高興能夠采用同樣的技術(shù)來改進(jìn)更多語言的語音識(shí)別。其次，我們想在訓(xùn)練Voice Filter-Lite的過程中直接優(yōu)化語音識(shí)別損失，這可能會(huì)進(jìn)一步提高語音識(shí)別，而不僅僅是重疊語音。

感謝

本文所描述的研究代表了谷歌中多個(gè)團(tuán)隊(duì)的共同努力。貢獻(xiàn)者包括Quan Wang， Ignacio Lopez Moreno， Mert Saglam， Kevin Wilson， Alan Chiao， Renjie Liu， Yanzhang He， Wei Li， Jason Pelecanos， Philip Chao， Sinan Akay， John Han， Stephen Wu， Hannah Muckenhirn， Ye Jia， Zelin Wu， Yiteng Huang， Marily Nika， Jaclyn Konzelmann， Nino Tasca， and Alexander Gruenstein.Share on Twitter Share on Facebook在Twitter上的分享，在Facebook上的分享。

責(zé)任編輯：lq