當(dāng)6億用戶習(xí)慣每天通過(guò)發(fā)送語(yǔ)音和進(jìn)行視頻通話，或者在群里與網(wǎng)友語(yǔ)音接龍完成一場(chǎng)Pia戲，又或是與好友一起派對(duì)語(yǔ)音答題得時(shí)候，大家可曾想過(guò)，在不同場(chǎng)景下始終清晰、流暢得音視頻體驗(yàn)背后，到底是什么黑科技在支撐這些場(chǎng)景中“聲”與“話”得美好？
今年11月16日召開(kāi)得谷歌2021開(kāi)發(fā)者大會(huì)期間，大會(huì)自己更新了一則案例——《TensorFlow助力：AI語(yǔ)音降噪打造音視頻通話新體驗(yàn)》，正是音視頻通話技術(shù)團(tuán)隊(duì)。作為谷歌TensorFlow得優(yōu)秀應(yīng)用案例，騰訊團(tuán)隊(duì)在該文中詳細(xì)揭秘了語(yǔ)音增強(qiáng)技術(shù)在音視頻功能中得研發(fā)與應(yīng)用。
借助TensorFlow，搭建AI降噪模型訓(xùn)練框架在如今得應(yīng)用市場(chǎng)中，音視頻通話功能幾乎已成為APP得標(biāo)配。2021年10月份AppStore華夏區(qū)下載榜前100名中，超過(guò)70%得APP配備音視頻通話功能。音視頻功能得體驗(yàn)，是衡量一款A(yù)PP體驗(yàn)是否優(yōu)秀得重要指標(biāo)。
而優(yōu)化音視頻通話質(zhì)量，降噪算法是核心技術(shù)之一。
目前，主流降噪方案主要有傳統(tǒng)降噪和AI降噪兩種。傳統(tǒng)降噪方法計(jì)算量低，具有實(shí)時(shí)進(jìn)行語(yǔ)音降噪得優(yōu)勢(shì)，但與此同時(shí)，因其基于數(shù)學(xué)和物理原理進(jìn)行推導(dǎo)，過(guò)程中難免基于人認(rèn)知得理想先驗(yàn)假設(shè)，這使得傳統(tǒng)降噪對(duì)實(shí)際場(chǎng)景中頻發(fā)得多種類、非平穩(wěn)噪聲表現(xiàn)不佳。
AI 降噪是蕞近興起得基于數(shù)據(jù)驅(qū)動(dòng)得降噪方法，能夠有效得應(yīng)對(duì)各種突發(fā)得非平穩(wěn)噪聲，但前期需要經(jīng)過(guò)大量得數(shù)據(jù)訓(xùn)練，以及搭建合適得數(shù)據(jù)模型作為基礎(chǔ)。而模型在移動(dòng)端得部署，需要權(quán)衡模型大小、降噪效果、CPU 占用率和內(nèi)存占用率等多個(gè)因素，由此給降噪技術(shù)得實(shí)現(xiàn)帶來(lái)了一定得挑戰(zhàn)。
為解決6億用戶對(duì)音視頻得龐大需求，騰訊 團(tuán)隊(duì)基于開(kāi)源TensorFlow機(jī)器學(xué)習(xí)平臺(tái)，搭建了 AI 降噪與噪聲場(chǎng)景分類得并行訓(xùn)練框架，并設(shè)計(jì)了音頻降噪、音質(zhì)提升和模型優(yōu)化算法。
噪聲數(shù)據(jù)得多樣性是提高降噪模型泛化性得關(guān)鍵，因此，在訓(xùn)練模型時(shí)，騰訊團(tuán)隊(duì)通過(guò)若干等時(shí)長(zhǎng)音頻數(shù)據(jù)得“投喂”和場(chǎng)景訓(xùn)練，結(jié)合合適得數(shù)據(jù)擴(kuò)充，進(jìn)一步提升了模型泛化能力，結(jié)合精細(xì)化設(shè)計(jì)得網(wǎng)絡(luò)結(jié)構(gòu)，能夠讓 AI 降噪模型適應(yīng)生活中常見(jiàn)得幾百種噪聲，為用戶提供具有 AI 加持得智能通訊體驗(yàn)。
同時(shí)，騰訊團(tuán)隊(duì)還借助 TensorFlow Lite 得量化功能減小模型尺寸，在模型得降噪效果基本不受影響得前提下，極大提升了性能優(yōu)勢(shì)并成功部署到產(chǎn)品功能中。
AI 降噪算法+蒸餾技術(shù)模型優(yōu)化，打造實(shí)時(shí)、高質(zhì)量得清晰通話體驗(yàn)在案例中，騰訊團(tuán)隊(duì)指出，AI降噪算法包括音頻降噪模塊和音質(zhì)提升模塊兩大方面。
音頻降噪模塊主要是通過(guò)針對(duì)帶噪聲音頻中得干凈人聲進(jìn)行建模，再提取出帶噪音頻得頻域特征，將帶噪聲音頻與干凈音頻得得頻域特征進(jìn)行對(duì)比和計(jì)算，從而使AI對(duì)人聲之外常見(jiàn)得開(kāi)門聲、鍵盤聲、走路聲等音頻具備更精準(zhǔn)得識(shí)別能力和降噪處理，從嘈雜環(huán)境中剝離出干凈語(yǔ)音。
在此基礎(chǔ)上，騰訊團(tuán)隊(duì)又加入了音質(zhì)提升模塊，以平衡降噪幅度，確保噪聲去除得更加干凈，同時(shí)避免導(dǎo)致其它有用得音頻被消音，確保實(shí)時(shí)降噪過(guò)程中“有用得信息都進(jìn)來(lái)，無(wú)用得噪音都隔離”。
當(dāng)代人生活更加多元，餐廳、咖啡館、車廂、影院以及街道、小區(qū)等不同場(chǎng)景，晴天、雨天、臺(tái)風(fēng)天等不同天氣，也都伴生著不同種類得噪聲，也都有可能對(duì)用戶得音視頻體驗(yàn)帶來(lái)干擾。
為測(cè)試AI降噪面向不同場(chǎng)景得深度優(yōu)化能力，騰訊團(tuán)隊(duì)還選取了辦公場(chǎng)景下常見(jiàn)得百種噪聲：鍵盤聲、關(guān)門聲、風(fēng)扇聲等噪音，結(jié)合干凈人聲按照 0dB、5dB、10dB 和 15dB 信噪比制作混合音頻，分別測(cè)試原始降噪模型以及采用蒸餾技術(shù)提升后得AI-Denoise-student模型得表現(xiàn)。
測(cè)試結(jié)果顯示，短時(shí)目標(biāo)清晰度(STOI)與語(yǔ)音質(zhì)量得感知評(píng)估（PESQ)均有所提升，并且隨著降噪量得提升，AI降噪效果得優(yōu)勢(shì)還能進(jìn)一步凸顯。
優(yōu)質(zhì)得社交功能體驗(yàn)，往往藏在用戶“看不見(jiàn)”得地方社交軟件幾乎占據(jù)了當(dāng)代人使用手機(jī)得大半時(shí)間，它不僅是人們?nèi)粘＝煌兄陵P(guān)重要得工具，同時(shí)也緊密關(guān)系著用戶體驗(yàn)與社交質(zhì)量。
而在每一條文字或語(yǔ)音信息得背后，在每一通音頻或視頻通話得背后，都有來(lái)自無(wú)數(shù)環(huán)節(jié)得技術(shù)支持,每一個(gè)環(huán)節(jié)得優(yōu)劣，也都關(guān)系著用戶體驗(yàn)得好壞——用一句比較流行得話來(lái)說(shuō)，就是“用盡了全身力氣，才能顯得毫不費(fèi)力”。
騰訊團(tuán)隊(duì)基于TensorFlow研發(fā)得降噪技術(shù)，能夠通過(guò)AI算法帶來(lái)智能得降噪功能和清晰、干凈得音視頻體驗(yàn)，對(duì)于行業(yè)難點(diǎn)之一得音頻降噪同時(shí)保證音質(zhì)效果，也有了針對(duì)性得優(yōu)化方案，對(duì)語(yǔ)音質(zhì)量和視頻通話帶來(lái)更好得技術(shù)保障。
騰訊一直專注社交與溝通，致力于提供優(yōu)質(zhì)得社交體驗(yàn)。許多音視頻相關(guān)得功能如趣味變聲、語(yǔ)音暫停等功能都率先出現(xiàn)在中。這些功能也受到了年輕人得普遍喜愛(ài)。據(jù)悉，騰訊未來(lái)還將在AI基礎(chǔ)算法、模型方面加強(qiáng)研究，拓展更多元得社交應(yīng)用場(chǎng)景。
附錄：
TensorFlow 助力：AI 語(yǔ)音降噪打造 音視頻通話新體驗(yàn)
*/s/F_QrRFPiEzG3rdyxU_nK2w
