近日，由 LiveVideoStack 舉辦的以“多媒體開啟新視界”為主題的 LiveVideoStackCon 2020 北京站如期召開。作為多媒體技術(shù)領(lǐng)域的盛會，大會聚焦在音頻、視頻、圖像等技術(shù)的最新探索與應(yīng)用實踐，覆蓋教育、娛樂、醫(yī)療、安防、交通、制造、旅游、電商、金融、社交、游戲、智能設(shè)備、IC 等行業(yè)領(lǐng)域。會上，騰訊多媒體實驗室專家研究員肖瑋進(jìn)行了《騰訊天籟：“下行最后一厘米” 音頻體驗提升》主題分享，重點介紹了騰訊天籟如何將經(jīng)典信號處理技術(shù)與深度學(xué)習(xí)進(jìn)行有機(jī)融合，圍繞網(wǎng)絡(luò)下行終端，提升音頻體驗。

騰訊多媒體實驗室專家研究員肖瑋

　　騰訊天籟音頻 AI 技術(shù)，打造端到端的音頻通信體驗

　　年初的疫情黑天鵝事件，讓數(shù)字通信手段成為了人與人溝通的重要手段，同時也對實時音視頻通信的穩(wěn)定性和通訊效果帶來了極大考驗。肖瑋指出，為了解決實時音視頻應(yīng)用場景下的各種挑戰(zhàn)，騰訊多媒體實驗室圍繞音頻通信核心體驗的技術(shù)和框架進(jìn)行了多年的探索。在今年 9 月份舉辦的騰訊全球數(shù)字生態(tài)大會上，正式發(fā)布了“面向?qū)崟r音視頻應(yīng)用的新一代實時音頻技術(shù)品牌”——騰訊天籟。該解決方案旨在提供實時端到端音頻通信的完整解決方案，致力于讓用戶在實時音視頻會議時可以“聽得見，聽得清，聽得真”。

　　肖瑋表示，RTC 場景復(fù)雜、處理鏈條長;每個節(jié)點均會影響用戶的終極體驗。然而，下行終端側(cè)，是最接近于用戶的終級體驗的節(jié)點;如果進(jìn)行合理的設(shè)計，可以非常高效地提升用戶的終極體驗。因此，騰訊天籟提出“下行最后一厘米”音頻體驗提升的概念，將經(jīng)典的音頻信號處理和深度學(xué)習(xí)技術(shù)結(jié)合，設(shè)計并實現(xiàn)了基于上下文分析的前向糾錯、丟包補(bǔ)償方案。信源側(cè)單獨可抗 40% 丟包率，整體方案可抗 80% 丟包率。用戶在弱網(wǎng)環(huán)境下的通話體驗可以獲得極大保障。

　　基于領(lǐng)先的騰訊天籟音頻解決方案，騰訊天籟不僅可以讓不同地點、場景、設(shè)備終端同時遠(yuǎn)程接入，讓遠(yuǎn)程線上溝通更加高效，并且還擴(kuò)展了實時音頻的語音帶寬。與傳統(tǒng) PSTN 電話音質(zhì)相比，使用了騰訊天籟技術(shù)后的音頻音質(zhì)更加明亮、干凈。同時，整套音頻算法能力也進(jìn)行了有針對性的優(yōu)化，可以在用戶多種客戶端進(jìn)行部署，最終提升了音頻通信的可懂度、自然度、舒適度。

　　此外，以騰訊會議為例，肖瑋現(xiàn)場展示了基于深度學(xué)習(xí)的語音增強(qiáng)方案在真實場景中的增強(qiáng)效果。在長達(dá)兩分鐘的展示環(huán)節(jié)，分別演示了地鐵站、菜市場、街道等多種噪聲場景。在這些場景下，騰訊天籟基于深度學(xué)習(xí)語音增強(qiáng)方案均能提供高質(zhì)量的處理效果，現(xiàn)場展示獲得現(xiàn)場觀眾的廣泛關(guān)注。

　　另一方面，肖瑋強(qiáng)調(diào)了端到端質(zhì)量評價和認(rèn)證體系的建立，對 RTC 場景下的體驗提升也是非常關(guān)鍵的。截止目前，騰訊多媒體實驗室已經(jīng)建立了完整的端到端通話質(zhì)量評價和認(rèn)證體系。借助這一體系，騰訊天籟品牌下的各種技術(shù)，在產(chǎn)品落地前，均要通過該體系的嚴(yán)格測試。此外，在技術(shù)的研發(fā)過程中，該體系的測試結(jié)果，可以給研究人員提供非常重要參考信息，用于方案的打磨和優(yōu)化。

　　從技術(shù)到公益，騰訊天籟“技術(shù)外溢”的產(chǎn)品力

　　目前，騰訊天籟已經(jīng)在騰訊會議、騰訊云、全民K歌、微視等騰訊內(nèi)外部產(chǎn)品、場景中廣泛應(yīng)用落地，并助力相關(guān)應(yīng)用在音視頻體驗方面取得了良好的用戶口碑。

　　不僅如此，在騰訊的一些無障礙項目交流當(dāng)中，騰訊多媒體實驗室的團(tuán)隊成員們了解到聽障人士即使佩戴了人工耳蝸，在機(jī)場、商場等比較嘈雜的公共環(huán)境中，依然面臨“聽不清”的困擾?；诖?，騰訊多媒體實驗室聯(lián)合國內(nèi)最大的人工耳蝸廠商之一—諾爾康(Nurotron)一起展開相關(guān)討論和研究，經(jīng)過長達(dá)半年的技術(shù)驗證，從架構(gòu)上最終確定了“手機(jī)伴侶+人工耳蝸”的聯(lián)合解決方案。通過多種技術(shù)的優(yōu)化和整合，實現(xiàn)了語音清晰度和可懂度提升 40% 的效果。經(jīng)過提升后的信號，傳遞給人工耳蝸后，可以極大改善聽障人士的聽覺體驗，讓聽障人士在“聽得見”的基礎(chǔ)上“聽得清、聽得真”。

　　9 月 27 日國際聾人日之際，騰訊多媒體實驗室聯(lián)合騰訊公益慈善基金會、深圳市信息無障礙研究會等機(jī)構(gòu)召開發(fā)布會，宣布發(fā)起“天籟行動”，通過面向公益開發(fā)者、設(shè)備廠商、NGO 及行業(yè)免費開放騰訊天籟 AI 音頻技術(shù)，幫助聽障人群解決“聽不清”難題，并邀請歌手周深作為公益大使，呼吁全社會關(guān)注聽障人士身心康復(fù)，構(gòu)建信息無障礙環(huán)境。

騰訊天籟行動發(fā)布

　　值得一提的是，天籟行動并不是一次“普通”的公益實踐，而是騰訊基于“科技向善”的愿景，進(jìn)行體系化、持續(xù)性建設(shè)的科技公益落地。其背后的驅(qū)動機(jī)制，正是騰訊技術(shù)積累的“技術(shù)外溢”，以及技術(shù)快速場景化落地的強(qiáng)大產(chǎn)品力。

　　作為騰訊旗下頂尖的音視頻通信和處理研發(fā)團(tuán)隊，騰訊多媒體實驗室致力于實時音視頻通信、音視頻編解碼前沿算法研究、音視頻國際標(biāo)準(zhǔn)、計算機(jī)視覺圖像處理、端到端音視頻質(zhì)量評測。其中，天籟技術(shù)是其經(jīng)驗和技術(shù)能力積累重要成果之一。

　　在 5G 浪潮下，多媒體的技術(shù)和形式不斷發(fā)生改變，高效率低延遲的傳輸帶來了更豐富的落地場景。未來，騰訊天籟音頻技術(shù)也將會加速接入騰訊旗下金融、政務(wù)、教育等行業(yè)場景下的實時音視頻需求，讓更多更豐富的場景落地，為用戶帶來極具 5G 時代色彩的沉浸式體驗。
　?。?a href="http://www.nasamidwest.com/website/">邯鄲網(wǎng)站建設(shè)）

消息稱字節(jié)跳動尋求以180...

Windows 10X下月開始RTM...