騰訊打造了一個(gè)虛擬美女主播 手語(yǔ)解說冬奧會(huì)

不知大家有沒有注意到，2月5日晚短道速滑混合團(tuán)體接力A組決賽中，央視頻AI手語(yǔ)數(shù)智人主播“聆語(yǔ)”用活靈活現(xiàn)、準(zhǔn)確無誤的手語(yǔ)，為聽障人士生動(dòng)地傳達(dá)了北京冬奧冰雪賽事的精彩內(nèi)容。

“聆語(yǔ)”是央視總臺(tái)打造的AI手語(yǔ)翻譯官，讓處于無聲世界中的特殊人群也能“聽”到中國(guó)舉辦冰雪賽事的盛況！

騰訊表示，聆語(yǔ)由騰訊的技術(shù)團(tuán)隊(duì)打造，除了她之外，還有一個(gè)小聰。他倆的特點(diǎn)是：手語(yǔ)表達(dá)能力接近真人；能自行學(xué)習(xí)，快速補(bǔ)充海量新詞、熱詞。

據(jù)介紹，聆語(yǔ)、小聰背后，整合了3D數(shù)字人建模、語(yǔ)音識(shí)別、語(yǔ)義理解、機(jī)器翻譯和圖像渲染技術(shù)等。

騰訊開發(fā)出了一套手語(yǔ)翻譯系統(tǒng)，只需輸入健聽人語(yǔ)言，即可通過機(jī)器翻譯低延遲生成高準(zhǔn)確率的手語(yǔ)語(yǔ)言表征，比如：輸入“他是我的手語(yǔ)老師”，預(yù)處理為“他 是 我 的 手語(yǔ) 老師”，翻譯為“他 我 手語(yǔ) 老師 是”。

接著，驅(qū)動(dòng)手語(yǔ)數(shù)字人準(zhǔn)確表達(dá)，基于騰訊多模態(tài)端到端生成模型，進(jìn)行聯(lián)合建模及預(yù)測(cè)生成高準(zhǔn)確率的動(dòng)作、表情、唇動(dòng)等序列，實(shí)現(xiàn)自然專業(yè)、易懂度高的手語(yǔ)效果。通過這項(xiàng)技術(shù)，AI手語(yǔ)可懂度達(dá)90%以上。