不知大家有没有注意到,在2月5日晚进行的短道速滑混合组接力A组决赛中,中央视频AI手语数字智慧主播“听语”用生动准确的手语为聋哑人生动传达了北京冬奥会冰雪赛事的精彩内容。
“听语”是央视总台打造的AI手语翻译,让寂静世界里的特殊人群“听”到中国举办冰雪赛事的盛况!
腾讯说是腾讯技术团队打造的,除了她,还有一个小丛。他们的特点是:手语表达能力接近真人;能够自学,快速添加大量生词和热词。
据报道,在於陵和小聪的背后,融合了3D数字人体建模、语音识别、语义理解、机器翻译和图像渲染等技术。
腾讯开发了一套手语翻译系统,只需输入健康听众的语言,就可以通过机器翻译生成低延迟的高精度手语表示。比如输入“他是我的手语老师”,预处理为“他是我的手语老师”,翻译成“他是我的手语老师”。
然后驱动手语数字人精准表达,基于腾讯的多模态端到端生成模型,进行联合建模和预测,生成动作、表情、嘴唇动作等高精度序列。从而达到自然专业又通俗易懂的手语效果。采用该技术,AI手语的可懂度达到90%以上。