“冬奧手語播報數字人系統”亮相中關村論壇

2021 年 9 月 24 日,中關村論壇正式開幕。

在第一天的主論壇上,一位忠實的“工作人員”吸引了與會觀眾的目光:在大螢幕上,一位虛擬的數字人根據主持人的語音,用手語將中關村論壇介紹在大螢幕上進行播報。

“冬奧手語播報數字人系統”亮相中關村論壇

冬奧

手語播報數字人

這一“冬奧手語播報數字人系統”是由北京市科委、北京市殘聯發起,科技冬奧專項支援,智譜AI、凌雲光和北京廣播電視臺聯合打造。

專案還得到了市殘聯聾人協會的大力支援。

“冬奧手語播報數字人系統”是“悟道 2.0”超大規模預訓練模型的首次實際場景應用

,依託智譜AI 打造的“資料”與“知識”雙輪驅動智慧平臺,旨在實現冬奧期間賽事新聞的實時手語翻譯播報。

未來,研發團隊還希望透過電視傳媒方式將無障礙理念傳遞到數億人群,大幅提升無障礙通道影響力,為聽障人士平等參與社會生活創造無障礙環境。

根據國內統計資料顯示,中國有超過 2700 萬聽障人群,如果算上他們的親人、朋友和同事,更是會涉及到上億人。聽障人士也對教育、社交、娛樂、資訊獲取有巨大的需求,然而,傳統人工手語翻譯工作量大,而且節目主持人和手語主持人配合難度極高。所以,透過 AI 技術將播報內容翻譯合成為手語,並利用數字人虛擬主播來播報成為解決這一難題的重要途徑。

為了實現精確的人物形象和手語動作,智譜AI 和合作單位的研究團隊研製了高速易用的資料採集裝置,涵蓋手語動作、表情等多種原始素材,採集資料規模超過 10 萬條,同時使用在“悟道”大模型基礎上實現了手語翻譯,結合團隊研發的跨模態擬人生成演算法驅動 3D 超高精度數字人模型,實現對體育賽事播報的實時手語播報。

數字手語主播不僅需要真實的數字人形象,也需要能夠理解、翻譯語音和手語的數字大腦。基於智譜AI 的大規模知識圖譜和結合了資料與知識的雙輪驅動虛擬數字腦,研發團隊還專門構建了冬奧手語語料庫,包括多模態肢體動作、表情、手指等語料,專門訓練數字腦掌握手語表達方法。最終,手語數字腦可以透過計算機模仿聽障人士的大腦,將看到的中文文字資訊實時轉換成手語詞彙序列。

在未來,本系統將支援各個電視臺、網路平臺和大螢幕等渠道進行各類資訊的手語播報,在大幅降低轉播成本的前提下,還能極大地擴充套件聽障人士的資訊獲取範圍,提高他們的社會參與度和幸福感。

智譜AI 成立於 2019 年,由清華大學計算機系知識工程實驗室的技術成果轉化而來。

智譜AI 的科研團隊結合了已有的人工智慧技術和人類的認知模式,有機融合了大規模預訓練模型和知識圖譜,形成了雙輪驅動的智慧平臺,可以像人類一樣獨立地學習和思考。除了手語數字人外,智譜AI 還開發了科普數字人小科、首個入學清華的虛擬數字學生華智冰和社交機器人等多個數字人應用。

你“在看”我嗎?

TAG: 手語數字播報AI智譜