新智元報道
編輯：David Joey
【新智元導讀】
專門為元宇宙打造的AI框架，是什麼樣子的？
人工智慧將成為虛擬世界的支柱。
人工智慧在元宇宙中可與多種相關技術結合，如計算機視覺、自然語言處理、區塊鏈和數字雙胞胎。
2月，扎克伯格在該公司的第一個虛擬活動——Inside The Lab中展示了元宇宙的樣子。他說，該公司正在開發一系列新的生成式AI模型，使用者只需透過描述就可以生成自己的虛擬現實化身。
扎克伯格宣佈了一系列即將推出的專案，例如CAIRaoke專案，一項用於構建裝置語音助手的完全端到端的神經模型，可幫助使用者更自然地與語音助手進行交流。
同時，Meta正努力構建一個通用語音翻譯器，可為所有語言提供直接的語音到語音翻譯。
幾個月後，Meta兌現了他們的承諾。
然而，Meta並不是唯一一家在遊戲中擁有面板的科技公司。
英偉達等公司也釋出了其自主研發的AI模型以提供更豐富的元宇宙體驗。
開源預訓練Transformer（OPT-1750億引數）
GAN verse 3D
GANverse 3D由英偉達AI Research開發，是一種使用深度學習將2D影象處理成3D動畫版本的模型，去年的ICLR和CVPR上發表的一篇研究論文中介紹了該工具，它可以用更低的成本更快地生成模擬。
該模型使用StyleGAN可自動從單個影象生成多個檢視。該應用程式可以作為NVIDIA Omniverse的擴充套件匯入，以在虛擬世界中準確地渲染3D物件。
英偉達推出的Omniverse可幫助使用者在虛擬環境中建立他們最終想法的模擬。
3D模型的製作已成為構建元宇宙的關鍵因素。耐克和Forever21等零售商已經在元宇宙建立了他們的虛擬商店，以推動電子商務銷售。
視覺聲學匹配模型（AViTAR）
Meta的現實實驗室團隊與德克薩斯大學合作，建立了一個人工智慧模型，以改善元空間的聲音質量。該模型幫助匹配場景中的音訊和影片。
它對音訊片段進行轉換，使其聽起來像是在特定環境中錄製的。該模型在從隨機的線上影片中提取資料後使用了自我監督學習。
理想情況下，使用者應該能夠在他們的AR眼鏡上觀看他們最喜歡的記憶，並聆聽實際體驗中產生的確切聲音。
Meta AI釋出了AViTAR的開源，同時還發布了其他兩個聲學模型，考慮到聲音是metaverse體驗中經常被忽視的部分，這是非常罕見的。
視覺影響的減震（VIDA）
Meta AI釋出的第二個聲學模型被用來去除聲學中的混響。
該模型是在一個大規模的資料集上訓練出來的，該資料集有各種來自家庭三維模型的真實音訊渲染。混響不僅降低了音訊的質量，使其難以理解，而且還提高了自動語音識別的準確性。
VIDA的獨特之處在於，它在使用視覺線索的同時也使用音訊方式進行觀察。在典型的僅有音訊的方法的基礎上進行改進，VIDA可以增強語音，並識別語音和說話者。
視覺語音（VisualVoice）
Meta AI釋出的第三個聲學模型VisualVoice可以從影片中提取語音。與VIDA一樣，VisualVoice也是根據未標記的影片中的視聽線索進行訓練。該模型已經自動分離了語音。
這個模型有重要的應用場景，如為聽障人士製作技術，增強可穿戴AR裝置的聲音，從環境嘈雜的線上影片中轉錄語音等。
Audio2Face
去年，英偉達釋出了Omniverse Audio2Face的開放測試版，以生成人工智慧驅動的面部動畫，以匹配任何配音。該工具簡化了為遊戲和視覺效果製作動畫的漫長而繁瑣的過程。該應用還允許使用者以多種語言發出指令。
今年年初，英偉達釋出了該工具的更新，增加了BlendShape Generation等功能，幫助使用者從一箇中性頭像中建立一組blendhapes。此外，還增加了流媒體音訊播放器的功能，允許使用文字到語音應用程式的音訊資料流。
Audio2Face設定了一個3D人物模型，可以用音軌做動畫。然後，音訊被送入一個深度神經網路。使用者還可以在後期處理中編輯角色，改變角色的表現。
參考資料：
https：//analyticsindiamag。com/ai-models-built-for-the-metaverse/