新智元報道
編輯：David 拉燕
【新智元導讀】
扔掉笨重的VR頭顯吧，現在只要拿起手機，Meta數字人一掃就得！
Meta的逼真數字人2。0再次進化，現在可以用iPhone生成了，只要拿出手機掃一掃！
早在2019年3月，Facebook就在活動上展示了第一代數字人形象（Codec Avatar 1。0）。第一代數字人是利用多重神經網路，用 132 個攝像頭的專用捕獲裝置生成的。
一旦生成，在VR頭顯裝置上的5個攝像頭。每隻眼部提供兩個內部視角，臉部以下提供三個外部視角。
就像下面這樣。
從那時開始，Facebook一直在不斷改進這些虛擬形象的逼真度，比如只需麥克風和眼球追蹤技術，就可以獲得更逼真的形象。最終在2020年8月進化為Codec Avatar 2。0版。
2。0版比1。0版最大的進步在於，攝像頭不再需要掃描跟蹤人臉，而是隻要跟蹤眼球的運動就行了。
新的神經網路將VR頭顯的眼動追蹤資料與麥克風的音訊饋送相融合，推斷佩戴者可能的面部表情。
將聲音模型和眼動模型資料反饋至混合模型，再經過融合模型計算處理，由渲染器輸出Avatar形象。
今年5月，團隊更進一步宣佈，2。0版的Avatar徹底達成了「完全逼真」的效果。
「我想說的是，未來十年的一個重大挑戰是，我們是否可以實現與面對面互動無法區分的遠端Avatar互動。」該專案負責人之一的 Sheikh 說。
看看上面的對比，a為真人照片，e為最終渲染生成的虛擬人，看起來好像沒有怎麼吹牛？
別急，上面這是實驗中的比對結果，實際上應用場景下，目前Meta虛擬人的形象是這樣的。
即使是最右邊「最逼真」的形象，還是卡通形象，這離「完全逼真」怕是還有點遠，不過Meta說的是十年，看看演示中的形象，這個目標實現的希望還是不小的。
而且，虛擬人技術的進步，也不僅僅體現在逼真度一個方向，大可不必沿著一條路一直走，Meta也在嘗試著其他方向。
比如，摘掉VR頭顯？
以前，生成一個單獨的Codec頭像需要帶一個名為「MUGSY」專門捕捉裝置，上面有171個高解析度攝像頭，就是上圖這個（密恐退散）。
Meta現在說，不用帶這東西了，有個iPhone就行了！
只要一臺帶正面深度感測器的智慧手機（比如帶FaceID功能的iPhone），直接掃一掃（確切地說，是好幾十掃），就能生成逼真的虛擬人頭像。
首先保持面無表情，掃描一次，然後做出各種不同的表情，最多支援65種不同表情。
Meta稱，用手機完成表情掃描，平均大概需要3-4分鐘。
當然這少不了算力的支援，最終生成的逼真虛擬人頭像，在一臺有四個高階GPU的機器上，大概需要6個小時。
當然，如果這個技術用在產品上，這些計算會交給雲端GPU，無需使用者自己的算力資源。
那麼，為什麼之前需要100來個攝像頭才能完成的事，現在只需一臺手機就可以做到了呢？
秘訣就是一種叫做Hypernetwork的通用模型。
這是一種神經網路，可以生成另一個神經網路的權值。在上面的例子中，就是生成特定人的Codec Avatar。
研究人員透過掃描255個不同的人臉來訓練這個模型，使用的是一種先進的捕捉裝置，很像MUGSY，但是隻有90個攝像頭。
雖說別的研究人員已經展示過用智慧手機掃描生成的人像了，而且Meta表示，生成的結果是SOTA級別的。
然而，現在的系統還是不能應付眼鏡和長頭髮。並且只能到頭，身體的其它部位還不行。
當然了，Meta在達到這種保真度之前，還有很長的路要走。
現在Meta的人像都有種卡通風格。而那種逼真的感覺隨著時間的推移慢慢降低了。
現在這種形象可能更適合用Quest 2玩兒Horizon Worlds的群體。
然而，Codec Avatar可能最終只會是一個單獨的選項，而不是現在這種卡通風格的升級。
Meta的CEO扎克伯格是這麼描述未來的：你可能會用一個充滿表現主義的人像玩兒平常的遊戲，而用一個更逼真的人像來參加工作會議什麼的。
今年4月，負責Codec Avatar團隊的Yaser Sheikh表示，「現在來預測Codec Avatar還有多久能投入使用是不太可能的。」
不過，他明確表示，他認為專案是有很大進步的。
「如果說之前離實現還差十個奇蹟那麼遠，如今可能只差五個奇蹟了。」
參考資料：
https：//uploadvr。com/frl-codec-avatars-without-face-tracking/
https：//tech。fb。com/ar-vr/2019/03/codec-avatars-facebook-reality-labs/