這兩年，估計沒有比「元宇宙」更熱的話題了。
2021 年 10 月，Facebook 改名成「Meta」，全力押注元宇宙，這成為元宇宙發展的標誌性事件，引爆網路。
而在眾多進入到元宇宙中的玩家中，英偉達不可忽視。
NVIDIA Omniverse 最早於 2019 年就正式被提出，早在這波元宇宙熱潮之前。2020 年，Omniverse Open Beta 公測版本上線，在 CES 2022 上，英偉達宣佈向全球數百萬個人創作者和藝術家提供 Omniverse 的免費版本。
英偉達創始人黃仁勳認為，Omniverse 是「工程師的元宇宙」，一個為元宇宙創作者、設計師、研究人員和工程師打造的平臺。目前 Omniverse 也已經成為關注元宇宙發展必須要關注的平臺。
何展做客 Founder Park by 極客公園的「Rebuild」欄目 | 來源：直播截圖
Omniverse 與元宇宙的關係是什麼？英偉達又是打算如何參與元宇宙的建設呢？6 月 1 日，NVIDIA 中國區 Omniverse Lead 何展做客極客公園的「Rebuild」直播間，一起暢聊英偉達在元宇宙上的思考和佈局。
01 Omniverse 與元宇宙
Founder Park：英偉達推出 Omniverse 平臺的動機是？
何展：
Omniverse 是 2019 年上半年在英偉達的 GTC（GPU 開發者大會）上由創始人黃仁勳釋出的，如今已經有三年的時間，但是其實一系列的構想五年前就有了，初衷是解決設計師和藝術家的一些痛點。
設計師們經常會用到一些設計類軟體，Autodesk、Maya、Abode、Unity 或者 UE（Unreal Engine）等，這些軟體都有一個痛點，不同軟體的檔案格式不統一，沒有統一的資料標準。還有就是隨著軟體的升級和設計工作的複雜，3D 模型檔案的資料量越來越大，一個三維專案動輒就有幾百 G 的模型檔案，開啟或者修改都很痛苦。
看到了這兩個痛點之後，我們就想著是不是可以由英偉達主導來統一檔案格式，讓大家在一個介面下去操作概念設計、細節設計、材質定義以及實時渲染的軟體。基於這樣的設想，就推出了這個平臺。
Founder Park：2019 年的時候，元宇宙（Metaverse）還沒有開始流行，為什麼會將平臺命名為 Omniverse？
何展：
這個詞是創始人黃仁勳先生提出的，Omni 是英語裡表達「全能」或者「萬能」概念的一個詞根。不管是新興的元宇宙還是其他概念詞，其實都是一步一步引申過來的。我們認為，如果做好一件新概念的事情，需要很多技術融合在一起，所以希望這個平臺能夠提供比較全能的工具箱和技術給使用者。
Founder Park：如何理解 Omniverse 平臺的功能和用途？
何展：
Omniverse 關注數字世界的建立，它不是一個軟體工具，而是一個技術平臺，定位於建立、模擬和互動基於真實世界的物理準確的數字世界。
Omniverse 希望能夠幫助大家創造出想要的數字化作品或者數字世界，這些作品本身又遵循物理世界的客觀規律，相當於可以用我們的平臺把真實世界的物理邏輯對映到數字世界中。
Founder Park：聽起來和數字孿生的概念有些像，有什麼區別嗎？
何展：
數字孿生其實不是新的概念，簡單來說就是有很多需要真實模擬的場景比如火箭發射等，建造複製品的成本太高，所以就有了數字孿生的概念。數字孿生可以幫助降低成本，而有著和物理世界的複製品一樣的效果也可以輔助我們進行決策分析。
還有一個概念是數字原生，就是建造的東西和真實世界不太一樣，不需要遵循物理世界的規律，數字原生會更創新、更藝術一些；數字孿生和工廠等結合得更多一些，Omniverse 則希望兩者都能兼顧到。
Founder Park：那麼數字孿生和模擬的區別是？
何展：
兩者的概念很相近，都是在用技術將真實世界的一些物體在數字世界裡生成，而且必須要有實際的用途和意義。數字孿生是學術界通用的一個詞彙，而模擬主要是一些模擬科學的軟體中用到，比如流體動力學等，叫法不一樣，但是做的事情和方向是一致的。
也可以說數字孿生是一個更大一點的概念，而模擬可能是其中的一個子集。
Founder Park：Omniverse 和我們熟知的UE、Unity 等遊戲引擎的區別是？
何展：
定位不太一樣，UE、Unity 更傾向於應用端，而 Omniverse 更定位於應用端和硬體之間的中間層，對於一些技術的引入方式也不一樣。
不過我們也和這兩個平臺有非常緊密的合作，大家共同探索一些底層的技術，比如光線追蹤、路徑追蹤以及渲染等。
Founder Park：統一檔案格式背後的創新主要是什麼？解決了什麼問題？
何展：
我們選擇的是開源的 USD 格式，來源於皮克斯工作室。
影視工作的 3D 模型檔案對渲染的要求非常高，所以檔案的細節更豐富，資料量也會更大。早期皮克斯用的是 Menv 軟體，這個軟體的格式有兩個檔案：記錄 reference 的鉤子檔案和記錄動畫資訊的動畫檔案，這個時候效率已經比別人快了一些，可以加入一些更高效率的技術進來。隨著製作複雜度的提升，皮克斯開發了第二代的技術，也就是 Presto 軟體和檔案格式 USD，新一代技術解決了兩個問題。
Presto 工作流程和 USD 格式 | 來源：Pixar 官網
首先是協同設計和並行設計的問題，不同的設計流程中可能會有很多環節，將之前負責單獨記錄的鉤子檔案改成了並行，支援了協同設計。
第二是在調整的過程中只記錄變更資訊，也就解決了檔案修改後體積太大的問題。
Founder Park：在元宇宙概念出來後，你們對於 Omniverse 的定義是否發生了變化？
何展：
我們更關注於元宇宙世界裡工業和工程方向的應用，主要分為三部分：
第一個是更加關注於 3D 創作和設計，以及專案的流程，努力從工作流裡解決大家的痛點和難點。
第二個是關注 AI 如何在 3D 的世界裡進行應用，比如自動駕駛領域裡的 SDG 技術（合成數據生成），因為我們在現實世界建立或者掃描的 3D 模型資料已經不足以進行自動駕駛訓練了，需要利用 AI 生成一些全新的，現實世界裡沒有的資料進行訓練。
第三個是算力的可延展和可擴充套件性，不管是數字化作品還是數字環境生成都需要算力，我們希望能夠擴充套件的雲、邊、端的算力能力。
核心還是關注工程化的技術，儘可能去工程化，降低門檻，讓更多人參與和創作自己的作品，成為數字世界的 owner。
Founder Park：為什麼會花精力去打造這樣一個技術平臺？背後的邏輯是？
何展：
元宇宙概念之前，很多企業都在做數字化轉型，不過都集中於 2D 資料的收集、分析和應用，比如影片、文字、語音類的資料，我們已經把 2D 資料的應用發揮到極致了。未來企業裡還有很多 3D 的內容資料，它們在數字世界裡也是很珍貴的存在。現在的趨勢是我們越來越關注 3D 資料的利用，如何進行產業的升級等，比如數字人、數字資產包括工廠的數字環境等，也就是說，2D 升級到 3D 的過程中，對於新技術應用的需求是非常明顯的。比如數字人，配合著計算機圖形學、VR 技術、算力等的進步，現在的數字人已經遠遠超過了五年前的技術水平。
英偉達現在已經轉型為一個全軟體堆疊的 AI 計算平臺公司，我們會提供給使用者很多開箱即用的工具和平臺，甚至 SDK、演算法等，降低成本，促進更多新應用的落地。
02 Omniverse 的商業化
Founder Park：Omniverse 目前主要應用在哪些領域？
何展：
首先是影視娛樂行業。其次是建築行業，住房、辦公樓的設計應用，一般稱之為 AEC（Architecture， Engineering & Construction），還有個概念叫 BIM，building information model。
第三個會貼近於產品設計和製造業。其他的像科研機構的數字孿生地球的專案，以及工業機器人、自動駕駛和醫療也是有應用落地的。
Founder Park：從 2019 年到現在，Omniverse 覆蓋的行業和公司數量大概是什麼量級？
何展：
像 UE、Maya、Autodesk 這樣的軟體合作伙伴，目前大概有 82 款，都可以直接連線到 Omniverse 平臺進行設計協同。
行業的話，我們一般會優先找不同行業的頂尖公司，也就是燈塔客戶（Lighthouse customers），比如汽車行業的寶馬、工業設計領域的西門子、影視製作行業的工業光魔等，這類客戶我們目前已經積累了超過 500 家。
還有一類是開發者合作伙伴，目前已經有超過 10 萬的活躍開發者，15 萬的下載量了。
第四類是我們非常重視的一個全球性的專案——NVIDIA Inception Program，也就是英偉達初創合作伙伴計劃的成員，目前全球成員數超過 12000 家，國內超過 1100 家。這個專案對初創企業篩選的標準比較嚴苛，比如說要有技術導向，或者在某一行業技術積累比較深。
Founder Park：剛才所說的 NVIDIA Inception Program 會對創業公司提供哪些幫助？
何展：
首先是技術方面的支援，包括但不限於演算法等技術的第一時間的同步更新，以及直接溝通的渠道。
第二是共享英偉達的客戶資源，幫助他們擴充自己的商業市場。
第三是透過英偉達的影響力介紹更多的 VC 資本等，讓他們獲得更充足的資金來提升企業的核心競爭力。當然常規的比如 GPU 的打折優惠等活動也會有。
Founder Park：各行各業的這些客戶，在運用 Omniverse 解決問題的時候，遇到過什麼有趣的案例？
何展：
有一個數字孿生地球的專案，研究大氣河的現象。可以理解為空中的河流，會帶來強降雨、暴風雪等。
我們試圖用真實的地球的氣象資料來分析大氣河的精確走向和路徑，而且可以提前一週計算出了軌跡。算力加速之後，可以生成更多的數字孿生地球，分析成千上萬種可能，然後看哪個更精準，這樣就可以幫助大家預測颶風等天氣，減少人員傷亡。
另外我們的開發者還做了一個有趣的實驗，利用耦合電阻的物理學原理，用現實世界裡的轉動開關按鈕來控制 Omniverse 數字世界的電圈轉動，真實世界和虛擬世界就發生了互動。未來是不是可以透過現實世界裡的東西驅動數字世界的東西呢？甚至數字世界裡的東西是不是可以驅動工廠機器呢？這些都有很大的想象空間。
Founder Park：Omniverse 的商業模式是什麼樣的？
何展：
面對個人設計師、藝術家和愛好者是免費的，也希望透過這個平臺降低設計技術門檻，讓更多人成為自己的設計師。
企業端會有一個付費的企業版本，支援多專案協同、異地協同等。市場容量的話，粗略估計有超過 1500 億美元的市場規模。
Founder Park：Omniverse 現階段探索研究的方向是？
何展：
英偉達關注的是底層的技術，試圖打造技術底層的內容。比如我們最近發現的一個共性問題，2D 轉 3D 這件事都多少年了，至今仍然有很多公司在提供 3D 掃描的逆向工程服務，我們在研究讓 2D 透過演算法生成 3D，也就是 neural rendering（神經渲染），這件事情能夠解決通用性的問題，未來成功後會整合在平臺上。大家就可以基於這個技術快速建立，在目前的測試實驗中，100 張照片就可以生成一個真實的 3D 模型，而且生成時間很快，幾秒鐘的時間。
這類具有先導性的技術是我們想去補齊的。
下面這段影片是一段 AI 學習能力的展示。影片中的機器人展示會模模擬實人類的行走、擊劍或者受重力打擊時的狀態。傳統上這些動作都需要用動畫做出來，現在則可以在數字環境中強化學習訓練出來，而且按照現有的 GPU 算力，三天時間就可以完成。
這其中運用到的技術是 transformer，基於 NLP 的文字學習技術，這是我們在探索研究的一個方向，讓大家低門檻低成本去做出更好更有想象的數字世界。
人工智慧從根本上改變了軟體能做什麼，同時又決定能夠製造出什麼樣的軟體。
03 英偉達的數字人規劃
Founder Park：英偉達在自動駕駛領域做了哪些工作？
何展：
自動駕駛現在比較難的事情在於資料，尤其是地圖資料，這些資料首先是作為導航資料，其次是要收集足夠的訓練資料，進行自動駕駛的演算法訓練。但是有些資料是收集不到的，比如下雨天或者下雪天路滑導致的側滑，以及出現兩車相撞的極端情況等，雖然機率很低，而恰恰是這些資料出現在訓練資料集裡才更有意義。收集不到真實資料，能不能合成 3D 的資料進行訓練呢？這個是我們最近圍繞演算法層面在做的一個事情。
另外是熱賣的 NVIDIA DRIVE Orin 晶片，國內知名的造車新勢力都選擇了這款晶片，目標還是希望透過軟體和硬體在算力上幫助大家在自動駕駛方面儘快達到真正能使用的 L4*甚至 L5*級別。
L4：自動系統在某些環境和特定條件下，能夠完成駕駛任務並監控駕駛環境。
L5：自動系統在所有條件下都能完成的所有駕駛任務。
Founder Park：數字人也跟 Omniverse 密切相關，你們如何看待這個行業的發展趨勢？
何展：
三年前數字人相關的公司可能都不超過一百家，那時候數字人制作成本高，製作週期長，效果也沒法滿足客戶的要求，一個超寫實的數字人成本不低於 100 萬美元。
現在的話，製作公司變多了，成本也下降了，現在可能只需要幾十萬人民幣，甚至還有幾萬塊可以進行快速生產，技術的革新帶來的產業的變革。
而技術的變革其實也來自於使用者需求的推動，個人對於簡單重複性勞動的厭煩，企業端則是銀行、學校或者銷售對於數字人的需求。加上 AI 技術、雲計算等各種技術的發展，也有效降低了成本，提高了可用性。
Founder Park：中之人和AI驅動的數字人哪種才是未來的技術方向？
何展：
AI 驅動的技術路徑才是可行的，因為會大幅降低成本。
前幾天跟業內人士也聊過這個問題，從甲方的角度考慮，如果是中之人的話，比如說需要交付一個數字人，成本可能是 100 萬人民幣，如果數量上去了，單個的成本不會降低，再加上中之人演員，成本又上去了。超過某個 ROI 基點後，AI 驅動的數字人成本會明顯下降。
中之人對技術的要求也會比較多，首先是建模的能力，建模後需要各種繫結：骨骼繫結、肌肉繫結等。之後就是使用各類動捕的軟體去操縱數字人。驅動的難點也比較多，搞不好就會出現一些 bug，比如手和衣服分開了等。
Founder Park：相對於培養虛擬偶像，感覺英偉達更在意的是數字人如何落地到更多行業？
何展：
還是企業基因決定，不僅僅是 Omniverse，十多年前的 CUDA 平臺也是，都是從最實際的使用者需求來考慮，最終還是考慮技術的發展如何創造最大的價值。
數字人存在的意義究竟是什麼？迴歸到個人的話，我自己確實需要一個數字分身，只要能同步我的健康資料就可以，消耗了多少卡路里、攝入了多少卡路里、身體狀態等，我相信每個人會有類似的需求，就看哪家公司能夠最終把這件事做出來了。
Founder Park：除了數字人之外，在虛擬世界的搭建上，英偉達還關注哪些方向？
何展：
數字人之外，數字物品或者數字資產也是一個方向，比如個人喜歡的一些現實世界裡存在的物體、買不起的文物、甚至於喜歡的影視作品中的一個物件等，都可以用數字化的方式進行儲存。
另外一個方向就是數字孿生在工業上的應用，比如工業的數字化，數字世界的操作對應現實世界的生產了。
Founder Park：英偉達考慮推出VR、AR裝置嗎？
何展：
我們不做裝置。Omniverse 本身是一個雲原生的系統，目標是讓數百萬人共享 Omniverse 建立單獨數字世界，自然也需要讓人們透過某個隧道開啟這個世界，而 VR、AR 就是最合適的方式和技術，我們是基於軟體層的演算法和 NVIDIA CloudXR 的 SDK 來和其他公司的硬體合作，幫助大家透過不同的隧道穿梭在不同的數字世界中。