谷歌AR開發平臺新升級,最佳化深度測量準確性

智東西(公眾號:zhidxcom)

編譯 | 孫悅

編輯 | 李水青

智東西5月20日訊息,昨日谷歌在I/O 2021大會推出了升級的AR(增強現實)谷歌地圖和Starline實時全息3D影片會議技術後,又釋出了ARCore 1。24版AR工具包。

ARCore 1。24包含了兩種新的AR功能,原始深度API(Raw Depth API)和錄製與回放API(Recording and Playback API)。前者可以最佳化深度測量和空間感知的準確性,後者能夠探測環境,允許使用者將虛擬內容新增到影片中。

一、為開發者開放原始深度圖,使細節更加豐富

ARCore(也稱增強現實SDK)是谷歌在2017年推出,用於搭建AR應用程式的軟體平臺,類似蘋果的ARKit。軟體開發者可以利用它去開發Android平臺上的AR應用,或者為應用程式新增AR功能。

谷歌ARCore 1。24推出的原始深度API,是在現有景深應用API(Depth API)的基礎上構建的,它的優勢在於,進一步最佳化深度測量和空間感知的準確性。原始深度API無需依賴LiDAR(光學雷達)技術,透過獲取更多深度的資料,為使用者提供更高質量的真實AR體驗。

谷歌AR產品經理Ian Zhang和Zeina Oweis說:“原始深度API透過生成帶有相應置信度影象(confidence images,這是一個統計學術語,是指圖片實際格式與標準格式的相差區間)的‘原始’深度圖,讓場景中呈現的幾何物體細節更加豐富。由於原始深度影象帶有未經平滑處理的畫素點,這能為置信度影象提供深度估計的置信度。”

原始深度API中的置信度圖允許開發者實時過濾深度資料。例如,抖音是最早利用這項技術的應用程式之一。這個應用程式裡“綠屏投影器(Green Screen Projector)”效果,就是利用Raw Depth API技術為使用者拍攝時提供AR效果。綠屏投影器效果將影象匹配物體表面,深度估計具有高置信度。

此外,這項技術早期還被用於電子遊戲AR Dodads、Rube Golberg、測量應用AR Connect、3D掃描3D Live Scanner、Teamvivers和遠端協助應用lifeAR。

谷歌AR開發平臺新升級,最佳化深度測量準確性

▲抖音鏡頭裡的AR建築

二、突破地域限制,可編輯虛擬內容

對於AR開發者來說,測試環境的不確定性是研發工作的一大難點。不僅是位置的變動,光線的變化也會影響感測器對資訊的捕捉。

全新的錄製與回放API技術旨在解決這一問題,谷歌ARCore使應用程式能夠捕獲影片鏡頭中的慣性測量單位(IMU)和深度資料。換句話說,開發人員可以訪問相同的資料,還能將場景完整地複製下來,並在舒適的工作空間中測試體驗。

除了提高開發速度之外,錄製與回放API技術為新的AR體驗提供了可能,它允許使用者將虛擬內容新增到影片中。例如,韓國移動運營商SK Telecom推出的“Jump AP”,利用錄製與回放API,將場景從韓國直接傳輸到使用者家中,讓使用者不受地區的限制,感受不同文化帶來的3D內容和AR新體驗。不僅如此,由動畫電影工作室Nexus Studios製作的“VoxPlop!” 能讓使用者在影片中新增3D角色並與他人共享,使用者還可使用AR內容對其進行編輯。

谷歌AR開發平臺新升級,最佳化深度測量準確性

▲SK Telecom推出的“Jump AP”

值得一提的是,谷歌最初透過Tango平臺推出了深度感測器,而隨後,蘋果透過推出ARKit採用軟體策略做出迴應。但之後,谷歌可能是受到蘋果影響,從原本的硬體戰略轉向了軟體ARCore。現在蘋果為其手機和平板裝置推出了深度感測器LiDAR,谷歌還是專注於AR工具的開發。

結語:ARCore為超10億使用者提供AR服務

谷歌ARCore擁有超過10億的總安裝量和8。5億臺相容裝置,而且幾乎所有AR工具都支援智慧手機端的訪問,能為使用者帶來逼真的AR體驗。

此次谷歌推出的原始深度API技術,加深了對影象的深度測量;錄製與回放API技術,支援環境錄製的同時,還可以讓開發者透過手機錄製影片、IMU和深度感測器資料,為LBS AR應用開發做了準備。

TAG: ARapi深度ARCore谷歌