智東西（公眾號：zhidxcom）
作者 | 徐珊
編輯 | 雲鵬
萬萬沒想到，今年春天VR廠商們為“一雙手”捲起來了。
僅2022年上半年，就有四家VR巨頭對自家VR裝置的手勢互動技術操刀改良。
4月20日，Meta旗下的VR頭顯Oculus Quest 2手勢互動版本迭代至2。0，解決了手部定位丟失的問題。4月13日，位元組跳動旗下的VR品牌Pico宣佈其兩款企業級VR頭顯可以透過定製的手部追蹤配件，提升手勢互動體驗。VR廠商HTC也在今年1月釋出了一款新款腕式追蹤器，輔助預測使用者的手部位置。
▲Oculus Quest 2手勢互動1。0版本和2。0版本在手部快速追蹤方面的對比
無論是裸手互動技術，還是手部追蹤配件，用於VR裝置的手勢互動技術一直在不斷迭代。同時，不少VR企業還在嘗試尋找新的手勢互動方式，比如說VR手套。
5月6日，荷蘭VR手套製造商Manus宣佈其新款採用磁力追蹤技術的VR手套Quantum Metagloves開啟預售。5月4日，國內動捕技術巨頭諾亦騰釋出Hi5 2。0 VR互動手套。而早在2021年11月，Meta就曾展現自家的VR觸感手套模型，分享自己在VR手勢互動方面的最新成果。
▲從左到右分別為Manus、諾亦騰、Meta的VR手套
不僅如此，蘋果、谷歌、微軟等一些潛在VR玩家還獲批多項與智慧戒指有關的專利，試圖將智慧戒指打造為下一代手勢互動的關鍵輸入裝置。
手勢互動技術是最基礎也是最自然的互動方式，也是VR裝置中主流的互動方式之一。一般來說，手勢互動是指透過數學演算法來識別人類手勢的技術，包括影象獲取、手勢追蹤、手勢識別與分析等多個過程。
其中，
手部追蹤和手勢識別是手勢互動中較為關鍵的兩個步驟。
手部追蹤是指準確地在VR頭顯中定位使用者雙手的位置，而如何精準地識別每個手指的動作，識別手的各種形態等屬於手勢識別。
手勢互動技術也暗藏巨大的市場空間。國際市場分析公司Markets and Markets發表報告稱，2024年“手勢識別和無觸碰感知”市場將達到340億美元。
VR裝置的手勢互動技術有了哪些新玩法？廠商為何都在近期升級自家VR裝置的手勢互動技術？VR裝置的手勢互動技術發展究竟如何？
我們與諾亦騰CTO戴若犁、夢想綻放（愛奇藝智慧）技術負責人史明以及HTC的技術負責人等多位行業人士深度交流後，試圖找到答案。
一、拋開手柄，VR遊戲可以裸手玩
相較於其他移動裝置，用於VR裝置的手勢互動技術進步較為緩慢。比如說，從3dof到6dof經歷了近五年的發展時間，手柄互動到裸手互動仍處在初期階段。隨著技術不斷進步，裸手互動也開始在不少消費級VR頭顯上普及。
Meta曾在2019年釋出手勢互動1。0版本，並將裸手互動引入初代Oculus Quest VR頭顯，讓使用者可以直接在虛擬世界中看到自己的雙手，並進行一些簡單的互動操作。時隔2年後，Oculus Quest 2擁有了手勢互動2。0版本。
此次升級主要解決了兩大難題。一是解決了使用者雙手重疊時，手部追蹤困難的問題。
在Quest 2的手勢互動1。0版本中，當用戶的雙手相互阻擋或重疊時，系統很難識別使用者的手勢動作。
二是在使用者快速揮動雙手時，系統也很容易丟失對於手部的追蹤。
這兩種情況的發生都有可能會造成雙手從虛擬世界中突然消失。
▲Quest 2手勢互動1。0版本和2。0版本對比
至於是如何解決這兩項問題，Meta在其公告中說明，基於“重新設計的計算機視覺和機器學習方法”，新版本提高了手部跟蹤的效能可靠性。但自從版本更新後，我們看到不少使用者反饋到，儘管手勢互動功能有了更好的體驗，但是系統也出現了明顯的卡頓。
對此現象，戴若犁解釋到VR頭顯處理計算的能力本身就比較有限，而Meta基於計算機視覺獲取資料，並將一部分算力資源用來預測使用者手部位置，這種方案無疑將會為VR頭顯帶來較大的計算處理壓力，也是“系統卡頓”現象的主要原因。
HTC也在今年3月推出了新款的腕式追蹤器VIVE Wrist Tracker，並且在去年年底升級自家的手部追蹤版本。據HTC官網資訊介紹，當用戶將腕式追蹤器戴在手腕上時，即使在一段時間內雙手離開相機視野，系統也可以透過腕式追蹤器的高頻IMU資料和運動學模型預測手部的運動軌跡。
HTC的相關負責人還向智東西分享到，相比VIVE Focus 3控制器，VIVE Wrist Tracker移除了按鈕、觸覺輸入等零部件從而縮小電池尺寸，將控制器變得更小更輕了。據介紹，HTC的手腕追蹤器比VIVE Focus 3控制器小85%，重量輕50%。
▲VIVE Wrist Tracker腕式追蹤器
我們可以看到，
Meta的裸手互動方案仍是計算機視覺為主，HTC的裸手互動方案則需要依靠腕式追蹤器等外設。
前者能幫助使用者快速、有效地體驗裸手互動的樂趣，而後者透過慣性感測器提高一定程度手勢互動的準確性和可靠性。面對不同的應用場景，不同廠商VR裝置的裸手互動方案各有側重。
但裸手互動一定會給人們帶來更好地體驗嗎？
戴若犁在採訪時說：“在技術成熟度尚未達到的時間點，將裸手互動這類人機互動新方式嵌入作業系統中，會給人們過高的期待。”
“從操作成功率和觸感反饋來說，手柄在樂趣以及操作準確性上要遠勝裸手互動。”他解釋到，在人機互動領域，80%的操作準確性和100%的操作準確性給使用者帶來的互動體驗是完全不一樣的。
微軟亞洲研究院網路圖形組首席研究員童欣曾在2017年接受媒體採訪時證實這一點。“當我手握手柄的時候，手柄不僅是一個輸入裝置，同時也是輸出裝置，它可以透過震動、力反饋給我一個輸出的反饋。而當我空手在空氣中揮舞的時候，我就失去了自己的輸出渠道。”微軟亞洲研究院網路圖形組首席研究員童欣說道。
有限的計算消耗、較高的學習成本、較低的操作準確性等都是阻礙VR裝置裸手互動技術發展的主要原因。
但在互動體驗上，裸手互動也將會給VR內容生產者提供更多的發揮空間。不少VR裝置中，裸手互動作為一種輔助的手勢互動方式。
二、大廠們爭著做的VR手套，B站100元搞定？
為了在裸手互動帶來的沉浸感和VR手柄提供的高準確性之間尋找到平衡點，VR廠商們又想出了另一種手勢互動方式——VR手套。
目前，VR手套存在比較多的形態，但是真正可以大規模量產和銷售的VR手套主要分為基於慣性感測器和基於彎曲感測器兩種型別。不同於基於計算機視覺手勢互動的資料處理方式，以慣性感測器為主的VR手套將透過感測器收集大量的手部定位和手指互動的資料。而以彎曲感測器為主的VR手套則測量精度較低，由於對於貼合程度的要求較高，其可穿戴裝置的舒適度也較低。
我們有機會搶先體驗到Hi5 2。0 VR互動手套。一副Hi5 2。0 VR互動手套共有12個慣性感測器，每隻手佩戴六個無線感測器，分佈五個手指和手背上。同時該套裝還將配有一個數據收發器，可以插在電腦或者VR頭顯上傳輸資料。
▲Hi5 2。0 VR互動手套
開啟感測器、安裝感測器、固定好手部追蹤器，選擇校準介面，Hi5 2。0 VR手套的校準方式比我們一開始想象的要複雜一些。
在體驗過程中，我們發現Hi5 2。0 VR互動手套能提供較為精準的手勢識別過程，比如說手部的位置和手勢的變化基本都能實時顯示變化。據官網介紹，該裝置的姿態計算幀率從180fps提升至500fps，研發人員還透過演算法提高了一定的抗磁干擾程度。
▲諾亦騰研發人員正在校準Hi5 2。0 VR互動手套
除此之外，研究人員也在嘗試不同的VR手套設計方案。
2021年11月，Meta公佈了其研發7年的VR觸感手套原型，這款VR手套用微型氣閥取代了電機，透過複雜的控制系統調整手指上的充氣儀器，形成擬真壓力，從而模擬各種觸感。
▲Meta觸感手套
荷蘭VR手套開發商Manus的Quantum Metagloods VR手套則是基於磁力追蹤技術打造而成。
與諾亦騰選擇用演算法去減輕天然環境造成的磁干擾，保證追蹤穩定性的方案不同，透過磁力追蹤的手勢互動方案需要兩個裝置協作完成。一個裝置內設xyz三個方向的線圈，同時VR手套中也將內含一個線圈，兩個線圈將以高頻共振的方式切割磁力線，從而獲得手的位置變化。
儘管VR手套能提供較為準確的手勢動作捕捉，但VR手套的價格成本決定了其只能面向小部分極客玩家和商用市場。
據悉，Meta手套的原型成本約為5000美元（約33400元），而Manus的Quantum Metagloods的預售價為9000美元（約6萬元），諾亦騰的Hi5 2。0 VR互動手套，售價為9800元人民幣。
▲從左到右分別為Manus、諾亦騰、Meta的VR手套
Meta曾將研發VR觸感手套的專案描述為“登月計劃”。“當我們開始研發VR觸感手套時，我們希望打造一款可以大規模量產，消費者買得起的消費裝置，讓人們在任何地方都能體驗到虛擬世界。”Meta的專案負責人說：“但這幾乎不可能。”
在調查的過程中，我們還發現B站上有不少UP主自制VR手套，這些價格的成本從100元到350元不等，部分VR手套甚至擁有力反饋功能。我們看到這些自制的VR手套可以用於一些簡單的VR遊戲中，可以做出拿、捏、翻轉等一些簡單的動作，但其顯示延遲情況也較為明顯，還時常會出現一些鬼畜場景。
▲B站UP主們嘗試自制VR手套
面對VR手套的巨大價格差距，一位從事VR手套的行業人士分析認為面向B端市場的VR手套成本主要在研發投入、零部件以及人力資源成本上，價格根據市場需求而定。這意味著可能做一幅普通VR手套的價格並不高，但做一副可以面向商用場景、提供準確精度的VR手套需要較高的成本。
儘管VR手套能兼顧VR裝置的沉浸感和手勢互動的準確性，如何降低VR手套的價格將是VR手套發展必須要解決的難題。
三、想要擁有自由的“雙手”？要從演算法、工程、互動設計攻克難題
從裸手互動和VR手套互動兩種方式來看，VR裝置的手勢互動技術發展正在不斷更新迭代，此前面臨的一些困境也逐步尋找到了解決方法。但整體而言，用於VR裝置的手勢互動技術還存在不少難點。
到底是什麼阻礙了我們扔掉VR手柄，無法採用新的手勢互動方式？
國內VR頭顯奇遇系列的研發人員、夢想綻放（愛奇藝智慧）的技術負責人史明在接受智東西採訪時給出了三個要點。
首先是演算法層面。
目前用於VR裝置的手勢互動技術基本採用深度學習技術，因此研發過程中需要依賴大量的業務場景標註資料。而基於手勢的三維資料獲取成本高，並且難以保證資料質量和一致性。
▲手勢互動的關鍵點識別
其次，手勢互動技術在工程最佳化方面比較複雜。
手勢互動技術需要以一個優異模型為前提，需要做小模型推理演繹。而推理過程中，研究人員既要保證演算法的精確度，又要保證資料的實時高效性。
最後是在互動使用方面的設計。
VR研發人員需要在設計手勢互動相關操作時規避視覺死角問題，同時還要為使用者提供較好的互動體驗。
關於手勢互動的設計這一點，曾擔任Facebook Reality Labs設計師劉曉雨也曾在採訪中提到手勢互動技術很容易在使用期間出現遮擋情況，設計手勢互動動作時還需要考慮使用者的學習成本。
除此之外，微軟亞洲研究院網路圖形組首席研究員童欣還曾提到對於手勢識別而言，機器很難分清輸入狀態和非輸入狀態。與鍵盤的按鍵互動方式不同，機器很難去分別你搖手的動作，是做出一個揮手的手勢，還是玩累了想要甩手休息。
總體而言，用於VR裝置的手勢互動技術整體上主要面臨兩個方面的難題。一方面是哪一種手勢互動方式能兼顧沉浸感、準確性並且成本低，能用於所有的VR裝置。另一方面是，如何根據VR裝置的基礎配置打造出最適合這款裝置的手勢互動功能。
可以預見的是，在裸手互動技術能獲得較高的精度、VR手套成本下降之前，手柄將仍是VR裝置手勢互動的主流方案之一。
結語：手勢互動技術或成VR體驗升級關鍵
目前，用於VR裝置的手勢互動總共分為三個方向：現有的手柄互動方式、正在逐步成為主流的裸手互動方式、和仍在小眾階段的外接可穿戴裝置的互動方式。但值得注意的是，這三種互動方式並非替代關係，是可以實現共存。
在手機、電腦快速發展的時期，無論是鍵入，還是觸屏的互動模式，都曾給人們帶來新的互動體驗，手勢互動同樣會給VR裝置體驗和VR內容生產帶來新的變化。
手勢互動的技術發展總會有無窮無盡的方向，但被時代所留下的手勢互動技術終究是少數，用於VR裝置的手勢互動技術將會如何演進，或許時間能告訴我們答案。