檢視引用/資訊源請點選：映維網
當出現頭部運動時，系統需要快速修改場景的檢視
（
映維網 2021年04月02日
）困擾著AR/VR/MR技術的一個問題是，使用者視角的突然變化會導致數字物件的渲染出現延遲。每次頭部移動都可能會稍微改變使用者對場景的視角。頭部運動的幅度可能很小，但零星分散，難以預測。對於這種情況，系統需要快速修改場景的檢視。否則，產生的延遲可能會導致不適的使用者體驗。
重新渲染整個檢視以說明視角變化可能是一種資源密集型計算，並且可能只是以相對低的幀速率（如60hz）實現。
一種解決方案涉及生成和處理表示場景中物件的“Surface曲面”。在特定實施例中，圖形應用可以構建Scene Graph場景圖，並與給定的檢視位置和時間點一起使用，以生成要由GPU渲染的原語。Scene Graph可以定義場景物件之間的邏輯和/或空間關係。在特定實施例中，Warp引擎可以生成和儲存完整應用Scene Graph的簡化形式。簡化Scene Graph可用於指定Surface曲面之間的邏輯和/或空間關係。儲存Scene Graph允許Warp引擎將場景渲染到多個顯示幀，調整當前視點的每個元素（如頭部位置）、當前物件位置（如它們可能會相對移動）等等。
另外，基於Scene Graph，Warp引擎可以調整顯示子系統帶來的幾何與顏色失真，然後再將物件合成在一起以生成幀。儲存Scene Graph允許Warp引擎以所需的高幀速率近似執行完整渲染的結果，同時實際以顯著更低的速率執行GPU。
一個Surface曲面可以對應於一個或多個物件。由於視角透視變化，物件作為一個單元會一起移動/平移、傾斜、縮放、扭曲或以其他方式出現變化。計算系統不必重新渲染整個檢視，只需從改變的視角透視中對Surface曲面重新取樣，就可以近似地得到相應的外觀。
這種方法可能是一種有效的快捷方式，並且可以顯著減少所需的處理，以確保檢視能夠足夠快地更新，從而減少延遲。與重新渲染整個檢視不同，重新取樣曲面可能足夠有效，允許頭顯的計算系統在相對有限的處理能力內和時間內修改檢視。
在名為“Generating and modifying representations of objects in an augmented-reality or virtual-reality scene”的專利申請中，Facebook正是描述了這樣一種系統，並可用於包含第一計算系統和第二計算系統的虛擬現實系統。其中，第一計算系統可以是膝上型電腦，智慧手機，PC；第二計算系統可以是頭戴式顯示單元的機載計算系統。
在一個實施例中，場景的檢視最初可以由第一計算系統以相對低的幀速率（例如60hz）渲染。渲染結果可用於由第一計算系統或第二計算系統生成用於AR/VR場景的一個或多個Surface曲面（例如16個Surface曲面）。除了顏色和透明度資訊之外，Surface曲面同時可以包括關於場景中的位置和方向資訊。
光線投射器利用位置和方向資訊來確定應如何基於使用者的當前位置和視角向用戶顯示Surface曲面。隨後，Surface曲面可由第二計算系統的Warp引擎處理。頭顯可以基於與Surface曲面相關聯的資訊，以及頭顯使用者的當前視角透視（由頭西安的位置和方向確定）來渲染與Surface曲面相對應的物件。視角透視中的任何變化可由頭顯的感測器追蹤，並由頭顯從調整視點對檢視中的Surface曲面重新取樣來說明。
由於視點的調整，曲面在重新取樣時可能會發生平移/移動、傾斜、縮放、扭曲。由於場景不是從零開始重新渲染，而是僅僅調整Surface曲面，所以可以相對快速地修改場景（如200 Hz以下）。
在特定實施例中，當與第二計算系統相比時，第一計算系統可以相對強大。對於這種方式，由於第二計算系統可以具有有限的系統資源，所以不會導致過多的重量、尺寸和/或熱量。
在一個實施例中，Surface曲面可以由空間中的平面四邊形表示，或可以由Heightmap高度圖表示，以提供關於由Surface曲面表示的物件輪廓資訊。
高度圖可以從虛擬camera的視點生成，並作為具有拓撲/高度資訊的Surface曲面。當Surface曲面在使用者的檢視中描繪物理物件的虛擬表示時，虛擬物件的輪廓或高度資訊可以由使用物理物件的深度感測器或立體計算獲得的深度資訊來定義。或者，當渲染虛擬物件時，可以基於虛擬物件的已知3D資料來定義輪廓。
在渲染期間，可以使用高度圖解決Surface曲面的可見性問題，因為從視點投射到場景中的光線與曲面的高度圖相交。這樣使用高度圖有幾個優點。例如，具有高度資訊的Surface曲面允許更精確的視角透視調整和真實的子幀渲染。另外，高度圖是一種簡單而自然的資料結構，因為深度圖已經是三維渲染的副產品，所以可以用來生成高度圖。另外，由於相關計算可在AR/VR系統本地發生，所以實現高度圖所需的資料移動量較低。這可以允許以更高的幀速率渲染場景。
使用高度圖的另一個優勢是，允許將外部攝像頭捕捉到的資訊正確地重新投影給使用者。例如，在特定應用中，由攝像頭捕獲的資訊將與使用者的眼睛捕獲的資訊不一致，這是因為攝像頭不能在空間上與使用者的眼睛重合。高度圖可用於將由攝像頭捕獲的資訊正確地重新投影給使用者。例如，VR/AR頭顯可以具有兩個具有重疊視場的外向攝像頭。當攝像頭在物理環境中觀察到一個共同的特徵時，VR/AR系統可以使用三角測量技術來計算特徵的深度。根據特徵相對於攝像頭的計算深度，VR/AR系統可以確定特徵在3D空間中的位置。這種測量的深度資訊可用於生成表示具有所觀察特徵的物件的Surface表面的高度圖。當系統渲染場景以供顯示時，系統可以從使用者眼睛的角度執行可見性測試。例如，系統可以透過顯示螢幕的表示的畫素，從與使用者的每隻眼睛相對應的視點向3D空間投射光線。如果光線與具有高度貼的Surface曲面相交，則可以基於相交點和與Surface曲面相關聯的紋理來確定光線投射透過的相應畫素的顏色。以這種方式，顯示給使用者的渲染場景將從使用者眼睛的視角透視而不是從攝像頭的視角透視來計算。
相關專利
：
Generating and modifying representations of objects in an augmented-reality or virtual-reality scene
https：//patent。nweon。com/18269
名為“Generating and modifying representations of objects in an augmented-reality or virtual-reality scene”的Facebook專利申請最初在2019年9月提交，並在日前由美國專利商標局公佈。