檢視引用/資訊源請點選：映維網
視覺化聲音來源
（
映維網 2021年12月01日
）患有輕度到重度聽力障礙的人群數量並不少。通常，聽力受損人士依靠視覺等其他感官來解釋周遭的環境。但是，注意視場之外的事件可能特別具有挑戰性。另外，即便是聽力正常的人士，噪雜的環境同樣對其提出了挑戰，使其難以發現重要的聲音訊號，特別是專注於需要全神貫注的任務時。
在名為“Localization and visualization of sound”的專利申請中，一直專注於無障礙技術的微軟提出了一種定位和視覺化聲音的方法，從而幫助使用者感知視場之外的重要和/或危險聲音。
專利描述的電子裝置搭載用於接收音訊訊號的聲音換能器、顯示單元、處理單元和儲存器。在一個實施例中，儲存器儲存致使處理單元執行多個功能的指令。其中，所述功能可包括分析由聲音感測器接收的音訊訊號，以確定所接收音訊訊號的源的位置方向；確定源的位置方向是否位於電子裝置使用者的視場之外；以及響應於確定源的位置方向落在電子裝置使用者的視場之外，在顯示單元呈現源的視覺表示。在一個實施例中，在使用者視場內的虛擬表面呈現源的可視表示。
在一個實施例中，可以分析聲音訊號以識別聲音的強度，並確定是否至少部分地基於強度的標識來視覺化聲源。可在一個實施例中，在使用者視場內的虛擬表面呈現源的可視表示。
在一個實施例中，可以利用機器學習（ML）來最佳化解決方案。例如，可以使用ML模型生成的資料對系統進行訓練，以識別聲源並確定聲源、聲強、位置和危險以及/或者聲源重要性之間的關聯。這種訓練可在積累、審查和/或分析大量使用者資料後進行。這樣的使用者資料配置為向ML演算法提供初始或正在進行的訓練集。另外，在一個實施例中，使用者裝置可配置為將在使用相關應用期間捕獲的資料傳輸到本地或遠端ML演算法，並提供可用於微調或提高ML演算法有效性的補充訓練資料。補充資料同時可用於改進未來應用版本或當前應用程式更新的訓練集。
簡單來說，系統可以根據聲音換能器和處理單元來判斷聲音源的位置，若是聲音源位於使用者視場之外，則可以透過頭顯顯示對應的視覺表示，從而幫助使用者判斷聲音的來源。
微軟指出，所述技術解決方案提供了一種用於識別使用者視場之外的重要聲源，並以有效引起使用者注意的方式將其視覺化的有效機制。
圖1中的示例環境100可以包括佩戴頭顯170的使用者110。使用者110可以是患有聽力損傷的人士和/或當前處於噪聲環境中的人士。在一個實施例中，使用者110可以僅僅是佩戴頭顯170的普通使用者。在一個實施例中，頭顯170生成沉浸式環境。沉浸式環境可指虛擬現實、增強現實和/或混合現實環境。頭顯170可以在沉浸式環境中顯示一個或多個虛擬物件。在一個實施例中，使用者可與所述虛擬物件互動。虛擬物件可以包括一個或多個在沉浸式環境中可移動的全息圖。
無論是由於聽力損傷、高噪聲水平和/或沉浸式環境引起的分心，使用者110都可能難以從周圍環境中發現特定的聲音。然而，由於使用者依然可以看到位於使用者視場內的數字視覺化表示，所以這可以幫助使用者判斷聲源和/或知曉所述聲音的存在。例如，如果使用者110聽不到摩托車180，則使用者110依然可以透過視覺表示來意識到其存在。結果，使用者110可以及時作出反應以避免潛在事故。
對於聲源120，由於聲源120位於使用者視場之外（例如在使用者110後面），如果使用者110聽不到聲源120靠近（例如聽不到卡車鳴笛），則使用者110不太可能意識到聲源120。這可能非常危險，尤其是在擁擠的環境之中，如高危工廠或建築工地。
為了幫助使用者110意識到在使用者視場之外的重要和危險聲源，頭顯170可以生成聲源的視覺表示160。這可能涉及識別對使用者110重要的聲源，例如哭鬧的嬰兒、在使用者身後說話的同事、門的開啟或關閉、使用者電話鈴聲的聲音、從使用者後方接近的移動車輛、掉落碎片的聲音或機器發出的警報等等。
一旦識別出使用者視場之外的重要聲源，則可由頭顯生成聲源的視覺表示160並將其顯示在諸如虛擬表面130的虛擬表面之上。
虛擬表面130可以顯示在與聲源120位置相對應的位置。例如，虛擬表面130可以顯示在從視覺表示160到使用者的距離與從聲源120到t的距離成比例的位置。在一個示例中，這是透過在頭顯170顯示視覺表示160來實現，並使得視覺表示160看起來與聲源120距離使用者110相同。例如，當聲源120在使用者110後面15英尺時，視覺表示160似乎在使用者前面15英尺。上。
在一個實施例中，視覺表示160是與聲源形狀相對應的全息物件。例如，當聲源120是卡車時，卡車全息圖可作為視覺表示160。另外，虛擬物件可用於表示聲音強度（例如響度）。在一個實現中，虛擬物件140包括圍繞視覺表示160繪製的圓圈。
在一個示例中，圓圈的數量表示聲音的強度。例如，聲音越大，圍繞視覺表示160繪製的圓圈就越多。在一個實施例中，顏色用於表示聲音強度。例如，紅色圓圈可能表示聲音非常響亮，而黃色圓圈可能表示聲音中等響亮。在一個實施例中，圓圈的數量和/或顏色可以隨著聲源120相對於使用者110的移動而改變。例如，如果聲源120正在更靠近使用者110（在這種情況下，聲音強度會增加），虛擬物件140中的圓圈的數量可以增加和/或顏色可以改變以通知使用者危險程度的增加。
相關專利
：
Microsoft Patent | Localization and visualization of sound
https：//patent。nweon。com/21175
名為“Localization and visualization of sound”的專利申請最初在2020年5月提交，並在日前由美國專利商標局公佈。