機器學習再造無線電

機器學習再造無線電

僅由人設計電信系統的時代即將結束。

從現在開始,人工智慧(AI)將在這些系統的設計和執行中扮演關鍵角色。原因很簡單:迅猛升級的複雜性。

每一代通訊系統都致力於改善覆蓋範圍、位元率、使用者數量和功耗。但與此同時,工程方面的挑戰也變得愈加艱難。為了保持創新,工程師們不得不在日益複雜的技術權衡網路中摸索。

在電信領域,複雜性的一個主要來源就是我們所說的損耗。損耗包括能夠惡化或干擾通訊系統將資訊從A點傳送到B點的能力的任何因素。例如,無線電硬體本身在傳送或接收訊號時會增加噪聲,從而損耗訊號。訊號傳遞到目的地的路徑或通道也會損耗訊號。有線通道是這樣,比如附近的電力線會造成嚴重的干擾;無線通道也是如此,例如,訊號在城區建築物周圍的反射會產生嘈雜、扭曲的環境。

這些都不是新問題。事實上,從最早的廣播時代開始就存在這樣的問題。與以往不同的是,物聯網的日益興起推動著無線通訊呈爆炸式增長。結果便是,正當對高位元率和低遲延的需求激增時,所有這些損耗帶來的綜合影響變得更加嚴重。

有辦法突出重圍嗎?我們相信有,答案就是機器學習。AI在總體上的突破,以及機器學習在一些特定領域的突破,使得工程師能夠在涉及大量資料的複雜情況下不斷提升效能而不會被資料淹沒。這些進展提出了一個不容忽視的問題:如果有足夠的資料,神經網路(一種機器學習模型)真的能設計出比人類設計的更好的通訊訊號嗎?換句話說,一臺機器能學習如何與另一臺機器進行無線通訊,並比人設計的通訊訊號效果更好嗎?

根據我們在NASA空間通訊系統方面所做的工作,我們確信答案是肯定的。自2018年起,我們開始利用NASA跟蹤和資料中繼衛星系統(TDRSS)——又稱空間網路(Space Network)——進行試驗。在該系統中,我們應用機器學習實現極其複雜環境中的無線通訊。這些試驗的成功預示著一個可能的未來,即通訊工程師將不再專注於開發無線訊號,而是更專注於構建設計這些訊號的機器學習系統。

多年以來,

通訊工程師們發明出數不清的技術來減少訊號在無線通訊中的損耗。例如,其中一個辦法是透過多個通道傳送訊號,當任何一個通道受干擾時,都可復原訊號。另一種辦法是利用多個天線,當訊號在環境中被障礙物反射時,天線可以接收不同路徑的訊號。這使得訊號到達時間不同,避免短促的意外干擾。但這些技術也使無線裝置本身更加複雜。

完全地解釋損耗從來都是不切實際的,因為造成損耗的無線電系統和環境非常複雜。為此,通訊工程師開發了各類統計模型,可以近似估算通道損耗所帶來的影響。這些統計模型為通訊工程師提供了不錯的想法,幫助它們解決如何為特定無線系統設計和製造裝置,儘可能減少損耗的問題。

然而,使用統計模型來指導通訊訊號的設計並不能一勞永逸地解決問題。如今最新的電信系統,例如5G蜂窩網路,已經面臨著新的問題。這些系統太複雜,連線裝置的數量太多。為了滿足當前和未來幾代無線系統的需求,通訊工程急需找到一種類似AI的新方法。

準確地說,在通訊系統中應用AI並不是一個新的概念。自適應無線裝置、智慧無線裝置和認知無線裝置越來越多地應用在軍事和其他領域,它們都利用AI挑戰環境問題,提高效能。

但是現有的這些技術都圍繞著如何調整無線通訊系統的行為。例如,4G LTE無線網路採用了AI技術,當發射端和接收端連線的效能下降時,會降低資料速率。較低的資料速率可以避免低頻寬通道超載,導致資料丟失。再比如,如果出現干擾,藍芽系統中的AI技術可改變訊號的頻率,避免干擾。

這裡的重點是,AI在過去曾被用來修改通訊系統中的設定。但之前未用AI設計訊號本身。

本文作者之一蒂姆 奧謝亞(Tim O’shea)於2013年至2018年在弗吉尼亞理工大學攻讀博士期間,研究瞭如何將深度學習應用於無線訊號處理。2016年底,奧謝亞與資深工程師兼企業家吉姆 謝亞(Jim Shea)共同創立了DeepSig公司,以其研究成果為基礎,建立技術原型。這家位於弗吉尼亞州阿靈頓的公司的目標是,識別在通訊系統中哪些人類設計達到了極限,以及研究神經網路如何工作,幫助人類突破這一極限(後面會詳細介紹)。

在進一步深入之前,先了解一下通訊工程師是如何設計無線裝置的物理元件的,這些元件負責建立要傳輸的訊號。傳統的方法是從一個統計模型開始,該模型與要構建的實際通道相似。例如,如果設計一個用於密集城區的手機訊號塔,你可選擇一個解釋訊號如何在有很多建築物環境中傳播的模型。

該模型支援通道探測,通道探測是在真實環境中使用測試訊號進行的實際物理測量。接下來工程師設計一個無線調變解調器,對無線訊號進行調製和解調,進而對二進位制程式碼的1和0進行編碼,這在該類模型中效能良好。所有設計都必須進行模擬和真實的試驗測試,然後進行調整和重新測試,直到其達到預期效果。這是一個緩慢而費力的過程,它經常導致無線裝置設計的妥協,比如濾波器的質量。一般來說,在窄頻帶工作的無線裝置可以很好地濾除噪聲,但寬頻帶無線裝置的濾波效果則較差。

機器學習再造無線電

透過努力,DeepSig實現了一種可以建立訊號的新技術,我們稱之為通道自動編碼器。它的工作原理是訓練兩個串聯起來的深度神經網路,一個編碼器和一個解碼器,一起有效地作為通道的調變解調器。編碼器將需要傳送的資料轉換成無線訊號,而在通道的另一端(即受到損耗的一端),解碼器從接收到的無線訊號中重建被傳送資料的最佳估值。

這裡我們花點時間,一步一步地講解通道自動編碼器的工作原理。自動編碼器的核心是兩個神經網路。你可能聽說過用於影象識別的神經網路。一個簡單的例子,研究人員可能會向神經網路“展示”數千張狗和其他動物/物體的影象。然後,該網路的演算法可以區分“狗”和“非狗”,並最佳化識別未來出現的狗的影象,即使這些影象對該網路是新奇的。在這個例子中,“狗”就是訓練神經網路識別的影象。

在這個應用中,研究人員訓練神經網路識別與影象對應的輸入資料的特徵。當一個新的影象出現時,如果輸入資料有相似的特徵,便會產生相似的輸出。所謂“特徵”,是指資料中存在的一種模式。在影象識別中,它可能是所見影象的一個區域性。在語音識別中,它可能是音訊中一種特定的聲音。在自然語言處理中,它可能是一個片段所體現的情感。

機器學習再造無線電

你可能記得我們說過,通道自動編碼器會使用深度神經網路。這意味著每一個神經網路都由許多層組成(通常有數百個),它能夠對輸入資料做出比簡單神經網路更為詳細的決策。每一層都使用前一層的結果,獲取越來越複雜的見解。例如,在計算機視覺中,一個簡單的神經網路可以告訴你一個影象是否是一隻狗,而一個深度神經網路可以告訴你有多少隻狗或者它們在影象中的位置。

您還需要知道什麼是自動編碼器。自動編碼器最早在1986年由機器學習的先驅傑弗裡 辛頓(Geoffrey Hinton)為解決資料壓縮的一些問題而發明的。自動編碼器應用中有兩個神經網路,一個是壓縮器,另一個是解壓器。顧名思義,壓縮器根據資料型別學習如何有效地壓縮資料,例如壓縮PDF與壓縮JPG的方式會有所不同。解壓器的作用則相反。關鍵是壓縮器和解壓器都無法單獨工作,它們需要共同實現自動編碼器的功能。

現在把這些內容都放到無線訊號的背景下。通道自動編碼器的功能與傳統自動編碼器相同,但不是針對不同型別的資料進行最佳化,而是針對不同的無線通道進行最佳化。自動編碼器由兩個深度神經網路組成,分別位於通道的兩側,學習如何調製和解調無線訊號型別,共同構成調變解調器。其要點是,與通常用於通訊的那些一碼通用的一般訊號不同,通道自動編碼器可以為無線通道建立更好的訊號。

我們之前提到過通道探測,它們透過無線通道傳送測試訊號,用於測量干擾和失真。這些探測是通道自動編碼器的關鍵,因為它們能讓我們瞭解訊號在穿過通道時會遇到哪些障礙。例如,若2。4千兆赫頻段非常活躍,表明附近有一個Wi-Fi網路;如果無線裝置接收到測試訊號的許多回聲,那麼環境中很可能充滿了許多反射面。

當探測完成後,深度神經網路就可以開始工作了。首先,編碼器利用從探測中收集到的資訊進行編碼,將資料調製成無線訊號。這意味著在這一側,神經網路考慮到了無線裝置自身的模數轉換器和功率放大器的影響,以及已知的反射面和探測中的其他損耗。在此過程中,編碼器產生的無線訊號能夠抵抗通道中的干擾和失真,開發出傳統方法難以得到的複雜方案。

在通道的另一側,作為解碼器的神經網路進行同樣的工作,只是過程相反。當它接收到訊號時,會利用它學習到的通道資訊來消除干擾的影響。在這種情況下,網路將透過逆向失真和反射以及編碼冗餘估算被傳送的位元序列。糾錯技術也可以發揮作用,幫助清理訊號。在該過程結束時,解碼器就恢復了原始資訊。

在訓練過程中,神經網路根據工程師想要最佳化的指標(無論是重建資料的錯誤率、無線系統的功耗還是其他指標)獲得當前效能的反饋。在沒有人工直接干預的情況下,神經網路利用反饋來提高針對這些指標的效能。

通道自動編碼器的優勢之一是它能以相同的方式處理所有的損耗,不管它們的來源是什麼,也不管這種損耗是來自附近無線裝置內部的硬體失真,還是來自另一個無線裝置的空中干擾。這說明神經網路可以同時考慮所有的損耗,併產生對特定通道最有效的訊號。

DeepSig的團隊相信,透過訓練神經網路來管理一對調變解調器的訊號處理將是通訊系統設計方式的一個巨大轉變。我們清楚,如果要證明這種轉變不僅是可能的,而且是值得的,那我們就必須對這個系統進行完全的測試。

機器學習再造無線電

所幸的是,在NASA,本文作者之一喬 唐尼(Joe Downey)和他的同事亞倫 史密斯(Aaron Smith)已經注意到DeepSig的想法,正在考慮這樣一個測試。

當TDRSS首次上線時,航天器使用低資料速率訊號,這些訊號具有很強的魯棒性和抗噪能力。然而,最近的科學和載人航天任務需要更高的資料吞吐量。為了滿足需求,TDRSS的訊號在相同的頻寬內塞入了更多的資訊,代價是這類的訊號對損耗更為敏感。到2010年左右,NASA對TDRSS的需求變得巨大,以至在不斷增長的損耗之中很難設計出良好的訊號。我們希望神經網路可不那麼困難地獨自處理這個問題。

對我們來說,TDRSS的一個關鍵特點是它的衛星不進行任何訊號處理,只是簡單地從地面站或另一個衛星接收訊號,放大訊號,然後重新發送至目的地。這意味著透過TDRSS傳輸的訊號的主要損耗來自無線裝置自身的放大器和濾波器,另外還有同步訊號間的干擾所造成的失真。你可能還記得,我們的神經網路並不會區分各種形式的干擾,而是把它們都當作訊號必須經過的外部通道的一部分。

TDRSS提供了一個理想的場景,用來測試在複雜的現實環境中AI開發訊號的能力。透過TDRSS與衛星進行通訊充滿了干擾,但這是一個全面的測試系統。這意味著我們可以很好地理解目前的訊號表現如何,也可以比較方便地檢查我們的系統效果如何。更好的是,測試完全不需要修改現有的TDRSS裝置。通道自動編碼器已經包括了調變解調器,插入TDRSS裝置就可進行傳輸。

2018年7月下旬,經過數月的準備,DeepSig團隊前往位於克利夫蘭的格倫研究中心的NASA認知無線電實驗室。在那裡,他們在一個實時的無線通訊實驗中使用神經網路產生的訊號來測試調變解調器。測試的目的是將TDRSS系統使用的訊號調製與我們的通道自動編碼器系統同時執行,使我們能夠直接比較它們在現實通道中的效能。

在格倫研究中心,DeepSig團隊與NASA的研究科學家和工程師們一起,在俄亥俄州和新墨西哥州的NASA地面站,將經過驗證的、人工設計的調變解調器替換為使用通道自動編碼器建立的神經網路。在測試期間,傳統的TDRSS訊號以及我們的自動編碼器產生的訊號,將從一個地面站傳送到一顆衛星上,然後返回到第二個地面站。由於我們使用的頻寬和頻率相同,因此現有的TDRSS系統和通道自動編碼器所面對的環境也是完全相同的。

當測試結束時,我們發現傳統TDRSS系統的誤位元速率略高於5%,這意味著大約每20位元資訊中就有1位元由於中途損耗而無法正確到達。而通道自動編碼器的誤位元速率則略低於3%。值得一提的是,為了方便進行直接比較,這些測試並沒有包括標準的事後糾錯。通常,這兩個系統的誤位元速率都會更低。然而,僅在這一項測試中,通道自動編碼器就將TDRSS的誤位元速率降低了42%。

這項TDRSS測試是該技術的早期演示,

但它是使用機器學習演算法設計無線電訊號的重要驗證。這些訊號一定能在具有挑戰性的環境中發揮作用。最令人興奮的是,神經網路能夠產生人們用傳統方法無法輕易或明顯想象出的訊號。這意味著這些訊號可能不同於無線通訊中使用的任何標準訊號調製。這主要是因為,針對有問題的通道,自動編碼器從頭開始構建訊號,包括頻率、調製、資料速率等各個方面。

還記得我們曾說過今天的訊號建立和處理技術是一把雙刃劍嗎?隨著系統可用資料的增加,傳統的訊號調製方法會變得越來越複雜。但隨著資料更加充裕,機器學習方法反而愈加茁壯,這種方法不受複雜無線電裝置的妨礙,這說明“雙刃劍”的問題已經解決了。

最重要的是:出現了一個新的通訊通道後,機器學習系統能夠在短短几秒鐘內訓練該通道的自動編碼器。相比之下,開發一個新的通訊系統通常需要一個經驗豐富的專家團隊花上幾個月的時間。

很顯然,機器學習不是不需要通訊工程師對無線通訊和訊號處理的理解,而是引入了一種新的方法來設計未來的通訊系統。這種方法非常強大和有效,不應該排除在未來系統之外。

隨著TDRSS實驗和隨後研究的開展,我們看到了對於通道自動編碼器的研究熱情越發高漲,應用前景越發光明,特別是在通道建模困難的領域。在Asilomar、GNU無線電會議和IEEE全球通訊會議等主要無線通訊會議上,利用AI設計通訊系統已成為一個熱門話題。

未來的通訊工程師們將不再是單純的訊號處理和無線工程師。相反,他們的技能需要跨界無線工程和資料科學。包括得克薩斯大學奧斯汀分校和弗吉尼亞理工學院在內的一些大學,已經開始將資料科學和機器學習引入無線工程研究生和本科生課程。

通道自動編碼器還不是一種即插即用的技術。要進一步實現技術開發和完善底層計算機架構,還有很多工作要做。通道自動編碼器如果要成為現有廣泛使用的無線系統的一部分,必須經過嚴格的標準化過程,還需要專門設計的計算機架構來最大限度地提高其效能。

TDRSS的損耗是很難最佳化的。這就引出了最後一個問題:如果通道自動編碼器能夠很好地用於TDRSS,那是不是也可以用於其他無線系統呢?我們的答案是,沒有理由認為不能。

作者:Joe Downey、Ben Hilburn,、Tim O’Shea、Nathan West

TAG: 通道訊號編碼器無線神經網路