新智元報道
編輯：LRS
【新智元導讀】
神經網路模型越訓越大，也越來越費電。柏林工業大學的研究團隊反其道行之，搞了一個單神經元的網路，能模擬多層神經網路，效能還不差！
要說世界上最先進的神經網路模型是什麼？那絕對是人腦莫屬了。
人腦有860億個神經元，相互結合在一起構成的神經網路不僅在效能上超越人工神經網路，能量消耗也少的驚人。
當下的人工智慧系統試圖透過建立多層神經網路來模仿人腦，旨在將盡可能多的神經元塞進儘可能少的空間。
這種方式雖然取得了效能進步，但這樣的設計不僅需要大量的電力，並且輸出的結果與人腦相比也是相形見絀。
根據估計，OpenAI在微軟資料中心使用 Nvidia GPU 訓練神經網路GPT-3時，大約需要 190，000 千瓦時的電量，相當於丹麥 126 戶家庭每年使用的電量。如果換算成化石燃料產生的二氧化碳含量來算，相當於駕駛一輛汽車從地球出發往返一趟月球。
並且神經網路以及使用巨大資料集訓練它們所需的硬體數量，還在不斷增長。以GPT為例，在GPT-3時已經有1750億個引數了，比前身GPT-2的引數量要多100倍。
這種「越大越好」的神經網路設計顯然不符合可持續的科學發展觀。
來自柏林工業大學的一個多學科研究小組最近建立了一個新型神經「網路」。但叫它網路還是比較勉強的，因為它新就新在，只有一個神經元！
研究人員提出一種新的方法，能夠將一個任意大小的深度神經網路摺疊成一個具有多個延時反饋的單一神經元迴圈。這個單神經元深度神經網路只包括一個單一的非線性和適當地調整反饋的訊號，可以完全表示標準的深度神經網路（DNN），包含稀疏DNN，和將DNN的概念擴充套件到動態系統的實現。
這個新模型也稱為時間摺疊（Folded-in-time） Fit-DNN，在基準任務的測試中也表現出相當強的效能。
獨木難成林？
一個常規的神經網路網路需要在空間上申請多個節點彼此連線，而單個神經元模型則是在時間維度上進行擴散連線。
研究人員設計的多層前饋DNN的完全時間摺疊的方法，只需要一個帶有反饋調節延遲環的單一神經元。透過非線性操作的時間順序化，可以實現一個任意深度或寬度的DNN。
在傳統的神經網路中，如GPT-3，每個神經元都有一個權重值，以便對結果進行微調。但這種方式導致的結果通常是更多的神經元，產生更多的引數，而只有更多的引數才能產生更精確的結果。
但柏林工業大學的團隊發現，他們可以透過在不同時間對同一神經元進行不同的加權，而不是在空間上分散不同加權的神經元來實現類似功能。
這就好比在宴會上，你可以透過快速切換座位的方式，裝作不同的客人說出不同的部分來模擬餐桌上的對話。
聽起來有點「人格分裂」，但透過這種時序上的擴充套件，一個人（神經元）也可以完成多個人才能完成的事。
剛才提到「快速」切換，柏林團隊表示，這種說法已經很低調了。
實際上他們的系統透過鐳射在神經元中啟用基於時間的反饋迴路，理論上可以達到接近宇宙極限的速度——也就是以光速或接近光速進行神經網路切換。
根據研究人員的說法，這對人工智慧來說意味著，能夠顯著降低訓練超大規模神經網路的能源成本。
為了實現上述想法，研究人員假設系統狀態根據一般形式的微分方程在連續時間內演變。
這裡x（t）表示神經元在時間t的狀態；f是一個非線性函式，其引數a（t）結合了資料訊號J（t）、時間變化的偏置b（t）以及由函式Md（t）調製的延時反饋訊號x（t -τd）。可以明確考慮不同延遲長度τd的多個環路。由於反饋環路，系統成了一個所謂的延遲動力系統。
直觀地說，Fit-DNN中的反饋迴路導致神經元重新引入已經透過非線性f的資訊，這使得非線性f可以多次連鎖。經典的DNN透過逐層使用神經元來構成其可訓練的表徵，而Fit-DNN則透過重複向同一神經元引入反饋訊號來實現同樣的目的。
在每個pass中，時變的偏置b（t）和延遲線上的調製Md（t）確保系統的時間演變以期望的方式處理資訊。為了獲得資料訊號J（t）和輸出y，兩個變數都需要一個適當的前處理或後處理操作。
為了進一步說明Fit-DNN在功能上等同於多層神經網路，可以看到Fit-DNN可以將具有多個延遲環的單個神經元的動態性轉化為DNN。
x（t）的時間演化可以分為長度為T的時間間隔，每個間隔模擬一個隱藏層。在每個區間中，選擇N個點。使用一個具有小時間間隔θ的等距時間網格。對於有N個節點的隱藏層來說，可以得出θ=T/N。在每個時間網格點tn=nθ，將系統狀態x（tn）作為一個獨立變數。每個時間網格點tn將代表一個節點，而x（tn）代表其狀態。可以進一步假設資料訊號J（t）、偏置b（t）和調製訊號Md（t）是步長為θ的步長函式。
作為一個非常稀疏的網路，研究人員首先將Fit-DNN應用於影象去噪任務：在Fashion-MNIST資料集的影象中加入強度為方差為1的高斯噪聲，將其視為值在0（白色）和1（黑色）之間的向量。然後截斷閾值0和1處剪下所得到的向量條目，以獲得有噪聲的灰度影象。去噪的任務就是要從其噪聲版本中重建原始影象。
實驗結果對比了原始Fashion-MNIST影象、其噪聲版本和重建影象的例子。可以看到恢復的效果還是相當不錯的。
但Fit-DNN真正的問題是，時間迴圈的單個神經元是否能產生與數十億個神經元相同的結果。
為了證明Fit-DNN和時間狀態下的計算能力，研究人員選了五個影象分類任務：MNIST40、Fashion-MNIST41、CIFAR-10、CIFAR-100，以及SVHN。
實驗對比了Fit-DNN在上述任務中每個隱藏層的不同節點數N=50、100、200和400時的表現。從結果中可以看到對相對簡單的MNIST和Fashion-MNIST任務上單個神經元取得了很高的準確率。但對於更具挑戰性的CIFAR-10、CIFAR-100和SVHN任務的準確率則比較低。
雖然這些結果顯然不能與當下sota模型創造的效能記錄相媲美，但它們是在一個新穎的、完全不同的架構上實現的。特別是，這裡的Fit-DNN只使用了權重矩陣可用對角線的一半。對於測試的任務，增加N顯然會導致效能的提高。
隨著進一步的發展，科學家們相信該系統可以擴充套件到時間維度上「無限數量的」神經元連線。
他們表示，這樣的系統是可行的，它可以超越人腦，成為世界上最強大的神經網路，這就是人工智慧專家所說的「超級智慧」。
參考資料：
https：//thenextweb。com/news/how-ai-brain-with-only-one-neuron-could-surpass-humans