人工神經網路的盡頭是一個神經元？
——沒準兒還真有可能。
當前，最先進的AI系統透過建立多層神經網路來模仿人類大腦，旨在將盡可能多的神經元塞進儘可能小的空間。
可惜，這樣的設計需要消耗大量的電力等資源，而產生的輸出結果與強大且“節能”的人腦比起來相形見絀。
最近，柏林工業大學的研究小組提供了一個新思路：把任意大小的深度神經網路摺疊成單神經元，這個神經元具有多個延時反饋迴路。
關於研究成果的論文釋出於Nature子刊。
這個“單個神經元的AI大腦”概念的提出，無疑給神經網路的發展指明瞭一個新方向。
下面就來看看這是一項怎樣的研究吧！
具體方法
研究團隊設計了一種多層前饋深度學習神經網路的完全時間摺疊的方法（Fit-DNN）。
Fit-DNN的誕生主要受到“folded- in-time”概念的啟發，即：使用單一的延遲環路配置和輸入資料的時間複用來模擬環形拓撲結構。
傳統的深度神經網路由多層神經元組成，以前饋結構耦合。
如果用一個神經元來實現傳統DNN的功能，需要保留各層的邏輯順序，同時找到一種方法來順序化層內的操作。
這隻能透過在時間上分割以前同時進行的過程來實現：單個神經元在正確的時間接受正確的輸入，依次模擬每一層的各個神經元。
傳統的相鄰層之間的連線，轉變成單個神經元在不同時間的連線，即：層間連線變成了延遲連線。
在不同時間對同一神經元進行不同的加權，權重由反向傳播演算法確定。
這類似於單個客人透過快速切換座位並說出每個部分，來模擬大型餐桌上的對話。
Fit-DNN的核心由一個具有多個延遲和調製反饋的單一神經元組成，上圖展示了其結構：
標著字母f的黑色圓代表神經元，它在t時的訊號為x（t）；這個訊號是資料J（t）、偏移量b（t）和反饋訊號之和。
可調節的元素用方塊表示：資料訊號由輸入向量u產生，藍色方塊中的矩陣包含輸入權重。偏置係數產生灰色方塊中的偏置訊號。每個反饋環路實現一個延遲和一個時間調製，來產生反饋訊號。
最後，使用輸出權重矩陣從訊號x（t）中獲得輸出。
注意，為了獲得資料訊號J（t）和輸出，需要進行適當的預處理或操作後處理。
與傳統多層層經網路的等效性
單神經元的Fit-DNN在功能上真的可以等同於多層神經網路嗎？
如下圖所示，Fit-DNN可以將具有多個延遲環的單個神經元的動態性轉化為DNN。
圖a展示了訊號x（t）的時間演化可以分為長度為T的時間間隔，每個間隔模擬一個隱藏層；實線上的黑點表示節點，θ代表節點分離值。
圖b表示原始的時間軌跡被切割成長度為T的區間，在各區間內，節點根據其網路位置被標記。
圖c由圖b的旋轉所得，在此基礎上增加了一個輸入和一個輸出層。
這些連線是由節點之間的動態依賴關係決定的，這些依賴關係可以根據θ的值精確計算。
當節點分離值θ較大時，網路節點之間將形成熟悉的多層DNN形狀。
不過，當節點分離值θ較小時，每個節點的狀態都依賴於前一個節點，而不是完全獨立。這些額外的 “慣性 “連線在圖c中用黑色箭頭表示。
雖然研究者們用D = 2N - 1延遲環路恢復了一個全連線的DNN，但模擬測試表明，這並不完全符合要求。
實際上，用更少的延遲環路就可以獲得足夠的效能。在這種情況下，Fit-DNN將實現一種特殊型別的稀疏DNNs。
可見，在一定條件下，Fit-DNN可以完全恢復一個沒有卷積層的標準DNN，此時，它的效能與多層DNN相同。
單神經元的Fit-DNN將前饋多層神經網路的拓撲復雜性，透過延遲環結構摺疊到時域。
這個延遲系統本身就擁有一個無限大的相空間，因此，只要有一個帶反饋的神經元就足以摺疊整個網路。
Fit-DNN的計算機視覺功能測試
研究人員使用Fit-DNN進行影象降噪，即：從噪聲版本中重建原始影象。
他們把強度為1的高斯噪聲加入Fashion-MNIST資料集的影象中，並將高斯噪聲視為值在0（白色）和1（黑色）之間的向量。
然後截斷閾值0和1處剪下所得的向量條目，以獲得有噪聲的灰度影象。
如上圖所示，a行包含來自Fashion-MNIST資料集的原始影象；b行為帶有額外高斯噪聲的相同影象，這些噪聲影象作為訓練系統的輸入資料。c行表示獲得的原始影象的重建結果。
可見，Fit-DNN的影象恢復效果不錯。
不過Fit-DNN真正的問題是，時間迴圈的單個神經元是否能產生與數十億個神經元相同的輸出。
為了證明Fit-DNN和時間狀態下的計算能力，研究人員選了五個影象分類任務：MNIST40、Fashion-MNIST41、CIFAR-10、CIFAR-100，以及SVHN。
實驗對比了隱藏層的節點數不同時（N=50，100，200，400），Fit-DNN在上述任務中的表現。
結果表示，對於相對簡單的MNIST和Fashion-MNIST任務，單個神經元取得了很高的準確率。
但對於更具挑戰性的CIFAR-10、CIFAR-100和SVHN任務，單個神經元的準確率較低。
值得注意的是，這裡的Fit-DNN只使用了權重矩陣可用對角線的一半。如果增加節點的個數N，將有效地提高效能。
研究團隊
感興趣的讀者可以戳下面的連結繼續深入瞭解。
Ingo Fischer是論文的共同作者之一。他取得了菲利普斯·馬爾堡大學獲得半導體物理領域博士學位，後在歐洲多國的大學中擔任工程和物理學的博士後研究員、助理教授和全職教授。
經典的多層神經網路，如火爆全球的GPT-3，目前已有750億個引數，比其前身GPT-2的引數量要多100倍。
據估計，僅僅訓練一次GPT-3就需要相當於丹麥126個家庭一年使用的電力，或者約等於開車往返一次月球的耗能。
柏林團隊的研究人員認為，Fit-DNN可以對抗訓練強大神經網路所需能源成本的上升。
科學家們相信，隨著技術的發展，該系統可以擴充套件到從懸浮在時間中的神經元建立 “無限數量的 “神經元連線。
感興趣的讀者可以戳下面的連結繼續深入瞭解。
論文連結：https：//www。nature。com/articles/s41467-021-25427-4。pdf參考連結：https：//thenextweb。com/news/how-ai-brain-with-only-one-neuron-could-surpass-humans