眾所周知，人類大腦活動是複雜而連續的動力學過程，其複雜程度遠超當前算力資源所能模擬的上限。
大腦約有1000億個神經元，100萬億個突觸，單個突觸長度約10-1000微米。
假設每1微米突觸用1個 微分方程近似，初略估算人類大腦約具有1000萬億-10億億引數。
類腦計算的核心在於借鑑生物神經系統的資訊處理模式或結構，進而構建相應的計算理論、晶片體系結構以及應用模型與演算法，類腦計算被認為是後摩爾時代最為重要的發展方向之一，或有可能成為未來智慧計算的突破口。
在智源研究院青源Talk第16期活動中，中科院自動化所李國齊研究員做了題為“類腦計算的研究進展和展望”的報告分享。李國齊首先介紹了類腦計算的基本概念，而後從類腦計算系統的
模型演算法、軟體、晶片以及資料
等多個方面介紹了當前類腦計算系統的最新研究進展，最後對類腦計算系統的發展趨勢進行總結與展望。
作者丨李國齊
整理丨王光華
編輯丨李夢佳
window。DATA。videoArr。push（{“title”：“一文梳理類腦計算的前世今生 | 中科院自動化所研究員李國齊”，“vid”：“b3336qtesk6”，“img”：“http：//inews。gtimg。com/newsapp_ls/0/14870469983_640480/0”，“desc”：“”}）
作者簡介 ：
李國齊，中國科學院自動化所研究員，博士生導師，北京智源人工智慧研究院青年科學家。李國齊在Nature、Nature Communications、Proceedings of the IEEE、IEEE TPAMI等期刊和ICLR、NeurIPS、AAAI、CVPR等會議上發表論文 150餘篇；出版國內類腦計算領域早期學術專著1部；論文在 Google 學術上被引用 4500餘次。
2017 年入選北京市自然科學基金優秀青年人才，2018 年獲得中國指揮與控制學會科學技術一等獎，2019 年入選北京智源人工智慧研究院“智源學者”，2021年獲得福建省科技進步二等獎，2021 年獲得北京市傑出青年基金資助，2022年入選中科院“百人計劃”；其參與的類腦晶片理論、架構和工具鏈的工作曾入選2019年中國科學十大進展和2020年世界人工智慧十大進展。
1
什麼是類腦計算？
類腦計算是近些年來崛起的新興研究領域，與人工智慧、機器學習等領域類似，很難對其進行準確定義，目前業內尚沒有普遍認可的類腦計算概念定義。
李國齊指出，類腦計算的描述性定義為“指受人腦資訊處理方式啟發，以更通用的人工智慧和高效智慧邊緣端/雲端為目標構建資訊系統的技術總稱”。類腦計算希望融合腦科學、計算神經科學、認知科學甚至統計物理等學科的知識來解決現有傳統計算技術的一些問題，進而構建更加通用、高效、智慧的新穎資訊系統。
狹義類腦計算是指神經形態計算，主要是研製神經形態晶片以支援源自計算神經科學的脈衝神經網路（Spiking Neural Networks， SNN）；廣義類腦計算也包括存內計算、憶阻器晶片甚至研製AI 晶片以支援傳統的人工神經網路（Artificial Neural Networks ，ANN）。因此，類腦計算的研究與發展與人工智慧一樣也需要從模型演算法、軟體、晶片和資料等各個方向協同展開。
2
類腦計算模型：突破神經科學與AI的鴻溝
當前，神經科學與人工智慧之間存在著巨大鴻溝，神經科學側重於重構大腦內部的精細結構和生理細節，人工智慧則側重於透過對神經結構進行數學抽象以實現計算的高效性。
因此，人工智慧和神經科學如何交叉融合成為一個艱鉅挑戰。類腦計算中，脈衝神經網路兼具了生物合理性和計算高效性，或可以為人工智慧提供新正規化。簡單地，可以認為SNN = ANN + Neuronal Dynamics。如何尋找兼具生物合理性與計算高效性的脈衝神經元模型，以及如何建立脈衝神經元模型與AI任務之間的關係是類腦計算領域的核心問題。
當前，SNN普遍採用LIF神經元作為構建神經網路的基礎單元。原因在於，LIF神經元是一種典型的綜合模型，既具備IF模型的簡單易用性，又能像H-H神經元模型那樣模擬生物神經元豐富的生理學特性。
眾所周知，ANN和SNN各具特點，互有所長。ANN能夠充分利用現有計算機的計算特性，以神經元狀態表示資訊，在空間域傳遞資訊，主要操作為密集矩陣向量乘法，相比之下，SNN採用脈衝序列表示資訊，在空間域和時間域兩個維度傳遞資訊，主要操作為事件驅動的稀疏加法，兼具計算高效性和生物可信性。
3
類腦學習演算法
與ANN訓練相比，SNN的高效訓練面臨著諸多問題與挑戰，例如脈衝神經元中複雜的時空動力過程、脈衝神經元之間傳遞的脈衝資訊不可導、脈衝退化和訓練精度損失等。當前，SNN訓練方法主要包括無監督學習、間接有監督學習和直接有監督學習三類。這些訓練方法嘗試從不同的角度解決上述問題和挑戰。
1。基於STDP的無監督學習
基於脈衝時間依賴的突觸可塑性 （Spike Timing Dependent Plasticity， STDP）能夠控制大腦神經元之間權重連線更新，是一種典型的無監督學習方法。通俗的說，兩個神經元的發放時間越近，他們之間的繫結關係就越緊密。如上圖所示，當兩個神經元先後啟用時，具備緊密先後關係的雙方會加強聯絡，而具備相反關係的雙方就會削弱聯絡，因此神經元之間往往建立單向加強聯絡。
如果兩個神經元同時啟用，則他們與共同的下游神經元之間形成了更加緊密的聯絡，這樣兩者為同級神經元，且相互之間具備間接關係。例如，透過STDP規則結合Winner-Take-All（WTA）構成的學習模型是一種簡單有效的無監督學習方式。
具體地，在輸入層將圖片轉換為脈衝序列（脈衝發放率正比於畫素值），神經元以全連線形式前向連線，接受興奮性輸入，並採用STDP規則更新，並與抑制性神經元后向一對一連線，對其產生側向抑制 （即soft WTA），並透過自適應閾值平衡脈衝發放率。
STDP模型透過區域性調整規則進行學習，在神經形態晶片上容易進行分散式實現並具備線上學習能力。但是，區域性突觸可塑性不足以解釋突觸個體的改變如何協調神經系統的整體目標的實現。同時，李國齊也指出，這種無監督學習訓練方法存在著難以獲得高效能網路，無法在大規模深度神經網路中使用等問題。
2。基於ANN轉SNN的間接有監督學習
ANN-converted SNN方法是指訓練一個ANN模型，而後將學習完成後的ANN權重遷移到具有相同結構的SNN中。其基本思想是，利用SNN平均脈衝發放率來近似表示ANN中的 ReLU啟用值。
因此，ANN-converted SNN方法存在著模型精度與模型模擬步長T之間的tradeoff問題。該方法利用有監督訊號在原始ANN模型中進行梯度反向傳播訓練，然後將其轉換成SNN模型，因此是一種間接有監督學習。
ANN-converted SNN方法可擴充套件性強，容易將新出現的或大規模的ANN網路結構轉換為相應的SNN版本。一般地，模擬時間步數T越大，SNN平均脈衝發放率越接近ANN中的啟用值，兩種模型之間的誤差也就越小，從而實現ANN-SNN幾乎“無損”轉換。但過長的時間步數T會導致訓練和推理效率下降，SNN的功耗優勢也隨之降低。此外，李國齊指出，由於這種方法本質上是利用SNN去逼近ANN，在轉換的過程中會丟失SNN中可利用的時間依賴訊號，因此可能會導致其應用場景相對受限。
3。SNN直接有監督學習的發展
為避免上述兩種訓練方法的侷限性，解決SNN無法有效訓練的難題，李國齊及其團隊較早的提出STBP（Spatio-Temporal Backpropagation）等SNN直接訓練方法。
直接訓練演算法難點在於SNN複雜的時空動力學特性及脈衝發放不可微分問題。李國齊團隊提出的解決思路是，將脈衝神經元的微分方程形式轉換為便於計算機模擬的差分方程形式，將資訊沿時間、空間空維度同時展開，並採用脈衝梯度逼近方法。由於近似替代函式保留了脈衝發放的“非線性特徵”，其梯度逼近曲線具有一定的魯棒性。
STBP雖然解決了SNN網路中進行反向傳播訓練的梯度替代問題，但其仍然只能訓練不超過10層的小規模網路。其中主要問題在於，一旦網路加深，先比較於ANN，脈衝神經元的二進位制啟用方式及其複雜的時空動態更容易帶來網路的梯度消失或爆炸問題。
透過進一步分析SNN中的時空動態特性可知，建立神經元膜電勢和閾值之間的平衡，以獲得一個合適的網路脈衝發放率對網路的效能至關重要。過低的發放率可能會導致有效資訊不足，而過高的發放率則會降低SNN網路對輸入的區分度。
因此，李國齊團隊進一步提出了結合脈衝神經元閾值的BN演算法，即Threshold-dependent BN方法（TDBN），緩解了制約SNN的規模瓶頸問題，首次將SNN的網路規模提升至50層，在ImageNet等大規模資料集上取得具有競爭性的效能，並證明了該方法可緩解深度SNN的梯度消失與爆炸問題。
儘管TDBN提升了SNN的規模，但相對於傳統ANN中動輒數百層的深度網路，效能仍然捉襟見肘，不足以在大規模資料集上與ANN進行競爭。為了進一步提升SNN的網路表達能力，擴大網路規模從而提升任務效能，借鑑經典的ResNet結構是似乎一種可行的方法。
但是，直接複製ResNet結構到SNN中（Vanilla Res-SNN）存在著脈衝退化問題，即網路越深，精度越低。因此，李國齊團隊提出了一種將LIF神經元放置在殘差塊中，並在不同層神經元的膜電勢之間建立shortcut的新穎Ms-Rse-SNN結構。並利用dynamical isometry理論證明了所提出的結構不存在脈衝退化問題。在相對廣泛的範圍內解決了大規模SNN直接訓練問題（482層 CIFAR-10，104層 ImageNet），後者取得Top-1 76%分類準確率的SOTA結果。
此外，根據SNN處理資料的不同，採用data-dependent的處理方式，可以為直接訓練SNN在一些任務中帶來額外的效能增益。例如，在神經形態視覺任務中，事件流資料往往具有稀疏、不均勻特性。
根據這一觀察，李國齊團隊提出了一種時間注意力脈衝神經網路，根據事件流在不同時刻的輸入信噪比，結合時間注意力機制，使用SNN以資料驅動的方式來進行任務處理，可以在進一步降低網路能耗的基礎上帶來效能提升。實驗結果表明，即使去掉一半的輸入，SNN的效能基本能夠維持不變或略有提升。總而言之，當前SNN已經進入大規模深層模型和演算法的發展階段，並將在傳統人工智慧領域中多種下游任務得到進一步的應用。
4
類腦計算軟體
類腦計算軟體框架與工具通常包括神經形態晶片工具鏈、神經系統模擬模擬和SNN學習框架等三個方面的內容，具體可參考清華大學張悠慧教授在IEEE Transactions on High Performance Computing的綜述論文觀點。
神經形態晶片工具鏈目前尚處於早期階段，存在軟體與硬體緊密耦合，通用性、自動化程度不高，使用便捷性差等許多問題。神經系統軟體模擬框架能夠詳細模擬生物神經網路，但要求使用者具有一定的計算神經科學基礎。
現有的模擬工具軟體框架通常用C語言開發，缺乏跨平臺能力，也缺乏對各種後端硬體的深度最佳化的支援。並且，這些軟體通常為CPU和GPU等商業硬體而設計，並不支援不同型別的神經形態晶片。SNN學習框架的目標是，將深度學習框架開發的便利性與SNN的特點相結合，充分利用深度學習領域的各種資源，對SNN網路訓練進行加速，相關工作基本處於前期並且不夠穩定，更無法適應不同的軟體和硬體介面，即使基於GPU架構開發也難以充分利用SNN本身的特性進行加速。
5
類腦計算晶片
從功能角度看，類腦晶片主要分為四類：
主要支援人工神經網路（TPU、寒武紀、華為昇騰等）的
深度學習加速器
；
主要支援脈衝神經網路（TrueNorth、Loihi、達爾文等晶片）的
神經形態晶片
；
支援人工/脈衝神經網路的
異構融合晶片
（Tianjinc晶片）；
以及支援神經超程式設計的腦模擬模擬晶片（SpiNNaker、 ROLLS、 Loihi等晶片 ）和具備低時延、高動態的神經形態相機為代表的
感知晶片
。
類腦晶片的體系架構包括主流深度學習加速器採用的存算分離架構，主流眾核去中心化架構晶片的近存計算架構，以及存內計算晶片、憶阻器晶片等所採用的存算一體架構。從晶片設計的角度來看，採用路由器連線的多核架構的晶片的可擴充套件性更好，多個功能核獨立工作，核間週期性地同步和共享資料。因此可支援的網路規模更大，應用範圍更廣的SNN。
採用單純數字訊號的小規模單核晶片可以採用存內計算進行矩陣向量乘，具備同步、非同步設計流程，往往具備較高的能效和較低的靜態功耗，且更便於技術遷移，但神經元與突觸的規模受限。數模混合小規模單核晶片採用數字非同步脈衝路由，利用存內數字計算方法進行矩陣向量乘法，採用模擬膜電位進行啟用與更新，因此能效最高，但也存在神經元與突觸數量少和設計不方便等問題。
6
類腦計算資料
眾所周知，深度學習發展四要素為演算法、算力、開發工具以及大規模的資料。在深度學習領域，成百上千個開源資料集覆蓋分類、檢測、跟蹤、自然語言等，極大地促進了深度學習的繁榮。
相比之下，類腦資料集十分匱乏，現有的資料集主要包括四類：
第一類是透過轉換演算法將ANN資料集轉變為事件訊號資料集，典型資料集包括基於ImageNet轉換而來的ES-ImageNet，基於UCF101轉化的事件訊號資料集ES-UCF101，基於BDD100K轉化的事件訊號資料集BDD100K-DVS等；
第二類是利用神經形態相機DVS將影象或影片資料庫轉化為事件資料集，比如N-MNIST、CIFA10-DVS等資料集；
第三類是透過神經形態相機DVS直接拍攝獲取的資料集，比如DVS-Gesture、PKU-DDD17-CAR、Gen1 Detection、1Mpx Detection、PKU-DAVIS-SOD等；最後一類是其它型別的類腦資料集，比如EEG資料集、腦機介面（BCI）相關的資料集、幀資料和事件的混合資料等。
7
類腦系統發展趨勢
最後，李國齊結合自己的思考總結了類腦計算的未來發展趨勢，並對類腦系統框架進行了總結。
在模型演算法方面，不僅可以透過增加模型引數、網路深度或寬度使得SNN模型變大變強，更重要的提供向內增加神經元複雜程度的能力支撐，縮減神經科學與人工智慧之間存在的鴻溝。因此，構造包含更豐富動力學的神經元模型、神經網路及對應的演算法是未來的重要方向。
在類腦軟體方面，如何提升SNN的研究生態是未來發展的必經之路，重要的方向包括神經形態工具鏈的軟硬體去耦合、SNN訓練加速框架、及高效的神經系統模擬和模擬等。在類腦資料方面，如何構建具備稀疏事件特徵、具備豐富的時間尺度/空間尺度特徵的大規模多模態混合資料集十分重要。
在類腦晶片方面，主要關注神經形態晶片如何進行更高效的感知、儲存和計算，如何構建融合感存算一體化的計算系統。研究更高效的晶片架構、研製更具有類腦元素的晶片功能也是未來發展的重要方向。晶片架構上可以探索類腦晶片的分層儲存體系、高效線上學習架構及其與其它硬體平臺的高效相容能力；晶片功能上可以探索如何融入更多的運算元支援比如微分方程、線性方程求解，以及如何在運算元層面上支援更類腦的神經元模型和網路結構等。
李國齊認為，類腦系統的總體框架包括類腦的模型、演算法、軟體以及晶片，並結合豐富類腦資料構造的計算系統，在人工智慧領域可以朝著高效雲端/邊緣端類腦計算系統的構造方向發展，在腦科學領域可利用現有的超算伺服器叢集進行神經動力學的模擬和模擬，構建更為複雜的腦模擬和神經模擬系統。
