邊策 明敏 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
最近的氣溫真是忽高忽高、讓人琢磨不定，但所幸天氣預報都還很準確，沒有和大家開玩笑。
不過，你知道這些準確的氣溫預測，是透過
解方程
算出來的嗎？
不僅如此，靠解方程還能模擬飛機空氣動力、疾病傳播模型！
是什麼方程這麼厲害？我學過嗎？
它就是
偏微分方程（PDE）
，在我們的世界中無處不在。
但在實際應用中，用計算機求解偏微分方程的難度很大，往往為了求出一個解而需要
大型機器執行一個月
。
並且，隨著科研中遇到問題的複雜度、運算量逐漸增加，也就更需要高效快速的求解方法。
最近，來自加州理工大學的一個研究團隊就用
AI
來解決這一難題，他們開發了一種新的
神經網路
，比傳統的PDE求解
快幾個數量級
，並且在理論上適用於任何偏微分方程。
甚至連流體力學裡的“老大難”：
N-S方程
也不在話下！
對於簡單方程的求解，這種方法
只需幾秒
就能解出答案，而傳統方法需要18個小時！
訓練神經網路=求解PDE
神經網路的本質是逼近一個函式，函式是從一個變數到另一個變數的對映。
比如影象識別網路，就是把輸入的影象資料，與最後的分類結果之間建立對映關係。
訓練神經網路其實就是儘可能逼近這個函式，這和數值求解PDE本質是一樣的。
2016年，人們開始研究影象識別神經網路如何用於求解PDE，用成對的生成資料來訓練神經網路，比如計算平面上不同基本形狀（如三角形、四邊形）物體周圍的空氣流速場。
訓練資料集的輸入是物體幾何形狀和的初始條件資訊，輸出是相應的二維幾何物體。訓練過程等於建立輸入和輸出之間的相關性。
訓練後的神經網路，可以用於預測其他情況（比如汽車形狀）的流速場，它只和與傳統數值求解器的結果略有不同，但求解速度更快。
然而，對於專門研究PDE的人來說，這種方法還遠遠不夠。
因為上面的方法精度一般達不到要求，如果想要實現更高的精度，所需的資料量和網路大小將爆炸式增長，失去了原本快速求解的意義。
從函式到運算元
所以，人們想到了一種新方法，求助於“運算元”。運算元是一種從函式到函式的對映。
函式：數數
運算元：函式函式
比如，正弦運算元（sin）把線性函式x變成三角函式sinx，微分（求導）運算元（d/dx）把三次函式x 變成二次函式3x 。
2019年，來自布朗大學和中科院的學者開發了一種“深度運算元網路”（DeepONet），就是用運算元的方法求解PDE。
DeepONet的特殊之處在於其分叉架構，它以兩個並行網路處理資料，一個是“分支”和一個“主幹”。
“分支網路”學習生成運算元，也就是對輸入端函式進行近似，“主幹網路”負責對輸出端函式進行同樣操作。然後，DeepONet結合兩個網路的輸出，得到PDE的解。
雖然DeepONet相比PDE數值求解器速度驚人，但是它需要在訓練期間進行密集計算。當必須使用大量資料訓練使運算元越來越精確時，可能會存在問題。
那麼神經運算元能加速PDE求解嗎？
傅立葉變換
後來，加州理工大學與普渡大學的團隊，開發了另一種新的方法——“傅立葉神經運算元”（FNO）。
FNO比DeepONet在計算上要更加簡單，因為DeepONet還要淺層網路去近似模擬運算元，而FNO有現成的方法可用，就是傅立葉變換。
有些音樂軟體顯示的頻譜圖，其實就是一種傅立葉變換，它把連續變化聲音訊號轉換到頻率空間中。
經過傅立葉變換，原來函式之間的卷積，在頻率空間中變成了更簡單的乘積。
FNO的核心是傅立葉層。
傅立葉層會在訓練資料推送到神經網路的單層之前，對其進行傅立葉變換，然後用一個線性變換R過濾掉其中的高頻部分，再透過傅立葉逆變換的得到原空間的函式。
FNO可以顯著提高求解PDE的速度。在一個求解NS方程的例子中，需要3萬次模擬，FNO每次模擬的不到一秒，總耗時2。5秒，而在這種情況下，傳統的求解器需要18個小時。
團隊介紹
該研究的第一作者是Zongyi Li，是加州理工計算機和數學系的一名博士二年級學生。研究方向為機器學習、理論計算機科學和應用數學。
他的導師是英偉達著名女科學家
Anima Anandkumar
。
作為AI界的風雲女性，Anima不僅在研究成果上戰績斐然，在學術圈也是懟天懟地。
此前，她曾在部落格公開喊話，強烈反對發論文不給程式碼行為，呼籲學術會議強制要求投稿同時必須公開程式碼，以對造假論文進行追責、利於行業公平競爭。
並且為了對抗AI學術界對女性的歧視和調侃，她曾在Twitter上大戰LeCun。以一己之力讓頂級學術會議NIPS改了名字，避免了女性參會者的尷尬。
Anima希望學術界更關注女性的學術成就，而不是長相。當有人在她的講座影片下誇她漂亮時，她的做法是——刪評。