機器之心專欄
作者：紅山開源平臺
來自國防科技創新研究院的IDRL團隊構建了一整套用於熱佈局溫度場預測研究的標準資料集、深度神經網路近似建模方法以及代理模型效能評估基準。
深度學習與飛行器設計領域交叉可為克服飛行器系統多學科設計最佳化的計算複雜性難題開闢一條全新途徑。國防科技創新研究院無人系統技術研究中心智慧設計與魯棒學習（Intelligent Design and Robust Learning， IDRL）團隊推出最新工作“A Deep Neural Network Surrogate Modeling Benchmark for Temperature Field Prediction of Heat Source Layout”，圍繞飛行器熱佈局的溫度場高效分析預測問題，系統探索了學科模型構建、模擬資料生成、深度學習訓練、熱佈局近實時分析等關鍵步驟，形成了一整套用於熱佈局溫度場預測研究的標準資料集、深度神經網路近似建模方法以及代理模型效能評估基準。
同時在國產紅山開源平臺分享了相關程式碼（https：//forge。osredm。com/projects/p57201394/supervised_layout_benchmark），旨在吸引更多學者投入研究，推動相關技術快速發展與應用落地。
01 研究背景及簡介
在真空、高低溫變化劇烈的太空環境中，衛星內部溫度控制尤為重要，透過艙內熱源元件佈局最佳化改善溫度場分佈是十分有效的解決手段。目前，衛星溫度場的分析評估廣泛採用基於有限元的數值模擬方法，然而如果在最佳化設計過程中反覆呼叫該分析程式，則會導致計算成本過高，最佳化代價巨大，甚至無法在有限時間內完成設計任務。為了降低計算複雜性，近似建模方法應運而生。該方法主要透過構造近似模型（也稱代理模型）取代高精度模型，以實現計算精度和計算成本的折中，從而提高求解效率。傳統的近似建模方法主要包括克里金函式插值近似法、多項式響應面法、徑向基函式法和支援向量機法等。但這些方法都面臨著“維數災難”的巨大挑戰，即難以構建高維變數間的代理模型，一方面難以處理超高維輸入問題，另一方面難以處理整個溫度場的超高維輸出問題。近兩年，基於神經網路的深度學習方法脫穎而出，它具有海量引數和較深的隱藏層，對於高維變數的建模有著強大的擬合逼近能力。IDRL團隊由此出發，面向飛行器設計領域開展了基於深度學習的近似建模技術研究，透過將傳統的溫度場計算問題轉換為影象迴歸問題，為“飛越‘維數災難’溫度場分析”提供了一種高效的解決方案。
面向衛星熱佈局最佳化任務，首先構建了不同熱源佈局條件下溫度場計算的數學模型，並定義了超高維溫度場預測的近似建模問題。然後針對有效佈局樣本獲取困難的問題提出了多種高效的佈局取樣方法，透過數值模擬構建了具有較好隨機分佈特性的資料集。其次，基於典型的深度迴歸網路構建了多種溫度場預測的基準代理模型。最後，為了多角度衡量代理模型對溫度場的預測精度，提出了九種不同的評價準則，最終形成了一套完整的基於深度神經網路的代理模型構建基準。
02 問題、資料、模型與評價準則介紹
該項研究構建了三種不同邊界條件下的複雜熱源連續佈局問題（如圖1所示）作為研究案例，提出了面向代理模型輔助熱源佈局最佳化任務的深度神經網路近似建模Benchmark構建框架（如圖2所示）。研究工作主要包含三個部分：資料集構建，深度神經網路基準模型和溫度場預測精度評價準則。
圖1 三種不同的複雜熱源連續佈局問
圖2 Benchmark構建總體框架示意圖
在資料集構建方面，考慮複雜佈局元件之間的幾何不干涉約束要求，提出了兩種隨機佈局取樣方法，一種為序列布局隨機取樣方法，另一種為吉布斯佈局隨機取樣方法，實現了取樣成功率從不足1%提升至100%。此外，為了增加對小機率出現的特殊佈局方案的覆蓋性，提出了多種特殊佈局取樣策略，並構造了多種特殊佈局樣本（如圖3所示）。在此基礎上，提出了統一的熱源佈局問題標準資料集，為神經網路近似建模方法研究提供了統一的資料基準。針對三種不同邊界條件下的佈局問題，分別提供了2000組訓練樣本以及包括特殊佈局樣本在內的9種共40000組測試樣本。
圖3 多種形式特殊樣本
在基準模型方面，對典型神經網路迴歸模型進行了測試和對比研究（如圖4所示），構建了FCN， SegNet， Unet， FPN等適合熱源佈局溫度場預測任務的10餘種深度神經網路代理模型。此外，為了加快深度神經網路收斂速度，提升網路訓練效果，探討了深度學習中批歸一化和組歸一化兩種常用方法對熱佈局溫度場預測模型效能的影響。
（1）FCN
（2）SegNet
（3）Unet
（4）FPN
圖4 深度迴歸神經網路架構
在評價準則方面，提出了三類九種不同的評價指標，旨在為代理模型的預測效果提供一個全面的比較和衡量。主要包括畫素級準則、影象級準則和批塊級準則。在畫素級準則裡，重點考察對溫度場中最高溫度的預測能力，包括其數值和位置預測誤差。在影象級準則中，主要提出了平均絕對誤差、最大絕對誤差、邊界溫度預測誤差、元件溫度預測誤差、一階梯度預測誤差和二階梯度預測誤差。在批塊級準則中，主要提出了透過計算最高溫度的斯皮爾曼相關係數來衡量模型對不同佈局方案的相對排序能力，為實施下一步佈局最佳化時進行模型選擇提供更多的指導資訊。
03 實驗結果
實驗部分首先對比了不同歸一化方法的訓練效果，結果表明組歸一化方法優於批歸一化方法，使用組歸一化方法可以使網路模型的收斂速度更快，訓練更加穩定，泛化性得到一定的提升（如圖5所示）。這和其在傳統計算機領域影象迴歸分析任務中的表現一致。其次，重點對不同深度神經網路代理模型在不同問題、不同指標上的預測能力進行了對比研究（如圖6所示）。最後，研究了不同代理模型的計算效率，探討了模型複雜度和模型預測精度的關係，為研究者選擇合適的代理模型提供一個全面的視角（如圖7所示）。
實驗結果表明採用Unet，FPN-ResNet18或FCN-VGG網路進行近似建模的總體表現較好，而SegNet模型預測效果總體偏差。雖然FPN-ResNet18模型的預測效果略差於Unet模型，但是其計算效率更高，模型引數量更少，推斷時間更短，因此在選擇代理模型的過程中應進行一定的權衡。此外，實驗還發現神經網路架構對代理模型的訓練效果和收斂速度存在較大影響。因此，如何針對特定問題設計合適的神經網路模型將會是未來近似建模的重要研究方向之一。
實驗發現，採用經典的平均絕對誤差進行評價時，上述近似模型均能得到較小的預測誤差。然而在某些實際場景中，需要關注元件位置預測誤差、最高溫預測溫度誤差和位置偏移等其他評價準則，在這些準則下上述近似模型預測效能表現有較大差異，故採用單一評價準則難以完整描述溫度場預測效能。因此，如何構造一個綜合考慮多種預測效能因素的損失函式來指導網路訓練，或者根據實際場景需要選擇相應評價準則，也將會是提升溫度場近似建模效果的重要途徑之一。
圖5 不同歸一化方法效果對比
圖6 不同代理模型預測效果對比圖
圖7 不同代理模型的引數量和計算效率統計結果
04 結語
IDRL團隊對熱源佈局最佳化過程中溫度場近似建模任務開展了研究，重點探索了基於深度神經網路構建代理模型的近似建模方法，實現了超高維溫度場的近實時預測，同時形成了一整套用於熱佈局溫度場預測研究的資料集、基準模型和評價準則。未來該方法還有望應用到其它物理場（力、電磁等）的近似建模任務中，具有廣闊應用前景。
但是，當前基於深度學習的溫度場近似建模還存在很大改進空間。現有研究側重使用傳統計算機視覺領域中的常用網路模型和損失函式，對溫度場的預測效果有限，如何結合熱佈局問題特徵或物理模型資訊進行網路架構設計和損失函式構造，對進一步提升近似建模效果具有重要意義。此外，本研究主要探索了資料驅動的近似建模方法，模型預測效果對訓練資料的依賴性較高，因此基於無監督學習或半監督學習的近似建模方法也將成為降低代理模型構造成本的重要方向之一。
IDRL團隊介紹
走近全球頂尖實驗室：平安科技美國華盛頓特區研究院
5月23日-24日19：30-22：00，機器之心特別邀請到呂樂博士團隊分享他們在醫學影像分析和計算機輔助癌症診斷上的最新進展。
報告一：CT影象中的通用病灶分析演算法和在智慧PACS系統中的應用
報告二：醫學影像+AI在精準腫瘤學中的應用：篩查、診斷及預後
報告三：人工智慧在X光骨密度評估與骨折診斷中的應用
報告四：癌症放射治療中的靶區與危及器官的三維精準分割