新智元報道
編輯：好睏 David
【新智元導讀】
AI熱了這麼多年，但框架還是「二人轉」，國產框架真的一個能打的都沒有嗎？
2020年末，DeepMind開發的第二代深度學習神經網路震驚了結構生物學界。
AlphaFold 2的問世解決了困擾科學家幾十年的蛋白質摺疊問題。
就在上個月，來自國內的團隊也成功地完成了對蛋白質結構的預測。
經過最佳化後的模型在單步迭代效能上提升了40%，TM-score也達到85分，可媲美AlphaFold 2，更重要的是程式碼也對外開源。
在此之前，另一組聯合團隊也曾針對AlphaFold 2進行了最佳化，讓模型的推理效率同比提升2-3倍。
這些研究人員能夠在蛋白質結構預測上取得如此突破的一個重要因素，就是模型使用的AI框架——昇思MindSpore。
作為一個2020年3月才開源的昇思MindSpore，其熱度已經登上了Gitee排行榜第一名，而基於這個國產AI框架打造的開源模型也超過了300個。
AI框架是什麼？
想要搞清楚昇思MindSpore為什麼這麼受歡迎，首先需要了解「什麼是AI框架」。
眾所周知，人工智慧的三大支柱分別是資料、演算法、算力。
而AI框架正是演算法模型在設計、訓練和驗證上的一套標準介面、特性庫和工具包。
在開發過程中，AI框架負責給開發者提供構建神經網路模型的數學操作，把複雜的數學表達轉換成計算機可識別的計算圖，並自動對神經網路進行訓練。
最後得到的模型，可以用於解決機器學習中分類、迴歸的問題，實現目標分類、語音識別等應用場景。
除了完成AI演算法的工程實現外，AI框架還能極大提高人工智慧學習效率、強化AI演算法模型能力，並起到承上啟下的作用。
向下，可以呼叫底層硬體計算資源，能夠遮蔽底層差異並提供良好的執行效能；向上，可以支撐AI應用演算法模型搭建，提供演算法工程化實現的標準環境。
講了這麼多理論，其實用一個例子就能很好地理解了。
我們熟知的TensorFlow和PyTorch，就是最出名，也是現階段用得最多的AI框架。它們相繼在2015年和2016年開源。
1年之內，連發4個大模型
相比起來，在2020年3月才開源的昇思MindSpore，可以說是相當晚了。
不過，「後發優勢」也讓昇思MindSpore得到了原生支援大模型的能力。
在設計上，昇思MindSpore採用了函式式可微分程式設計架構，支援全場景協同，並提供Python程式設計正規化，讓AI程式設計更加簡單。此外，昇思MindSpore還統一了動態圖和靜態圖的編碼方式、單機和分散式訓練的編碼方式。
昇思MindSpore總體架構
對於大模型來說，並行訓練的效率以及模型結構的支援能力是極為重要的指標。
昇思MindSpore提供了豐富的並行策略：資料切片預處理、資料並行、 運算元級並行、最佳化器並行、 pipeline並行、 MoE並行和多副本並行。其自動並行的能力更是使並行程式碼量下降了80%，調優時間也下降了60%。
相比起來，PyTorch/Megatron框架的並行能力目前只能支援Transformer模型結構 ， 而TensorFlow支援的並行策略不夠豐富且用的開發者也相對較少。
模型結構的泛化方面，昇思MindSpore為稠密Transformer、稀疏MoE+Transformer、卷積、卷積+Transformer、高維稀疏等提供了全方位的支援。相比業界其他框架支援模型結構可謂最全。
憑藉著原生支援大模型的能力，基於昇思MindSpore的大模型現在已釋出了4個，並且其中有2個已開始進行產業化推廣。
2021年5月，以鵬城實驗室為首的技術團隊釋出了全球首個兩千億稠密引數中文NLP大模型「鵬程。盤古」透過昇思MindSpore的混合自動並行模式，實現了在2048卡算力叢集上的大規模分散式訓練。
「鵬程。盤古」在16個下游任務中大部分指標優於SOTA模型，其中零樣本學習任務11個任務領先，單樣本學習任務12個任務領先，小樣本學習任務13個任務領先。
2021年9月，鵬城實驗室釋出了向生物醫學領域的人工智慧平臺「鵬程。神農」，其包含蛋白質結構預測、小分子生成、靶點與小分子相互作用預測以及新抗菌多肽設計與效果評價等。
同樣在2021年9月，中科院自動化所與昇思MindSpore社群聯合釋出了全球首個圖、文、音三模態千億引數大模型「紫東。太初」。
其兼具跨模態理解和生成能力，在圖文跨模態理解與生成效能上都能領先目前業界的SOTA模型，高效完成跨模態檢測、視覺問答、語義描述等下游任務。
在2021年的兩個國際大賽——ACM Multimedia和ICCV上，「紫東。太初」都獲得了第一名的成績。
此外，2021年12月釋出的全球首個遙感影像智慧解譯深度學習專用框架「武漢。LuojiaNet」，也是基於昇思MindSpore框架。
華為昇騰計算業務產品總監田昆陽表示，除了已經發布的這4個大模型以外，還有十多個正在研發當中。昇思MindSpore透過大模型收編小模型的方法，將泛化性做大，並且能夠覆蓋更多的場景。
從0到國內領先，僅用了2年
不過，一個AI框架能否成為主流，除了這些「雄偉壯觀」的模型之外，很大程度上也需要依靠豐富的開源專案和龐大的開發者群體。
在這一點上，昇思MindSpore的成績還算亮眼。
在中國本土化的程式碼託管服務平臺Gitee上，已經建立了22個倉庫，總Star數達到近1。6萬，其中主倉Gitee指數89分，領跑同類項目，在人工智慧專案中排名第一。
在新智元的專訪中田昆陽表示，為了建設開發者社群，昇思MindSpore除了始終致力於特性最佳化和易用性之外，也在著力打造一個學習成長型環境，讓社群和開發者能夠共同成長。
首先，社群為不同的開發者設計了完善的學習路徑，透過社群活動、社群文件及案例、技術認證、獎項等提供豐富的學習成長資源。
其次，社群始終堅持開發者第一，開發流程公開透明，凡是為版本貢獻過的開發者為其頒發證書，讓開發者能深入參與到社群的成長中。
最後，社群建立了不同技術方向的豐富社群，並有組織者、佈道師、開發者多種角色，讓加入社群的每一個成員都能找到最適合的切入點。
現在來看，這個理念還是很受歡迎的。截至2022年3月，昇思MindSpore的累計下載量已經超過142萬，開發者數量也突破了64萬，社群貢獻者超過4000人。
頂會論文數量，一度超越TensorFlow
不僅如此，學界也非常歡迎這個國產的AI框架。目前已經超過120家科研院所和高校用上了昇思MindSpore。
根據Paper With Code的統計，2021年第四季度，基於昇思MindSpore的論文就有220篇，佔到了總數的6%，排名第三。2021年10月更是在所有AI框架中佔到了11%，位列第二，僅次於PyTorch。
而去年一年以昇思MindSpore為AI框架的論文總數，則超過了300篇。
據田昆陽介紹，目前，武漢理工大學計算機學院本科生畢業論文都已開始用昇思MindSpore框架實現。學生還反饋說，隨著版本更新迭代，昇思MindSpore軟體的易用性產生了質的飛躍。
在各大頂會的競賽中，昇思MindSpore的出鏡率也非常高。
西安電子科大焦李成教授團隊以昇思MindSpore作為框架獲得了2021 IEEE GRSS Data Fusion Contest Track DSE冠軍，並在ICCV 2021的競賽中共計獲得11項冠亞季軍獎項。
此外，南京理工大學楊楊教授團隊獲得了SIGSPATIAL 2021 GISCUP國際冠軍，武漢大學杜博教授和葉茫教授帶領的MARS_WHU團隊獲得了ICCV 2021 MMVRAC賽道冠軍。
然而，相比於在各大頂會佔比都超過70%的PyTorch，昇思MindSpore還有很長的一段路要走。
為了幫助開發者和研究人員更好地解決在開發過程中遇到的困難或者疑問，昇思MindSpore建立了一種「快速響應機制」，針對社群中的問題成立對應的小組，明確SLA之後，在1小時之內做出響應。
近日，在由昇思MindSpore開源社群發起的「我與MindSpore共成長」兩週年慶典徵集活動中，就有100多位開發者講述了自己的小故事。
從這些分享中，其實也能看到，大家還是非常喜歡這個正在不斷進步中的昇思MindSpore框架的。
著名開源運動先驅人物Eric Steven Raymond曾經說過：「只要有足夠多的眼睛，所有bug都會浮現」（Given enough eyeballs， all bugs are shallow）。
開源兩年，就已驚豔不斷的昇思MindSpore AI框架，未來還會吸引多少來自產、學、研三界開發者的「眼睛」？又會誕生多少顛覆產業趨勢、改變未來計算格局的大模型？
開源兩年，昇思MindSpore從零起步做到了「國內領先」，未來，伴著更多開發者熱切關注的「眼睛」，這些大模型又會為在實驗室和工廠之間架起多少「數字橋」？
希望在未來答案揭曉的那一刻，所有的眼睛裡都有光。
這個答案，相信昇思MindSpore不會讓我們等太久。