新智元報道
編輯:yaxin 好睏
【新智元導讀】
人工智慧技術大爆發,算力成為當下的最大需求。各地爭建智算中心,但暗礁重重。站在人類歷史這樣更大的時空維度上,我想這一切剛剛開始。
未來十年,是AI算力的「超摩爾時代」。
要說2021年科技界最火的概念是什麼?那便是「元宇宙」。
《駭客帝國》、《頭號玩家》裡的世界真的會來臨嗎?未來不是沒有可能!
要想實現元宇宙,最基礎,最重要的「能源」便是來自算力。
因為算力支撐著元宇宙虛擬內容的創作與體驗,更加真實的建模與互動需要更強的算力作為前提。
再倒回去看2020年,GPT-3模型可謂是當紅流量明星。
能寫小說、能與人聊天、還能下象棋…… 曾被冠以最「全能」語言模型的稱號。
1750億引數,GPT-3能取得驚人的成就,靠的不僅是演算法的提升,還有「算力的加成」。
微軟還為其建了一個5億美元的超算中心,裝載了1萬張英偉達GPU,僅訓練就消耗了它355個GPU年的算力!
而距離GPT-3問世不到一年,更大更復雜的語言模型,即超過一萬億引數的語言模型Switch Transformer已問世。
眾所周知,AI的三大支柱分別是資料、演算法、算力。
在人工智慧發展的三要素中,無論是資料還是演算法,都離不開算力的支撐。
目前,人工智慧所需算力每2個月即翻一倍,承載AI新型算力基礎設施的供給水平,將直接影響AI創新迭代及產業AI應用落地。
要說這個夏天AI領域有什麼熱點,那一定少不了全國各地爭建的人工智慧計算中心。
在政策扶持、需求牽引下,智算中心「落地潮」在上海、大連、西安等多地被快速掀起。
但問題與挑戰也隨之而來。。。
問題不簡單
9月11日,國家工業資訊保安發展研究中心最新發布了《新一代人工智慧算力基礎設施發展研究報告》。
報告指出,國內新一代人工智慧算力基礎設施的建設依然面臨著頂層制度建設和標準體系不統一的問題。
其中最為突出的表現:
一是市場對算力的概念混淆,導致建設方向和建設需求錯位;
二是行業定價標準混亂,針對人工智慧算力基礎設施建設的價格標準並未統一,各地同等規模專案的價格相差巨大。
再者,在建設思路上,我國大多數計算中心採取了算力效能發展優先,再拉動應用發展的策略,忽視上層應用遷移及相容程度,導致算力系統的初期應用效率偏低,無法完全支撐全面的智慧化應用場景需求;
此外,軟硬體核心技術受制國外、重複建設、高能耗等問題,也亟待突圍。
總之,重點在以下兩方面該如何解決:如何讓建設價格更普惠些?如何讓智算中心更開放相容?
貴得離譜?算力需普惠
買不起,用不起,算力成為這個時代最昂貴的「奢侈品」。
還談什麼元宇宙,AGI。
一份公開資料顯示,2020年城市A的智慧計算中心,每100P Flops (每秒10億億次浮點運算)16位精度的算力建設成本為7500萬元。
而2021年城市B同等精度下的100P FLops算力建設成本卻達到了4。6億元,這簡直是天壤之別。
再比如,今年8月份某城市智算中心一期專案的招標公告引起業界廣泛關注。
內容顯示,該專案預算約為10。89億元,其中專案首期方案設計提供半精度浮點運算峰值總算力不低於300P的人工智慧計算能力,摺合每100PFLOPS FP16算力價格為3。6億。
國家工信安全中心副總工程師黃鵬表示,「現在的價格差距很大,各個地方政府建智算中心的投入差距也很大,之前有一個數據,最高的兩個智算中心規模差不多的情況下價格差了6倍多。」
「比如說東西部本身就有差異,價格和能耗、成本不是很一樣,人員成本也不是很一樣,但是差了六倍就有點誇張了。」
綜合來看,智算中心建設的成本包括:一是基礎設施的廠房建設;二是伺服器、晶片等建立智算中心相關的裝置和產品;三是後期的運維成本、電費等等。
黃鵬表示,「透過初步計算,滿足基本智算中心的建設也得一兩個億起步的投入規模。」
從過往經驗來看,商品過於昂貴會導致很難普惠於民,像早期的電腦、手機等。
同樣,智算中心建設價格過高讓學術界,產業界無法真正用的起,反之會影響之後的應用和落地。
如果無法做到價格普惠,沒有廣泛的應用做支撐,那麼這種AI算力中心很難在商業上形成正迴圈,大量算力會處於閒置狀態。
隨著IT技術日新月異被淘汰,逐步成為破銅爛鐵。
因此,AI計算中心建設亟需一劑「普惠算力」良方。
目前,可以從「降低門檻」和「規範價格」兩條路徑來打破價格亂象。
要推動平臺服務和技術的開源,透過降低應用門檻,讓學術界、產業界,甚至普通民眾都用上人工智慧。
比如,報告指出,美國國家科學基金會投入2000萬美元,聯合三大超算中心及九所高校,構建面向全國的下一代人工智慧網路基礎設,推動平臺服務和技術的開源。
市場加強監管,出臺相關標準體系。推動算力定價標準建設,合理控制智算中心建設成本,為區域智算產業發展提供重要參考依據。
《新一代人工智慧算力基礎設施發展研究報告》同樣指出,應當推動算力定價標準建設,為區域智算產業發展提供重要依據。
報告顯示,中科院人工智慧產學研創新聯盟為新一代智算平臺給出了算力價格標準方案:在同時具備5P雙精度算力(64位)、25P單精度算力(32位)和100P半精度算力(16位)的情況下,智慧計算中心的基礎設施價格約為1億-1。5億。
照此一來,智算中心才能實現真正的普惠。
開放相容釋放「算力狂魔」
高精度算力是一種「通用算力」,可以承擔人工智慧訓練、推理、模擬等各種計算任務,功耗和成本較高;而低精度算力是一種「專用算力」,通常僅能用於推理或部分訓練,功耗和成本也相對較低。
由於不同應用場景對算力的精度需求各不相同,因此新一代智算中心應該具有多元的算力。
比如科學和工程計算對算力精度的要求最高,需要使用64位雙精度。
而對AI模型的訓練主要使用32位單精度和16位半精度,推理階段則是16位半精度。
當實現了從高精度到低精度算力的全覆蓋,才能真正釋放算力的價值。
此外,在開源技術快速發展的當下,新一代智算中心也需要去相容主流的開源軟體和架構。
在演算法方面,商湯在上海的智算中心應用了OpenMMLab人工智慧演算法開源體系,並開源了超過130種演算法和1000種預訓練模型。
在模型架構方面,中科院的新一代智算中心可以適配TensorFlow、PyTorch、百度飛槳、曠視天元等20多個國內外主流的機器學習和深度學習框架,以及Hadoop、Spark等近20個數據處理架構。
《報告》顯示,在多元的算力和架構的共同加持下,預計智算中心在未來可以支援 80%以上的人工智慧應用軟體,從而滿足智慧城市、自動駕駛等不同的應用場景。
此外,現實中,公共人工智慧計算中心的適用範圍可能出現「偏科」問題。
智慧計算中心的發展主要涉及到語言、影象處理類,決策類和自然語言處理三大類,不同的應用場景適配不同的算力中心是發展的關鍵一步。
如果構建的人工智慧計算中心過於「專」,僅支援部分應用場景,這將使其發揮的作用大打折扣。
因此,新一代人工智慧算力基礎設施建設應當融合不同算力,打造一個綜合型智慧計算平臺,從高精度到低精度實現全覆蓋。
只有這樣才能真正釋放「算力狂魔」。
在AI時代,只有把聚合起來的算力,高效流通和分配出去,才能促進千行百業的生產。
這便是新一代人工智慧計算中心亟待解決的問題。