12nm媲美7nm!燧原科技釋出頻寬最大的雲端AI推理卡

12月7日,AI創業公司燧原科技(Enflame)釋出了第二代雲端AI推理加速卡——“雲燧i20”。

這是繼今年7月的雲端AI訓練加速卡“雲燧T20”之後,燧原科技新一代針對雲端推理場景的AI加速產品。

雲燧i20最大亮點就是擁有迄今最大的AI加速卡儲存頻寬,透過HBM2e記憶體達到了819GB/s

,可為雲端推理業務提供高吞吐、低延時的效能。

目前,以語音識別、圖片識別、影片內容分析為主的感知類應用,內容推薦、欺詐交易攔截等決策類應用,在雲端大部分都是以實時線上的方式提供服務,同時神經網路的引數越來越多,資料頻寬需求也越來越高,因此兼顧高頻寬、低延遲變得至關重要。

雲燧i20搭載了

新一代AI推理晶片“邃思”

,基於第二代高效能計算核心和資料引擎,

12nm工藝打造,透過架構升級大大提高了單位面積的電晶體效率,算力可媲美7nm GPU,而且成本更低。

同時,全面支援FP32、TF32、FP16、BF16、INT8的計算精度,其中

單精度FP32峰值算力32TFLOPS,單精度張量TF32峰值算力128TFLOPS,整型INT8峰值算力256TOPS

,對比上代雲燧i10浮點、整型算力分別提升到1。8倍、3。6倍。

12nm媲美7nm!燧原科技釋出頻寬最大的雲端AI推理卡

搭配升級後的軟體棧“

馭算TopsRider

”,效能、開發效率、模型覆蓋面都得到大幅提升。

透過引入通用高層圖最佳化和大規模運算元融合技術,釋放大容量片記憶體儲和高頻寬儲存的利用率,模型平均效能提升3。5倍,硬體算力利用率平均提升2倍。

透過升級的程式設計模型以及運算元自動分片、自動生成技術,自定義運算元開發效率翻倍,模型遷移成本大大降低。

此外,對動態性的支援也大大增強,在檢測、語音識別、語義理解等場景更具競爭力。

據介紹,燧原科技專注AI領域雲端算力平臺,提供自主智慧財產權的高算力、高能效比、可程式設計的通用AI訓練和推理產品,可廣泛應用於雲資料中心、超算中心、網際網路、金融、智慧城市等多個人工智慧場景,已在網際網路、金融、政務等多家客戶的商業落地,並獲得認可。

12nm媲美7nm!燧原科技釋出頻寬最大的雲端AI推理卡

TAG: AI算力雲燧雲端推理