AIoT時代，迎來萬億級邊緣智慧新風向
隨著越來越多的物聯網裝置在各個行業場景加速部署，邊緣計算的重要性日益凸顯，數字化、智慧化持續加速，AI演算法的執行也正在從雲端下沉到邊緣節點。
據IDC預計，到2025年，全球將有1500億個終端裝置接入網路，其中超過70%的資料將在網路邊緣側被結構化處理。邊緣計算需求將大幅提升，行業智慧化市場規模將達萬億級。
但當前AI產業尚在早期階段，產業鏈分工並不清晰，整體成熟度仍待提高，特別是AI演算法從雲端向邊緣端的遷移部署環節過程繁雜，大量AI科技初創公司的模式是從演算法出發，尋找到一個場景，然後做全棧工程化，包含了底層晶片及硬體的選型甚至自研，資料採集、演算法訓練、最佳化、部署，甚至業務SaaS開發。一家公司從晶片做到雲的煙囪式垂直化，相容性差、不具備規模效應成本高，解決好這一行業痛點是實現AI在各行業規模化應用的關鍵突破口。
引導協同分工的產業生態，對促進產業鏈的整體發展，實現“AI賦能百業”至關重要。
36氪近期接觸到OPEN AI LAB（開放智慧），該公司專注邊緣智慧計算及應用，提供邊緣AI計算框架與AI應用開發及部署平臺，助力邊緣計算的行業+AI解決方案落地，加速產業的智慧化。
邊緣AI計算框架Tengine助力解決邊緣部署的核心挑戰
海量的差異化場景和智慧化需求帶來了萬億級AIoT市場機會，AI在邊緣側的應用部署痛點日益凸顯：
1、晶片及硬體多樣性使得前端適配相容問題凸顯：由於對效能、介面、功耗、價格、可靠性、環境適應性等因素的要求千差萬別，邊緣AI晶片及硬體百花齊放。大量國產化晶片的機會湧現，特別是NPU及RISC-V架構的推進，多樣化的同時也是碎片化。目前缺乏統一的中間層及平臺介面，使得跨硬體向上相容成為難點；
2、軟體層面的訓練框架多樣性使得模型遷移效率問題顯現：在雲端伺服器上訓練好的AI演算法模型遷移到算力相對受限的與伺服器端不同架構的前端邊緣節點過程中，演算法開發人員需要做大量模型量化、最佳化到甚至運算元、彙編指令層面，過程繁雜，更非所擅長。
這些問題一方面使得晶片公司不僅需要在晶片層面不斷提升算力（以備部分的浪費）的同時，還需要向上延伸提供各種配套AI應用開發的SDK工具，幫助AI演算法及應用開發者有效利用晶片算力，另一方面導致演算法公司為了避免雲端模型遷移到邊緣側出現效能差、精度低的問題，大量成本和時間投入到邊緣側底層的適配最佳化。
邊緣AI計算產業鏈亟需將演算法和晶片高效連線的開放相容的中介軟體。OPEN AI LAB自2017年開始設計開發邊緣AI計算框架Tengine，目前向下相容幾乎所有主流國產智慧晶片，向上支撐所有主流訓練框架及網路模型，在業內遙遙領先。
OPEN AI LAB創始人兼CEO金勇斌向36氪表示，Tengine之於AIoT，猶如Android之於移動網際網路，上層應用程式與底層硬體無須相互熟悉也能默契配合。從此，開發演算法應用不用再關心底層晶片，如同開發App可以不關心是哪款手機，Tengine致力為國產智慧晶片建立相容的邊緣AI計算開發者生態，打造AIoT時代的“Android”！
大幅降低開發門檻，OmniMaster幫助企業輕鬆搞定AI演算法從雲端訓練到邊緣部署
演算法模型在部署到邊緣裝置之前，先要在伺服器端完成資料標註清洗、模型訓練、針對邊緣節點上的晶片做精度量化最佳化、效能評測等一系列流程後，再將演算法向前端邊緣裝置部署。行業場景千差萬別，同一型別場景在不同地方的資料都不盡相同，行業企業要維護資料的私密性和安全性，不能外傳，對資料內容具備知識上的專業性，但不具備開發演算法、清洗標註、完成訓練、量化最佳化、邊緣部署中的一項或多項技術能力，所以行業+AI推進節奏較慢，成本偏高。
工欲利其事、必先利其器。OPEN AI LAB在Tengine之上進一步推出了AI應用開發及部署平臺OmniMaster，做為自動化工具幫助客戶實現從場景確認、資料處理、模型訓練、量化最佳化、邊緣部署的閉環，幫助缺乏AI基礎的企業點點滑鼠實現場景+AI落地，商業模式有授權和訂閱模式，交付內容基於客戶需求可包含工具、原始碼及商業服務。
過去幾年，裝置製造與方案商陸續將人臉、車牌等目標類別相對固定的演算法固化到IPC（網路攝像機）或邊緣盒子中，實現硬體與軟體一體化。這種預裝演算法的“功能機”方式應用到行業場景後，預先訓好的演算法容易水土不服。相比於各類事先預置固化演算法的“邊緣智盒”、“邊緣超腦”，基於Tengine開放框架的邊緣智慧節點支援第三方演算法可像App一樣後裝，演算法執行後與OmniMaster聯動基於現場資料迭代學習、持續提升精度，演算法透過“適應”現場資料“成長”。
多行業多場景AI應用落地案例
OPEN AI LAB為邊緣AI計算而生，以智慧化萬物為使命。基於開放的邊緣AI計算框架Tengine建立廣泛的合作伙伴及開發者生態，以AI應用開發及部署平臺OmniMaster持續賦能行業客戶實現快速部署。以下列舉了一些行業應用案例。
駕駛員行為檢測。為了司乘安全，車輛配備DMS（Driver Monitor System，駕駛員監控系統），透過攝像頭獲取車內和車外的視覺資料，面向車內實時監控駕駛員和乘客的狀態，面向車外識別是否有闖紅燈、壓線等違章行為。此類場景，各種演算法實時執行在低功耗AI算力有限的車載DMS盒子上，演算法要能跑得上（相容性）、跑得動（有實時性）、跑得準（精度損失小）。Tengine很好地解決了這一問題。某出行服務企業選用Tengine為DMS的底層框架，相容多種晶片，平均實現效能50%以上提升，部分硬體的能效比提升100%以上。
某企業的智慧停車管理系統基於Tenigne框架的邊緣智慧節點對路邊的停車能夠識別出車牌、車型、顏色、車內人臉等420多種車輛及車輛附屬品。同時，基於路邊立杆的視覺方案，能夠實現動態實時智慧路邊停車管理，無需地磁感測器的複雜施工方案，就能夠以高性價比完成自主停車、識別、繳費的全鏈路解決方案。 鋼鐵冶金行業，基於Teninge的邊緣AI伺服器實現，在生產安全方面，對鋼包的紅外熱成像檢測、對天車掛鉤進行監測等，自動安全預警和辨識危險；在質量監控方面，對鋼包潔淨度判斷、對鑄坯缺陷識別等，更智慧把控質量；在物流排程方面，用機器視覺代替人眼識別，無需人工去現場觀察確認鋼包號、板坯號、鋼卷號等，智慧識別提升無人化水平。
智慧穿戴和家居領域，基於Tengine加速的本地命令字識別演算法可在極小的微控制器（MCU）上執行，客戶可以根據透過OmniMaster平臺基於自身需求採集針對性的語音資料、自動化訓練，一鍵下發，快速賦予MCU以語音能力，部分智慧家電品牌企業正基於此技術將本地語音命令應用在智慧穿戴、智慧家居、陪伴玩具等產品上。
此外，為了未來的開發者-在校大學生-透過使用Tengine/OmniMaster，學習、理解、掌握計算機視覺與語音識別技術的開發和應用創新，OPEN AI LAB還向教育行業推出了EAIP（Edge AI Innovation Platform），EAIP將行業真實案例帶入學校，老師基於EAIP實現行業+AI技術創新研究與應用，學生基於EAIP理解與掌握行業+AI應用技能。
目前，已有近30家智慧晶片廠商與OPEN AI LAB在Tenigne上深度合作，包括晶晨半導體、瑞芯微、全志科技、地平線、寒武紀、飛騰、龍芯、、賽昉科技、芯來科技、平頭哥半導體等等，實現在Arm， MIPS， RISC-V等各類CPU及NPU上對上層演算法相容。作為ONNX官方成員，Tengine支援PyTorch，也相容TensorFlow， Caffe， Paddle Paddle等流行的訓練框架；計算機視覺上，支援Yolo等多種網路模型的各種版本，與OpenCV社群形成戰略合作。
OPEN AI LAB創始人金勇斌向36氪總結到，從2018年開始，他和團隊跑過油田、下過鋼廠、蹲過豬圈、飄過海洋。。。 去過的現場越多，越覺得AI不能“陽春白雪”，要能“鄉里巴人”！行業場景各不相同，同一類場景在不同的地方資料也不盡相同，要在千差萬別中滿足“實用、易用、不貴”的客戶最共性訴求，必須要有角色分工，有專注做晶片的，有專注做框架與平臺的，有專注做演算法與方案的，有專注做系統整合與部署的，既合作也競爭，滿足客戶差異化需求。而不是，不要人人都想要成為華為或Nvidia。
創立OPEN AI LAB前，金勇斌先後在兩家世界頂級晶片公司擔任技術、市場、管理等角色近15年，深知商業落地與人走路一樣要靠兩條腿，一條商業模式，二條工程技術（Engineering）。如果商業模式選擇錯了，技術再好也不能為客戶持續創造價值。在晶片設計行業，1990年代的DEC公司從技術上能吊打所有競爭者，後來還是沒了。每個行業都有類似的例子，市場環境變化時業務的戰略選擇出了問題，技術再好都沒用。
Arm聯合創始人前總裁Tudor Brown的一句話他至今記憶猶新：arm崛起的首要原因是商業模式，其次才是低功耗處理器技術。縱觀當年的Intel轉型，今天的RISC-V崛起莫不如此。
生態思維是協作共贏思維，透過產業鏈上下游分工協作即能滿足客戶的多樣性需求，又能降低客戶的獲得成本。OPEN AI LAB聚焦邊緣AI計算框架與AI應用開發與部署平臺，與上下游的晶片、演算法、方案、系統整合與部署的夥伴分工協作、同行致遠。
OPEN AI LAB發展規劃
OPEN AI LAB目前100餘人，70%以上為研發人員，公司創始人兼CEO金勇斌曾任Arm中國市場營銷與生態發展副總裁，擁有有近20年邊緣計算軟、硬體技術及產品研發、產品管理、市場營銷、大客戶銷售、新業務拓展經驗。團隊核心成員來自Arm、Broadcom、華為、中興等晶片與系統公司。
公司於2019年10月獲紅杉資本與晨山資本投資。目前正開放新一輪融資，進一步加強開源生態建設，完善產品研發，拓展方案夥伴及行業落地。