智東西（公眾號：zhidxcom）
作者 | 韋世瑋
編輯 | 心緣
近年來隨著物聯網及AIoT行業的興起，邊緣計算作為一種能夠在本地智能分析、處理數據的計算方式，以時延低、效率高、安全隱私性高等優勢，逐漸成為行業青睞的技術，需求呈井噴式爆發。
據市場研究機構CB Insights數據，預計2016-2023年，邊緣計算市場的復合增長率將達35%，到2023年，整體市場規模將接近340億美元。還有分析師預測，從2025年開始，邊緣側AI芯片的市場營收規模將超過云端AI芯片。
在這個趨勢下，整個行業也掀起了一股邊緣計算創新創業浪潮。其中，OPEN AI LAB（開放智能）是這股浪潮中不可小覷的玩家之一。
從2016年12月成立至今，OPEN AI LAB不斷深耕邊緣計算AI（人工智能）開發平臺，推出了國內自主的邊緣AI計算框架和一系列滿足各類場景需求的生產工具，助力國內AI生態發展的同時，也通過賦能幫助企業完成數字化轉型和智能化升級。
2020年，OPEN AI LAB聯合創始人兼CTO黃明飛曾告訴智東西，國內AI開源生態仍在起步階段，而OPEN AI LAB的基本工作是把產品做好，為開發者提供更豐富的內容和工具，享受更加簡單靈活的開發體驗，一同推動開源生態的發展。
現在，OPEN AI LAB取得了哪些收獲和技術進展？國內的AIoT行業又發生了什么新變化？時隔一年，智東西再度與黃明飛進行深入交流，了解他們在過去一年的成長閃光點。
5月25日，覆蓋輕量級神經網絡模型設計、模型壓縮、AI推理引擎、嵌入式AI芯片架構創新等主題的GTIC 2021嵌入式AI創新峰會將于北京新云南皇冠假日酒店舉行。屆時，黃明飛將帶來《Tengine：加速邊緣計算中的AI部署與落地》主題演講。
一、過去一年：生態拓展是關鍵詞，Tengine深入行業合作
“在疫情的影響下，實際上整個行業的發展節奏放慢了。”黃明飛談到，在過去一年時間里，OPEN AI LAB的工作主要是兩件事，一是通過AI實現快速行業落地，降低企業開發門檻，二是做生態建設。
一方面，OPEN AI LAB在2020年打造了一個能實現從數據到算法、從算法到應用、從應用到部署，并自動更新迭代的邊云自動化部署平臺MLOps，能大大簡化企業應用部署環節，降低開發門檻。
另一方面，越來越多的開發者從云計算入場邊緣計算場景，這也讓OPEN AI LAB在生態構建的同時，積累了越來越多的行業伙伴。
“從行業大背景上看，2020年還有一個國際關系問題。”黃明飛解釋，以華為為例，中美貿易摩擦對華為芯片供應鏈的影響，讓國產化芯片成為人們十分關注的行業話題，這也給OPEN AI LAB帶來了更多思考。
“這么多的國產芯片，實際上更需要一個像Tengine這樣的AI框架，通過開放更多內容，讓大家一起促進中國AI生態的繁榮。”他說，因此公司在過去一年仍將工作重點放在Tengine的生態發展上。
簡單來說，Tengine是一個嵌入式的AI推理框架，能夠幫助開發者解決AI在快速產業化落地中遇到的各個瓶頸難題。與同行相比，Tengine有兩個特點，一是重點面向嵌入式邊緣計算應用，涉及海量的AIoT應用設備，而非服務器集群；二是它的工作重點在于AI推理，并非AI訓練。
在生態發展上，過去一年開始Tengine陸續與MegEngine、OneFlow、PaddlePaddle等業內主流開源框架進行了深度合作與拓展，包括通過連接訓練和推理兩個平臺形成完整的解決方案。
此外，Tengine還與老牌跨平臺計算機視覺庫OpenCV進一步深入合作，成為OpenCV在AI領域的重要部分。
二、Tengine Framework的三大重構，面向開發者與用戶
一直以來，國內邊緣側應用規模化落地的難點在于，行業中大部分的云端訓練框架和算法模型無法與邊緣AI芯片直接適配，需要一個聚焦邊緣側的計算部署平臺。
Tengine就在這一需求下應運而生，它可以實現從芯片到場景的全棧打通。
其中，Tengine Framework是OPEN AI LAB自主設計的邊緣AI計算框架，向下幾乎兼容所有主流國產AI芯片，現階段已與超20+主流芯片廠商SoC的底層全面適配，例如紫光展銳、全志科技、地平線、寒武紀、恒玄等；向上則支撐所有主流訓練框架及網絡模型，包括TensorFlow、PyTorch、Caffe、PaddlePaddle等。
另一方面，OPEN AI LAB推出的商業化的邊云自動化部署平臺，名為Tengine MLOps。它是一個能實現從數據到算法、從算法到應用、從應用到部署的AI系統平臺，能大大簡化企業應用部署環節，降低開發門檻。
目前商業項目已覆蓋數十個細分行業場景：安全生產、智慧教育、智慧電力、智慧社區、信創領域等；產業鏈合作伙伴達上千個，覆蓋芯片公司、算法公司、IDH公司、OEM/ODM公司、行業解決方案商等；為數百個AI項目落地提供加速動力。
黃明飛談到，為了不斷滿足客戶的需求，公司在疫情期間對Tengine Framework進行了重構，主要涉及三個方面。
一是根據Tengine發布四年來從開源社區和商業客戶中得到的大量反饋，對整個框架進行了軟件的優化升級，目的是讓開發者能更高效地使用Tengine，從而更好地參與到架構的開發建設中。
二是針對Tengine Framework做了新的生態項目，包括Tengine Kit、Tengine Factory，目的是讓用戶能更容易地使用Tengine。
三是AutoKernel，也是Tengine Framework的子項目。不同的是，它主要負責底層算子的自動化優化。“這個工具將是我們對國內開源社區的一個非常大貢獻，因為之前我們國內一直沒有底層算子自動優化的開源項目。”黃明飛說。
三、成本是AI落地本質問題，未來將開放更多Tengine功能
在黃明飛看來，現在AI行業已經從最初的概念驗證階段轉向落地的關鍵階段，但在這個落地階段也面臨著不少困難，其中最本質的問題是成本問題。例如，許多解決方案都采用機器視覺來做監控，但成本卻降不下來，還不如用原來的員工更實惠。
黃明飛認為，實際上解決這個問題就需要平臺和工具來降低開發成本，尤其是軟件產品的成本，能夠用于一些低成本的硬件平臺，從而真正實現性價比提升。
其次，當成本下降突破落地的第一道關口后，還需要進一步思考國產AI芯片的發展問題。他解釋，OPEN AI LAB成立時，曾預期國產AI芯片可能在2019-2020年爆發，但目前看來整體還處在發展期。
黃明飛談到，盡管國家一直投入資金扶持國產芯片的發展，但行業仍需一個開源生態來讓玩家共同推動。
“如果說什么東西都自己干，實際上效率是不高的，需要大家各自做擅長的地方，通過生態合作產生合力，才能形成一個良好環境，讓國產AI生態從芯片到基礎軟件都迅速發展。”黃明飛說。
“目前邊緣計算已經成為AI行業公認的發展趨勢。”在黃明飛看來，與過去幾年比較熱門的云原生相似，行業在未來也可能會出現類似的邊緣原生技術。基于此，OPEN AI LAB也將繼續打造一個從開發到部署的一整套邊緣原生的AI系統平臺。
談及產品的后續計劃，黃明飛談到，未來Tengine會逐步開放更多內容，與越來越多芯片廠商合作；另一方面，OPEN AI LAB也會逐步將Tengine MLOps中的功能開放到Tengine Factory中，開源更多內容，從而讓整個生態更加獲益。
結語：從軟件源頭推動邊緣計算發展
從云端到邊緣側，人工智能的發展給我國高新技術行業催生了無數創業創新機會。如今嵌入式邊緣計算作為信息數據處理的重要手段之一，如何從軟件層出發大大降低開發及部署門檻，也是這股浪潮中每一位玩家都在思考的事。
OPEN AI LAB作為我國AI開源大軍中的一股重要力量，一手開源框架推動國內生態社區發展，一手端到端AI系統平臺助力企業智能化轉型，也給未來AI行業的廣泛落地深踩了一腳油門。
