芯東西（公眾號：aichip001）
編輯 | 高歌
智東西6月11日消息，近日GTIC 2021嵌入式AI創新峰會在北京圓滿收官！在這場全天座無虛席、全網直播觀看人數逾150萬次的高規格產業峰會上，來自產業鏈上下游的16位大佬共聚一堂，圍繞嵌入式AI的軟硬件生態創新、家居AIoT、移動機器人和工業制造產業4大版塊地圖，帶來了深入淺出的分享。
作為下午場唯一家硬件平臺廠商代表，賽靈思公司的軟件和解決方案市場部高級經理劉珊珊帶來了以《MPSoC平臺加速工業視覺應用創新》為題的深入分享。
▲賽靈思軟件和解決方案市場部高級經理劉珊珊
劉珊珊回顧，近些年賽靈思在不斷地加速轉型，從傳統的FPGA，到延續FPGA核心價值的片上系統，再到最新一代的自適應計算加速平臺（ACAP平臺），公司研發出更易于軟件編程的體系結構，同時也為客戶提供更廣泛的部署方法。
據劉珊珊分享，MPSoC平臺最大的優勢是具備整體應用協同優化的能力。談到AI在工業場景的應用，她提到了安全生產、工業質檢、AGV/AMR三大領域，并列舉了測量、識別、引導、檢測等工業質檢領域的的細分場景，指出其中都可能嵌入視覺AI應用。
劉珊珊談到，賽靈思的工業和視覺解決方案堆棧提供包括功能安全、網絡安全、控制、通信、視覺處理、機器學習和邊緣分析等解決方案，支持實時決策。硬件可編程的MPSoC使通用處理子系統與可編程邏輯相結合，從而適應多種工業場景解決方案的定制開發，并通過單芯片邊緣平臺方案降低成本。
最后，劉珊珊介紹了一款賽靈思最新發布的系統化模組K26 SOM，這正是基于MPSoC架構為工業視覺打造的模組。該模組即插即用，無FPGA開發經驗的人也能在一小時內啟動運行；針對這一標準平臺，賽靈思還向用戶推出應用商城，提供標準化的軟件開發流程。
以下是劉珊珊的演講實錄整理：
一、賽靈思架構不斷演進，自適應計算平臺滿足AI需求
劉珊珊：非常榮幸，我作為今天下午唯一一個做分享的女生，也是唯一一個從硬件平臺的角度來分析工業視覺應用創新，我今天的分享分為三個方面。
首先，讓我們來看一下賽靈思是如何通過自適應計算對我們的世界進行改善。從5G、AI、自動駕駛的興起到云計算、大數據、物聯網這些應用的蓬勃發展，我們看到了市場應用的需求正在經歷著前所未有的快速變化，正因為如此，賽靈思以其獨特的自適應性和靈活性平臺被越來越多的人所認識并關注，它帶給設計者帶來強大的應對變化的能力，正如賽靈思的企業愿景，打造靈活多變，萬物智能的世界。
首先我和大家分享的是，賽靈思如何通過賦能創新來對我們的生活、對人們想實現守護健康、想實現生活改善以及探索宇宙的夢想。
在當下這場席卷全球的新冠疫情當中，賽靈思始終以最高的優先級支持全球的合作伙伴來做一些醫療設備相關的研究和開發，以及批量生產。早在去年1月，在武漢疫情最水深火熱的時候，賽靈思率先支持邁瑞用于病患轉運過程中監護設備的批量生產，為醫護工作者提供了便捷、高效的前端監護設備，為病患提供了生命保障。
在汽車領域，賽靈思一直以其車規級芯片幫助全球的汽車伙伴，對他們的一些來自于多個傳感器的數據處理，來提升車輛的感知能力，從而加速AI在道路上的決策能力。
最近一個非常火熱的話題是，各個大國爭先將太空探測器發向了火星。在這之中，賽靈思也做了非常突出的貢獻，我們在“毅力號”的火星車里選取了多款賽靈思的器件，用來給火星車著陸火星表面時進行導航定位以及自動駕駛方面的一些計算，同時也承擔了一些圖象加速和處理的任務。
為了幫助（向）我們的客戶提供更加靈活應變的計算能力，賽靈思也在經歷著不斷的轉型。最初我們傳統的FPGA的架構，我們也在不斷演進，結合了FPGA核心的價值以及其它的需求，打造成了一個片上系統（SoC），后來伴隨著各個不同場景和不同需求，推出MPSoC、RFSoC、以及我們最新的7nm自適應計算加速平臺ACAP的問世。
這個過程中賽靈思一直不斷投入各種各樣的研發力量，來探索更適應、更友好地面向軟件編程的體系架構。與此同時，我們也在為客戶提供非常廣泛的部署方法，包括傳統的部署方式把芯片集成到自己的系統中去。
近些年，我們也為客戶提供像AIveo、SOM可以即插即用性的加速卡或者系統級的模組。我們也跟全球的云計算伙伴一起合作，把FPGA這種計算資源作為云上的服務，向大家提供更易于接入的FaaS服務。
說到AI，其實賽靈思的自適應計算平臺，它其實是最能夠滿足AI創新速度需求的硬件。在AI的角度，我們有最核心的優勢就是可以進行整體AI應用的協同優化。在實際應用中，AI推理只是任務的一部分，我們還存在大量的前處理、后處理任務。
這些任務中往往會涉及海量的數據交互，以及很多計算的能力，如果把這種交互放到芯片之外，甚至放到板子之外，勢必很容易造成整個系統效率低下的問題。
賽靈思把關鍵的功能提取出來，經過底層優化之后，把它緊耦合在一個單芯片的解決方案里面，極大地提升了整個系統的工作效率，同時降低了系統功耗以及時延。
二、針對工業引導、檢測環節，不規則、低辨識度物品依賴AI算法識別
下面進入人工智能如何賦能智慧工廠的。前面專家講了工廠里面檢測相關的應用，下面看一下我們對視覺在工業場景里面應用的理解。我們認為，（視覺在工業場景中）分為三大類相關應用，第一類是跟安全生產相關的、（跟）智能安防相關解決方案。
在這一類的解決方案里面，我們更加注重職場人員是不是按照規定去著裝、是不是在規定的區域和范圍內進行活動、是不是按照規范的操作流程做相應的施工的操作，這些是我們傳統的安防攝像頭就能夠解決的問題。
下一個場景，跟產線上的生產制造相關的、工業質檢的相關解決方案。這類解決方案包括測量、識別、引導以及檢測等等，檢測剛才有很多專家已經進行了非常細致的介紹。
第三個場景，我們認為是以工業場景的物品搬運以及上下料相關的自主駕駛的小車、包括一些機器人相關的解決方案。在這里面剛剛有嘉賓分享到，我們說核心的兩個任務，一個做環境重建，這部分的任務多是基于多種傳感器的融合，包括一些視覺、激光雷達、毫米波雷達、包括現在很火的雙目和機構光等等這類傳感器，我們要對這些傳感器進行融合，并且對它的數據進行實時分析。
另外一種，我們說要去做導航，要去做避障，這里面涉及到相應的算法，也會需要我們有一些邊緣側的計算加速的能力。
下面，我們看一下在工業質檢場景里面，機器視覺和AI分別有怎樣的貢獻。剛剛講到把工業質檢分為四個應用場景，分別是剛剛提到的測量、識別、引導以及檢測。
測量指的是去做一些物體和物體之間以及物體自身的尺寸測量；識別指的是零部件代碼，包括它的二維碼、條形碼進行識別，主要用于進行質量溯源以及生產流程的管控。
在引導環節，一般是定義物品所處的位置和方位，我們有一些機器的構造對物品進行抓取和放置，大家一聽就很明白，就是我們在做一些產品的組裝；檢測呢，就是我們在這個過程中對零部件以及一些產成品做瑕疵、分類相關的檢測。
測量不管用2D還是3D的sensor始終解決的是定性問題，這個領域核心多是光學，AI關聯度并不高。
在識別的場景里面，如果僅僅是基于對編碼規則的理解，其實也是用不到AI的，但是一定特定場合比如做OCR或者具有復雜背景或者不是那么清晰有一些臟污的條形碼、二維碼的識別，這時候AI就要發揮作用，這是AI在工業質檢領域非常簡單的應用。
相對測量識別，我們的引導和檢測其實是更加注重和依賴于算法的。在引導的應用場景里面，我們傳統是采用2D的方式，對于結構和形狀長得非常標準的零部件，我們可以去做一些相應的引導。
如果這個物品變成一種柔性物質或者零部件本身是不規則的，我們就會使用一些3D方案解決，在3D方案里面AI視覺包括人工智能就發揮了很大的作用。在檢測環節也一樣，在傳統的檢測方案里面，比如自動光學檢測是基于模式識別的方法論，本身具備一些系統泛化性比較差這樣的瓶頸。
當然我們在一些更復雜的場景，比如檢測的背景很復雜，或者像PCB、表面貼裝工程本身辨識度不是很高的目標物品的檢測，傳統的機器視覺的方式就不是那么好用，在這種情況下需要請出AI來幫忙。
在這里簡單總結一下，在工業質檢環節里面什么樣（的工作）適合AI來做？第一個，物品本身形狀不規則或者物品某些屬性特征發生會變化的引導會用到AI。第二，檢測物體的背景非常復雜，在這種情況下要做目標的檢測或者一些分割，或者我們一些表面紋理的識別和材料的分類，以及剛剛提到識別場景里面會有污損的二維碼、條形碼處理，我們可能會用到AI。
三、Kria入門套件一小時完成部署，Vitis AI降低使用門檻
這些跟賽靈思有怎樣的關聯？其實，賽靈思的MPSoC平臺很好地結合了通用子處理器以及邏輯單元，把它們很好地整合到一顆芯片上。這樣的一個架構很友好，能夠實現我們在工業場景里面非常特殊的一些功能，比如說，工藝安全的要求、網絡安全的要求、信號處理、工業控制，以及剛剛提到的機器視覺、AI以及邊緣側的實時決策能力。
針對這些特殊的功能，我們就可以拿來打造非常具有場景的、差異度的工業檢測應用內容。
下面我們進入到MPSoC平臺助力工業視覺話題的分享。在這里，我想給大家推薦一款我們最新處理器平臺，是系統級模組K26。
這個就是我們的基于MPSoC架構的系統模組，模組里面具有CPU、GPU和FPGA邏輯單元，可以支持AI算力最高達到1.4TOPS/S，什么概念呢？現在，我們在應用場景里面見到的主流神經網絡模型經過壓縮之后，我們這顆芯片或者整個模組都可以實現實時或者準實時處理能力。
除此之外，在這顆芯片上因為是為工業視覺打造的，做了硬化的264、265編解碼硬核，可以做到4K的圖象質量，60幀的處理速率，這個是完全不占用我們模組上額外的計算資源的。那除此之外，我們為了各種應用，做了各種豐富接口的準備，包括各種各樣的輸入、輸出設備，以及我們在上面放了4顆4G的DDR存儲，可以基本上滿足現在主流的AI計算在邊緣側運用的存儲能力。
那同樣，這也是一個即插即用型的系統級模組，專門為我們的開發者提供了一個我們叫入門級的套件，在這個套件上面，一個沒有任何FPGA開發經驗的人也可以在一個小時之內把它啟動、運行一些我們準備好的加速應用。
當然，我們給大家提供了一個非常簡潔的說明書，根據說明書我們把輸入輸出設備一一連接，把官方提供的鏡像燒寫到SDK卡上，根據我們的興趣下載官方提供的已經加速好的應用，這樣就可以把這個應用跑起來。
在這里面，我們還要介紹一下，現在針對這一款標準化的硬件平臺，我們還推出了賽靈思的應用商城，在商城里面有很多來自于賽靈思自己去做定制化加速的應用，也有很多包括第三方合作伙伴來貢獻的應用，像智能相機、帶有reid功能的AIBOX、瑕疵檢測、車牌識別等等，現在這些已經可以在官方的應用商城里面下載，可以拿一塊板子自己跑起來。
在這里，我想說，賽靈思首次推出邊緣側標準化的硬件平臺，它的意義和價值源源不止于此。我們還同時為大家提供了標準化的軟件開發流程。這樣的話，可以幫助更多的應用開發者把這個硬件平臺用起來，根據自己的經驗，包括自己所在的領域，推出更好的加速應用。
同時（開發者）可以把這些應用放到官方的商城上，我們會有一系列的商業化平臺能力提供給大家。與此同時，對于一些應用開發的用戶，他所需要的東西可以直接從商城上找到，這樣我們就形成了硬件平臺和應用良性循環的小小生態。
下面，我們就進入到怎么能夠在這個平臺上通過一些標準化的軟件開發流程，來開發跟AI跟視覺相關的應用。首先，我們來關注，如果你僅僅是一個AI應用的開發者，只關注到神經網絡模型這個層面的加速就夠了。
我們在這里會用Vitis AI這款工具給大家提供一個DPU的IP。這個DPU，就是我們針對現在一些主流的框架，像TensorFlow、Caffe、PyTorch做好了底層硬件的加速。所有開發者需要做的就是選取一款適合自己的DPU IP和自己的神經網絡模型做適配，做一些參數的調整，以及會把我們的網絡做一些優化，這樣就得到可以直接部署在我們SOM平臺上的加速網絡。
在實際應用的開發過程中，我們的SOM平臺可以直接接受來自各種sensor直接的數據流輸入，也可以接受來自于互聯網和本地文件的音、視頻流的輸入。
像我們在音視頻流的轉碼、包括我們的協議的解包、色彩域變換、resize以及歸一化的前處理，以及我們后面的對于打上BoundingBox、對于一些ROI的提取，以及根據輸出需求做一些視頻的融合和顯示，或者通過互聯網傳輸后處理，我們都固化了下來，所有的流程你都不需要關心，只需要關心你的模型與DPU的適配。這樣，我們就極大地降低了沒有任何開發經驗的AI開發者使用MPSoC這款平臺的門檻。
對于軟件開發者而言，我們推薦Vitis這款軟件給大家做開發。（在）Vitis軟件中，我們把大量經過底層優化的加速庫提供到軟件里面去，我們會通過library的形式，讓很多熟悉C++、OpenCL語言的開發者，可以在自己熟悉的語言環境下，對我們的應用進行定制化開發。
怎么樣定制化的開發呢，我們剛剛講，除了DPU這部分跟AI相關的加速之外，我們的前處理、后處理都可以調用已經硬化好的library IP，實現我們定制化視頻流的應用開發。
對于硬件開發者來講，我們MPSoC這款系統化模組，我們SOM這個平臺就可以把邏輯資源和系統級的方案完備性優勢進行充分發揮，從RTL層面做全流程的加速，這樣你得到的就是一個完全差異化的產品或者解決方案。
那在這里，其實特別想說我們Kria SOMs這個硬件平臺，它工業的這個場景有什么特定的屬性與我們工業的需求相匹配。首先，這是一個我們為工業級產品來打造的一個處理器平臺，所以它在在抗震和抗極端的高低溫情況下都有非常好的表現，同時它也有非常長的工業生命周期的保障。
這是一款我們在市面上能夠見到的，最具網絡安全的一款SOM模組。為什么這么講呢？首先，就是我們16nm的MPSoC，它本身就具備安全訪問的機制。它在SOM平臺上面，我們又單獨加了來自英飛凌TPM 2.0安全的芯片。這個芯片可以用來做遠程認證，做密鑰存儲的管理。所以說，這個是我們雙保險對于工業級信息安全的要求。
第三個，這顆芯片以及基礎上打造的Kria SOM模組，是在全球多個國家得到了我們下面列的所有工業級的認證，在世界范圍內我們對于工業安全的認證有非常嚴格的標準，包括功能認證、包括物理安全、包括信息安全。在不同的地方可能有不同的要求，但是沒關系賽靈思的這款Kria SOM已經經過世界各地的驗證，可以在全球范圍內放心部署。
這里來分享一個，我們做布匹表面圖案檢測的應用案例。我們其實在很多現代化的紡織廠里面經常會發現一個共性的問題。我們用人工去做布匹表現瑕疵檢測效率的時候，一個效率低，一個人為造成的漏檢誤檢對于工廠帶來的經濟損失非常大。
我們知道，一臺高速織布機的速度高達一千米/分鐘，人眼盯著看肯定不可能做到實時檢測。只能等到這批產品下了機器以后，我們對它進行抽檢或者逐一檢測。這時候如果哪個地方發生設備上的跳線，這個損失包括產能的損失，包括物料的損失已經發生了，沒有辦法改變。
所以基于這樣的需求，我們要為高速的織布機打造一個布匹實時的瑕疵檢測方案。我們為每個高速織布機配備四個高清攝像頭，這四個攝像頭用于實時采集像素級的信息，包括RGB，包括亮度。這樣我們每一路攝像頭的信息采集能力達到480MB/秒，處理能力按照30幀計算，是1.9GB/秒，這是這是前端采集的數據量。
同時我們在干一件什么樣的事情？我們利用FPGA非常精準的時鐘網絡對四臺攝像機進行同步控制，保證（攝像機）都在同時在一個節拍上去處理相應的任務。接下來，我們對于所有采集到的像素級的信息進行色彩域變換，發揮賽靈思FPGA平臺極大的并行處理能力，對于多種顏色我們進行逐一的像素級比對。
比對之后得到的結果就可以很好地指導我們進一步的檢測，不管是我們用傳統的方式，比如機器視覺的方式，在Arm上跑瑕疵檢測；還是用AI對于檢測結果進行進一步的分析，我們對于它的瑕疵類別進行分類，可以進行非常靈活的處理。
那這個就是我剛剛提到的，我們可以給大家提供產品化、量產的Kria SOM的核心板。伴隨著這個核心板，我們還給大家提供了一個入門級的套件，套件里面我們做了一個底板，上面有大家可能一些常用的接口和散熱。
那除了這個開發套件之外，我們真正在量產的板子上其實是沒有這些的。大家可以看到，我們提供了兩個選項，一個是商業級的、一個是工業級的，這兩個可以根據不同的應用場景給大家選擇。
除此之外，賽靈思MPSoC還有廣泛的合作伙伴生態，有很多合作伙伴用MPSoC器件來給大家提供各種各樣的嵌入式模組，像有一款應用來自百度的EdgeBoard；在應用場景上面，從智能機到AIBOX等等一系列應用都可以實現。
在這里，我也非常真誠的能夠邀請在座的合作伙伴們，（希望你們）能夠加入賽靈思的合作伙伴生態，充分發揮我們自適應計算平臺的特性，跟我們一起來共同打造靈活應變，萬物智能的世界。
謝謝大家！
以上是劉珊珊演講內容的完整整理。
