芯東西（公眾號：aichip001）
編輯 |? GACS
9月14日-15日，2023全球AI芯片峰會（GACS 2023）在深圳市南山區圓滿舉行。在第二日的高能效AI芯片專場中，諾磊科技創始人、CEO Raymond Wu分享了主題為《感算一體AI光譜分析芯片陣列技術解析》的主題演講。
諾磊科技推出的集成CIS+AI+MCU光譜識別功能的感算一體AI光譜分析芯片陣列技術“Eye with Brain”，能做到“1個眼睛照顧8個大腦”，還能實現對多頻段光譜的檢測與分析。有別于AI業界的傳統算法，諾磊科技的產品配合高度集成機器影像辨識傳感器，能獨立運行實現影像偵測、追蹤及識別。
諾磊科技創始人、CEO Raymond Wu談道，諾磊科技在首款110nm工藝量產芯片NB1001上，結合WLO（晶圓級光學）技術，將光學元件集成到半導體晶圓上，設計為類似于麥克風陣列的光譜檢測陣列。
Raymond Wu還提到曾經一枝獨秀的影像解決方案CCD由于系統體積大、成本高、功耗大、落地難逐漸被CIS（CMOS圖像傳感器）取代。這與當下AI應用有相似性，他認為高算力并不是能百分之百解決所有AI應用的手段，AI應用的算力需求取決于具體應用的場景，單一化應用沒有必要做復雜的AI芯片。
以下為Raymond Wu的演講實錄：
大家好！大家可以叫我Raymond，今天我要講的不單是一個產品，我要講的是一個市場應用的未來方向，大概至少要三四十年，這個方向都不會變。
我不知道大家有沒有用過CIS，我是OmniVision（美國豪威科技）的聯合創始人，所以OmniVision的名字是我取的，在1995年。
一、大算力非唯一解，“小芯片”也能加速AI應用落地
我今天講的是方向，大家都在往這個方向走，不單是說哪一個人的產品特別，跟別人不一樣，我相信大家幾乎都一樣。用豪威科技的CIS來說，我1995年的時候做出了CIS，大家可以看，1995年到2023年，二十幾年了，CIS還是沒有被替換掉，各位手機上假如沒有CIS，手機就沒有攝像頭，攝像頭完全依賴于CIS。
為什么講到CIS？我先講一下歷史，CIS是一個方向，在1995年的時候市場上只有一種解決方案，叫CCD，CCD在市場上活了快二十年，一直到1995年慢慢被CIS替換了。
為什么會被替換？幾個大問題：一是系統體積很大，二是成本高，三是功耗很大，四是落地很難。所以要把CCD的解決方案做好，全世界真的沒有多少人會做，所以說CCD一直在世界上占著不可或缺的地位。
一直到了1995年，CIS出來了，CIS就把這四個最大的問題：體積、成本、功耗、落地一次全解決了。當然你可以說，1996年就有奇跡出現了嗎？其實不是，CIS替代CCD大概花了15年的時間，差不多到了2005年左右，CCD慢慢就消失了，取代的全是CIS。
我今天講的是邊緣計算，我相信大家一定都知道AI應用，我們現在很多的AI應用，人工智能的應用，你會發現跟CCD有同樣的問題：功耗大、體積大、又貴、落地難，這些問題跟CCD是一樣的，只是CCD是1995年發生的，人工智能的應用是我們現在看到的。
我要講的就是，我們現在一直追求高算力，為什么一定要追求高算力呢？高算力越走越高，那應用場景是不是越來越小了。所以高算力并不是一個百分之百解決所有應用的唯一手段。
我認為，人工智能應用的存在絕對不是靠算力，人工智能的應用完全取決于應用。比如我今天走進門的時候，門要自己開，門開了以后門關起來了，就這么簡單，我需要20T的算力嗎？當然不用，需要多少T？像這種簡單的應用，大概0.1T、0.2T就做完了。所以這些算力取決于你的應用，應用很單一化的話，真的沒有必要去做這么復雜的芯片，簡單的就可以了。
我先講一下功能，我相信在座的大家都是做IC（集成電路）的，第一行110nm工藝，現在大家講的最小也要到22納米，或者10納米，甚至到7納米，目的是在追求算力。
我今天要講的是，我這110nm的只有0.3T的，我能做什么，大家有空可以到外面看一下，我們有一些方案，就是用單一芯片就可以達到人眼的追蹤、手勢識別，我們都可以做到。
我們的解析度現在是320×320 CIS，像素尺寸是3um×3um，Always on工作模式功耗300mW，內存288K SRAM，就跟剛才存算一體的有很大的差別，里面除了這288K以外，我們在外面是沒有任何芯片的，就是單一芯片。我也不要說把所有東西存在內存，所有的一顆芯片全搞定。
這是兩個完全不同的方向，一個追求高算力，另一個是怎么集成，以諾磊首款量產芯片NB1001為例，這個芯片連鏡頭都做在里面了，所以只需要在PCB上面打件，就可以做人臉（識別）。外面有展示，你們可以看。
我想說的是有很多解決方案，高算力是一種解決方案，低算力在應用上假如對的話，也是一個很好的解決方案。
我們公司做的就是把信息輸入眼睛里，因為我們的眼睛已經放在IC里面了，所以眼睛可以看到所有的東西，然后眼睛看到的東西傳到IC里面來，大腦也在里面，記憶也在里面，所有的判斷也在里面，算法也在里面，最后就是輸出一個結果，比如說做剪刀石頭布，它就直接跟你說剪刀石頭布，外面什么都不要。所以這個做法跟想法，和現在高算法的AI SoC有很大的不同。
（見PPT）右邊上面這個是我們這顆IC的做法，第一個，圖像處理，因為只有288k，所以單次僅讀取4列，這288K里面還含著所有的固件、軟件，所有的都直接灌到這288k里面。
其中144k是里面的Operation用的。它的開發時間很短，功耗當然很低，需求量就會做得很大，因為它是最基礎的IoT的解決方案。現在想到的，不想做的重復的動作，幾乎這顆芯片都幫你做掉了。
那這跟高算力有很大不一樣，高算力第一個問題就是有隱私的問題，我們因為沒有存整幅的影像，隱私度非常高。另外芯片外面沒有內存，開發成本也更低。
我們公司因為是賣IC的，所以我們把我們的SDK完全公布出來了，不管任何一個人想要研發任何一個應用，想要用我們的芯片，可以來我們公司，我們會給你們一個SDK，不收錢，也會教你怎么用，目的就是我們是賣IC的。
二、解密AI光譜分析芯片陣列，鑒定黃金和豬肉其實是“一回事”
我剛才講的是很簡單的，接下來講的更專業。因為（芯片）面積很小，我可以做出一個陣列，就跟麥克風陣列一樣的，我們這個是光的陣列，這個在外面也有展示，大家等下可以去看，因為這是一個非常新的想法。
這個芯片有一個優點，它是WLO（Wafer Level Optic），怎么做呢？大家知道我們的IC都是一片一片的，現在就是把一片8寸的鏡片直接疊在晶圓上，連續兩片，就相當于兩片重疊，然后膠水一澆，一切，切完就是大家手上看到的東西。
所以它的生產變得非常快，而且非常準，它不用再調焦了，因為上面有眼睛，可是需要鏡頭，鏡頭需要調焦，用這種做法都不需要調焦了，只要拿來以后，SMT打在板上就可以用了，連鏡頭都含在里面了。這是一個預估，這是一個最快最好最準的解決方案。
這個是黑白的，大家不要把它當作高解析度的照相，它是一個機器識別，一般來說機器識別的解析度并沒有必要到4000萬象素或者1000萬象素，320×320就已經解決了60%、70%的IoT應用。
大家可以看一下，人眼可以做的，我們這個IC都可以做得到。所以最下面這一行，它就是人眼的延伸，所以它能夠做GIGI，GIGI的意思就是能夠做引導、檢查、測量、識別，這四樣東西完全在一個里面就可以做到。
我們公司把它取了一個名字，叫Eye with Brain，我們現在人類是眼睛跟大腦分開，所以一個大腦要照顧兩個眼睛，英偉達的芯片是一個大腦要照顧8個眼睛，我們是一個眼睛一個大腦，要是有兩個眼睛就有兩個大腦，四個眼睛就是四個大腦，完全平行處理，每個眼睛可以定義它，讓它做不同的事情，所以四個眼睛可以同時做四個不同的事情。
每個眼睛有它自己的大腦，它不需要3T、5T，每個眼睛可能1T就夠了。需要五個眼睛就用5T，要是需要10個眼睛就用10T，它是分布式的，所以每個眼睛就是1T。
這個影像陣列必須經由剛才的一顆一顆的小芯片來實現。我們現在做的是2×3，就是6顆。我憑什么可以做到6顆，第一個是我們單顆IC，在自然風室溫下的IC溫度只有40度，因為它0.3W的關系，所以它的整顆IC溫度只有40度。也因為這樣，我才有辦法做成2×3，因為它不會很熱，所以加起來的溫度散熱仍然可以達到40度的平均溫度。
2×3的并行能力、運算能力，現在不是單一芯片的高算力了，而是現在有6顆一般算力的加在一起用，所以它可以做海量的圖像數據的并行處理。第二，它的擴展性很高，采用模塊式的設計。
諾磊NB100X系列中的2×3陣列有6顆（小芯片），大家看到為什么18mm，因為一顆是6mm，3顆就是18mm，它的寬度是4mm，所以兩顆就是8mm，所以這邊有6顆，所以六個大腦六個眼睛放在一起。假如說其中一顆壞了，另外一顆可以取代，所以說不用怕壞了以后整個系統就壞了。
功耗也可控，為什么？因為這六顆可以隨時關掉一顆兩顆，用的時候再開，所以非常好控制。
熱管理對我們來說非常容易，我們的應用絕對不需要風扇或者水冷，就是一般的溫度就可以了。結構很規整，大家看得到，這個是在wafer上面的，它不是在PCV板上焊在一起的，是wafer上就連在一起的。
可以看一下2×2陣列，所以我們測試也很快，這四顆在一個測試板上就可以測試完了。設計也可以重復利用。
這是3×3的陣列也一樣，因為我們是在晶圓上，所以它的平整度非常高，晶圓平整度絕對是世界上最高的。而且它的間距絕對不會變，它的間距一致性比在PCB板上的一致性好。
還有4×1的陣列，制造簡單，材料利用效率高，這方面都實現了。這也是一些它的優點：封裝、良率可以提高。
我現在講一下結論：上面的是單顆芯片的IC，下面是經過IC，經過WLO，組成3×2的產品，所以下面這個有六個大腦、六個眼睛，上面這個是一個大腦、一個眼睛。
剛才講的是小的應用，我現在講一下另外一個應用，這跟剛才那個還不一樣，因為我們的IC里面有AI，所以可以在IC上面加上光譜，就可以接受很特定的光譜。
比如今天要看看黃金買的是真假，那可以用這顆IC，上面有定義好的專門檢測黃金真假的光譜，一照這個IC就會跟你講，你今天買的黃金是真是假。或者你買到的玉是玻璃還是石頭，都可以從光譜里面直接抓出來。
甚至以后買的肉是好是壞，多久了，壞了沒有，都可以經過光譜議測試出來。但是有一個差別，這個光譜議可以像一根手電筒一樣照它，跟你說玉是好還是壞，黃金是真是假，都可以做出來，因為每一個都有它特定的光譜，所以只要把這個東西放在IC上的話，就可以測出來特定光譜在特定應用的真實性。
（見PPT）除了這個，我還可以做成光譜的矩陣。人是兩個眼睛的，所以可以看到立體，四個眼睛看的立體更強烈，這是用在光譜上，所以說這一個里面可以做不同鏡頭的角度；第二可以做不同的光譜；第三可以把它當成很多應用來用。應用就很多了，可以做醫療健康、環保、自然生態等。
這里講的是spectrum（光譜）可以用在哪里，可以用在調光、攝像頭圖像增強、增強現實等方面，剛才單顆的就是放在VR里面，等一下給大家放一個視頻。這個就是我們實際上放在眼鏡里面，追蹤你眼球的移動。這是眨眼，再看另外一邊。不管眼球轉多快，都會跟得上。這里面沒有什么所謂的高算力，對IC來說是很簡單的事。
不知道大家有沒有什么問題，沒有問題的話我在后面有一個展臺，歡迎大家過來看，不能說黑科技，都是很普通的東西，只是大家沒有講過而已。謝謝大家！
以上是Raymond Wu演講內容的完整整理。
