芯東西（公眾號：aichip001）
作者 | ?ZeR0
編輯 | ?漠影
當你用手機抓拍某個精彩瞬間，一旦拍糊了，可能會令人相當郁悶。
一家法國創企正從根源上解決這個問題。
這家機器視覺創企名為普諾飛思（Prophesee），是神經擬態視覺系統的發明者。它通過模仿人眼和大腦的工作方式，開發了突破性的事件視覺（EBV，Event-Based Vision）技術，讓攝影設備能夠高效捕捉到清晰畫面，而且幾乎不受光線影響。
▲采用Prophesee事件視覺技術，手機在動態過程中拍攝的照片變清晰（圖源：Prophesee）
總的來說，Prophesee的神經擬態事件視覺解決方案可以幫助有效解決三個痛點：一是實現高速跟蹤，二是降低算力需求，三是優化整體功耗。
Prophesee的全球總部位于法國巴黎，中國總部位于上海，擁有100多位科研人員、50多項國際專利，國際智能手機芯片巨頭高通、國際圖像傳感器巨頭索尼均是它的合作伙伴。
今年1月，Prophesee完成五千萬歐元C輪融資，成為歐盟獲融資最多的無晶圓廠半導體公司。其歷代投資陣容相當吸睛，包括英特爾、博世、雷諾集團、小米、韋爾股份等戰略投資者，以及歐洲投資銀行EIB、創新工場、韋豪創芯、Prosperity7 Ventures等產業投資人。
這家創企為何被如此多科技大廠看好？事件視覺技術與傳統基于幀的傳感器技術有何不同？它通過什么原理讓手機攝影質量大幅提升？近日，Prophesee聯合創始人兼執行總裁盧卡·維雷（Luca Verre），Prophesee副總裁兼大中華區總經理楊雪飛來到北京，與芯東西等媒體進行了深入交流。
一、模擬人眼捕捉動態信息，暗光環境下也能抓拍清晰影像
人類對世界的認識，并非是基于柵格或基于幀的。傳統基于幀的傳感器，目標是盡可能捕捉空間的信息，在數據處理量、處理速度、周遭光線條件不理想時，瓶頸問題會日益突出。
從自然界汲取靈感的Prophesee產品和技術，則能很好地解決這些問題。
▲傳統傳感器與Prophesee傳感器處理Luca Verre講話影像的對比（圖源：Prophesee）
在生物界中，當視野中的人或物不動時，人眼是沒有向大腦傳送圖像信號的，只有發生變化時，眼睛才會開始工作。
受此啟發，Prophesee開發了事件視覺傳感器。在拍攝一些移動物體時，該傳感器更關注動作信息，其像素不會在一個固定的時間節點（幀率）記錄整個畫面的信息，僅記錄關鍵的動態場景信息，因此像素反應速度極快，能捕捉到亞毫秒級的瞬間，而且幾乎不受光線條件的影響。
相比傳統方法，這樣能大幅減少系統需處理的信息量，實現更好的能效。
▲事件視覺傳感技術的四項能力（圖源：Prophesee）
對于解決攝影模糊問題來說，事件視覺傳感器尤其有用。以前用常規普通攝像頭拍照時，如果被拍攝對象移動速度很快，或是因場景光線不足導致曝光時間延長，都可能會導致照片發生模糊。
而Prophesee的事件視覺傳感器，收集到的事件數據在時間上具有連續性，可以借助這些信息來重構和修復常規攝像機拍攝的模糊圖像，使得照片中的人或物恢復到接近人眼視覺看到的狀態。
▲手機原相機與Prophesee技術加持后的抓拍清晰度對比（圖源：Prophesee）
Luca Verre說，就成本而言，事件視覺傳感器與傳統基于幀的傳感器沒有太大的區別，遵循一樣的技術趨勢，使用一樣的生產工藝。
這對手機廠商們相當有吸引力。畢竟手機攝影功能是許多消費者在購買手機時會重點考慮的因素之一，在暗光環境隨手抓拍清晰照片的功能會令不少攝影愛好者為之心動。
智能手機也是Prophesee當前的一大戰略高地。在全球，每年有超過10億臺的手機在銷售，一臺手機有越來越多的攝像頭，市場潛力非常大。
二、與高通、索尼、中國手機大廠密切合作
Luca Verre分享說，當前手機占據了60%以上的圖像傳感器市場。在手機端，Prophesee當前的應用是將其事件視覺傳感器與傳統基于幀的圖像傳感器進行結合，提高手機后置主攝的攝影質量。
索尼在傳統基于幀的圖像傳感器方面占據了超過40%的市場份額，擁有可靠的供應鏈和強大的供應能力。Prophesee正與索尼積極合作，將事件視覺技術推廣到工業、物聯網（IoT）、手機等不同的應用領域。Prophesee的事件視覺傳感器也是由索尼來幫助完成生產供應的。
在上個月舉行的世界移動通信大會MWC 2023期間，高通公布了與小米、榮耀等手機大廠的戰略合作，Prophesee也名列其中。在技術層面，高通將Prophesee的事件視覺傳感器和軟件整合到驍龍移動平臺上，相關開發套件將于今年上市；在業務發展層面，高通將會和Prophesee一起向手機OEM推廣這個解決方案。
目前全球60%以上的旗艦手機和高端手機都采用由高通提供的處理器。Prophesee進一步鞏固了和高通的長期戰略合作關系。雙方一致認為，在計算攝影、傳感應用等方面，神經擬態技術將會為未來智能手機帶來非常多的附加價值。
▲高通在MWC 2023公布與Prophesee的戰略合作
Prophesee現階段和高通合作的重點是提高手機影像成像質量，首推功能是很多手機OEM廠商一個主要訴求——照片的運動去模糊功能。
除此之外，Prophesee也在與高通以及中國知名手機OEM廠商進行密切接洽，去開發更多的功能，以將事件視覺技術推向更廣闊的市場。
除了高通和索尼外，Prophesee公布的合作伙伴還有中國臺灣的芯鼎科技（iCatch）、日本的DMP公司等。Prophesee也一直和英特爾保持積極合作，并在AMD賽靈思上搭建了參考系統。
除了手機之外，IoT監控安防也是一個很好的應用場景。Prophesee的技術不但能夠保護隱私，而且能夠節省數據流量和資源，讓整個方案變得更便捷、安全。今年Prophesee在該領域就會有相應的量產產品落地。
三、降低延遲與功耗，優化AR/VR沉浸式體驗
除了手機領域外，Prophesee也在可穿戴設備及AR/VR領域進行探索和突破。
Luca Verre相信未來AR/VR將成為我們與世界進行交互的方式，因此，Prophesee正努力盡可能地提升AR/VR技術的沉浸式體驗，比方幫助位姿跟蹤、手勢追蹤、目光跟蹤等減少延遲和降低功耗。這些是提升沉浸式體驗的關鍵。
▲Prophesee在VR應用方面的儲備（圖源：Prophesee）
使用AR/VR設備，如果延遲非常嚴重，使用者可能會感到頭暈、產生暈眩感；如果設備功耗比較高的話，相應的AR/VR設備成本可能會提升，難以在消費市場推廣普及。
而Prophesee的事件視覺技術可以精準檢測目標對象的輪廓，并進行高速追蹤，同樣幾乎不受光線條件的影響。
以眼球追蹤為例，如果使用傳統攝像頭，通常需要達到500幀/秒以上的速度，對算力的要求非常高。與傳統的解決方案相比，事件視覺技術只關注畫面中動態變化的信息，可以大大降低數據量，實現非常高速的追蹤。
去年，Meta公司也發布了基于與Prophesee合作取得的成果和數據，在有限的功耗內實現了高性能的眼球追蹤。
由于事件視覺技術很適合用于捕捉運動的物體信息，Luca Verre說，有人把電動汽車比喻成四個輪子的智能手機，未來Prophesee也將會關注汽車領域。
四、看重在中國投資：團隊規模最大，正在高速增長
在神經擬態視覺技術上，Prophesee核心團隊的研究已經長達25年。大約在8年前，Luca Verre與其合作伙伴們共同成立了Prophesee公司。
他們最初是希望能夠用這項技術來幫助視力受損的人恢復視覺，工作原理有點像用硅做的視網膜，這項工作在2016年取得了成功。從那之后，他們希望能夠把人眼視覺也賦能到一些設備上，特別是在人工智能（AI）和機器視覺領域的物聯網設備、機器人、無人機、智能手機上。
從創建起初，Prophesee團隊就決定要在中國進行投資。Luca Verre非常看好中國市場的巨大市場潛力和豐富的市場資源，以及來自公共和私人領域的投資和良好的生態。
Prophesee副總裁兼大中華區總經理楊雪飛說，中國是Prophesee非常重要的戰略投資和業務拓展方向。目前Prophesee的全球布局中，中國團隊規模最大，增長速度也非常快。
Prophesee的中國總部位于上海，在北京、香港、臺北等各地均有設立支持合作伙伴和客戶的團隊。深圳也是其未來的一個重要布局點。
除了銷售外，Prophesee團隊同樣非常重視開發，去年夏天專門從法國邀請了創始團隊中的一位成員擔任中國區CTO，以帶動中國區市場客戶所需的支持與開發。Prophesee還在加強本地化團隊的技術開發能力及快速地響應能力。
▲在中國，Prophesee截至2022年的工作進展和2023年的計劃（圖源：Prophesee）
到2022年為止，Prophesee的很多工作都是鋪墊性的。
Prophesee與中國區合作伙伴進行了大量合作，包括如清華大學在內的超過30所大學院校、大專院校以及研究所單位。面向工業類、應用類，它與小米、索尼等大量的ToB企業進行合作，開發不同產品系列上的可能應用。去年Prophesee還在中國找到了相機合作廠商。
進入2023年，Prophesee逐漸開始收獲：首先會推出Prophesee的中文版官方網站，并將建立以中文交流為主的開發者社區，方便與中國合作伙伴一起把技術交流和研發推向一個更廣闊的前景。
在大量前期研發合作的基礎上，今年，Prophesee有兩大應用進入到了成熟階段，除了在MWC巴塞羅那展上獲獎的手機Deblur應用方案外，IoT方案也將于今年量產落地。
Prophesee正在加快與中國區合作伙伴開發部署很多潛在的優秀應用場景，包括VR眼球追蹤、真人動作捕捉等技術。Prophesee今年還會推出針對高速3D深度信息獲取的解決方案，將大幅提升捕捉速度，在更高速運動過程中進行3D信息傳輸。
結語：解鎖成像與機器視覺的更多可能
隨著AI、工業自動化、物聯網、VR/AR、自動駕駛等新興產業加速發展，新時代的算力需求亟待更強大的芯片來承擔更高的視覺處理需求。
事件視覺技術通過模擬人眼感知處理信息的方式，為重新定義當今的成像和機器視覺、解鎖更多應用創造了全新可能。
