智東西（公眾號：zhidxcom）
文 | 小智
虛實無界，創新無限。
4月16日，由智能行業第一媒體智東西及全球酷玩試用導購平臺極果共同主辦的2016中國（北京）VR/AR產業峰會在北京新云南皇冠假日酒店揭開大幕。在這場千人行業盛會上，來自政府主管部門、學術界和產業鏈各方超過40余位大佬登臺演講交鋒，直擊VR/AR產業痛點，分享了最前沿的實踐、思考和判斷。
在下午的演講環節中，理光軟件研究所董事總經理于浩發表了名為“VR/AR與機器視覺智能”的主題演講，由機器視覺智能的角度透視VR視覺核心技術。
以下為于浩演講的要點精摘：
1.AR/VR，做不好UI都白搭。VR的UI要逼近真實世界，而AR要把真實世界變成UI。AR/VR的終極目標是人與信息的無縫融合，既沒有硬件，也沒有接口。
2.AR/VR，脫離現實都抓瞎。最核心的是與現實世界的融合。VR的關鍵是用戶體驗，AR的關鍵是信息增值。產品本身對現實的感知力是VR/AR共同的關鍵。
3.如何提高產品本身對現實的感知力？做好機器視覺能解決這個問題。理光研究所在VR/AR方面的技術儲備在于：光學捕捉設備，機器視覺處理能力，智能化人機交互，收集并加工交互過程中積累的數據。
4.全景視覺的應用方面，理光做過的嘗試有通訊，監控，房地產等等。
5.立體視覺是通過多相機標定，對背景建模并進行目標檢測和跟蹤，將圖像增強并進行三維重建。實際上自動駕駛技術就需要這方面的應用。
6.人機交互要通過3D相機捕捉體感的手勢等進行識別，并進行圖像合成。可以應用在體感游戲，虛擬購物，甚至還能進行虛擬的自拍。
以下為于浩在2016中國（北京）VR/AR產業峰會上的演講全文：
非常高興在這里分享VR/AR相關技術研發的情況。
在開始我的報告之前，我首先先想講一下我聽到現在的一些感想，給大家提出三個問題，希望大家帶著這三個問題一起考慮VR/AR的發展。
首先，包括在下面的演示，包括前面幾位大咖的介紹，講了很多VR/AR終端設備往往提到眼鏡、頭盔，簡單說是這種信息共享終端。我就想問第一個問題，VR/AR的數據收集終端或者說內容制造終端是怎么樣的一個情況呢？
第二個問題，聽到現在為止，談到VR/AR往往都會談到娛樂、電影也好、游戲也好，當然也有幾位提到垂直行業。VR除了娛樂行業之外其它行業是怎么樣發展。
第三個問題，現在往往提到設備、內容好像只有設備內容就OK了，比如說我們有手機、有眼鏡，這種信息大規模，大量的海量信息怎么樣從你的手機傳到你的眼鏡？用什么樣的通訊手段呢？藍牙恐怕是不行，用其它手段？什么樣的手段，這也是需要我們考慮的問題。
我想帶著三個問題進入演講環節。
三個問題之后我又想提出三個觀點。
第一個觀點，VR/AR做不好，UI都白搭。我個人認為VR/AR是UI的延長，UI先叫接口，以前的說法人機接口，人和計算機進行數據交換的接口。從最早的計算機需要鍵盤、鼠標，現在也會用到進行信息輸入。隨著發展，硬件逐漸被消失，大家用pad手指點或者語音輸入，硬件會逐漸消失。進一步VR/AR終極目標是人與信息的完全的無縫融合，就像那時候既沒有硬件也沒有接口，那么就是人和信息整個的融合，這個應該是它整個終極目標。
在這里也分享一下對VR/AR區分的看法。我們認為VR是讓UI更加逼近真實世界。換句話說用V更好實現R，這是我們對VR的定義。
AR，換句話說在實現足夠好的R的時候，又讓人重新進入到這個R，我們在這里把它定義為AR。
第一個概念，VR/AR都是跟UI緊密結合在一起。
第二個觀點，VR/AR脫離現實都抓瞎。同樣AR也好、VR也好，最核心還是那個R，實際的世界怎么樣去描述這樣的實際的世界，怎么讓虛擬世界和真實世界融合，總之現實、真實是最核心的，這是第二個觀念，這是分開AR和VR的作用。我們認為VR還是剛才說的盡可能真實描述這樣的現實，在這里用戶體驗是最重要核心價值。而在AR方面，換句話說在已經很好描述虛擬世界，當我們人作為主體進入這樣一個世界的時候，你怎么樣去創造一些新的價值，這是AR的核心。在這里我們想說，不管是VR/AR最終結合的實際落腳點在現實在R，我們提出內容、人機交互，產品帶來的是VR/AR的關鍵。
第三個觀點。VR/AR機器視覺不能差。既然我們要描述一個真實的世界，既然我們要去進入到這樣的被我們描述真實世界，在這里通過什么樣的手段進入這樣的世界、描述這樣的世界？前面有嘉賓提到，我們周圍信息大約70%是通過視覺視頻得到，在這里我們提出來，也是我們研發中心的研發方向，視覺在提供更大更多更好的作用，機器視覺不能差。
進入我們的正題，VR/AR與機器視覺。
簡單介紹一下理光，我剛才看一下發表的嘉賓，只有我們一家公司是真正的外資公司。理光今年成立80周年，是一家日本公司。大家以前熟悉理光的相機，特別數碼相機之前的模擬相機，現在用得比較多多功能機，復印機、打印機這樣的一些融合的多功能機。理光在這樣的一些產品之外還有一些特別跟VR/AR相關很多產品，一層展示區有幾個展示。最左邊有一個超短焦的投影儀放在10厘米的地方，直角投出很大的區域，一方面很方便的投影，另外在VR/AR場景中可以把它藏到天棚中地板下，你看不到投影儀，你走過信息就會投出來。包括界面有全方位360度的相機。
整個產品鏈希望提供給大家不光是辦公設備，特別是目前在工業領域能夠提供相關工業相機，為大家提供整個新的價值鏈。
簡單介紹一下我們公司。我在的公司叫理光軟件研究（北京）有限公司，我們在美國、日本、印度研發中心，在上海也有軟件開發的機構。這是對研究所整個的定位。AR也好、VR也好、人機交互也好，分為兩部分，現實世界有采集的終端，包括有相機包括有各種各樣的交互設備，輸出端有輸出設備，頭盔、打印設備、投影儀等等。我們希望在輸入端和輸出端能夠構建機器視覺智能軟件平臺，利用理光光學捕捉設備，發揮機器視覺處理的人才優勢，提高人和環境的智能化的交互，包括信息的收集、整理、挖掘為業界提供新價值，這是我們新的想法。
下面給大家講講我們講過真實的工作，也希望跟大家在下面有進一步合作的機會。
首先，這是在下面有介紹一款全景相機，RICOH THETA，有雙魚眼鏡頭，每個魚眼鏡頭是180度，合在一起360度，拍出來的相機是一個球體，非常有特色的相機。這種相機大家以前探索在做，但是像我們做得很小巧，功能很完備，而且價格很便宜，國內售價在2400，國外在1700、1800人民幣左右。它的特點，一鍵可以照到360度整個全景。
我們出了第三代，第一代是白色的，兩年前大約這個時候我們在北京舉辦THETA創意大賽，邀請十所高校，北大、清華、北理工等等，每個高校贈送這個相機，利用這個相機想象一下做出什么樣的應用，這是第一代。
第二代出來彩色，下三代叫S，只要MDI接入之后做監控的攝像機可以拍視頻，完全不需要設定做攝像、監控。
林總第一個在臺灣買的THETAs。
我們能做什么？首先是360度視頻實時通訊，大家有電視會議的經驗，電視會議，雙方鏡頭只能拍一個角度，想拍某一個人你看不到，通過我們的相機，每一個會議室的中間放一個THETA相機兼顧會議室的變化，加眼鏡，VR/AR，在北京體驗在上海的感覺，好像我在上海，看到上海會議室的情況，看到單點到多點，點對點的電視會議系統。
第二，做360智能監控。監控攝像頭一般有死角，拍不到地地方怎么辦？用360度監控，放到商場或者是展會做人流監控，通過我們把后端再加上一些人的追蹤的軟件加上之后可以做這樣的追蹤系統。
第三，這是交互房產的展示。房地產在中國是很熱門的一項經濟，所以怎么樣提供房產購物的體驗也是帶來很大的價值。這種思路也很簡單，首先一鍵剛才的相機拿出來拍一個照片，這個照片拍出來是球形的，不適合人本身對房屋的體驗，我們做軟件處理技術，通過多角度視圖拉開，變成三維圖形，變成XYZ三軸空間，可以自由看到你的各個相關的房屋的情況。
下面有一個視頻，這是我們在日本做的一個真實項目。大家看到這個相機放在模特下面，很小巧藏到模特下面，對于商場人走入、流動就可以看到，走近可以進一步看到每個人什么情況。這是一個顯示畫面。這是剛才介紹的房產房屋的感覺，左上角用THETA憑借沒有展開的畫面，右邊自由旋轉角度看房屋構局包括頂視圖，非常簡單，一鍵拍照后期加相關處理就可以給大家非常好的體驗。
下面介紹立體視覺相機。簡單說一般的相機大家都是用單鏡頭，立體視覺的相機是雙鏡頭，是有兩個眼睛。你一個眼睛受傷，當你擋上一個眼睛，你可能面向一個目標走的時候，容易找不到，你對距離和角度的判斷會發生一定的偏失，相機也是，雙目相機更準確判別到你要看物體的位置距離，通過這樣的信息就可以做很多比較有意思的事情。像相機的標定，在監控也好、VR/AR也好是一個很基礎的技術，包括可以對背景的建模，目標追蹤可以用到汽車自由駕駛上，包括圖像增強，三維重建，模型化，這是我提到第一個問題，我們大家一直在關心眼鏡顯示這只是一個方面，我們還應該關心體怎么構建虛擬空間，這是我們提出的方法。而且還能做智能監控，雙目相機可以很好獲得距離的信息，做很好的監控。
這是在前年廣州車展拍的實際視頻，不同顏色的方框表示對一個人的追蹤，另一個面是深度的信息，不同的顏色代表追蹤物體和我們相機距離之間的變化，這樣很準確把人數統計出來，這是廣州車展真實展現，比一般相機準確得多得多。
下面是介紹一下剛才提到超短焦投影儀。我們第一個觀點提到，VR/AR，是在講人機交互的問題，我們也希望能夠做到自然的更加不亞于設備很自由人機交互的手段。比如說我們在座體感手勢的識別，大家用手勢操作計算機做人機交互，包括圖象合成做相關VR/AR的產品。比如這一個例子叫第一視角，模仿一個戴谷歌眼鏡，我們可以通過觸碰物品的動作定義為我要買這樣的動作，比如說用翻頁的動作找到其它相關產品的信息，同樣一本書在其它商場價格搜索等等。VR/AR還有一個很好的觀點或者概念，能自由切換一個視角，用完全不同的視角看世界，像一般的監控都是被動，監控在監控，攝像機拍我，由于眼鏡變成第一視角，作為主體的你第一視角的操作，這樣的變化也是大家注意到的。
第二，體感櫥窗游戲，這是跟北京櫥窗展做的游戲，用手的動作做相關游戲。有兩個人擦玻璃的游戲，你的玻璃被雨水弄模糊了，大家用體感動作操作，誰能先找到里面藏到的寶物。
右邊在北京車展和廣州車展做的人機交互是個小游戲。大家去過車展，車展人非常之多，你想和車或者你喜歡的車模照相幾乎是不可能完全的任務，尤其到最后開放日，我們跟有關媒體合作，事先拍照了車或者車模的照片，人到這個位置拍照，我們把你的照片跟背景摳出來跟車和車模合在一起，大家說這很簡單，剛剛談到比如三維電影都有這樣的情節，但三維電影背景是有限制，比如說用綠色或者藍色整個限制，我們背景是不加限制，我們任何的照片都可以合成在一起，這是在人機交互做的幾個嘗試。
最后講一下工業智能相關的 研發。理光的強項我們有很強的硬件的平臺，包括相機平臺，我們還會生產特殊需求的工業相機。比如說雙目相機，可以用在機器人，雙目相機能夠很準確判斷位置、距離，由相機作為機器人機器手的輸入，作為組裝或者裝配的活動。
像這個比如說我們用到大井深的相機，拍到不同的，不需要聚焦拍到多個物體，通過這個做整個物體的識別，包括顏色的檢測，可以檢測包括屏幕包括什么的。大家覺得VR/AR關系不大，但是我還是想說幾位嘉賓提到VR/AR目前在娛樂業，真正讓它火下去，一直長勝不衰是工業領域。
我們是研究所，我們主要做核心技術，我們輸出專利論文或者原型產品，我們也希望在中國目前創業大潮跟大家一起分享這樣的成果，在今年1月份跟大河創投也是國內創投基金成立大河理光加速器，把我們的一些技術，一些IP拿出來支持創業團隊，大河提供相關的資金支持，這也是剛剛啟動的一個項目，也是希望特別后面創業小伙伴如果感興趣可以跟我聯系。
最后總結一下，到底什么是虛擬？什么是現實？我把VR/AR評成四個階段。莊子夢蝶，莊子是夢成蝴蝶還是蝴蝶夢成莊子，這是第一個階段，當你有什么不滿意的時候你需要去用AR解決一下，真實世界和虛擬世界是分開的，只是一種精神解脫，這可能是VR/AR第一個階段。
第二個階段，大約是十年前特別火的一個游戲，這個游戲我覺得建立真實世界和虛擬世界連接，簡單說我們每個人包括公司都在虛擬世界去建立自己的一個賬號，你在那里面會有第二人生，第二種生活。我說它是第二階段，為什么是第二階段？跟莊子夢蝶，A和R，真實和虛擬還是分開，這時候已經建立一個連接，而且特別有意義的是，還有Linden幣。
第三個階段就是《駭客帝國》，計算機提供生物能，提出一個問題，我的世界到底是真實還是虛擬。比第二個階段進了一步，不光是連接而且可以進入。
第四個階段，賈寶玉夢游（太虛），假作真，時真時假，無為有處有還無，我們在技術上需要是哪兒？是硬件還是軟件，我在這里沒有答案，希望跟大家一起思考，謝謝大家！
