智東西（公眾號：zhidxcom）
編｜十四 小智
最受矚目的AR公司Magic Leap目前已經完成8.27億美元的C輪融資，總估值達45億美元。
4月21日，美國專利商標局披露了其最新的7項專利，主要介紹了Magic Leap的光路模塊的主要結構及相關的投影，圖像傳輸和調制技術。
實際上，Magic Leap在中國以奇躍公司的名義很早就開始進行了專利積累。本期智能內參就來解讀包括最新專利在內的Magic Leap光學和計算模塊的多項核心技術。
在智東西（公眾號：zhidxcom）分別回復關鍵詞“美國專利”和“中國專利”獲取以下全部專利報告。
以下，為智東西（公眾號：zhidxcom）所摘選并編譯的關鍵要點：
光學模塊：
光學模塊涉及到的專利共有8項，分別是：
1.人體工程學頭戴式顯示設備和光學系統
專利申請號：201180068447.7
特點：包覆型透視顯示系統設計。
2.具有相互遮擋和不透明度控制能力的用于光學透視頭戴顯示器的設備
專利申請號：201380029550.X
特點：調制透視圖像路徑和虛擬圖像路徑。
3.三維虛擬和增強現實顯示系統
專利申請號：201280067730.2
特點：選擇性透明的投射裝置。
4.具有主動中央凹能力的寬視場 (FOV) 成像設備
專利申請號：201380029492.0
特點：圖像捕捉，寬視場圖像的可控感興趣區域。
5.使用波導反射器陣列投射器的多深度平面三維顯示器
專利申請號：201380042218.7
特點：線性波導的二維陣列，模擬4D光場。
6.超高分辨率掃描光纖顯示器
專利申請號：201480014814.9
特點：一種用于掃描電磁成像輻射的緊湊系統。
7.人機工程學的頭戴顯示設備和光學系統
專利申請號：201380058207.8
特點：自由形態光波導棱鏡和補償透鏡，允許實現眼鏡形狀外觀和寬的透視視場 (FOV)。
8.顯示系統和方法
專利申請號：201480027589.2
特點：具體的外殼框架、透鏡組合等。
光學模塊的技術專利主要解決以下3個問題：
1、光路：使用波導反射器陣列投射器的多深度平面三維顯示器
Magic Leap光學系統包含了一個圖像生成源(隨時間變化，提供一個或多個圖像數據框架)，一個光調制器（配置與圖像生成源關聯的傳輸光），一個將圖像信息直接傳到用戶眼球的基元（包括多個傳輸光反射器，包括第一眼球視角、第二視角……）。
2、用于VR/AR的可尋址焦點自由態光學系統立體視覺顯示
這項系統的美國專利編號為20160011419，是應用于自由形態光波導的幾種計算硬件和方法，及其具體制作方式。
該系統包括初級自由形態光學元件、拓寬視場的二級自由形態光學元件（平鋪陣列）。此外，元件之間會設置多種 聚焦體系來調焦，避免輻輳調節沖突，進行渲染。
現實世界的光會通過設備出來的參考光，被合理地映射。而虛擬圖像，可以通過計算，由系統利用參考光來產生。
3、核心技術：光場顯示
據紐約州立大學石溪分校終身教授，顧險峰教授認為，Magic Leap的核心技術在于光場顯示，即利用光纖陣列顯示光場信息：激光經由透鏡系統輸出，在空中畫出了一簇射線，同步地改變經過顏色和強度，一根纖維利用分時技術得到一幅圖像。
其中，光場信息則來源于真實自然中采集，并轉化而成的數字射線。計算單元可以利用渲染，生成各種角度的圖像，無需建立幾何模型、紋理模型和光照模型。
專利文件顯示，Magic Leap利用可以進行擺動的光纖陣列，調節虛擬圖像光信息的入射方向，以及聚焦情況。其中，單個光纖直徑為700微米，光纖末梢直徑僅50微米。
光纖出射的虛擬圖像通過眼鏡上可調節位置的反射單元，與現實世界的圖像信息一起，入射到視網膜上。于此同時，現實世界的影像也可以通過眼鏡上的可調反、透射光鏡來調節清晰度。
也就是說用戶可以主動選擇性聚焦，一只虛擬的貓就放在了近處，你看它的時候就是實的，你看遠處的城堡的時候，這只貓就是虛的，和真實情況一樣，所以不會有暈眩感。虛擬圖像和現實圖像的清晰度調節效果如下圖所示。
但這也就要求Magic Leap的設備能精確的調控機械部件，使得每一個纖維都穩定自然地顫動，并且顫動的模式要和數據傳輸相互同步，不受外界噪音的影響。
計算模塊
計算模塊涉及到的專利共有3項，分別是：
1.大量同時遠程數字呈現世界
專利申請號：201280032550.0
特點：呈現一個或多個虛擬世界。
2.用于增強和虛擬現實的系統和方法
專利申請號：201280064922.8
特點：多用戶交互系統，包括處理器、存儲器、軟件等。
3.用于增強和虛擬現實的系統與方法
專利申請號：201480026513.8
特點：數據計算、存儲和傳輸。
計算模塊的技術專利主要解決以下5個問題：
1、圖像處理中樞
傳統的顯示技術只需要計算四維光場中的一個二維切片，而光場顯示需要計算整個四維光場，其計算復雜度提高幾個數量級，這是技術瓶頸之一。
Magic Leap圖形處理系統的美國專利編號為20160026253。系統包含圖像俘獲裝置和通訊耦合處理器。
其中，圖像俘獲裝置用于獲取一個或多個圖像，該圖像相當于AR頭戴設備用戶的視場；通訊耦合處理器可使圖像俘獲裝置從一系列圖像中提取一系列節點圖，并在其中識別一系列稀疏節點和緊密節點，來形成歸一化的節點圖。
2、多硬件交互系統
這項系統的美國專利編號為20160005326。系統可為用戶提供多維的，時間演化的，動作敏感的輸入、輸出的沉浸式，環境適應性體驗。
該系統可用于聯網設備，比如移動平板，并可傳輸適用于增強現實的三維、隨時的內容模型。因此，現實世界中，用戶通過聯網設備，可將物理運動投射到虛擬世界。
此外，系統也采用了圖像認知技術，來區分現實世界的物質，并顯示在界面。此外，系統還能將電腦合成的虛擬圖像重疊到現實圖像中去。
3、多用戶交互系統
這項系統的美國專利編號為20160100034，是允許兩個或更多用戶在包含虛擬數據，計算網絡和設備的虛擬世界互動的系統。
系統包括一個或多個計算設備包括內存，處理線路，以及至少部分存儲在內存并在處理線路內至少可以處理 部分虛擬世界數據的軟件；其中至少虛擬世界數據的第一部分源于從虛擬世界本地的第一用戶到第一用戶。
計算網絡用于將第一部分傳輸到用戶設備來呈現給第二用戶，這樣一來，第二用戶 就可以在本地體驗到第一部分，因此第一用戶虛擬世界的一部分就被有效地傳送給了第二用戶。
4、社會情感學習工具包
編號為20160026253的專利，介紹了Magic Leap社會情感學習工具包采集的數據以及調控的效果。
用于虛擬和 / 或增加用戶體驗的系統被配置為使得可以至少部分地基于具有來自諸如語音音調變化分析和面部識別分析(如由相關軟件模塊執行的)監測頭部移動、 體溫、 心跳等源的輸入的可穿戴設備上的數據使與用戶相關聯的遠程化身進行動畫。此外， 可以以化身好像表達某種情感的方式使得化身角色進行動畫。 例如， 在化身是狗的實施例中， 由人類用戶的本地的系統檢測到的高興的微笑或語調在化身中可以被表示成搖著尾巴的狗的化身。
以上圖的對比為例，可以基于在用戶面孔上的微笑的面部識別， 或基于語音或說話的友好語調 ( 如由被配置為分析至麥克風(其可從用戶本地地捕獲語音樣本)的語音輸入的軟件來確定， 使得右圖的蜜蜂化身 進行動畫以具有友好的微笑。
5、定位追蹤
編號為20160026253的專利，還介紹了Magic Leap的定位追蹤系統，主要由用戶感測系統和環境感測系統協同作用來解釋場景信息。
相應的傳感組件包括了：接口系統100，服務器 110，網關組件 140，頭戴式系統300，數據接口 302，顯示器303，用戶感測系統304，境感測系統306，處理器 308，傳感器310，312。
其中用戶感測系統 304 可以包括：
用于接收來自用戶的語音輸入的擴音器， 一個或多個紅外照相機傳感器， 一個或多個可見光譜照相機傳感器，構造的光發射器和 / 或傳感器、，紅外光發射器， 相干光發射器和 /或傳感器， 陀螺儀， 加速計， 磁力計， 近程傳感器， GPS傳感器， 超聲波發射器和檢測器以及觸覺接口。
環境感測系統306：
用途：可用于通過檢測和登記本地環境 （包括靜態對象、 動態對象、 人、 手勢和各種照明、 大氣和聲學條件）來映射用戶周圍的物理環境的一個或多個元素。在一些實施例中， 其可以包括嵌入到本地計算系統中的基于圖像的 3D 重構軟件， 其可操作以便對傳感器 312 所檢測到的一個或多個對象或信息進行數字重構。
功能：環境感測系統 306 提供了以下中的一個或多個 功能： 動作捕捉數據 （包括手勢識別） 、 深度感測、 面部識別、 對象識別、 唯一的對象特性識別、 語音 / 音頻識別和處理、 聲源定位、 降噪、 紅外線或類似的激光投影、 以及單色和 / 或彩色 CMOS 傳感器 （或其它類似的傳感器） 、 視野傳感器， 以及各種其它光學增強型傳感器。
構成：環境感測系統306可以包括上面提到組件之外的所有傳感設施。包括用于接收來自本地環境的音頻麥克風、一個或多個紅外照像機傳感器、 一個或多個可見光譜照相機傳感器、 結構光發射器和 / 或傳感器、 紅外光發射器、 相干光發射器和 / 或傳感器、 陀螺儀、 加速計、 磁力計、 近程傳感器、GPS 傳感器、 超聲波發射器和檢測器以及觸覺接口。
傳感器310包括：照相機或光學檢測/掃描電路， 其能夠檢測用戶的實時光學特征/測量結果， 例如以下中的一個或多個 ： 瞳孔收縮/擴張、 每個瞳孔的角度測量/定位、 球度（spherocity） 、 眼睛形狀 （如眼睛形狀隨時間改變）以及其它解剖數據。
傳感器 312 可以包括：通常面朝外部的照相機或掃描儀。
總結
除了計算、存儲元件等方面的進步，可以看到，Magic Leap專利中光路模塊設計方面很有亮點。
Magic Leap采用了大量的自由形態波導，來實現人工學設計，并輔以光路補償。而將掃描電磁成像輻射集成化的成果，應用于AR設備，也很有新意。
不過，之前為賣點的仿神經網絡，似乎還沒有在這幾份專利書中很明顯的表現出來。
重要的事情再說一遍：在智東西（公眾號：zhidxcom）分別回復關鍵詞“美國專利”和“中國專利”獲取以下全部專利報告。
