智東西（公眾號：zhidxcom）
文 | 小智
虛實無界，創新無限。
4月16日，由智能行業第一媒體智東西及全球酷玩試用導購平臺極果共同主辦的2016中國（北京）VR/AR產業峰會在北京新云南皇冠假日酒店揭開大幕。在這場千人行業盛會上，來自政府主管部門、學術界和產業鏈各方超過40余位大佬登臺演講交鋒，直擊VR/AR產業痛點，分享了最前沿的實踐、思考和判斷。
在下午的演講環節中，英偉達亞太GPU產品總監林耀南發表了名為“一沙一世界一花一天堂 化虛擬為現實之術”的主題演講，解密圖形處理在VR時代的核心技術和解決方案。
以下為林耀南演講的要點精摘：
1.虛擬現實技術影響體驗最重要的一個問題就是眩暈感，因其對延遲極為敏感。頭盔延遲為11 ms，而擺頭到重新顯示，全部延遲加起來要小于20 ms。
2.在響應速度快的同時，還要還原圖像的真實度。在解決這些問題時，英偉達針對VR游戲開發者與頭盔開發者制作的SDK包括：
針對游戲開發者的MULTIRES SHADING，用新的方法提高VR渲染性能；VR SLI，通過多個GPU來提升性能；
針對頭盔開發者的CONTEXT PRIORITY，通過異步Time warp使頭部運動反饋的延遲最小化；DIRECT MODE，使GPU與頭戴式可視設備間具有良好的即插即用兼容性；FRONT BUFFER RENDERING，通過直接對前緩沖渲染來減少延遲。
3.英偉達認為VR平臺的建立應該將三個層級分開，即
消費級，如VR游戲和娛樂PC，涉及到全景視頻的捕獲；
專業級，如VR工作站和體驗館，涉及到全景視頻捕獲和流化；
移動級，如移動VR頭戴設備，涉及到嵌入式視頻捕獲和流化。
4.技術如何幫助構建VR生態系統？當然是需要解決其中最具體最根本的技術問題。每一個環節面臨的問題是：
頭盔設備：降低延遲, 提升解析度與刷新率；
平臺和應用商店：即載即用的驅動相容性；
游戲引擎:華麗的特效, 更高的幀速率；
信息的輸入和捕捉：低延遲, 機器視覺，深度學習；
拍攝和直播：轉碼加速，360°視頻拼接；
在這樣的平臺上，應用開發者才能發揮出最大的創造力。
5.在AR方面，圖形圖像非常豐富，而畫面與現實環境的融合對機器視覺提出的要求，決定了GPU性能必須持續發展。
以下為林耀南在2016中國（北京）VR/AR產業峰會上的演講全文：
我先問大家一個問題，交女朋友最重要的問題是什么？
回答：漂亮。
林耀南：漂亮是第一印象。
交女朋友最重要的事情第除了第一印象還有第一次約會。女孩交男朋友最重要是第一印象，第一次體驗很重要，第一次印象搞砸了，這個產業就不要玩了，因為工作關系我很早期接觸VR/AR的設計，開始玩它。
我可以看到很多很棒的設計，很棒的VR體驗，但有時候會遇到比較差的VR體驗，比較差的VR體驗怎么來？因為不夠快。到底要多快呢？VR體驗從頭到尾要20個minisecond，顯卡到擺頭只有9個mini秒，天下武功為快不破，所以快非常重要。
快之外還有一點就是知識，我們要講虛擬現實，虛擬現實不是講虛擬，重點在現實。所以怎么樣兼具那個快還要達到現實，這就是NVIDIA的專長。
今天聽到很多VR體驗全都是在這里頭，這都是用NVIDIA的特異功能，這是攀登聲母峰的DAMO，這是美國圖形開發者大會Mars2030的VR，這也是用NVIDIA的技術。
還有星際迷航的光劍也是NVIDIA，NVIDIA已經用到游戲開發商以及硬件開發商這里。
這是五個特異功能，包括兩個部分，左邊是游戲開發者做的，右邊三個是頭盔開發者做的。
大家中午吃飯如果離開自己公司到外面吃飯回來最快要多少？有沒有一小時的？我看到有點頭，有沒有半小時？沒有人點頭。有。也有半小時。如果說今天我要是出去吃飯，再回來老板跟我講說，可不可以不要30分鐘，我們 最近很忙，會不會覺得老板很過分，會，真的很過分。世界上有兩種對，一個是道理對一個是老板對，VR世界里面眼睛告訴你，世界上最快的顯卡、設備、眼鏡，眼睛告訴你說，不行，我有點暈，是一樣的道理。
我們吃飯先把菜點好，把車打好到那邊吃，吃飯吃到一半，人只有兩只手變成四只手，多余兩只手剝橘子皮，這個特異功能做這些事，我盡量用非技術的方式來講，我用5分鐘說技術。
第一，MULTIRES SHADING，反扭曲，經過反扭曲看到很漂亮世界，NVIDIA發現有一些貓膩。這個東西在你的眼鏡里面其實是沒有完全成像，只成像一半，大部分的地方都是黑的，這些都沒有成像，我為什么要畫那么大？我畫了150分最后顯示100分，太浪費。你看這一角，最后顯現出來七分之一不到。這就是浪費，所以NVIDIA的特異功能，切成9個部分，根據9個部分，中間形變最少采取100%的分辨率，剩下的開發商可以自己填，填完之后在沒有減少你視覺的差異底下，你填上以后還是100%，沒有一點浪費。
一個游戲被切成9個，同時跑9個游戲浪費時間，依序處理這9個在不同的時間點。NVIDIA在5年前，我們可以同時處理9個游戲完全不占用任何時間，一次過去。所以它是完全同步的。
我們就可以得到很好的補償，原來你在中間看到東西是比較好的，你在旁邊看到是比較差的，那我們都用最過的像素密度繪圖，現在不用了，在邊緣的地方下降，減少浪費。
既然可以做減少浪費就有更高端技術出來。我抓到了，你現在比原來只還要差，作弊，這并不是。我們在3D，你看著我就看不到后面，今天更厲害的3D電影比 《阿凡達》還舒適，中間清楚，旁邊再模糊一點。NVIDIA可以切成9個，讓你游戲增加50%的效能。
第一個記錄，目前最新記錄有人打算試試看，12個小時之內沒有做任何事就增加50%的效能，以前記錄一個禮拜增加30%。
用了三天，把一個場景不小心增加100%的效能，50%的效能970當作980來用，300美金變成650美金。
第二個功能，就是VR SLI，它需要用CPU，確保兩個眼睛看到同一點。
眼鏡開發商、頭盔開發商也會導入一些功能。大家有沒有知道SKII有一個東西叫Petria，Context由于Petria，做VR眼鏡，我畫這里頭跑到這邊，頭往右邊看到這張，頭往左邊也看到這張，頭就暈了。TMIEWARP，針對你要畫的地方畫一點，根據陀螺儀跑這邊抓這一張，這樣不會頭暈。但是這要用掉一個Context，你的顯卡不能畫下一張圖，一到90幀，沒來，重復貼第一幀，我們裝的兩倍Petria的SKII給你。Context要有優先權，因為它馬上要顯示。
再來就是DIRECTMODE，什么樣眼鏡就要插顯卡，不要跟微軟講，微軟就不知道插的第二臺應用進來，再此就不會有延伸桌面。
第五個功能，叫FRONT BUFFER，顯卡把游戲的畫面畫在后面。我們剛剛講，天下武功為快不破，頭盔知道怎么拿的情況下，顯卡直接把圖放到前面口袋，同時我一拿出來的瞬間，屏幕就像拿了，我們就分析下去拿，都不會打結，這會快很多，這是非常跳脫在盒子之外的思考，才能夠減少很多的浪費。
五個非常棒的SDK，它被用在不只是GeForce還有專業繪圖卡上面，還有Tegra。
VR的應用會被用在各個部分，這個地方我想大家知道。
NVIDIA的技術幫助整個架構技術系統，頭盔設備降低延時提高分辨率和刷新率，游戲引擎跟引擎做華麗的特效，高的幀速率，應用開發還需要電腦視覺，還有深度學習。在直播這邊要用到高速運算。
AR，未來非常看好，我也很看好，在AR上面不只要豐富的圖形還有一個很重要的，AR疊在空間的人頭上，不管怎么跑不可以歪掉，要電腦視覺，這都是GPU必須發展的地方。NVIDIA的技術跟大家一起同在，你甩都甩不掉。
今天主題是一沙一世界，一花一天堂，告訴大家怎么樣化現實為虛擬之術，今天的國人講爆點，12小時增加50%的效能，做的是VR的特別版。4.1已經發布了，我們在昨天晚上11點也把它做完了，有做RV開發，用引擎的就可以跟我聯絡，特異功能你也有，就是周星弛說的你想學，我教你。
第一，VR/AR從我的觀念，它是一個枯木逢春的產業，在座的前輩，王捷已經做超久了，但是到一個時間點就爆發，這跟《阿凡達》是一樣的，《阿凡達》3D電影已經存在，突然間大爆發，現在電影常常有3D眼鏡，VR一旦進去現在爆發就停不了，VR爆了之后就會爆AR，大家一起做，所以對我來講VR/AR就是枯木逢春。
第二點，VR/AR的生態系統，生態系統沒有憑空產生的，就像地球的演化，從原有的生態系長出來，VR/AR的生態系來自于GPU、圖形就已經存在的生態系，各種游戲產業、設計產業各種國防等等的還有醫療產業，VR生態系建筑于GPU的生態系之上。
最后，VR，對我來講是RV，現實虛擬。
謝謝。
