智東西（公眾號：zhidxcom）
文 | Lina
智東西4月25日消息，今天，為期三天的ICLR國際學習表征會議（International Conference on Learning Representations）在法國土倫舉行。
可別小看ICLR這個名字拗口的大會，它可是由深度學習三巨頭之二——Yann LeCun和Yoshua Bengio共同組織舉辦的，ICLR雖然只舉辦了5年，但隨著深度學習的日漸火熱，這一聲名鵲起的學術大會已然成為深度學習領域最重要的會議之一。
這三天里，來自世界各地的機器學習專家大牛集聚一堂，探討有關表征學習、深度學習等最技術中最為前沿的發展。其研究主旨大概可以總結為一句：如何讓算法的應用更廣、消耗更少、開源節流。這些技術應用的領域范圍也非常廣泛，視覺、語音、文字理解、游戲、音樂等等，不一而足。（大會的21個演講見文內表格）
本文將介紹ICLR的3篇最佳論文、6位學術大牛，21個主題演講、以及業內人士對于這個會議態度不一的看法，還有贊助商小八卦喲~
一、ICLR的前世今生
（左Yoshua Bengio，右Yann LeCun）
從1999年以來，Yann LeCun和Yoshua Bengio這兩位大牛就一同組織過不少學術研討會，第一屆ICLR在2013年美國亞利桑州斯科茨代爾市舉辦，共有28篇論文入選，今年這一數字飆升到了648篇（490篇Conforence Track公開論文，以及158篇Workshop Track研討會論文）
主辦人之一Yann LeCun是現任Facebook人工智能研究院的院長，兼任美國紐約大學教授，同時還是深度學習重要分支——卷積神經網絡（CNN, Convolutional Neural Nets）的發明人之一；此前曾來北京清華大學做過一次《深度學習與AI未來》的主題演講，智東西也去到了現場（一票難求的清華深度學習課！我們“偷”來了全套干貨）。
至于Yoshua Bengio則是加拿大蒙特利爾大學的全職教授，同時也是蒙特利爾學習算法研究所（MILA）的負責人；Google去年年底宣布在蒙特利爾設立一個深度學習和人工智能研究部門，并為包括Yoshua Bengio在內的蒙特利爾學習算法學院8為學究提供了337萬美元的研究資金。
二、3篇最佳論文
（人聲鼎沸的大會現場）
雖然大會才剛剛拉開帷幕，但是其中三篇最佳論文已經在開幕前由ICLR組委會評選而出。大會舉行的三天當中，每天都有一篇最佳論文的演講。這三篇論文的主題分別為：簡化神經編程算法架構、保護訓練數據隱私、以及一篇最具爭議性的——主題為實際談論模型復雜性的論文。
這三篇最佳論文分別為：
1、《了解深度學習需要重新思考泛化 (Understanding deep learning requires rethinking generalization)》
本文來自美國麻省理工大學、谷歌、以及加州伯克利大學，第一署名作者為麻省理工大學的Chiyuan Zhang。
概要：基于同樣大數據樣本的不同算法也能獲得相似結論，一個具有足夠規模參數的簡單淺層網絡能夠產生完美的有限樣本表達性。文章引入非結構化的噪音數據進行測試，證實了圖像識別算法模型的可靠性。
2、《基于隱私數據訓練的半監督式知識轉化深度學習算法 (Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data)》
本文來自賓夕法尼亞州立大學、谷歌、以及OpenAI，第一署名作者為賓夕法尼亞州立大學的Nicolas Papernot。
概要：由于一些機器學習應用（如臨床醫療病例）的的訓練涉及到敏感數據，而模型可能會無意中泄露用戶隱私，文章引入噪音數據和黑盒算法，實現對隱私數據的保護。
3、《通過遞歸法使神經編程架構更為廣泛化 (Making Neural Programming Architectures Generalize via Recursion)》
本文來自加州大學伯克利分校，聯合署名作者為：Jonathon Cai, Richard Shin, Dawn Song。
概要：由于通過數據學習的神經網絡比較雜亂，本文提出了一種應用于神經網絡解譯程式的遞歸算法，包括四項任務：基礎運算、冒泡算法、拓撲類、快速排序，將任務細分化，增強數據訓練的準確性。
值得一提的是第一篇《了解深度學習需要重新思考泛化》論文，文章一經評選，立刻引發一陣激烈討論。有人認為這篇論文做了一項十分具有顛覆性的工作，將會啟發未來數年里有關深度學習的研究；也有人認為這篇論文被高估了，其中指出泛化對隨機標簽是個糟糕的問題這個觀點“沒有什么意思”；不過，大多人也有不少人與智東西持一樣的態度，有爭議、能夠引發大家討論的文章，才是有意思的文章，畢竟深度學習還是一門發展中的科學，好與壞本身都太主觀。
除了三篇最佳論文外，ICLR還別出心裁地設立了最佳評論獎，選出了15位對論文內容的評論及后續討論最有價值的留言者，每位給予100美元的鼓勵。
三、6位主講大牛與21個演講
如上文提到的，從大會的整體趨勢而言，研究主旨大概可以總結為一句：如何讓算法的應用更廣、消耗更少、開源節流。而細分到具體論文主題則包括：尋找廣義算法、解決大數據處理/圖像信息處理的問題、引入數學/統計學優化算法提高效率和容錯性/魯棒性、多任務合作等。
大會邀請了15位論文發布者進行演講展示，其中就包括了三篇最佳論文。此外還有6位相關領域的大牛進行特邀嘉賓演講，六位演講嘉賓包括：
1）Eero Simoncelli，美國紐約大學白銀教授（Yann LeCun在紐約大學也是這個稱號，Silver Professor），IEEE 國際電子技術與信息科學工程師協會會員。
2）Benjamin Recht，美國加州伯克利大學電子工程和計算機科學學院。
3）Chloé-Agathe Azencott，法國巴黎高等礦業學院計算生物學系，法國巴黎居里研究所及法國國家科研中心研究員。
4）Riccardo Zecchina，意大利博科尼大學理論物理學系，都靈人類基因基金會項目負責人。
5）Regina Barzilay，美國麻省理工大學電氣工程及計算機科學系，微軟研究員，麻省理工大學自然語言處理研究小組成員。
6）Alex Graves，加拿大多倫多大學計算機科學系。值得一提的是，多倫多大學計算機科學系負責人Geoffrey Hinton正是第三位深度學習巨頭，除了教授身份外，Geoffrey Hinton還任谷歌大腦的多倫多分布負責人，同時也是多倫多向量學院的首席科學顧問。曾在2012年的ImageNet比賽中憑借深度學習一舉創下計算機圖片分辨正確率新高。
（左Geoffrey Hinton，右Yann LeCun）
大會所有演講的流程如下：
四、贊助商變遷史
好了，學術講得差不多了，我們說點有趣的——ICLR贊助商的變遷歷史，仔細探究會發現非常有趣。細心的人在看到上文演講流程時會發現，有三部分會議環節中標注著“百度贊助”、“谷歌贊助”和“亞馬遜贊助”。ICLR的贊助商分為白金、金、銀、銅四個級別，毫不意外地，這三家企業都是白金級別的贊助商，也都是在近期十分看重人工智能、深度學習的企業。尤其是谷歌，從2013年的第一屆ICLR開始就開始對其進行贊助。
除了百度、谷歌、亞馬遜之外，今年的白金贊助商還有DeepMind、Facebook、英特爾、英偉達、Salesforce。去年的白金贊助商只有4個，今年多達8個，猛增了一倍之多，可見各家企業對深度學習及這場大會的重視程度。值得一提的，國內創企深鑒科技也在贊助商的名單上，其聯合創始人韓松有兩篇論文入選。
（2017年ICLR贊助商名單）
（英偉達在ICLR會上的展臺）
五、行業聲音
智東西也去問到了AI及深度學習的從業者們，看看他們是怎么看待這場熱鬧的大會的。
在回答智東西提出的“我們大概什么時候能看到ICLR的新技術的應用落地？”時，身處土倫現場的英偉達大中華區高性能計算及Applied Deep Learning部門技術總監賴俊杰博士表示，這個會議相對來說不是特別重視應用。而他本次來的關注點并非最佳論文，而是更側重訓練加速（Training Acceleration）、量化（Quantification）、剪枝法（Pruning）等領域，尤其是在剪枝法方面，馬里蘭大學和英偉達研究院都有一些相關技術的新進展。
網友李嫣然則從更學術的角度解讀了本次ICLR，她認為縱觀本次ICLR 2017論文可以看出，GAN（生成式對抗網絡）確實火得不能再火。在這次 ICLR 2017全部GAN 的論文里，主要集中在三個方向：如何提高GAN穩定性，用新角度/框架去理解和建模GAN，以及GAN 與 （semi）-supervised 的結合。而除了GAN外，其實Attention和 Memory這倆已經火了兩年的方向也還在發展。
極視角聯合創始人羅韻更是直言道，“GAN簡直稱霸半邊天，Generative這個詞的出現頻率簡直。。厲害了word的哥。。。”
不過，行業內也有不同聲音存在。曾在百度硅谷研究院工作、現為SLAM創企業Perceptln聯合創始人劉少山認為，（關于ICLR熱度不斷上升這方面）其實是挺好玩兒的一個現象。學術捧得比較高的一個東西，在到底在工程上能不能做，其實未必。在深度學習和SLAM各個方面我們看過很多論文很好，但未必能實現（的項目），很少像AlphaGo這樣，實現出來能有用，能應用到具體場景里面。
?結語、結結實實火了起來的深度學習
隨著2012年神經網絡在ImageNet獲得重大突破以來，以深度學習為主的人工智能浪潮已經漸漸涌來，在最近一年里更是勢頭強勁，迅速占領了街頭巷尾。無論你贊成還是反對，看好還是唱衰，深度學習都已經來到了你身邊，從早年無人知曉的ICLR大會如今人滿為患、贊助廠商翻倍、論文如紙片般飛來的現狀可見一斑。
深度學習，這個看似玄幻的科技詞匯，已經著著實實火了起來。
但也正是由于這股熱潮來臨，深度學習、機器學習、人工智能這三個概念被一度混淆，深度學習算法作為機器學習算法的一種，隸屬于人工智能這個大范疇內。近年來，深度學習在語音、圖像的檢索分類方面取得突破性進展的同時，它在訓練數據過大、訓練時間過長、計算功耗太大、難以大范圍推廣應用等問題上依舊存在局限，并不是解決人工智能的萬能之策。
每日一頭條
趨勢·深度·犀利·干貨，最專業的行業解讀
深喉爆料、投稿：guoren@jmfly.net
