智東西（公眾號：zhidxcom）
作者 | 信儀
編輯 | 漠影
智東西2月3日消息，中科院香港創新研究院人工智能與機器人創新中心人工智能前沿論壇昨日開幕，在上午的開幕及主旨演講環節，來自清華大學、歐洲科學院、香港理工大學和香港科技大學的四位教授分別分享了關于類腦計算、深度學習等人工智能前沿領域的最新見解。
中國科學院自動化研究所所長、香港創新研究院人工智能與機器人研究中心主任徐波研究員在論壇致辭中說，中國科學院香港創新研究院是中科院在香港設立的首個科研機構，是建設粵港澳大灣區具有全球影響力國際科技創新中心的重要組成部分。
▲中國科學院自動化研究所所長徐波（左一） 中國科學院自動化研究所副所長劉成林（右一）
徐波研究員稱，創新中心將圍繞新一代人工智能基礎理論、新型人機交互技術和設備，面向健康和無障礙的智能技術、人工智能開放平臺及似乎等方面開展研究工作，充分結合內地和香港在不同領域的優勢，以幫助大灣區進行科創建設。
在論壇中，清華大學教授施路平、歐洲科學院外籍院士陶大程、香港理工大學講席教授張磊、香港科技大學教授James Kwok分別在線上進行了報告，以分享他們對各自相關領域研究最新進展的見解。
一、施路平：計算機和人工智能發展面臨的挑戰呼喚類腦計算
施路平教授是清華大學精密儀器教授，清華大學類腦計算研究中心主任，研究領域涉及類腦計算、信息存儲、集成光電子、智能儀器。
▲施路平教授主旨演講
他在2013年加入清華大學，創建類腦計算研究中心，并提出異構融合類腦計算架構，研制了全球首款異構融合類腦計算“天機芯”，利用一款天機芯構建了人工通用智能研究演示平臺——自動行駛自行車，相關成果被作為封面文章于2019年發表在《Nature》雜志上。
▲全球首款異構融合類腦計算“天機芯”
2020年，施路平教授及團隊在《Nature》雜志上再次發文，借鑒計算機發展思路，與合作者提出了類腦計算完備性基礎理論及軟硬件去耦合的類腦計算系統層次結構。
施路平教授說：“類腦計算是人工通用智能競爭的基石，可以賦能各行各業。”
在論壇上，施路平教授做了題為《類腦計算研究的挑戰與機遇》的報告。他講道，量子計算和類腦計算是國際半導體協會確定的后摩爾時代兩個最有前途的新技術。其中，類腦計算是借鑒人腦存儲處理信息的方式，面向人工通用智能發展的新型計算技術。
類腦計算系統是能基于神經形態工程，打破“馮·諾依曼”架構束縛，適于實時處理非架構化信息，具有學習能力的超低功耗新型計算系統。
但是目前類腦計算仍處于起步階段，尚未形成公認技術方案。施路平教授從“為什么要做類腦計算、類腦計算主要做什么、怎樣做類腦計算”三方面，闡述了類腦計算發展背景和領域內最新進展、面臨的主要挑戰和可能解決的方法，并對利用雙腦驅動融合發展類腦計算的方式進行了探討，以促進人工通用智能的研究。
▲什么是類腦計算
施路平教授提到，2016年是類腦計算元年，2016年4月6日，美國IBM的TrueNorth硬件上線，2016年3月21日，德國的BrainScales架構和英國的SpiNNaker架構同時上線，而后續在2020年2月，我國研制的全球首款異構融合類腦計算“天機芯”入選“2019年度中國科學十大進展”。
電腦雖然能完成很多人腦做不到的事情，但在人能相對容易做到的“感覺、適應、理解、學習、創新”等方面，電腦的能力卻不及人腦。
▲電腦與大腦的對比
計算機如今面臨著馮·諾依曼架構瓶頸、物理微縮、大部分數據生命周期短、數據大、多樣性、變化快的挑戰，同時又有著更低成本，更優能耗、安全和性能的機遇。2018年圖靈獎得主David Patterson和John Hennessy曾說：“計算機體系結構將迎來一個黃金十年。”
再將目光轉向人工智能領域。人工智能有充足的數據，確定的問題，完整的知識，靜態，以及單一的問題五個條件，同時也有不可理解、不可解釋，一點偏差可以產生巨大錯誤的缺陷。
▲人工智能的挑戰
目前，人工智能需要在思想、知識、算法、算力、數據五個方面進行突破。
圖靈獎得主Geoffrey Hinton曾說：“相信克服人工智能局限性的關鍵在于搭建‘一個連接計算機科學和生物學的橋梁’。”而類腦計算，是將這二者聯系起來的方式之一。
施路平教授說，現在的人工智能依托傳統計算機和馮·諾依曼架構，未來的人工通用智能將依托類腦計算機和類腦架構。而類腦人工通用智能不是簡單的人工智能升級版，其更多是人腦和電腦的融合。
▲類腦計算圖示
施路平教授認為，計算機和人工智能發展面臨的挑戰正在呼喚類腦計算，而雙腦融合驅動是類腦計算發展的關鍵。同時，類腦計算需要理論、芯片、軟件、系統和應用協同發展。
▲主要類腦計算芯片
二、陶大程：對可信深度學習的見解
陶大程院士主要從事人工智能領域的研究，并先后當選IEEE/AAAS/ACM Fellow、歐洲科學院（Academia European）外籍院士，以及澳大利亞科學院院士。
▲陶大成院士主旨演講
在論壇中，陶大程院士分享了其團隊在“可信深度學習”這個領域上的進展。
他講到，2016年隨著AlphaGo戰勝李世石，AI的力量讓人們震驚，也讓人們對AI解放工作甚至代替人類的未來充滿擔憂。而從2016年到2020年，科技不斷發展，但人們對AI的看法卻在不斷變得冷靜。
▲三次人工智能浪潮
“第三次人工智能熱潮主要是由于深度學習引起的，但有一些人認為，這其中遇到的一些問題逐漸浮現，需要人們進入到人工智能熱潮的第四個階段。那時，人工智能將寄希望于和人的價值聯系起來，將人工智能的方式方法與人的價值觀保持一致。” 陶大程院士講道。
他在演講中舉了谷歌“fixed”、“Deepfakes”例子，表明人們應該控制人工智能的使用范圍。
▲“fixed”、“Deepfakes”的案例
目前，人工智能技術在機器視覺上取得了很大成功。陶大程院士展示了其團隊最新的一個機器視覺成果，可以估計人的姿態，理解人的表情和簡單的行為動作。除了理解視頻，現在的人工智能還能幫助人們進行表情編輯和音頻編輯，提供效果很好的視頻演示效果。此外，有了超級計算，研究人員可以更方便有效訓練模型。
▲陶大程院士團隊最新的一個機器視覺成果
盡管神經網絡仍然存在一些問題，但研究人員依舊對現在的深度學習抱有一定期望。他們希望模型的魯棒性更高，耗能更低，可解釋性更強，能適應動態環境，能注重人的隱私安全且易于使用。
從神經網絡的歷史變化上來看，陶大程院士稱，網絡是越來越深的，同時最近研究人員也在思考采用網絡模型的壓縮技術和機器學習等技術用小的網絡模型實現更好的效果。無論如何，要想取得好的效果，就一定需要達到一定深度。此外，網絡越深，模型的泛化能力也會越強，但要想網絡性能好，還要保證數據的誤差非常小。
此外，他還提到團隊在去年的ICLR（International Conference on Learning Representations）會議工作中，拓展了一些條件，覆蓋了非線性損害曲面研究中幾乎所有的現實情況，具體來說擴展到了任意深度、任意的可微損失函數、任意維輸出和任意線性激活函數。
總之，未來人工智能與人的價值觀更加貼合，在推廣的同時注重對人的隱私保護。
三、張磊：深度神經網絡學習歸一化方法的兩項最新進展
張磊自2006年加入香港理工大學計算機系，至今已有15年。他的研究重點主要集中在計算機視覺、圖像和視頻分析、模式識別和生物識別等。
▲張磊教授主題演講
他分享了題為《Two Recent Advances on Normalization Methods for Deep Neural Network Learning（深度神經網絡學習歸一化方法的兩項最新進展）》的演講，新進展可以提高模型的優化和泛化。優化在這里是指提高模型的準確性，而泛化則是指機器學習算法對新鮮樣本的適應能力。
他提到，歸一化方法對于有效和高效地優化深度神經網絡（DNN）非常重要。諸如均值和方差之類的統計信息可用于規范化網絡激活或權重，以使訓練過程更加穩定。
在激活歸一化技術中，批量歸一化（BN）是最常見的一種。但是，在訓練中批量較小時，BN的性能較差。
張磊教授團隊在研究中發現，在推斷階段BN的公式化存在問題，因此提出了一種更正的方法。在訓練階段沒有任何變化的情況下，在小批量訓練時，校正后的BN可以顯著提高推理性能。
另一種常見的歸一化方法則是對權重進行操作，如權重歸一化（WN）和權重標準化（WS）。團隊也相應提出了一種簡單有效的DNN優化技術：即梯度中心化（GC）。
▲使用GC的示意圖
這種方法直接對權重的梯度進行操作，簡單地通過梯度中心化向量使其集中到零均值，它可以很容易就嵌入當前基于梯度的優化算法，而這個過程只需一系列代碼就可完成。
盡管簡單，但GC達到了多個期望效果，比如加速訓練過程，提高泛化性能，以及對于微調預訓練模型的兼容性。
▲GC方法的幾何解釋
四、James Kwok：自動化機器學習的最新進展
James Kwok是香港科技大學計算機科學與工程學系教授，也是IEEE雜志神經網絡與學習系統交易、神經網絡工作、神經計算、人工智能方面的副主編。
▲James Kwok教授的主旨演講
在論壇中，他對自動化機器學習的最新進展進行了分享。
James Kwok觀察到，機器學習很強大，與此同時，世界各地對機器學習知識的需求量同樣很大。而自動化機器學習（AutoML）可以在一定程度上減少機器學習的人才缺口。
AutoML旨在從數據中自動構建機器學習解決方案。在演講中，James Kwok結構了對最新使用AutoML進行有效的神經網絡設計，搜索捕獲推薦系統中項目和用戶之間交互的功能，以及在機器學習應用程序中有大量噪聲樣本時，將樣本選擇到訓練過程中的幾個進展。
經過廣泛實驗表明，AutoML確實是有效的。因此在很多不同的場景中，AutoML可以獲得比最先進的機器學習方法更好的性能。
▲James Kwok教授演講結論
結語：人工智能學術與日常生活密不可分
除了四場主旨演講，論壇還覆蓋了包括《自監督上下文建模及底層視覺應用》《大規模機器學習模型選擇理論研究》等6場學術報告，在線上為業內人士提供了一場人工智能知識盛宴。
伴隨著科技發展突飛猛進，人工智能所引發的技術革命正在深刻地改變人類的生活，也被人們的生活及需求所影響。
包括機器學習、計算機視覺等領域的人工智能研究在性能、效率上不斷升級的同時，也在逐漸與人的價值觀相貼合。
