智東西（公眾號：zhidxcom）
作者 | ZeR0
編輯 | 漠影

智東西8月16日報道，中科院自動化所聯合清華北大的研究團隊提出了具有內生復雜性的類腦計算方法，今日相關論文發表于國際頂級學術期刊Nature的子刊Nature Computational Science。

人工智能（AI）領域的最終目標是構建能實現通用人工智能的系統，讓模型具有更加廣泛和通用的認知能力。目前流行的大模型路徑是基于Scaling Law去構建更大、更深和更寬的神經網絡，可稱之為“拓展外部復雜性”的方法，復雜性主要在于神經網絡的規模。這一路徑面臨著計算資源及能源消耗難以為繼、可解釋性不足等問題。

計算神經科學和AI的交叉為克服這些障礙提供了一條有希望的途徑。中國科學院自動化研究所李國齊、徐波研究團隊聯合清華大學、北京大學等借鑒大腦神經元復雜動力學特性，提出了“具有內生復雜性”的類腦神經元模型構建方法，改善了傳統模型復雜外部結構帶來的計算資源消耗問題，可用于尋找將豐富屬性納入神經元的合適路徑，為有效利用神經科學來發展AI提供了示例。

▲不同內部和外部復雜性的典型模型、神經元和網絡

論文共同通訊作者是中國科學院自動化所李國齊研究員、徐波研究員，北京大學田永鴻教授。共同一作是清華大學錢學森班的本科生何林軒，數理基科班本科生徐蘊輝，精儀系博士生何煒華和林逸晗。

Nature Computational Science期刊對此評論道：“AI研究更加貼近工程與應用，而神經科學的研究更加具有探索性。研究團隊挑戰了這一傳統觀點，并表明更詳細且生物學上更真實的神經元模型可以推動深度學習取得更大進展。”

論文地址：//www.nature.com/articles/s43588-024-00674-9

模型的表示能力與其總復雜性（包括內生復雜性和外部復雜性）有關。動態描述更精細、更豐富的神經元具有更高的內生復雜性，而連接更廣、更深的網絡具有更高的外部復雜性。

為了增強具有簡單連接的基本模型的外部復雜性，可以擴展拓撲結構，例如通過擴大模型的寬度和深度；為了實現更高的內生復雜性，可以使動態特性復雜化，例如通過向模型中添加離子通道或將其轉換為多房室模型。兩種方法都能達到相同的總復雜性水平，并獲得相似的表示能力。

HH（Hodgkin-Huxley）神經元模型是一組描述神經元細胞膜電生理現象的非線性微分方程，直接反映了細胞膜上離子通道的開閉情況及其與膜電位變化之間的關系。

作為一個案例研究，研究人員構建了一組相當于單個HH神經元的LIF（Leaky?Integrate and Fire）神經元，這為比較和分析具有不同內部和外部復雜性的網絡提供了一種嚴格的方法。研究團隊進一步構建了不同的神經網絡，包括HH網絡、s-LIF2HH網絡、vanilla LIF網絡、二值人工神經網絡。

▲一種從tv-LIF過渡到HH的方法，它將外部連接的復雜性收斂到單個神經元的內部。a.?HH神經元結構及相關電路圖；b. 如何將有4個tv-LIF2HH神經元的tv-LIF2HH子網絡等同于HH神經元；c.?單個到連接的等效性；d.?由HH神經元與tv-LIF2HH子網絡的等效連接組成的神經網絡。

上圖中，LIF2HH網絡中的每條線代表了從前一個子網絡中的4個LIF神經元到整個后一個子網絡的4個不同連接。

這項研究首先展示了脈沖神經網絡神經元LIF模型和HH模型在動力學特性上存在等效性，進一步從理論上證明了HH神經元可以和4個具有特定連接結構的時變參數LIF神經元（tv-LIF）動力學特性等效。

基于這種等效性，團隊通過設計微架構提升計算單元的內生復雜性，使HH網絡模型能夠模擬更大規模LIF網絡模型的動力學特性，在更小的網絡架構上實現與之相似的計算功能。

進一步，團隊將由4個tv-LIF神經元構建的“HH模型”（tv-LIF2HH）簡化為s-LIF2HH模型，通過仿真實驗驗證了這種簡化模型在捕捉復雜動力學行為方面的有效性。

▲高精度仿真情況下的等效圖。a.?相同電流注入下單個HH模型和tv-LIF2HH子網絡的電位輸出；b. 按網絡中采用的模型分類的三種連接：HH、tv-LIF2HH子網絡和s-LIF2HH子網絡連接；c. 將二進制編碼器和簡化后的LIF2HH子網絡的后續實驗；d. HH神經元和s-LIF2HH子網絡的脈沖數和相對觸發時間誤差。

實驗結果表明，HH網絡模型和s-LIF2HH網絡模型在表示能力和魯棒性上，具有相似的性能，證明了內生復雜性模型在處理復雜任務時的有效性和可靠性。

同時，研究發現HH網絡模型在計算資源消耗上更為高效，顯著減少了內存和計算時間的使用，從而提高了整體的運算效率。研究團隊通過信息瓶頸理論對上述研究結果進行了解釋。

▲計算資源及統計指標分析。a. 每個網絡在推理和反向傳播過程中的時間消耗；b. 相同輸入的各網絡的加法運算和乘法運算的FLOP；c. 每個網絡的可訓練參數；d. 各網絡互信息歸一化值。

這些結果反駁了HH網絡比LIF網絡消耗更多資源的觀點，并證明了具有內生復雜性的小型模型方法的優勢。

該研究為將神經科學的復雜動力學特性融入AI提供了新的方法和理論支持，為實際應用中的AI模型優化和性能提升提供了可行的解決方案。

目前，研究團隊已開展對更大規模HH網絡以及具備更大內生復雜性的多房室神經元的研究，有望進一步提升大模型計算效率與任務處理能力，實現在實際應用場景中的快速落地。