智東西（公眾號：zhidxcom）
編譯 | 夏舍予
編輯 | 云鵬
智東西6月24日消息，據外媒VentureBeat報道，美國AI芯片創企Cerebras Systems創造了在單個設備上運行最大參數量NLP模型（自然語言處理模型）的記錄。
這要歸功于Cerebras Systems公司的CS-2系統和WSE-2芯片。WSE-2芯片是該公司在2021年4月發布的巨型晶圓芯片，WSE-2芯片比世界上現存的最大芯片Ampere A100多2.55萬億個晶體管。WSE-2芯片的內核是Ampere A100的123倍，內存是Ampere A100的1000倍，可提供的內存寬帶是A100的12000倍。
WSE-2芯片為Cerebras Systems公司打造的CS-2系統提供核心算力。
▲Cerebras的WSE-2與英偉達的A100 GPU的性能參數對比（圖源：Cerebras）
一、從幾個月到幾分鐘，NPL模型運行時間驟縮
Cerebras Systems公司表示，CS-2系統只需要一個WSE-2晶圓芯片就可以在單個設備上運行參數量數十億的NLP模型(自然語言處理模型)，這些模型包括GPT-J 6B、GPT-3 13B和GPT-NeoX 20B。
Cerebras Systems公司的首席執行官安德魯·費爾德曼（Andrew Feldman）表示，Cerebras Systems公司發明了一個新的軟件執行架構技術，該技術被稱為Weight Streaming。這種新的技術分解了計算和參數存儲，首次實現在芯片外存儲模型參數。并且Weight Streaming技術消除了延遲和內存帶寬問題，極大地簡化了工作負載分配模型。因此，一個單獨的CS-2系統就能為具有數萬億參數的模型提供算力。
“每個GPU的內存是固定的”，費爾德曼說，“如果模型的參數量大于其GPU內存的支持上限，就要增加GPU的數量，再把工作分散到多個GPU上，這會導致模型運行的復雜性爆炸式增長。”Cerebras Systems公司的Weight Streaming技術可以分解計算和參數存儲，實現在單個CS-2系統上運行任意數量參數的模型。
費爾德曼表示，通過WSE-2芯片的計算能力和Weight Streaming的技術支持，Cerebras Systems公司可以實現在單個CS-2系統上支持最大參數規模的NLP模型。這不僅縮短了模型的運行時間，也簡化了模型的操作方式。人們只需要敲幾下鍵盤，就可以在GPT-J和GPT-Neo（兩種NLP模型）之間進行切換。這項任務在數百個GPU的集群上需要數月的工程時間才能完成，而Cerebras Systems公司把這個時間縮短到了幾分鐘。
費爾德曼說：“機器學習社區需要花費幾個月才能做到的事情，在我們這里只需要按16下。”
▲Cerebras公司的CS-2系統采用的晶圓大小的芯片（圖源：Cerebras）
二、降低門檻，讓任何組織都能運行大型NLP模型
費爾德曼表示，研究證明，參數量越大的NLP模型運行的效果越準確。但是有足夠的資源和專業知識能分解這些大型模型，并在數百或數千個GPU上進行分布式訓練的公司非常少。
費爾德曼說：“隨著技術的進步，NLP模型的參數量一直呈指數增長，這使得其體量變得越來越龐大。因此，只有很少的公司有能力使用它們。我們改變了這一現狀，任何組織都能以輕松的方式使用大型NLP模型。”這不是費爾德曼單方面的說法，還獲得了Intersect 360 research的首席研究官丹·奧茲（Dan Olds）的認可。
丹·奧茲一份聲明中說：“Cerebras Systems公司降低了大型NLP模型的運行門檻，開啟了一個新的人工智能時代。Cerebras Systems公司為那些無法花費數千萬美元購買設備的組織提供了一個輕松、廉價的途徑，讓這些公司有機會進入NLP大聯盟。”
▲Cerebras 公司的WSE-2芯片與最大GPU的對比（圖源：Cerebras）
三、客戶遍布全球，新系統可助基因研究
目前，這項技術已經在全球范圍內被廣泛采用。Cerebras Systems公司在北美、亞洲、歐洲和中東地區都有客戶，這些客戶包括GSK、阿斯利康、TotalEnergies、匹茲堡超級計算中心、萊布尼茨超級計算中心、愛丁堡并行計算中心（EPCC）、國家能源技術實驗室等等。
這項技術在客戶公司中廣獲好評。英國制藥公司GSK是CS-2系統的使用客戶之一，該公司的人工智能高級副總裁Kim Branson表示：“GSK需要新的設備來處理通過基因組和基因研究生成的極其龐大的數據集。而Cerebras Systems公司的CS-2系統在我們公司使用生物數據集進行語言模型訓練中承擔重要功能。使用這個系統后，我們能夠處理的數據規模遠遠超過以前。這個模型是GSK公司許多人工智能系統的基礎，在我們進行藥物轉型研究方面發揮著重要作用。”
▲WSE-2芯片的主要參數配置（圖源：Cerebras）
結語：CS-2系統實現技術突破，推動人工智能向前發展
Cerebras Systems公司的CS-2系統可以在單個設備上運行參數量超過數十億的NLP模型，這是人工智能領域的一項重要技術突破。這不僅擴充了單個設備上NLP模型的參數容量，還讓更多公司能夠使用大型NLP模型，擴大其應用市場。
但是，AI技術想要獲得突破，不能只靠提高參數數量，擴大模型體量。就像CPU的主頻一樣，AI模型的參數量只是一個指標。更重要的是用更少的參數達到更好的結果。畢竟，訓練AI模型的目的是讓這些模型工作得更聰明，而不是更努力。
來源：VentureBeat
