今年9月起，智東西公開課品牌全新升級為智猩猩。智猩猩定位硬科技講解與服務平臺，提供公開課、在線研討會、講座、峰會等線上線下產品。
「AI新青年講座」由智猩猩出品，致力于邀請青年學者，主講他們在生成式AI、LLM、計算機視覺、機器學習等人工智能領域的最新重要研究成果。
AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑，將可以幫助大家增進對人工智能前沿研究的理解，相應領域的專業知識也能夠得以積累加深。同時，通過與AI新青年的直接交流，大家在AI學習和應用AI的過程中遇到的問題，也能夠盡快解決。
「AI新青年講座」現已完結230講；有興趣分享學術成果的朋友，可以與智猩猩教研產品團隊進行郵件（class@jmfly.net）聯系。
近來，多模態大語言模型已經取得了令人振奮的成果。然而，現有多模態大語言模型仍主要集中在對輸入端進行多模態理解，而輸出端仍受限于文本內容。相較之下，人類在溝通時具備理解和感知各種模態的能力，并能夠以靈活的方式輸出各類模態的回復。因此，構建能夠接受和傳遞任何模態內容的系統，是實現類人水平的人工智能中至關重要的一步。
為了實現這一目標，來自新加坡國立大學 NExT++ 實驗室的研究者提出了一種端到端的通用的任意到任意多模態大語言模型系統，即 NExT-GPT。通過引入一個輕量級對齊網絡，將一種大語言模型與多模態適配器和下游擴散解碼器連接起來，使 NExT-GPT 能夠感知文本、圖像、視頻和音頻，并靈活地生成任意模態的輸出。
此外，研究者還提出了基于模態切換的指令微調（Modality-switching Instruction-tuning，MosIT），并構建了一個基于 MosIT 的高質量數據集。最終，實現了復雜的跨模態語義理解和內容生成的能力。
12月14日晚19點，「AI新青年講座」第231講邀請到 NExT-GPT 一作、新加坡國立大學 NExT++ 實驗室在讀博士吳勝瓊參與，主講《NExT-GPT：端到端通用多模態大語言模型》。
講者
吳勝瓊，新加坡國立大學在讀博士；導師為 Chua Tat-seng 教授；研究方向為自然語言處理、多模態學習以及大模型；目前在自然語言處理、多模態學習以及機器學習等頂級會議上發表了多篇 CCF A 類論文，如NeurIPS、ACL、ACM MM、AAAI、IJCAI；其中 “NExT-GPT”獲得了全球 AI 社區廣泛的關注和認可，所開源的代碼和模型獲得了超過2千星標；曾獲得新加坡立大學校長獎學金、新加坡立大學研究成就獎、國家獎學金（中國）、華為獎學金、優秀碩士畢業生等。
第231講
主 題
《NExT-GPT：端到端通用多模態大語言模型》
提 綱
1、多模態大語言模型的發展
2、模態自由的全能型多模態大語言模型 NExT-GPT
3、基于模態切換的指令微調技術
4、復雜的跨模態理解和內容生成
直 播 信 息
直播時間：12月14日19:00
直播地點：智東西公開課知識店鋪
成果
論文標題：《NExT-GPT: Any-to-Any Multimodal LLM》
論文地址：//arxiv.org/abs/2309.05519
開源代碼：//github.com/NExT-GPT/NExT-GPT
