大模型時代已經來臨。11月，智東西公開課視覺AI教研組策劃推出了「大模型系列直播課」，聚焦最具代表性的大規模預訓練模型，講解大模型的構建技巧和開發工具，挖掘大模型的應用案例。

聯匯科技首席科學家趙天成博士、一流科技 LiBai項目負責人程鵬、潞晨科技創始人尤洋教授，以及北京面壁智能聯合創始人&CTO曾國洋四位主講人分別進行了主講。

12月起，智東西公開課聯合達摩院自然語言智能實驗室全新策劃「阿里達摩院大模型公開課」。此次公開課開設兩講，阿里巴巴達摩院高級算法工程師李晨亮、NLP高級算法專家嚴明將分別進行直播講解。

12月14日晚7點，阿里巴巴達摩院高級算法工程師李晨亮將主講《達摩院通義 AliceMind 預訓練大模型在 AIGC 文本創作的探索》。李晨亮將對英文SOTA生成預訓練模型PALM、中文社區首個超大規模生成模型PLUG，和GPT-3的中文復現版本三個大模型，以及它們在AIGC?文本創作領域的應用進行深度講解。

PALM 提出時是英文SOTA生成預訓練模型，結合自編碼和自回歸的預訓練，在英文CNN/Daily Mail、Giagaword等數據集上超過BART、T5等模型。而最新的PALM 2.0，在中文社區的生成預訓練模型中也達到了SOTA。

PLUG提出時是當時中文社區最大規模的純文本預訓練語言模型，集語言理解與生成能力于一身，在語言理解（NLU）任務上，以80.179分刷新了當時Chinese?GLUE分類榜單的新記錄排名第一；在語言生成（NLG）任務上，在多項業務數據上較State-of-the-art平均提升8%以上。除此之外，PLUG在zero-shot生成的表現上，也較此前的模型均有明顯的優勢。

中文GPT-3是對2020年OpenAI提出GPT-3的中文版本。其主要思想是通過大幅度增大模型規模至1750億，同時利用無監督數據和language?model預訓練，使模型具備強大的zero-shot生成能力。因為GPT-3主要支持英文，對于中文效果較差，同時訪問使用需要申請，因此達摩院推出了中文GPT-3，并創新性的結合無監督數據和有監督prompt數據，訓練了不同版本規模的中文GPT-3，為中文社區帶來更好用的中文生成大模型，目前模型具備多種生成能力，包括：代碼生成，小說續寫，作文生成、論文生成等。

12月15日晚7點，阿里巴巴達摩院NLP高級算法專家嚴明將以《達摩院通義 mPLUG 多模態預訓練技術演進及應用實踐》為主題，對mPLUG相關技術及應用案例進行全面講解。

預訓練語言模型技術極大的推動了NLP領域的發展，隨著多模態信息越來越普及，多模態預訓練技術與應用也逐漸備受關注，近些年也取得了顯著的成績。達摩院借鑒人腦模塊化設計，創新性的構建了模塊化多模態大模型基座mPLUG，采用模塊化結構統一多模態理解和生成，解決跨模態信息融合時由多模態信息不對稱性導致的兩個重要問題：信息淹沒和低效。

在多個多模態下游重點任務中，mPLUG均取得了SOTA，并完成了VQA首超人類突破，相關技術已在Github和達摩院ModelScope進行了開源開放。同時，mPLUG相關技術也已服務于阿里內部多個核心業務場景，包括主搜、拍立淘、閑魚、阿里媽媽、數字人、業務中臺、店小蜜等。

「阿里達摩院大模型公開課」的直播將以視頻直播形式進行。每一講均由主講與問答兩部分組成，其中主講40分鐘，問答為20分鐘。