智東西（公眾號：zhidxcom）
編輯?| ?GTIC
智東西4月18日報道，在剛剛落幕的GTIC 2023中國AIGC創新峰會上，瀾舟科技創始人兼CEO、中國計算機學會CCF副理事長、創新工場首席科學家周明以《大模型帶來的新范式》為題發表了主題演講。
作為微軟走出的技術專家，周明非常認可微軟聯合創始人比爾·蓋茨關于“要把自然語言理解做好了，基本上可以重塑一個微軟”的評價。
在他看來，大模型正帶來認知智能的崛起。大模型尤其是ChatGPT代表著語言理解、多輪對話、問題求解進入了一個可實用的時代。同時，大模型有效解決NLP任務碎片化問題，大幅度提高研發效率，標志著NLP進入工業化實施階段。AI 2.0時代將首先革新創作內容、辦公方式、搜索引擎、人機交互界面、金融場景任務等領域。
創立于2021年6月的瀾舟科技已推出了多個大模型對外產品服務，目前已落地孟子大模型、AIGC（智能創作）平臺、機器翻譯平臺、金融NLP平臺等多款技術及產品，落地同花順、華夏基金等企業。結合類ChatGPT技術，瀾舟科技推出了對話機器人MChat，能夠通過智能對話幫助用戶完成特定場景中的多種工作任務。
談及對產業未來方向的展望，周明坦言，當下類ChatGPT技術在推理、邏輯、數學和算術、事實性錯誤等方面仍有所欠缺。未來，大模型相關的九大問題尤其值得關注，涉及推理能力、事實正確性、中文處理能力等方面。
以下為周明的演講實錄：
今天給大家介紹我們對大模型的一些新思考，我的演講分三部分：一是我們對大模型的理解，它帶來哪些新的范式變化；二是瀾舟科技在這個領域所做的一些努力；三是未來大模型的發展。
一、大模型標志著NLP進入工業化實施階段
我先談談大模型的一些背景。此前十余年人工智能在感知智能方面進展迅速。大模型帶來認知智能的崛起，大家都知道2017年谷歌提出了Transformer技術，隨后預訓練模型BERT、GPT等一系列技術出現，NLP能力在各項任務上大幅度提升，最近ChatGPT帶動了NLP發展熱潮。
我們今天看到的一個明顯趨勢是AI正在大模型驅動下快速實現認知智能。認知智能包含語言理解，就跟我們的大腦一樣，理解后要回答、解決問題，對業務做出預測。它有很多廣泛的應用，從翻譯、問答、交互、搜索、推薦、寫作、專家系統等等，你能想到的跟人的智能有關的應用，幾乎都是認知智能。
它對企業非常重要，原來企業講大數據，現在智能平臺可以把企業的很多業務進行升級，甚至可以提供一些企業洞見，發現數據之間規律。
大規模預訓練模型簡單來說就是幾件事：1、海量文本數據，比如互聯網數據；2、超大規模算力；3、超大規模預訓練語言模型，要么針對不同任務進行微調（BERT/GPT），要么連微調都不做（GPT-3，ChatGPT）；4、一個模型解決N個任務。
大家最近很熟悉的是ChatGPT，其實大模型有很多流派，像BERT是encoder這邊，GPT是decoder這邊，T5既有encoder又有decoder，它適合不同的場合。BERT類似的東西一般適合于文本分析、信息抽取，GPT更多適用于文本生成，T5更多被用于機器翻譯。
當前在預訓練模型領域較受關注的研究重點包括：第一，怎么把大模型做到更好，把它的能力做到更強？第二，預訓練大模型代價太大，怎么降下來？第三，我自己有行業數據、有知識圖譜，怎么融入進去？第四，做下游任務時，能不能少標點數據，少樣本學習或者無樣本學習？
我這里有兩句話，希望大家能有點印象：第一，大模型尤其是ChatGPT和GPT-4，代表著語言理解、多輪對話和問題求解，進入了一個可實用的時代；第二，大模型有效解決了NLP任務碎片化問題，大幅度提高研發效率，標志著NLP進入工業化實施階段。
傳統NLP開發存在任務碎片化嚴重的問題，每一個NLP小任務比如分詞、語義理解、機器理解都是從頭開始開發，每個企業的數據又不一樣。其他問題還有要做很多數據標注、開發周期長、支付成本高、維護代價高。
有了大模型，用微調（Fine-tune）或者提示（Prompt）技術，一下子就把碎片化解決得很好；再加上一點零樣本技術或Prompt技術，減少了數據標注問題；再有一些輕量化訓練方法或部署方法，減少了客戶代價；還可以幫助客戶自行快速建模，以便快速驗證業務流程；最后可以通過本地部署或SaaS提供服務，減少用戶的開發代價和維護代價。
我原來也是微軟的，我一直受到比爾·蓋茨的感召，他曾經跟我們在review的時候說過一句話：“你們要把自然語言理解做好了，基本上可以重塑一個微軟。”我們這些天看到的微軟和ChatGPT和OpenAI的合作中，幾乎微軟所有的業務都受到了一些新的革命性的影響。
ChatGPT有對話、語言理解、改寫、翻譯、寫作、解題等能力，具體來講，有幾件事印象深刻：比如in-context learning，不需要改變大模型參數，用Prompt技術一個模型解決N多問題；還有Instruct-learning、涌現能力、復雜query理解、多輪對話、推理、邏輯、NL2Code、與人類價值觀對齊等等。
過去幾十年來，NLP也好，AI也好，以前都是一個模型解決一個任務，要針對每一個具體任務，設計規則（規則系統）、設計特征（統計系統）、針對大模型微調（大模型早期），開發周期長，而且不能復用。訓練出來的模型，只具備這個能力，不具備其他的能力，而且設計的能力水平不會因模型架構修改或數據增加出現躍升。
這樣的AI系統，我管它叫AI 1.0系統。有點類比于比較本分的小孩子，你告訴他做什么，他做什么，不會舉一反三，不會觸類旁通，他練習增加，能力可慢慢增長，但是不能頓悟。在GPT3.0，GPT3.5和ChatGPT之前，我們就簡單地說ChatGPT之前是AI 1.0時代。
現在ChatGPT帶來了一個所謂的AI 2.0或者NLP 2.0時代，用一個模型解決N個功能，再加新的功能，就用Prompt技術把它的能力帶動起來。再往前走，我們可以設想這樣的能力一點點增強，一點點走到所謂的通用人工智能（AGI）。
二、大模型改變工作范式：激發創意、高效辦公、革新搜索、重塑人機交互
AI 2.0時代會帶來哪些影響呢？
第一個影響是ChatGPT以及大模型，很好解決了創意問題，以前想一個營銷文案半天想不明白，現在跟它交互幾次，它可以提供很多新的創意。解決了這個問題，就可以大批量生產很多內容。這已經影響到大文娛、影視傳媒等很多產業。
第二是辦公自動化的問題，生成式AI讓用戶更加專注自己的業務領域，把繁瑣的生成工作交給AI，讓工作成果展現更加高效。像微軟Office加上了Copilot，郵件、文章、PPT等辦公工作的生產過程更加智能化、更加快速。
第三是對搜索引擎的影響。原來一個query得到10個Boolean，現在搜索引擎基于大模型的理解，可以做復雜query理解，可以做語義層面的query和文檔的匹配；以前搜索就是看數據，看不到數據內部的規律，現在除了看數據，可以形成總結、形成觀點洞見，對數據可以有深度的洞察；最后是整個搜索改變了，原來就是搜索，現在把搜索、了解內容、了解規律、形成洞見、寫出文章及發表，都可以一條龍提供服務。
除了微軟提供的通用搜索服務，我們也可以設想在某些專用領域，把這樣一些事情，比如解決金融領域的投研分析、投研報告問題，對各行各業都有非常大的影響。
第四是對用戶語言的理解增強，你可以用自然語言與幾乎所有的應用、所有的設備對話，你也可以把很多第三方的東西通過插件的方式聯系到你的系統里，就像我們所看到的OpenAI通過發布了一些插件的方式，實際上用AI連接一切。我認為這是未來非常大的一個趨勢。
三、瀾舟科技大模型已落地金融場景，具備百億級類ChatGPT能力
有了大模型，怎么改變行業？
我們要做金融，拿金融的數據繼續訓練，得到一個金融大模型，再支持金融中幾乎所有的業務，這就是我們大模型落地方面所做的一些努力。
在智能客服場景，我們有上下文理解、多輪對話的能力，會對現在的客服、基于FAQ的客服產生碾壓式的影響。
在營銷文案生成場景，跟聊天機器人對話，可以激發新的靈感，最后得到不錯的營銷文案；可以生成各種各樣的風控報告，基于信息抽取能力得到一些干貨，包括保函審查、搜索問答場景等。
接下來介紹一下瀾舟科技做了哪些工作，以及我們站在從業人員的視角，看類ChatGPT未來的發展趨勢是什么。
瀾舟科技成立于2021年，一直做大模型，我們的大模型獲得了HICOOL 2021全球創業大賽一等獎，得到時任北京市長陳吉寧先生的接見。
我們已經推出一系列大模型的服務，像AIGC（智能創作）平臺、機器翻譯平臺、孟子大模型、金融NLP平臺等等。這些底層都是大模型，上層針對行業特點做繼續訓練，或者針對任務特點做監督學習，把大模型和體系發布出來，通過SaaS或者本地部署來提供服務。
孟子大模型有很多應用案例：比如跟同花順做大模型在金融領域的落地，用于問答、對話、信息抽取等場景；跟傳神做大模型在多種語言翻譯和多種垂直領域翻譯的應用；跟華夏基金做輿情分析平臺；跟數說故事合作做AIGC營銷文案寫作。
瀾舟科技把類ChatGPT做出來了，加上以前做的很多功能，如何用類ChatGPT把原來的功能串通起來，來解決行業的落地問題。比如調用類ChatGPT的能力，讓它介紹一下愛因斯坦，回答如何發現相對論的、推薦北京的5個著名景點、續寫小說、寫一個口紅的營銷文案、作為工具處理一些金融場景任務等等。
目前我們開發的是百億級的類ChatGPT能力，有一定的對話、理解、問答各種方面的能力。我們花了很多工夫去整理中文數據，增強中文對話能力。我們也可以讓類ChatGPT調用一些已有的引擎，比如可能企業自己原來就開發出很好的翻譯、寫作等引擎，可能有第三方引擎，如何跟類ChatGPT聯系起來。
四、未來大模型研究方向，9個問題待解
再花5分鐘的時間，講講未來的研究方向。我們先問一下ChatGPT：我是做自然語言研究的，沒有很多塊GPU，能做什么樣的研究？
我昨天到學校去演示，很多同學也問了這樣的問題，ChatGPT告訴你，第一，你可以做模型壓縮；第二，你可以做遷移學習；第三，你可以做多語言學習；第四，你可以做領域有關的模型，或者說做小規模試驗環境下的創新算法。
我覺得它講得都挺好的，雖然大家都很喜歡、很追捧ChatGPT，但是它還有很多問題。我們要做未來的研究，一定要知己知彼，知道它的問題在哪里，才能有的放矢，進行改進。
第一，ChatGPT在推理、邏輯、數學和算數、事實性錯誤、偏見和歧視、寫代碼、抽象理解等方面還有很多欠缺。
比如問魯迅和周樹人是一個人嗎？它說不是一個人，講了半天理由；問父親和母親可以結婚嗎？它回答說不可以結婚。這就說明ChatGPT在常識、事實性方面的理解和推理能力還有問題。
網上最近熱傳的畫一幅唐伯虎點秋香的圖，結果AI畫成了一只老虎正在點香，實際上是因為它不理解中國的文化，可能是把中文翻譯成英文，調用了Stable Diffusion，Stable Diffusion是針對英文的特點做的數據清洗和訓練，所以拿它做翻譯肯定會有很多的問題。實際上，要從根上來做，需對數據清洗做出中文標記，不能僅僅依靠英文標記，有很多的功夫要做。
信息抽取也有很多挑戰，比如對話式抽取的意圖理解欠佳，領域知識不足，缺乏專業度。Prompt這件事既好又壞：好的Prompt能夠把它的能力帶出來，可是如果不會寫Prompt，它的能力放在那兒也用不起來。
還有涌現，大家整天討論涌現，涌現到底是什么？什么時候能出現涌現？模型做到多大才能出現涌現？模型小一點的時候，能不能用什么招把數據弄好，把算法弄好，讓涌現早點出現，別等到搞到萬億模型才出現涌現？
以及如何建立大模型的評測體系？有沒有一個比較客觀的自動化較強的體系來測大模型的能力？雖然我們看到學術界有些分任務做了一些標準測試集，但是很多新的大模型的能力是沒辦法測試的。所以我們呼喚產業界、學術界把大模型的評測體系好好地建立起來。
總結一下未來大模型方向的9個問題：
1、如何增強模型的推理能力，能理解復雜任務，如解數學題、邏輯推理。
2、如何提高生成內容的事實正確性，保證生成內容安全可靠。
3、如何最小化代價建立實時學習模型，能基于新產生的知識去生成答案，保證內容的時效性。
4、提升中文的處理能力，如中文處理的成語、比喻、跨模態的語義對齊等。
5、如何增強領域知識、跨語言知識、更好注入特定任務知識等。
6、如何更加交互地、靈活地、智能地提升提示（Prompt）能力？
7、更好理解涌現能力。到底是什么能力？怎么激發出來的？能不能更有效地，而不是單純靠模型規模急劇增加，而得到涌現能力？
8、如何做好模型輕量化？
9、如何高效構建更全面的模型評測體系，以建立更加安全、可控、無偏見的模型？
結語：在大模型帶動下，邁向通用人工智能
最后總結一下：
第一，大模型帶來了認知智能技術跨越式發展。
1、從AI大模型1.0到2.0，從簡單能力+針對具體任務的專用模型，到復雜能力+面向泛任務的通用模型，推動著語言理解、多輪對話、問題求解進入了基本可用時代。
2、有效解決NLP任務碎片化問題，大幅度提高研發效率，標志著NLP進入工業化可實施階段。
第二，大模型帶來了個人和企業工作的新范式。
1、個人：從內容創作、辦公、搜索和人機交互，都將被深深變革。
2、金融領域：智能客服、營銷、風控、投研、推薦等各個方面將本增效。
3、企業服務：提升人力、財務、營銷、獲客、調研、報告生成等方面生產率，有效改善客戶滿意度，實現智能決策，提高工作效率，提升企業形象和市場競爭力。
第三，未來在大模型帶動下，從AI 1.0到AI 2.0，將不斷走向AGI。
1、實現負責任的、安全可控的、功能強大的通用大模型和功能引擎。
2、知識、常識、可解釋、自學習、動態接入各類動態和靜態數據。
3、成為認知智能的基礎模型，通過云計算、本地部署和端，成為各項服務的內在中樞和各類計算機軟硬件系統的泛在人機接口。
今天我的演講就到這里，謝謝大家！
以上是周明演講內容的完整整理。
