智東西(公眾號:zhidxcom)
作者?|?程茜
編輯?|?漠影

訊飛星火大模型又雙叒更新了!

智東西8月15日報道,訊飛星火大模型迎來年內第二次重磅升級,V2.0來了!

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

星火大模型V2.0主要升級點體現在代碼能力多模態交互上,科大訊飛董事長劉慶峰談道,大模型的代碼能力是連接數字世界的關鍵支撐,多模態是讓通用人工智能賦能工業的各種具體場景,未來進入家庭的最重要核心能力。

同時,今天正值七部委聯合發布的《生成式人工智能服務管理暫行辦法》正式實行。劉慶峰認為,通用人工智能在深度賦能千行百業的過程中,已經邁上了新的臺階。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

星火大模型的應用落地也正在穩步向前,5月6日星火大模型發布以來,科大訊飛人工智能開放平臺新增了70萬個開發者團隊;訊飛星火小助手6月9日發布至今,已經新增了7800多個用戶自己創建的小助手;訊飛學習機5月銷量同比上漲了超100%,6月上漲超200%……

這一過程中,用戶體驗又再反向提升大模型的能力,使得星火大模型的語言理解、邏輯推理的測試得分不斷提高。

可以看出,通用人工智能時代的發展,正在讓各行各業的人都能釋放自己的想象力,并通過大模型的能力將其快速實現,每個人都擁有個人AI助手的愿景正越來越近。

一、代碼、多模態交互兩大能力重磅升級,文本生成、理解能力持續提升

一如既往,開場星火就寫了份歡迎詞。星火首先回顧了星火大模型前兩次升級的內容,不同于之前的泛泛通用型介紹,而是有理有據的個人知識的學習。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

在解決數學能力上也大幅升級,星火能綜合運用三角函數、方程、等差數列方面的知識來解決數學問題。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

詩句理解上,星火可以給出“與爾同消萬古愁”的出處,并寫出全詩。同時還能賞析《將進酒》中的詩句,并運用這兩句詩寫出一篇范例作文。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

星火還能“立人設”,將它設定為“虛擬陪伴伙伴”,它就可以為用戶的party(聚會)提出制作哪些美食、舉辦哪些活動的建議。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

用戶日常體驗中,還可以通過語音直接對話,模擬真人“面對面”交流。

1、五大代碼能力升級,幾分鐘生成“貪吃蛇”小游戲

到了最重磅的代碼能力展示環節,劉慶峰談道,代碼能力是認知智能大模型智慧提升的關鍵維度,在提升這一能力時可以同步提升長文本理解、邏輯推理、任務規劃能力,以及幫助用戶執行復雜任務、連接數字世界,還能降低數字經濟的創業門檻。

星火大模型包含代碼生成、代碼補齊、代碼糾錯、代碼解釋、單元測試生成五大代碼能力。

在代碼能力展示環節,星火都是現場寫代碼、現場運行。

剛開始,星火就快速展示了其使用python生成了“判斷輸入字符串是否符合密碼規則”、畫出“紅色的心形線”等功能。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

隨后,演示人員還增加了指令,如果輸入密碼不符合規則時給出理由,生成的代碼就會相應給出“不少于8位”等原因方便用戶調整。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

同時,星火還能快速將視頻片段轉化成GIF動圖,并且動圖也會相應的縮小文件大小,方便用戶發送分享。星火生成經典的貪吃蛇小游戲,包含72行代碼,并且每一段都給出了相關的注釋。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

這一代碼能力也已經集成到訊飛星火的小助手中,例如助手中心中的“python大腦”小助手,這一小助手被設定為先說明、再舉例、最后列出注意事項的三段論,星火就可以根據用戶的提問給出答案。

基于OpenAI構建的代碼能力公開測試集HumanEval和認知智能全國重點實驗室構建的代碼實用場景測試集iflyCT-py,星火在python語言下,代碼生成和代碼補齊能力超過ChatGPT,其它能力正在快速趕超ChatGPT。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

2、圖像理解能力明顯領先,數字人形象、音視頻軌道一氣呵成

多模態能力是賦能千行百業的剛需,也是實現通用人工智能的必經之路。

去年1月,科大訊飛提出了未來10年的登月計劃,就是懂知識、善學習、能進化,讓機器人走進每個家庭,這中間最重要的技術就是多模態的感知、多維表達、深度理解。

大模型的多模態能力包含圖像描述、圖像理解、圖像推理、識圖創作、文圖生成、虛擬人合成。當演示人員輸入風景圖、萌寵圖、家庭場景圖片時,星火都能對圖片中的主要物體、人物進行描述,還輔以環境氛圍的表述。如果用戶想要配合圖片發朋友圈,星火還能給出朋友圈文案。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

此外,星火還支持用戶現場拍照,將圖片上傳進行描述。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

劉慶峰談道,在國內業界公開可測的大模型中,星火對圖像的理解能力明顯領先

在文圖生成能力方面,不管是“陽光下的小女孩開心的笑著”的人物圖片,還是“雪山壯麗景色”的風景圖,星火都能勝任,用戶還可以追加在雪山圖片中加入“一個小女孩在登山”的元素。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

多模態合成能力中,星火一舉撐起了文案、后期、剪輯、配音……的工作,當讓它“創作一篇立秋抒情散文,并用一個短發民國風的女生形象生成視頻”,訊飛小助手就可以快速生成視頻,用戶還能變更數字人的形象、聲音、視頻的背景。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

整體來看,訊飛星火大模型各項能力表現優異,在國內主流大模型測評榜上,其“智商”排名也名列前茅。8月12日,8月12日,新華社研究院中國企業發展研究中心發布的《人工智能大模型體驗報告2.0》中,訊飛星火以1013分位列本次國產主流大模型測評榜榜首,在“智商指數”和“工具提效指數”兩個維度獲得第一。

二、星火化身資深代碼工程師、剪輯師、口語老師、助教……

與此同時,科大訊飛正在將大模型的強大能力打造成用戶快速可用的產品。

1、iFlyCode:零代碼基礎也能編程?10分鐘開發“凌空手寫”應用

基于星火大模型的強大代碼能力,訊飛推出智能編程助手iFlyCode,五項代碼能力也已經無縫集成到用戶的開發環境中。

演示現場,iFlyCode接到的第一項任務就是“開發凌空手寫的應用”。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

首先,iFlyCode給出了一些實現的思路,開發者需要采集視頻流、手部主要點位檢測、偵測捏動手勢、生成軌跡點。隨后,它給出了具體的實現步驟,用戶可以直接點擊步驟,調用相關的代碼、函數來輔助完成應用開發。

一開始,iFlyCode輔助生成的應用中,用戶手部的關鍵幀時獨立的點。基于星火的修改代碼能力,用戶可以選中整個代碼,輸入“將軌跡點顏色改為黃色,用線條連接”的修改代碼命令。改完后,用戶還可以快速比較修改前后的代碼然后進行快速替換。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

劉慶峰感慨道,結合星火大模型的能力,用python代碼完全實現凌空手寫的應用開發只需要10分鐘內,之前有經驗的代碼工程師可能需要半天才能完成。他補充說,訊飛內部已經有2000多個員工開始使用這一代碼工具,工程師的采用率提升了30%以上。

2、訊飛智作2.0:后期剪輯、配音演員、文案編輯,一個工具統統解決

基于星火大模型的多模態能力,訊飛升級了訊飛智作。

訊飛智作是訊飛2017年推出的虛擬形象配音產品,劉慶峰談道,冬奧會、大運會、世界田徑運動會吉祥物的語音都是訊飛創建的,現在訊飛將虛擬形象配音的能力開放出來。訊飛智作2.0升級了AI后期和創意視頻兩個功能。

AI后期功能中,訊飛智作可以為視頻生成文案、配音。例如“用散文風格描寫涇縣桃花潭夏末秋初晨霧彌漫的美景”,用戶可以輸入視頻配文的主題、選擇配音主播形象、聲音。然后訊飛智作就可以將文字和畫面對齊生成視頻。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

創意視頻中,用戶可以直接輸入視頻要求、上傳相關的圖片。當企業想要生成黃山毛峰的宣傳視頻時,可以先讓訊飛智作生成一段“包含茶葉的產地、包裝、色澤等特點”的宣傳文案,然后基于用戶上傳的配圖和訊飛智作使用AI生成的相關圖片來生成視頻。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

這樣一來,企業不需要花很大代價去拍攝相關的視頻和圖片,就能快速生成宣傳視頻。

3、星火語伴2.0:隨手拍就能口語對話,模擬真人雅思考官

星火語伴2.0全新升級,能讓用戶練習口語時實現更深入的交流,用戶可以選擇感興趣的場景進行交流,對話結束后,星火語伴還會生成一個對話小結。

為了讓對話交流和日常生活的關聯度更密切,用戶還可以拍攝自己手邊書上的內容來進行交流,這也能讓星火語伴有更豐富的口語對話來源。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

此外,還有大學生普遍需要的四六級、雅思、托福等,星火語伴可以模擬更加真實的人機互測,讓用戶與雅思考官模擬面對面對話。測試結束后,該應用還會給出用戶準確度的得分,并給出相應的推薦課程。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

場景理解的大模型對話能力加持下,眾多領域的工作人員都可以通過大模型的能力來提升工作效率。

4、星火教師助手:幫老師做課件、布置作業,還能一鍵生成課堂思維導圖

訊飛暢言智慧課堂已經落地到全國1200多萬師生中,基于人工智能可以分析學生的情況,實現因材施教。目前,全國教育開始實現以素養培養為核心的教育“三新”改革,這一過程中,教師會面臨單元教育規劃下創新難、教學活動設計資源少、課件制作負擔重的難題。

因此,針對上述三大難題,星火教師助手可以幫助教師完成整個備課環節。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

星火教師助手能快速生成相應主題的課堂設計文檔,同時,教師還可以在已生成的環節中添加活動。一般而言,教師想要達到理想的教堂授課效果,還需要大量精力去融合其它素材。現在,這一助手能基于教學設計、大模型的理解能力,幫助老師一鍵生成課件,并根據教學內容自動填充相關多媒體內容,還會加入對應的圖片、視頻、表格。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

活動小結中,星火教師助手還能生成思維導圖,幫助學生提升結構化思維能力。

三、大模型深入行業應用,聯合華為發布星火一體機

今天,國家首次針對生成式人工智能產業發布的規范性政策《生成式人工智能服務管理暫行辦法》正式實行,這一《辦法》對提供和使用生成式人工智能服務的總體要求進行了明確。與此同時,這也標志著國內已發布的上百個大模型已開啟應用落地PK戰。

科大訊飛的大模型應用落地已經走在前列。早在2022年底,科大訊飛就正式啟動了“1+N”認知大模型專項攻關,“1”是通用認知智能大模型,“N”是大模型在教育、辦公、汽車、人機交互等領域的落地,以行業應用為導向的布局也與產業變化相契合。

當下,訊飛已經和汽車、金融等行業達成合作,汽車廠商奇瑞搭載星火大模型的產品即將發布。在教育領域,訊飛學習機的銷量大幅上漲,今年5月至今同比增長了180%。劉慶峰談道,訊飛要做的就是將大模型賦能到類似行業中的相應場景。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

除此以外,認知大模型的深度賦能時代已經到來,現在的大模型參與者不僅要看到技術能做什么,還要構建一個健康安全的產業推廣環節和能力保障,劉慶峰認為,這聚焦于三大關鍵要素,分別是安全可控場景驅動專屬模型

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

其中安全可控主要包含內容和算力的安全。內容安全指的是生成內容的價值觀、準確度都要安全,內容不安全會導致污語料、“幻覺”出現,如果大模型學習的是不干凈、錯誤的數據,就會導致生成結果是有問題的。

科大訊飛承建了語音及語言國家工程技術中心,可以面向全世界收集信息,然后通過語種、質量、隱私、安全等判別器來清洗得到高質量語料。

在算力安全方面,科大訊飛和華為聯合,將高算力、高性能的算子庫、多卡高速互聯和分布式存儲相結合,在此基礎上打造訓推一體設計的自研大模型訓練平臺。劉慶峰透露,該平臺單卡算力已經開始對標英偉達A100芯片

場景驅動方面,就是要讓大模型在看得見摸得著的場景上產生實實在在的應用價值。

專屬模型,訊飛和華為正在聯合打造大模型訓練國產算力集群,包含5種定制優化工具,企業可以直接打包開發,有了這些能力,企業就可以打造自己的專屬大模型。

今天,科大訊飛聯合華為發布了幫助企業快速部署的星火一體機。這一設備既允許企業從頭到尾訓練大模型,也能基于訊飛星火大模型針對場景快速優化。

訊飛星火V2.0突破代碼能力,一個指令生成貪吃蛇游戲,10分鐘開發“凌空手寫”

劉慶峰認為,通用人工智能時代的發展正在徹底改變當今社會的生產和生活方式,誰能率先推出擁有持續算力和最好的算法,就可以源源不斷的匯聚數據,形成全球的“最強大腦”。

結語:大模型的新戰場,應用落地正加速

站在今天的新節點上,國內大模型間的應用落地之戰已經揭開帷幕,科大訊飛成為率先出手的廠家之一。這已經是訊飛星火大模型年內第三次升級,不論從大模型能力,還是星火的行業應用進展來看,星火大模型的影響正在輻射至各行各業,教育、金融、汽車行業的聯合應用落地已經初見成效。

下一步,今年10月24日,訊飛星火大模型的能力將對標ChatGPT,明年將對標GPT-4,隨著大模型能力的不斷提升,其對于不同行業的實質影響也會愈發凸顯出來。

未來,大模型與各行各業的結合必將更加緊密,不同行業的“進化”浪潮將勢不可擋,為每個人打造AI助手的愿景或許很快就可以實現。