智東西（公眾號：zhidxcom）
編譯 | 汪越
編輯 | 程茜
智東西10月16日消息，10月14日，Adobe在Adobe MAX大會上宣布推出Firefly視頻生成模型，并強化了現有的圖像、矢量和設計模型。Firefly視頻模型已進入有限公開測試階段，成為首個可安全用于商業用途的生成式AI視頻模型。
最新的Firefly圖像模型Firefly Image 3將允許用戶在幾秒內生成圖像，速度較上一版提升了四倍。同時，基于Firefly視頻生成模型，Premiere Pro進行了重要更新。Premiere Pro新增了三個主要功能，分別是文生視頻、圖生視頻和生成擴展（Generative Extend）。
▲使用生成擴展填補視頻素材缺失片段（視頻來源：Adobe）
通過文生視頻功能，用戶可模擬調整攝像機角度、運動和縮放等參數，進一步細化視頻；通過圖生視頻功能，用戶可在文本提示旁邊另外添加參考圖像，以生成更符合想象的視頻。用戶甚至可以通過一張靜圖重制現有視頻，實現視覺上的再加工；通過生成擴展功能，用戶可直接對視頻進行微調，而不至于重新拍攝。
用戶在使用這三個功能時，均需要等待大約90秒才能生成視頻。采用文生視頻和圖生視頻功能生成的視頻最長為5秒，分辨率最高為720P，幀率為每秒24幀。采用生成擴展功能的視頻最多可延長2秒，視頻背景音效延長10秒。
▲使用文生模型生成視頻（視頻來源：Adobe）
Firefly視頻模型作為Adobe生成式AI套件的擴展，已經被集成到其云端套裝軟件Adobe Creative Cloud的多款應用中，包括修圖軟件PS、矢量圖形設計軟件Illustrator、內容創作工具Adobe Express和視頻編輯軟件Premiere Pro等，以支持各種創意工作流程。自2023年發布以來，Firefly已累計生成超過130億張圖像，僅過去六個月就生成60億張。
一、Firefly進行公開測試，AI視頻最多可生成5秒，視頻擴展最多延長2秒
本次視頻編輯軟件Premiere Pro的重大更新，一是幫助用戶自動擴展開頭片尾，二是模擬相機進行一鍵調參，三是實現視頻一鍵重拍。
1. 生成擴展：適合微小調整，視頻最多延長2秒，音效最多延長10秒
生成擴展由Firefly模型支持，現已在Premiere?Pro?Beta版本中進行測試。該工具能夠實現視頻素材的自動擴展，填補視頻空白、實現畫面平滑過渡，以及延長視頻的開頭片尾。
延長視頻，即如果視頻的開頭或結尾略短，生成擴展功能可自動進行素材填充。生成擴展功能還可以幫助微調視頻中景，即它能發現拍攝過程中的視線偏移或意外移動，并進行糾正。
目前，生成擴展功能最多支持視頻延長2秒，以此滿足用戶微調視頻的需要，一定程度上免去重新拍攝素材的麻煩。生成擴展功能的分辨率是720P或1080P分辨率，24幀每秒。
此外，生成擴展功能也能用于音頻剪輯，它可以將視頻中的音效或環境背景音擴展最多十秒鐘，但不會延長語音對話或音樂。
▲新生成擴展工具可以填補通常需要完全重新拍攝的素材中的空白（圖源：Adobe）
2. 文生視頻：可仿照攝像機直接調參，最多生成5秒視頻
Adobe的文生模型和圖生模型于9月份首次發布，目前正在Firefly Web應用程序中作為有限的公開測試版推出。
文生模型的功能與Runway和OpenAI的Sora等其他視頻生成器類似，用戶只需輸入想生成的視頻的文本描述即可。該文生模型可以模擬真實電影、3D動畫和定格動畫等多種風格來生成視頻。
此外，用戶可以通過文生模型，仿照攝像機調節視頻拍攝參數。用戶可以通過模擬攝像機角度、運動和拍攝距離等，來進一步細化生成的視頻。
▲通過相機控制選項來調整生成圖像的示例（圖源：Adobe）
3、圖生視頻：一張圖直接重制視頻，但無法完全替代重拍
圖生視頻相較于文生視頻，在功能上更進一步。圖生視頻允許用戶在文本提示的基礎上，添加參考圖像，以生成更符合想象的視頻。
用戶還可以上傳已有視頻的單幀，一鍵創建完整的特寫鏡頭，來制作視頻花絮。
圖生視頻模型可實現視頻重拍。用戶可以上傳靜態圖片來重新制作視頻，直接對原視頻中的人物動作進行操作和修改，實現視覺上的再加工。
然而，科技媒體The Verge的測試表明，這項技術目前還無法完全替代重新拍攝，其生成結果存在瑕疵。例如，測試中出現了電纜晃動和背景移動等問題，生成的視頻在某些細節處理上不夠精確。
▲原始剪輯（視頻來源：Adobe）
▲使用圖像到視頻工具“重制”鏡頭，注意看黃色電纜搖晃了（視頻來源：Adobe）
目前，Adobe的文生視頻和圖生視頻，二者生成的視頻時長均最多5秒，最高分辨率為720P，幀率為每秒24幀。OpenAI的Sora聲稱可以生成長達一分鐘的視頻，并能在保持視覺質量的同時滿足用戶的提示要求，但其并未向公眾開放使用。
▲該模型僅限于生成大約4秒長的剪輯。幼龍在巖漿中爬行的示例（視頻來源：Adobe）
二、增強圖像、矢量和設計模型功能更新，Firefly?Services將支持批量創建
自2023年推出以來，Firefly陸續被引入PS、Express、Illustrator、3D繪圖軟件Substance 3D中，并支持Creative Cloud應用程序中的各種工作流程。
本次更新，Adobe在PS中推出了全新的AI生成工作區（測試版），由Firefly模型支持。它能幫助設計師進行創意構思和迭代，簡單操作即可生成視覺效果。
同時，Adobe更新了Illustrator，并引入最新的Firefly矢量模型（測試版）。新功能包括生成形狀填充、重新著色和文本到圖案等，設計師可以快速生成和優化矢量圖形，并控制圖案中元素的密度，靈活調整設計復雜度，實現個性化創作。
此外，Adobe預覽了一款新功能Project Concept，旨在促進團隊協作中的創意開發。該功能允許多人在同一畫布上實時構思和重新混合圖像內容。
▲Project Concept示例（圖源：Adobe）
今年3月，Adobe推出了面向企業的創意和生成API集合Firefly Services。Firefly Services支持企業自有數據對模型進行定制、微調，同時可以與PS、Illustrator、Express等Adobe產品結合使用，簡化創意流程。
本次產品更新，Firefly Services將支持配音和唇形同步功能，目前這兩個功能已進入測試階段。用戶可以利用生成式AI將視頻中的口語對話翻譯成不同語言，同時確保唇形與原始聲音匹配同步。
另外，Firefly?Services還將支持批量創建，簡化圖像大小調整、背景刪除等任務。
迄今為止，已有多個知名客戶使用了Adobe?Firefly Services，包括PepsiCo/Gatorade、IBM、Mattel、IPG?Health和德勤等。他們通過Firefly優化工作流程并擴展內容創建，使創意人員能有更多時間探索創意愿景。
三、Firefly訓練數據合法且豐富，支持超過100種語言文本提示
商業可用性是AI視頻生成行業的關鍵問題。此前，Runway公司在訓練其AI視頻生成工具Gen-3時，涉嫌非法使用了大量YouTube視頻和盜版電影，侵犯了內容創作者權益并違反了YouTube使用規則。
Adobe強調其AI功能根據公司制定的AI道德原則開發，強調問責制、責任和透明度。Adobe表示其基于AI視頻模型支持的工具是“商業安全的”。Firefly的訓練數據來源于Adobe許可內容（如Adobe?Stock）和公共領域內容，能夠確保生成作品的安全性和合規性。
Firefly支持超過100種語言的文本提示。自2019年創立內容真實性計劃以來，Adobe廣泛采用內容憑證作為數字內容透明度的行業標準。該內容憑證目前已獲得3700多名成員的支持。
內容憑證就像數字內容的“營養標簽”。用戶在Creative?Cloud中選擇Firefly支持的功能時，內容憑證將標明生成式AI的使用情況。此外，內容憑證也會嵌入用戶使用Firefly創建或編輯的視頻，以披露AI的使用和所有權。
結語：Adobe正式入局AI視頻生成，與OpenAI等展開競爭
從去年3月發布第一版Firefly，到今年首次公開測試，Adobe在AI視頻生成技術商業化應用上邁出了重要一步。
現階段，Adobe的圖生視頻模型無法完全替代重新拍攝，生成結果仍存在瑕疵。而且相較于宣稱能生成一分鐘視頻的Sora，Adobe的文生視頻和圖生視頻的最大長度僅為5秒。但是，Adobe的這些工具至少是公開可用的。OpenAI的Sora、Meta的Movie?Gen和Google的Veo等AI視頻生成工具的內容均還不可用。
在有限公開測試階段，Firefly相關產品免費使用，用戶也可前往官網申請加入候補名單。
目前，Adobe尚未宣布任何客戶使用其視頻生成工具。但據Adobe透露，百事可樂旗下的運動飲料品牌佳得樂將在一個網站上使用其圖像生成模型，顧客可以在該網站上購買定制版瓶子。全球最大的玩具公司美泰一直在使用Adobe工具來幫助設計其芭比娃娃系列的包裝。
面對OpenAI、Runway、Google和Meta等競爭對手，Adobe將未來押注在使用合法數據訓練的模型上，以確保其AI生成內容可在商業作品中合法使用。
Firefly視頻模型憑借其使用授權內容的訓練數據，確保了生成內容的版權合規性。這一優勢使得生成的內容能夠合法應用于商業項目，這對企業和品牌而言非常重要。而其他視頻生成模型則因訓練數據來源不明或未經授權，頻頻卷入版權和道德爭議。
來源：Adobe、The Verge、路透社
