(資料圖片僅供參考)

7月30日，昆侖萬維（300418）正式推出并開源采用自回歸路線的“多模態(tài)統(tǒng)一預訓練模型Skywork UniPic”，在單一模型中深度融合圖像理解、文本到圖像生成、圖像編輯三大核心能力。該模型基于大規(guī)模高質(zhì)量數(shù)據(jù)進行端到端預訓練，具備良好的通用性與可遷移性。

GPT-4o的迅速走紅，標注著人工智能領域多模態(tài)統(tǒng)一預訓練模型的成熟。據(jù)了解，Skywork UniPic 延續(xù)了GPT-4o的自回歸范式，在單一模型中深度融合圖像理解、文本生成圖像（T2I）與圖像編輯三大核心任務，構建了真正統(tǒng)一的多模態(tài)模型架構。

傳統(tǒng)多模態(tài)統(tǒng)一模型多依賴VQ或VAE編碼器來壓縮視覺內(nèi)容，雖然具備一定效果，但也存在局限性，它們更側重保留圖像的視覺細節(jié)而非語義信息，這會在一定程度上削弱模型的圖像理解能力。為此，Skywork UniPic團隊借鑒Harmon架構設計，并在表征方式上做出關鍵調(diào)整，采用MAR編碼器作為圖像生成路徑的視覺表征基礎，同時引入SigLIP2作為圖像理解路徑的主干。

此外，Skywork-UniPic完成端到端優(yōu)化流程，能夠實現(xiàn)生成、理解、編輯三大能力的協(xié)同訓練和相互促進，突破傳統(tǒng)方法中能力權衡的技術瓶頸。

這一架構設計不僅保持了自回歸模型的簡潔高效，更通過共享編碼器實現(xiàn)了跨任務的深度協(xié)同，為多模態(tài)統(tǒng)一模型的實用化部署奠定了堅實基礎。用戶只需要輸入提示詞，Skywork-UniPic既可以像VLM一樣理解圖像、像T2I模型一樣生成圖片，還可以像美圖工具一樣，一鍵實現(xiàn)風格轉繪/吉卜力化的編輯功能。

公司在追求模型能力極限的同時，也堅持效率重要性的設計理念。Skywork UniPic以1.5B的緊湊參數(shù)規(guī)模，真正詮釋了“小而美”的技術美學。

昆侖萬維表示，過去半年公司先后開源了多個SOTA大模型，涵蓋獎勵模型、推理、軟件工程、多模態(tài)、空間智能等領域。今天，Skywork-UniPic正式加入“Skywork”開源大家庭，讓AI真正成為每個人觸手可及的創(chuàng)意伙伴。（燕云）

關鍵詞： 財經(jīng)頻道 財經(jīng)資訊