新華財經(jīng)上海4月21日電（記者 宋薇萍 實習生 譚镕）4月21日，復(fù)旦大學自然語言處理實驗室開發(fā)的新版MOSS模型正式上線，成為國內(nèi)首個插件增強的開源對話語言模型。

復(fù)旦大學計算機科學技術(shù)學院教授MOSS系統(tǒng)負責人邱錫鵬表示：“對于下一階段的大型語言模型來講，我們目前重點需要去做的事情，就是讓模型和現(xiàn)實世界以及人類的價值觀進行“對齊”，成為一個真正的智能體?！?/p>

MOSS：對話式大型語言模型今日開源

【資料圖】

近期，關(guān)于語言模型的關(guān)注持續(xù)高漲。相比之前的生成式對話產(chǎn)品，ChatGPT在大范圍連續(xù)對話能力、生成內(nèi)容質(zhì)量、語言理解能力和邏輯推理能力上都得到大幅提升，超出了大眾對于一款聊天機器人的預(yù)期，是生成式AI（AIGC）極為關(guān)鍵的發(fā)展節(jié)點。

MOSS是國內(nèi)第一個發(fā)布的對話式大型語言模型。它可以執(zhí)行對話生成、編程、事實問答等一系列任務(wù)，打通了讓生成式語言模型理解人類意圖并具有對話能力的全部技術(shù)路徑。

目前，MOSS模型已上線開源，相關(guān)代碼、數(shù)據(jù)、模型參數(shù)已在Github和Hugging Face等平臺開放，供科研人員下載，促進人工智能模型研究和開源社區(qū)的生態(tài)繁榮。開源代碼涵蓋模型訓練和推理代碼，開源數(shù)據(jù)包括超100萬條對話訓練數(shù)據(jù)，開源模型包括160億參數(shù)中英雙語基座語言模型、對話模型以及插件增強的對話模型。

MOSS基于公開的中英文數(shù)據(jù)訓練，目前已經(jīng)擁有200億參數(shù)，具有和人類對話的能力，并可以通過與人類交互實現(xiàn)迭代優(yōu)化。

其中隱含著三個非常重要的技術(shù)?！暗谝皇乔榫皩W習，大型語言模型可以直接和人交互，這從產(chǎn)品角度來說也是一個很大的創(chuàng)新，還可以大幅降低下游開發(fā)成本；第二是思維鏈，不僅給出答案，也給出邏輯推導；第三是自然指令學習，要讓機器明白我們的情感和真實意圖，以前是從大數(shù)據(jù)中學，現(xiàn)在可以直接從指令中學?！鼻皴a鵬說道。

MOSS開源 改善行業(yè)生態(tài)

在業(yè)內(nèi)看來，自研通用預(yù)訓練大語言模型具有必要性角度，在目前國際形勢下，自主可控是保障網(wǎng)絡(luò)安全、信息安全的前提，自研基石模型具有高度戰(zhàn)略意義。

邱錫鵬說，人們之所以很容易有“卡脖子”問題，是因為缺乏一個好的行業(yè)生態(tài)。就拿ChatGPT來說，OpenAI公司只需專注做好模型，算力、數(shù)據(jù)和系統(tǒng)則交給其他公司。反觀國內(nèi)，很多公司在做大型語言模型時所有環(huán)節(jié)都需要自己做，每家的數(shù)據(jù)和算力也有限，結(jié)果是每家都做不大。在發(fā)展過程中，大型語言模型訓練與在線推理成本過高也是一個重大問題。

“我們考慮把MOSS開源而不是商業(yè)化，就是希望改善這種生態(tài)，有了這樣一個基座，大家就不用重復(fù)開發(fā)底層技術(shù)，可以在上面接不同的細分領(lǐng)域?！睆?fù)旦大學計算機科學技術(shù)學院教授、MOSS系統(tǒng)負責人邱錫鵬說。

相關(guān)人士表示，目前中國巨頭廠商深耕通用基礎(chǔ)大模型研發(fā)布局產(chǎn)業(yè)生態(tài)布局，肩部廠商基于開源模型或海量數(shù)據(jù)打造垂直基礎(chǔ)大模型，建立垂直行業(yè)的平臺生態(tài)。語言大模型及下游應(yīng)用產(chǎn)業(yè)對于國家數(shù)字經(jīng)濟發(fā)展具有戰(zhàn)略性意義。

編輯：翟卓

關(guān)鍵詞：