國(guó)內(nèi)類ChatGPT模型MOSS開源 RTX3090顯卡可運(yùn)行

IT之家今日（4月21日）消息，復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室開發(fā)的新版MOSS模型今日正式上線，成為國(guó)內(nèi)首個(gè)插件增強(qiáng)的開源對(duì)話語言模型。

目前，MOSS模型已上線開源，相關(guān)代碼、數(shù)據(jù)、模型參數(shù)已在Github和Hugging Face等平臺(tái)開放，供科研人員下載。

據(jù)介紹，MOSS是一個(gè)支持中英雙語和多種插件的開源對(duì)話語言模型，moss-moon系列模型具有160億參數(shù)，在FP16精度下可在單張A100/A800或兩張3090顯卡運(yùn)行，在INT4/8精度下可在單張3090顯卡運(yùn)行。MOSS基座語言模型在約七千億中英文以及代碼單詞上預(yù)訓(xùn)練得到，后續(xù)經(jīng)過對(duì)話指令微調(diào)、插件增強(qiáng)學(xué)習(xí)和人類偏好訓(xùn)練具備多輪對(duì)話能力及使用多種插件的能力。

MOSS來自復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室的邱錫鵬教授團(tuán)隊(duì)，名字與《流浪地球》電影中的AI同名，已發(fā)布至公開平臺(tái)（https://moss.fastnlp.top/），邀請(qǐng)公眾參與內(nèi)測(cè)。

據(jù)悉，該項(xiàng)目所含代碼采用Apache2.0協(xié)議，數(shù)據(jù)采用CCBY-NC4.0協(xié)議，模型權(quán)重采用GNUAGPL3.0協(xié)議。如需將該項(xiàng)目所含模型用于商業(yè)用途或公開部署，需要簽署文件并發(fā)送至robot@fudan.edu.cn取得授權(quán)，商用情況僅用于記錄，不會(huì)收取任何費(fèi)用。

MOSS的GitHub頁面：點(diǎn)此查看