首個(gè)中文原生DiT架構(gòu) 騰訊混元文生圖大模型宣布全面開(kāi)源

快科技今日（5月14日）消息，今日，騰訊旗下混元文生圖大模型（混元DiT，Diffusion Models with Transformers）宣布全面開(kāi)源。

目前已在Hugging Face、Github上發(fā)布，包含模型權(quán)重、推理代碼、模型算法等完整模型，供企業(yè)與個(gè)人開(kāi)發(fā)者免費(fèi)商用。

據(jù)媒體報(bào)道，騰訊混元文生圖負(fù)責(zé)人盧清林表示，混元DiT開(kāi)源的價(jià)值有兩方面。

一方面這是業(yè)內(nèi)首個(gè)中文原生DiT架構(gòu)，彌補(bǔ)了開(kāi)源社區(qū)的空白，另一方面混元DiT為全面開(kāi)放，與現(xiàn)網(wǎng)版本完全一致。

據(jù)介紹，此次開(kāi)源的混元DiT采用了與Sora同樣的背后關(guān)鍵技術(shù)——DiT架構(gòu)，還支持256字中文理解，不僅支持文生圖，也可作為視頻等多模態(tài)視覺(jué)生成的基礎(chǔ)。

騰訊方面表示，為了構(gòu)建混元DiT設(shè)計(jì)了Transformer結(jié)構(gòu)、文本編碼器和位置編碼，構(gòu)建了完整的數(shù)據(jù)管道，用于更新和評(píng)估數(shù)據(jù)，為模型優(yōu)化迭代提供幫助。

為了實(shí)現(xiàn)細(xì)粒度的文本理解，還訓(xùn)練了多模態(tài)大語(yǔ)言模型來(lái)優(yōu)化圖像的文本描述。

最終，混元DiT能夠與用戶進(jìn)行多輪對(duì)話，根據(jù)上下文生成并完善圖像。