低端顯卡登上AI的大船！6GB顯存就能生成高質(zhì)量視頻

GitHub的Lvmin Zhang聯(lián)合斯坦福大學(xué)的Maneesh Agrawala，發(fā)布了一項(xiàng)突破性的新技術(shù)FramePack，通過在視頻擴(kuò)散模型中使用固定長(zhǎng)度的時(shí)域上下文，可以更高效地生成時(shí)間更長(zhǎng)、質(zhì)量更高的視頻。

根據(jù)實(shí)測(cè)，基于FramePack構(gòu)建的130億參數(shù)模型，只需一塊6GB顯存的顯卡，就能生成60秒鐘的視頻。

FramePack是一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，使用多級(jí)優(yōu)化策略，完成本地AI視頻生成。

目前，它底層基于定制版的騰訊混元模型，不過現(xiàn)有的預(yù)訓(xùn)練模型，都可以通過FramePack進(jìn)行微調(diào)、適配。

典型的視頻擴(kuò)散模型在生成視頻時(shí)，需要首先處理此前生成的帶有噪音的幀，然后預(yù)測(cè)下一個(gè)噪音更少的幀，而每生成一幀所需要輸入的幀數(shù)量，就是時(shí)域上下文長(zhǎng)度，會(huì)隨著視頻的體積而增加。

這就對(duì)顯存有著很高的要求，一般至少得有12GB，而如果顯存不夠多，生成的視頻就會(huì)很短，質(zhì)量很差，生成的時(shí)間也會(huì)很長(zhǎng)。

FramePack會(huì)根據(jù)輸入幀的重要性，對(duì)所有輸入幀進(jìn)行壓縮，改變?yōu)楣潭ǖ纳舷挛拈L(zhǎng)度，顯著降低對(duì)顯存的需求，而且計(jì)算消耗與圖片擴(kuò)散模型類似。

同時(shí)，每一幀畫面生成之后，都會(huì)實(shí)時(shí)顯示，方便即時(shí)預(yù)覽。

FramePack還可以緩解“漂移”(drifting)現(xiàn)象，也就是視頻長(zhǎng)度增加、質(zhì)量下降的問題，從而在不顯著犧牲質(zhì)量的同時(shí)，生成更長(zhǎng)的視頻。

FramePack數(shù)據(jù)格式支持FP16、BF16，顯卡硬件支持RTX 50、RTX 40、RTX 30系列顯卡，除了RTX 3050 4GB幾乎所有的近代顯卡都沒問題。

在RTX 20系列和更老顯卡上尚未經(jīng)過驗(yàn)證，也沒有提及AMD、Intel處理器的需求。

操作系統(tǒng)支持Windows、Linux。

性能方面，RTX 4090經(jīng)過teacache優(yōu)化之后，每秒可以生成大約0.6幀。