英偉達(dá)發(fā)布全球最強(qiáng)AI芯片H200：性能較H100提升近一倍

快科技今日（11月14日）消息，在2023年全球超算大會(huì)（SC2023）上，芯片巨頭英偉達(dá)發(fā)布了H100芯片的繼任者，也是目前世界最強(qiáng)的AI芯片——H200。

相比于其前任產(chǎn)品H100，H200的性能直接提升了60%到90%。

不僅如此，H200與H100一樣都是基于英偉達(dá)Hopper架構(gòu)打造，這也意味著兩款芯片可以互相兼容，對(duì)于使用H100企業(yè)而言，可以無(wú)縫更換成最新的H200。

同時(shí)H200還是英偉達(dá)首款使用HBM3e內(nèi)存的芯片，速度更快容量更大，更適合用于大語(yǔ)言模型的訓(xùn)練或者推理。

除了HBM3e內(nèi)存外，H200的內(nèi)存容量為141GB，帶寬從H100的3.35TB/s增加到了4.8TB/s。

H200的性能提升最主要體現(xiàn)在大模型推理表現(xiàn)上，H200 在700億參數(shù)的Llama2大模型上的推理速度比H100快了一倍，而且在推理能耗上H200相比H100直接降低了一半。

對(duì)于顯存密集型HPC應(yīng)用，H200更高的顯存帶寬能夠確保高效地訪問(wèn)操作數(shù)據(jù)，與CPU相比，獲得結(jié)果的時(shí)間最多可提升110倍。

英偉達(dá)表示H200預(yù)計(jì)將于2024年第二季度出貨，售價(jià)還暫未公布，不過(guò)在算力荒下，大科技公司們估計(jì)還是會(huì)瘋狂囤貨。