英偉達在世界電腦會議（sc2023）上發布了最新ai芯片h200，對ai模型進行了訓練。

英偉達大幅升級了熱門的h100人工智能gpu。新高端芯片芯片h200基于英偉達的hopper架構，是第一個使用高帶寬內存的gpu，速度更快。建立一個大的語言模型是必要的。推理或生成問題答案時性能比h100提高60 ~ 90%。

英偉達方面表示，以hbm3e為基礎，h200每秒提供4.8tb、141gb的存儲器，與a100相比，容量和帶寬分別增加2倍和2.4倍。

在備受關注的人工智能領域，英偉達表示，h200將進一步提高性能。llama 2（700億個llm）的推理速度是h100的兩倍。未來的軟件更新有望為h200帶來更多的性能和改進。

h200由英偉達hgx h200服務器主板4頻道和8頻道組成，可與hgx h100系統的硬件和軟件兼容。

據悉，大型計算機制造企業和云服務提供企業將從明年第二季度開始使用h200。亞馬遜的aws、Alphabet公司的谷歌云、微軟的azure、甲骨文的云基礎設施已承諾從明年開始使用該新芯片。

英偉達表示，希望通過推出新產品，趕上人工智能（ai）模型和服務數據集規模的增加。隨著內存容量的增加，h200向軟件提供數據的速度將會加快，這一過程將訓練人工智能來完成圖像和語音識別等工作。

過去英偉達通常每兩年更新一次芯片架構，而最新的芯片架構是hopper。但nvidia向投資者表示，隨著上月對gpu的需求劇增，原本每2年推出新的架構，現在改為每1年推出新的架構。