在GTC 2023 | NVIDIA開(kāi)發(fā)者大會(huì)上，加州伯克利數(shù)學(xué)與計(jì)算機(jī)科學(xué)的教授向我們介紹了關(guān)于深度學(xué)習(xí)系統(tǒng)Colossal-AI的相關(guān)內(nèi)容。

深度學(xué)習(xí)系統(tǒng)Colossal-AI使用戶(hù)能夠以大幅降低成本的方式最大限度地提高AI訓(xùn)練和推理的效率。它集成了高效的多維并行、異構(gòu)內(nèi)存管理、自適應(yīng)任務(wù)調(diào)度等先進(jìn)技術(shù)。

Colossal-AI將更好地了解大型模型訓(xùn)練和推理背后的并行性和內(nèi)存優(yōu)化技術(shù)，學(xué)習(xí)深度學(xué)習(xí)系統(tǒng)的實(shí)際應(yīng)用（包括自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、生物信息學(xué)等），并能夠?yàn)槲磥?lái)的大型 AI 模型時(shí)代做出貢獻(xiàn)。

Colossal-AI系統(tǒng)試圖解決什么問(wèn)題呢？

主流AI模型大小增長(zhǎng)的圖表，它顯示了AI模型在短短幾年內(nèi)增長(zhǎng)的速度,每18個(gè)月增長(zhǎng)40倍，這超過(guò)了摩爾定律在其具盛時(shí)期的最佳表現(xiàn)。

小型和中型企業(yè)（ SMEs ）在盡可能地在采用它們，Colossal-Al系統(tǒng)在2026年時(shí)可以幫你節(jié)省的成本的估計(jì)訓(xùn)練175B參數(shù)GPT-3模型，利用所有這些硬件特性和變化，估計(jì)訓(xùn)練成本從300降至73000美元，約為41倍。

強(qiáng)調(diào)大規(guī)模并行是必不可少的，使用單個(gè)A 100 GPU訓(xùn)練具有540B參數(shù)的Pal M語(yǔ)言模型的時(shí)間和成本，需要300年并且花費(fèi)920萬(wàn)美元。

隨著新數(shù)據(jù)的不斷出現(xiàn)，他們需要反復(fù)的新訓(xùn)練以避免像2019年的GPT-2一樣無(wú)法識(shí)別COVID-19等概念。

訓(xùn)練完成之后，僅使用模型進(jìn)行推理也是項(xiàng)挑戰(zhàn)，因?yàn)槟Ｐ偷拇笮⌒枰⑿屑夹g(shù)，單個(gè)服務(wù)器的內(nèi)存可能無(wú)法容納大模型。除了設(shè)備成本之外，還有人力成本支付需要解決所有這些問(wèn)題的專(zhuān)家團(tuán)隊(duì)，這就限制了一些公司特別是無(wú)法承受這些團(tuán)隊(duì)的中小企業(yè)使用這些大型模型。

因此Colossal-AI的作用出現(xiàn)了：

對(duì)特定底層硬件架構(gòu)進(jìn)行優(yōu)化，左側(cè)（硬件層）可以是CPU、 GPU、TPU或FPGAl，右側(cè)是你的用于AI模型編寫(xiě)的框架，如TensorFlow、 Py Torch或其他框架。Colossal-AI可以高效地將大模型部署到目標(biāo)架構(gòu)，實(shí)現(xiàn)底部顯示的所有目標(biāo)，最小化運(yùn)行時(shí)間，最小化通信（移動(dòng)數(shù)據(jù)）在當(dāng)前架構(gòu)是最昂貴的操作，最小化用戶(hù)需要改動(dòng)代碼的數(shù)量，即重構(gòu)。使模型能夠動(dòng)態(tài)地適應(yīng)機(jī)器的規(guī)模變化，并減少內(nèi)存占用，一邊能運(yùn)行大模型。

Colossal-AI提供了三個(gè)層次：

高效的內(nèi)存系統(tǒng)，可最大程度利用可用內(nèi)存。

多維并行，即如何最好地將復(fù)雜的模型映射到可用的硬件上，以最大程度地使并行處理并最小化通信。

大規(guī)模優(yōu)化，也就是如何自動(dòng)調(diào)整影響準(zhǔn)確度收斂的眾多超參數(shù)，因?yàn)檫@些值通常取決子如何進(jìn)行并行處理。

因此Colossal-AI的目標(biāo)是將復(fù)雜且相互作用的決策從用戶(hù)角度隱藏起來(lái)，并自動(dòng)完成所有操作。

編輯：黃飛