OpenAI GPT 技術(shù)的聊天機(jī)器人，其擁有 3000 億單詞的語(yǔ)料基礎(chǔ)，預(yù)訓(xùn)練出擁有 1750 億個(gè)參數(shù)的模型，海量的參數(shù)與強(qiáng)大的智能交互能力離不開(kāi)背后算力和服務(wù)器的支撐。據(jù)我們測(cè)算，若未來(lái) ChatGPT 達(dá)到 10 億日活，每人平均 10000字左右問(wèn)題，則需新增服務(wù)器投入 46.30 萬(wàn)臺(tái)。服務(wù)器的需求起量為上游的存儲(chǔ)/PCB/模擬市場(chǎng)帶來(lái)新增量。我們預(yù)計(jì)，單臺(tái)服務(wù)器帶來(lái)的 PCB 價(jià)值量約為 4000元，而 AI 服務(wù)器放量亦將帶來(lái) DDR5 和 HBM 存儲(chǔ)用量的快速提升。

01

ChatGPT：引領(lǐng)內(nèi)容生成式 AI 行業(yè)變革

此前微軟宣布將在未來(lái)向 OpenAI 投資 100 億美元，并將 ChatGPT 的技術(shù)整合到最新版本的必應(yīng)搜索引擎和 Edge 瀏覽器中。微軟這一舉動(dòng)拉開(kāi)了大型科技公司 AI 競(jìng)賽的序幕，谷歌亦宣布推出 Bard 對(duì)抗 ChatGPT，國(guó)內(nèi)百度、騰訊等科技巨頭亦在加緊推出自己的生成式 AI

從 2018 年 OpenAI 開(kāi)發(fā)出 GPT-1 開(kāi)始，GPT 模型的智能化程度不斷提升，ChatGPT 是從 GPT3.5 系列中的模型進(jìn)行微調(diào)而誕生的，此前 OpenAI 還設(shè)計(jì)了GPT-1、GPT-2 和 GPT-3 模型。相比于前幾代 GPT 模型，ChatGPT 具有類似人類的情境感知和回饋能力，在語(yǔ)言識(shí)別、判斷和交互層面實(shí)現(xiàn)了較好的效果。除此之外，OpenAI 旗下還有可生成圖片內(nèi)容的 AI 應(yīng)用 Dall-E，高智能化的內(nèi)容生成式 AI 有望在未來(lái)一段時(shí)間內(nèi)改變?nèi)祟惪萍及l(fā)展的格局，讓智能化廣泛進(jìn)入人們的日常生活。

ChatGPT 為人類開(kāi)拓出了訓(xùn)練大語(yǔ)言模型的新道路。ChatGPT 在擁有 3000億單詞的語(yǔ)料基礎(chǔ)上預(yù)訓(xùn)練出擁有 1750 億個(gè)參數(shù)的模型（GPT-2 僅有 15 億參數(shù)），預(yù)訓(xùn)練數(shù)據(jù)量從 5GB 增加到 45TB。ChatGPT 證明了在高算力的支持下，千億級(jí)參數(shù)規(guī)模的模型訓(xùn)練+人類反饋，可以使 AI 融合世界的知識(shí)和規(guī)則，極大提升模型表現(xiàn)。

02

ChatGPT 拉動(dòng)算力需求快速增長(zhǎng)

ChatGPT 參數(shù)量、數(shù)據(jù)量高度擴(kuò)張，算力需求劇增。從 2018 年起，OpenAI就開(kāi)始發(fā)布生成式預(yù)訓(xùn)練語(yǔ)言模型 GPT（Generative Pre-trained Transformer），可用于生成文章、代碼、機(jī)器翻譯、問(wèn)答等各類內(nèi)容，每一代 GPT 模型的參數(shù)量都快速增長(zhǎng)：2019 年 2 月發(fā)布的 GPT-2 參數(shù)量為 15 億，而 2020 年 5 月的 GPT-3，參數(shù)量達(dá)到了 1750 億。

ChatGPT 海量的參數(shù)與強(qiáng)大的智能交互能力，離不開(kāi)算力的支撐。根據(jù)Similarweb 的數(shù)據(jù)，23 年 1 月份 ChatGPT 日活約 1300 萬(wàn)人，累計(jì)用戶已超 1億人，創(chuàng)下了互聯(lián)網(wǎng)最快破億應(yīng)用的記錄。若 ChatGPT 日活達(dá)至 1 億人，每人平均 1000 字左右的問(wèn)題，那么需要多大的算力資源支持？

我們建立計(jì)算假設(shè)如下：

1） 假設(shè)均采用英偉達(dá) DGX A100 服務(wù)器：該服務(wù)器單機(jī)搭載 8 片 A100GPU，AI 算力性能約為 5 PetaFLOP/s，單機(jī)最大功率約為 6.5kw；

2） ChatGPT 日活達(dá)至 1 億人，每人平均 1000 字左右問(wèn)題；

3） 自回歸語(yǔ)言模型以 token 作為單位進(jìn)行數(shù)據(jù)處理和計(jì)算，在英文環(huán)境下，一般 750 個(gè)單詞等于 1000 個(gè) token。最常見(jiàn)的 Transformer 類語(yǔ)言模型在推理過(guò)程中每個(gè) token 的計(jì)算成本（以 FLOPs 為指標(biāo)）約為 2N，其中 N 為模型參數(shù)數(shù)量（20 年發(fā)布的 GPT-3 擁有 1750 億參數(shù)，22 年谷歌發(fā)布的 PaLM 擁有 5400 億參數(shù)，假定 ChatGPT 為 3000 億參數(shù)）；

4） 模型的 FLOPs 利用率為 20%；

5） 假定訪問(wèn)峰值是一天均值的 5 倍；

若 ChatGPT 日活達(dá)至 1 億人，每人平均 1000 字左右的問(wèn)題，初始服務(wù)器投入需 4630 臺(tái)。粗略估計(jì) ChatGPT 1000 字左右的問(wèn)題需要的算力資源為2*3000 億*1000*1.333/20%=4PetaFLOP，而 ChatGPT 日活約 1 億人，若每人平均 1000 字左右的問(wèn)題，假設(shè) 24 小時(shí)平均分配任務(wù)，則所需算力為 1 億*4PetaFLOP/（24*3600s）=4630PetaFLOP/ s。考慮訪問(wèn)流量存在峰值，假定訪問(wèn)峰值是一天均值的 5 倍，而單臺(tái)英偉達(dá) DGXA100 系列服務(wù)器算力為 5 PetaFLOP/s，則需要對(duì)應(yīng)服務(wù)器數(shù)量為 4630PetaFLOP/s*5/ PetaFLOP/s=4630 臺(tái)。

而若未來(lái) ChatGPT 日活達(dá)至 10 億人，每人平均 10000 字左右問(wèn)題，則有望帶動(dòng)約 46.30 萬(wàn)臺(tái)。

且考慮谷歌每日搜索量已達(dá) 35 億次，長(zhǎng)期來(lái)看 ChatGPT 日活有廣闊的提升空間，算力需求將持續(xù)釋放。此外，若考慮 ChatGPT 嵌入終端應(yīng)用后，其對(duì)算力資源的消耗量或?qū)⒊蓴?shù)倍級(jí)增長(zhǎng)，所需服務(wù)器數(shù)量需求更是成數(shù)倍級(jí)提升。

文字交互僅是大模型用量的起點(diǎn)，未來(lái)圖像、視頻等多種形態(tài)帶動(dòng)算力需求大幅提升。ChatGPT 目前仍主要停留在文字交互層面，但圖像、視頻等領(lǐng)域也可使用 Transformer 大模型，所需算力規(guī)模遠(yuǎn)大于文字交互。例如 OpenAI 的繪畫 AI模型 DALL-E2，其可直接根據(jù)文字生成逼真的圖像，也可以對(duì)現(xiàn)有圖像上根據(jù)文字指令創(chuàng)建新作品。

03

上游存儲(chǔ)/PCB/模擬受益 ChatGPT 需求新增量

ChatGPT 拉動(dòng)服務(wù)器需求快速增長(zhǎng)的同時(shí)，將直接拉動(dòng)算力芯片需求增長(zhǎng)，我們于下文中詳細(xì)對(duì)算力芯片需求進(jìn)行了介紹。此外，服務(wù)器需求的增長(zhǎng)，也將帶動(dòng)上游存儲(chǔ)/PCB/模擬的需求快速增長(zhǎng)。

1）ChatGPT 新時(shí)代，服務(wù)器需求帶動(dòng) DDR5 和 HBM 用量快速提升。隨著ChatGPT 等應(yīng)用開(kāi)啟 AI 新時(shí)代，全球數(shù)據(jù)生成、儲(chǔ)存、處理量有望呈等比級(jí)數(shù)增長(zhǎng)，而 DDR5 內(nèi)存和高帶寬存儲(chǔ)器（HBM）可支持更高速率的帶寬。對(duì)于計(jì)算-內(nèi)存而言，DDR5 標(biāo)準(zhǔn)的最高速率是 DDR4 的兩倍，而 HBM 基于 TSV 和芯片堆疊技術(shù)的堆疊 DRAM 架構(gòu)，可實(shí)現(xiàn)高于 256GBps 的突破性帶寬。深度學(xué)習(xí)和人工智能的快速發(fā)展對(duì)數(shù)據(jù)運(yùn)算的要求越來(lái)越高，隨著數(shù)據(jù)指數(shù)式增長(zhǎng)，內(nèi)存墻對(duì)于計(jì)算速度的影響越來(lái)越凸顯，而 DDR5 和 HBM 技術(shù)可以幫助數(shù)據(jù)中心突破“內(nèi)存墻”瓶頸。我們看好在 ChatGPT 的帶動(dòng)下，服務(wù)器 DDR5 和 HBM 的滲透率有望加速提升

2） ChatGPT 帶動(dòng) PCB 需求新增量。服務(wù)器內(nèi)部涉及 PCB 的主要部件包括主板、電源背板、網(wǎng)卡、Riser 卡、硬盤背板等，PCB 在 AI 服務(wù)器應(yīng)用中對(duì)板厚、層數(shù)、工藝等有著更高的要求，具有高層數(shù)、高密度及高傳輸速率的特點(diǎn)。

PCB 層數(shù)越多，設(shè)計(jì)越靈活，能夠?qū)﹄娐菲鸬礁玫乜棺枳饔茫子趯?shí)現(xiàn)芯片之間地高速傳輸，單位價(jià)值量也越高。PCIe3.0 接口的信號(hào)傳輸速率為 8GT/s，對(duì)應(yīng)的服務(wù)器 PCB 板為 8-10 層；PCIe4.0 接口的傳輸速率為 16GT/s，使用的服務(wù)器 PCB 層數(shù)為 12-14 層，目前滲透率在快速提高，如英偉達(dá) DGXA100 系列服務(wù)器就采用了 PCIe4.0 接口；服務(wù)器平臺(tái)下一步將升級(jí)到 PCIe 5.0，傳輸速率為32GT/s，PCB 的層數(shù)可達(dá) 18 層。隨著 ChatGPT 對(duì)算力要求的提升，預(yù)計(jì)服務(wù)器PCB 將呈量?jī)r(jià)齊升的態(tài)勢(shì)，保守估計(jì)每臺(tái)服務(wù)器的 PCB 價(jià)值量可達(dá) 4000 元。

3）ChatGPT 拉動(dòng)服務(wù)器建設(shè)的同時(shí)，亦帶來(lái)大量電源管理芯片需求。從市電輸入服務(wù)器開(kāi)始，到電流輸入 CPU 等元器件止，大體上需要經(jīng)過(guò)三次電流的改變。第一次是經(jīng)過(guò)服務(wù)器的電源模塊，將市電從交流電轉(zhuǎn)換成 48V 的直流電（ACDC）。接下來(lái)，該直流電會(huì)被輸送至 DC/DC 變換器，進(jìn)一步被轉(zhuǎn)換成 12V，提供給中間母線結(jié)構(gòu)（IBA）。最后該 12V 母線電壓將被分配至板上多個(gè)負(fù)載點(diǎn)（PoL）變換器中，為芯片或子電路提供電源。不過(guò)由于主板上 CPU 等內(nèi)核器件與風(fēng)扇等

其他器件對(duì)功率的要求各不相同，因此需要分開(kāi)處理。對(duì)于 CPU 等內(nèi)核器件，往往需要使用多相電源供電，而對(duì)于部分功率較小且比較穩(wěn)定的其他器件，不需要使

用多相電源，只需要使用 Buck 進(jìn)行降壓就可以對(duì)其進(jìn)行供電。具體而言，主板上的電源管理 IC 主要包括 eFuse/熱插拔、多相電源、LDO 與降壓 Buck 等四類。

審核編輯 ：李倩