在本次大會上，來自整個生態(tài)系統(tǒng)的專家們將分享有關(guān)在本地部署 AI 的見解。

生成式 AI 正在重新定義計算，為在 PC 和工作站上構(gòu)建、訓(xùn)練和優(yōu)化 AI 模型解鎖了新途徑。從內(nèi)容創(chuàng)作、大和小語言模型到軟件開發(fā)，AI 賦能的 PC 和工作站正在革新工作流并提升工作效率。

在 3 月 17 日至 21 日于圣何塞會議中心舉行的 GTC 2025 大會上，泛 AI 生態(tài)的專家將分享有關(guān)在本地部署 AI、優(yōu)化模型以及利用先進(jìn)的硬件和軟件來增強(qiáng) AI 工作流的見解，并重點介紹 RTX AI PC 和工作站的主要進(jìn)展。

在 RTX 上進(jìn)行開發(fā)和部署

RTX GPU 基于專用 AI 硬件 —— Tensor Core 構(gòu)建而成，能夠為運行算力要求極為苛刻的最新 AI 模型提供所需的計算性能。這些高性能 GPU 可以幫助構(gòu)建數(shù)字人、聊天機(jī)器人、AI 生成的播客等。

隨著 GeForce RTX 和 NVIDIA RTX GPU 用戶超過 1 億，開發(fā)者在部署新的 AI 應(yīng)用和功能時，將能夠面向龐大的受眾群體。在“為 RTX PC 和工作站打造數(shù)字人、聊天機(jī)器人和 AI 生成的播客”會議中，NVIDIA 高級產(chǎn)品經(jīng)理 Annamalai Chockalingam 將展示一套端到端工具，供開發(fā)者用于簡化開發(fā)并快速部署 AI 應(yīng)用。

模型行為

大語言模型（LLM）的使用場景多種多樣，并可延伸到各種復(fù)雜任務(wù)，如編寫代碼或?qū)⑷照Z翻譯為希臘語。但是，由于它們通常在廣泛的應(yīng)用范圍內(nèi)利用豐富的知識進(jìn)行訓(xùn)練，因此可能不適合執(zhí)行特定任務(wù)，例如在電子游戲中生成非玩家角色對話。相比之下，小語言模型會通過減小模型大小來滿足更多本地運行需求，并保持準(zhǔn)確性。

在“關(guān)注您的語言：構(gòu)建可在設(shè)備上運行的小語言模型”會議中，NVIDIA 高級工程經(jīng)理 Oluwatobi Olabiyi 將展示一些工具和技術(shù)，以便當(dāng)今的開發(fā)者和發(fā)燒友用于生成、整理和提煉數(shù)據(jù)集 — 然后訓(xùn)練可以執(zhí)行目標(biāo)任務(wù)的小語言模型。

在 Windows 工作站上充分發(fā)揮 AI 性能

由于硬件配置和軟件環(huán)境多種多樣，要在基于 Windows 的工作站上優(yōu)化 AI 推理和模型執(zhí)行，需要進(jìn)行戰(zhàn)略性軟硬件調(diào)優(yōu)。在“在 Windows 工作站上優(yōu)化 AI 工作負(fù)載：策略和最佳實踐”會議中，將探討 AI 優(yōu)化的最佳實踐，包括模型量化、推理工作流增強(qiáng)和硬件感知調(diào)優(yōu)。

NVIDIA 軟件工程師團(tuán)隊還將介紹面向 ONNX Runtime、NVIDIA TensorRT 和 llama.cpp 的硬件感知優(yōu)化，幫助開發(fā)者更大限度地提高 GPU、CPU 和 NPU 上的 AI 效率。

推動本地 AI 開發(fā)

即使未連接到基于云的服務(wù)，在本地基礎(chǔ)設(shè)施上構(gòu)建、測試和部署 AI 模型也能確保安全性和性能。Z by HP 的 AI 解決方案由 NVIDIA RTX GPU 加速，提供在本地開發(fā) AI 所需的工具，同時保持對數(shù)據(jù)和 IP 的掌控。

參加以下會議了解詳情：

Dell Pro Max 和 NVIDIA：開啟 AI 開發(fā)的未來[S74220]：本次會議將介紹搭載 NVIDIA RTX GPU 的 Dell Pro Max PC、高性能筆記本電腦和面向?qū)I(yè)人士的臺式電腦。了解這兩款功能強(qiáng)大的組合如何幫助快速啟動 AI 戰(zhàn)略，并轉(zhuǎn)變 AI 開發(fā)者、數(shù)據(jù)科學(xué)家、創(chuàng)作者和高級用戶的創(chuàng)新方式。

借助 Z by HP GenAI Lab 和 AI Studio 開發(fā)并評估本地生成式 AI[S74470]：本次會議將展示 Z by HP 解決方案如何簡化本地模型訓(xùn)練和部署，利用 NVIDIA NGC Catalog 中的模型和 Galileo 評估技術(shù)安全高效地優(yōu)化生成式 AI 項目。

借助 Z by HP GenAI Lab 和 AI Studio 為生成式 AI 開發(fā)提供強(qiáng)效助力[S74465]：本次會議將探討 Z by HP 的 GenAI Lab 和 AI Studio 如何助力本地 LLM 開發(fā)，同時確保全面的數(shù)據(jù)安全性和控制。了解這些工具如何簡化從實驗到部署的整個 AI 生命周期，同時集成 NVIDIA NGC Catalog 中提供的模型，以提高協(xié)作和工作流效率。

開發(fā)者和發(fā)燒友可以使用 NVIDIA NIM 微服務(wù)在 RTX AI PC 和工作站上著手進(jìn)行 AI 開發(fā)。今天推出的首個公開測試版包括 Llama 3.1 LLM、用于自動語音識別（ASR）的 NVIDIA Riva Parakeet 和用于計算機(jī)視覺的 YOLOX。

NIM 微服務(wù)是經(jīng)過優(yōu)化的預(yù)構(gòu)建模型，適用于生成式 AI。它們涵蓋對 PC 開發(fā)至關(guān)重要的模態(tài)，并且易于通過行業(yè)標(biāo)準(zhǔn) API 下載和連接。