Llama 3.2 模型集擴(kuò)展了 Meta Llama 開(kāi)源模型集的模型陣容，包含視覺(jué)語(yǔ)言模型（VLM)、小語(yǔ)言模型（SLM）和支持視覺(jué)的更新版 Llama Guard 模型。與 NVIDIA 加速計(jì)算平臺(tái)搭配使用，Llama 3.2 可為開(kāi)發(fā)者、研究者和企業(yè)提供極具價(jià)值的新功能和優(yōu)化，幫助實(shí)現(xiàn)生成式 AI 用例。

1B 和 3B 規(guī)模的 SLM 基于 NVIDIA Tensor Core GPU 訓(xùn)練而成，最適合用于在各種邊緣設(shè)備上部署基于 Llama 的 AI 助手。11B 和 90B 規(guī)模的 VLM 支持文本和圖像輸入以及文本輸出。憑借多模態(tài)支持，VLM 可以幫助開(kāi)發(fā)者構(gòu)建需要視覺(jué)基礎(chǔ)、推理和理解能力的強(qiáng)大應(yīng)用。例如，他們可以構(gòu)建用于圖像描述生成、圖像轉(zhuǎn)文本檢索、視覺(jué)問(wèn)答和文檔問(wèn)答等的 AI 智能體。除文本輸入外，Llama Guard 模型現(xiàn)在還支持圖像輸入護(hù)欄。

Llama 3.2 模型架構(gòu)是一種自動(dòng)回歸語(yǔ)言模型，使用了經(jīng)過(guò)優(yōu)化的 Transformer 架構(gòu)。其指令調(diào)整版本使用了監(jiān)督微調(diào)（SFT）和人類(lèi)反饋強(qiáng)化學(xué)習(xí)（RLHF）技術(shù)，以符合人類(lèi)對(duì)有用性和安全性的偏好。所有模型均支持 128K 詞元的長(zhǎng)上下文長(zhǎng)度，并通過(guò)支持分組查詢(xún)注意力（GQA）針對(duì)推理進(jìn)行了優(yōu)化。

NVIDIA 已對(duì) Llama 3.2 模型集進(jìn)行了優(yōu)化，使其能夠在全球數(shù)百萬(wàn)個(gè) GPU 上實(shí)現(xiàn)高吞吐量和低延遲，其中包括數(shù)據(jù)中心、搭載NVIDIA RTX的本地工作站和搭載NVIDIA Jetson的邊緣應(yīng)用。本文將介紹針對(duì)硬件和軟件的優(yōu)化、定制和易于部署的功能。

使用 NVIDIA TensorRT

提升 Llama 3.2 的性能

為了提供空前吞吐量和最佳終端用戶(hù)體驗(yàn)，同時(shí)降低成本和延遲，NVIDIA 正在加速 Llama 3.2 模型集。NVIDIA TensorRT包含了適用于高性能深度學(xué)習(xí)推理的 TensorRT 和 TensorRT-LLM 程序庫(kù)。

Llama 3.2 1B 和 Llama 3.2 3B 模型在 TensorRT-LLM 中使用按比例旋轉(zhuǎn)位置嵌入（RoPE）技術(shù)和其他幾項(xiàng)優(yōu)化措施（包括 KV 緩存和飛行批處理）獲得加速，以支持長(zhǎng)上下文。

Llama 3.2 11B 和 Llama 3.2 90B 模型均為多模態(tài)模型，并且包含一個(gè)視覺(jué)編碼器和一個(gè)文本解碼器。視覺(jué)編碼器通過(guò)將模型導(dǎo)出為 ONNX 圖并構(gòu)建 TensorRT 引擎獲得加速。ONNX 導(dǎo)出創(chuàng)建了一個(gè)包含內(nèi)置運(yùn)算符和標(biāo)準(zhǔn)數(shù)據(jù)類(lèi)型的標(biāo)準(zhǔn)模型定義，主要用于推理。TensorRT 利用 ONNX 圖，通過(guò)構(gòu)建 TensorRT 引擎針對(duì)目標(biāo) GPU 優(yōu)化模型。這種引擎能夠提供各種硬件級(jí)優(yōu)化，通過(guò)層和張量融合以及內(nèi)核自動(dòng)調(diào)整最大程度地提高 NVIDIA GPU 的利用率。

借助 TensorRT-LLM 支持的交叉注意力機(jī)制，視覺(jué)編碼器的視覺(jué)信息被融合到 Llama 文本解碼器中。這樣一來(lái)，VLM 就能聯(lián)系輸入的文本進(jìn)行視覺(jué)推理和理解，從而高效率地生成文本。

使用 NVIDIA NIM

輕松部署生成式 AI 解決方案

用戶(hù)可使用NVIDIA NIM微服務(wù)將 TensorRT 優(yōu)化直接部署到生產(chǎn)中。NIM 微服務(wù)加速了生成式 AI 模型在所有 NVIDIA 加速基礎(chǔ)設(shè)施上的部署，包括云、數(shù)據(jù)中心和工作站等。

NIM 微服務(wù)支持 Llama 3.2 90B Vision Instruct，Llama 3.2 11B Vision Instruct，Llama 3.2 3B Instruct 和 Llama 3.2 1B Instruct 在生產(chǎn)中的部署。NIM 為生成式 AI 工作負(fù)載提供了經(jīng)過(guò)簡(jiǎn)化的管理和編排、標(biāo)準(zhǔn)應(yīng)用編程接口（API）以及帶有生產(chǎn)就緒容器的企業(yè)級(jí)支持。世界各地的開(kāi)發(fā)者、研究者和企業(yè)對(duì)整個(gè)生態(tài)系統(tǒng)提供了強(qiáng)大且日益增強(qiáng)的支持，目前已有超過(guò) 175 家合作伙伴將其解決方案與 NVIDIA NIM 微服務(wù)集成，他們可以從生成式 AI 應(yīng)用投資中取得最大的回報(bào)。

使用 NVIDIA AI Foundry 和 NVIDIA NeMo

定制和評(píng)估 Llama 3.2 模型

NVIDIA AI Foundry提供了一個(gè)端到端的 Llama 3.2 模型定制平臺(tái)，使用戶(hù)能夠獲取先進(jìn)的 AI 工具、計(jì)算資源和 AI 專(zhuān)業(yè)知識(shí)。定制模型在專(zhuān)有數(shù)據(jù)上進(jìn)行微調(diào)，使企業(yè)能夠在特定領(lǐng)域的任務(wù)中實(shí)現(xiàn)更高的性能和準(zhǔn)確性，從而獲得競(jìng)爭(zhēng)優(yōu)勢(shì)。

開(kāi)發(fā)者可以借助NVIDIA NeMo整理他們的訓(xùn)練數(shù)據(jù)，充分利用 LoRA、SFT、DPO、RLHF 等先進(jìn)的調(diào)校技術(shù)定制 Llama 3.2 模型、評(píng)估準(zhǔn)確性和添加護(hù)欄，以此保證模型提供適當(dāng)?shù)幕卮?。AI Foundry 在 NVIDIA DGX Cloud 上提供專(zhuān)用容量并得到 NVIDIA AI 專(zhuān)家的支持。輸出被打包成 NVIDIA NIM 推理微服務(wù)的定制 Llama 3.2 模型，該模型可部署在任何地方。

使用 NVIDIA RTX 和

NVIDIA Jetson 擴(kuò)展本地推理

如今，Llama 3.2 模型已在全球超過(guò) 1 億臺(tái) NVIDIA RTX PC 和工作站上進(jìn)行了優(yōu)化。為了部署在 Windows 中，NVIDIA 已對(duì)這套模型進(jìn)行了優(yōu)化，使其能夠利用 ONNX-GenAI 運(yùn)行時(shí)和 DirectML 后端實(shí)現(xiàn)高效運(yùn)行。

全新的 VLM 和 SLM 為 NVIDIA RTX 系統(tǒng)解鎖了新的功能。為了進(jìn)行演示，我們創(chuàng)建了一個(gè)多模態(tài)檢索增強(qiáng)生成（RAG）管線(xiàn)示例。該管線(xiàn)結(jié)合了文本和可視化數(shù)據(jù)處理（例如圖像、統(tǒng)計(jì)圖和圖表），具有更強(qiáng)大的信息檢索和生成功能。

請(qǐng)注意，您需要一個(gè)配備 NVIDIA RTX 專(zhuān)業(yè) GPU且顯存在 30GB 以上的 Linux 工作站。

SLM 專(zhuān)為邊緣設(shè)備本地部署而定制，采用了蒸餾、剪枝和量化等技術(shù)降低顯存、延遲和計(jì)算要求，同時(shí)保持了重點(diǎn)應(yīng)用領(lǐng)域的準(zhǔn)確性。如要下載 Llama 3.2 1B 和 3B SLM 并將其部署到 GPU 推理能力經(jīng)過(guò)優(yōu)化且具有 INT4/FP8 量化功能的 Jetson 上，請(qǐng)參見(jiàn)NVIDIA Jetson AI Lab 上的 SLM 教程。

多模態(tài)模型為視頻分析和機(jī)器人領(lǐng)域帶來(lái)了獨(dú)一無(wú)二的視覺(jué)功能，因此在邊緣應(yīng)用中的作用越來(lái)越突出。

推動(dòng)社區(qū) AI 模型的發(fā)展

作為積極的開(kāi)源貢獻(xiàn)者，NVIDIA 致力于優(yōu)化社區(qū)軟件，幫助用戶(hù)應(yīng)對(duì)最嚴(yán)峻的挑戰(zhàn)。開(kāi)源 AI 模型還能促進(jìn)公開(kāi)透明，使用戶(hù)能夠大范圍地分享 AI 安全性和彈性方面的工作成果。

借助 Hugging Face 推理即服務(wù)功能，開(kāi)發(fā)者能夠快速部署領(lǐng)先的大語(yǔ)言模型（LLM），例如在 NVIDIA DGX Cloud 上運(yùn)行且通過(guò) NVIDIA NIM 微服務(wù)優(yōu)化的 Llama 3 模型集。