2023 年《NVIDIA 專家面對面技術(shù)沙龍----——大語言模型專場》于 7 月 30 日下午在北京順利舉行。闊別兩年，首次重返線下！即便是滂沱大雨，也阻擋不了數(shù)百位與會(huì)者的熱情。本次活動(dòng)共匯聚了 40 余位 NVIDIA 技術(shù)專家和上百位業(yè)界人才圍繞大語音模型進(jìn)行全面交流和深入探討。包含來自科研教育、汽車、金融服務(wù)、能源、消費(fèi)者互聯(lián)網(wǎng)、醫(yī)療健康、電信、云服務(wù)、制造業(yè)、農(nóng)業(yè)及初創(chuàng)企業(yè)等各大領(lǐng)域的開發(fā)人員、工程師、研發(fā)經(jīng)理、技術(shù)負(fù)責(zé)人等專家。NVIDIA 全球副總裁劉念寧以及 NVIDIA中國區(qū)工程和解決方案高級總監(jiān)賴俊杰博士通過現(xiàn)場致辭，成功為本屆的技術(shù)沙龍揭開完美序幕。

劉念寧表示，“在 NVIDIA，除了過往的經(jīng)驗(yàn)累積造就成功決策之外，更重要的是，研發(fā)團(tuán)隊(duì)大量創(chuàng)新想法的涌現(xiàn)以及團(tuán)隊(duì)之間的相互碰撞和與客戶之間的相互激蕩 。正如同本次的專家面對面活動(dòng)，專家們不僅來自于 NVIDIA 團(tuán)隊(duì)，更包括來自現(xiàn)場在坐的各位，你們最了解前端的應(yīng)用場景，雙方透過互動(dòng)交流，NVIDIA 才能夠一步步在 AI 領(lǐng)域造就技術(shù)創(chuàng)新。”

賴俊杰表示，“NVIDIA 之所以在軟硬件生態(tài)做得相對優(yōu)秀，其實(shí)是因?yàn)槲覀兒茏⒅厝ヂ犎碜圆煌袠I(yè)客戶的反饋，包括軟件、硬件、應(yīng)用的需求，針對這個(gè)需求，我們研發(fā)出相應(yīng)的解決方案，然后再將其融入固化到產(chǎn)品中。透過這樣的專家面對面線下的活動(dòng)，我們期許這個(gè)交流是雙向的，而不只是單向輸出。衷心希望大家不虛此行，通過今天的交流，各位皆能有所收獲。”

主論壇分享精彩回顧

本次技術(shù)沙龍以大語言模型（LLM）為主題，NVIDIA 技術(shù)團(tuán)隊(duì)共分享了三大技術(shù)指南，包括從大語言模型的基礎(chǔ)設(shè)施搭建、訓(xùn)練到推理，助力企業(yè)打造專屬的大模型高光時(shí)刻。

1. LLM 基礎(chǔ)設(shè)施最佳實(shí)踐：如何建構(gòu)穩(wěn)定的大模型訓(xùn)練系統(tǒng)的方法論，訓(xùn)練任務(wù)生命周期拆解，如何做好集群監(jiān)控、確保環(huán)境可靠和針對大模型訓(xùn)練集群的存儲(chǔ)設(shè)計(jì)，以及集群參考架構(gòu)的分享。

2. LLM 訓(xùn)練最佳實(shí)踐：NVIDIA 針對大模型訓(xùn)練的解決方案 NeMo Framework 概要，如何做數(shù)據(jù)治理、超參搜尋、分布式訓(xùn)練加速、FP8 混合精度訓(xùn)練以及 RLHF 的最佳實(shí)踐，NeMo Framework 對社區(qū)模型和自定義模型的支持進(jìn)展和方法。

3. LLM 推理最佳實(shí)踐：剖析 LLM 生成階段之加速技術(shù) K/V Cache、Self-Attention 推理加速技術(shù)實(shí)測、LLM 推理服務(wù)部署優(yōu)化技術(shù)實(shí)踐，以及如何進(jìn)行大模型低精度推理的最佳實(shí)踐。

左右滑動(dòng)查看主論壇活動(dòng)照片

深度交流，共話 LLM 挑戰(zhàn)與創(chuàng)新進(jìn)展

除了主論壇分享，我們也安排了“分論壇技術(shù)話題及技術(shù)演示”的交流環(huán)節(jié)，讓來自行業(yè)的技術(shù)伙伴們能與 NVIDIA 專家面對面探討 LLM 的最新趨勢及應(yīng)用挑戰(zhàn)。專家親自剖析構(gòu)建及訓(xùn)練 LLM 的實(shí)例，分享相關(guān)實(shí)戰(zhàn)經(jīng)驗(yàn)及 LLM 對行業(yè)未來發(fā)展。包括大模型訓(xùn)練集群監(jiān)控實(shí)踐及演示、常見集群穩(wěn)定性問題詳解及解決方案、NeMo Framework RLHF 設(shè)計(jì)解讀及實(shí)踐、NVIDIA 多模態(tài)訓(xùn)練方案解讀、如何評估大模型訓(xùn)練計(jì)算熱點(diǎn)、低精度推理管線詳解及演示、如何在 NVIDIA 大模型推理產(chǎn)品中新增模型、基于 NeMo LLM Service 定制化開發(fā)企業(yè)級 AI 應(yīng)用，以及如何通過 NeMo-Guardrails 讓大語言模型的使用合法合規(guī)等豐富內(nèi)容。

左右滑動(dòng)查看分論壇活動(dòng)照片

AI 之路，NVIDIA 從未止步

從首屆舉辦到現(xiàn)在，我們定制了不同主題的專場，無論線下或線上，NVIDIA 中國團(tuán)隊(duì)通過“專家面對面技術(shù)沙龍”已累計(jì)與千余名各界的技術(shù)專家交流互動(dòng)。未來，我們將持續(xù)舉辦技術(shù)沙龍，引導(dǎo)更多的行業(yè)人才在科技創(chuàng)新之路，精準(zhǔn)實(shí)踐專業(yè)技能，一同聚焦 AI 發(fā)展，通過近距離交流及答疑，加速解決跨行業(yè)痛點(diǎn)。

再次感謝所有與會(huì)者的熱情支持，

讓本次活動(dòng)圓滿成功。

NVIDIA 期待與您下一次相見！