NVIDIA 發布了 TensorRT 8.2 ，對十億參數 NLU 模型進行了優化。其中包括 T5 和 GPT-2 ，用于翻譯和文本生成，使實時運行 NLU 應用程序成為可能。

TensorRT 是一款高性能的深度學習推理優化器和運行時，為人工智能應用程序提供低延遲、高吞吐量推理。 TensorRT 用于醫療、汽車、制造、互聯網/電信服務、金融服務和能源等多個行業。

PyTorch 和 TensorFlow 是擁有數百萬用戶的最流行的深度學習框架。新的 TensorRT 框架集成現在在 PyTorch 和 TensorFlow 中提供了一個簡單的 API ，并提供了強大的 FP16 和 INT8 優化，從而將推理速度提高了 6 倍。

亮點包括

TensorRT 8.2:T5 和 GPT-2 的優化運行實時翻譯和摘要，與 CPU 相比，性能提高了 21 倍。

TensorRT 8.2 ：適用于使用 Windows 的開發人員的簡單 Python API 。

Torch TensorRT:PyTorch 的集成與 GPU 上的框架內推理相比，僅需一行代碼即可提供高達 6 倍的性能。

TensorFlow TensorRT:TensorFlow 與 TensorRT 的集成提供了比使用一行代碼在 GPU 上進行框架內推理快 6 倍的性能。

資源

Torch- TensorRT 在 NGC catalog 的 PyTorch 容器中提供。

TensorFlow- TensorRT 目前可從 NGC catalog 的 TensorFlow 容器中獲得。

TensorRT 免費提供給 NVIDIA 開發程序 的成員。

在 TensorRT 產品頁面了解更多信息。

關于作者

About Jay Rodge

Jay Rodge 是 NVIDIA 的產品營銷經理，負責深入學習和推理產品，推動產品發布和產品營銷計劃。杰伊在芝加哥伊利諾伊理工學院獲得計算機科學碩士學位，主攻計算機視覺和自然語言處理。在 NVIDIA 之前，杰伊是寶馬集團的人工智能研究實習生，為寶馬最大的制造廠使用計算機視覺解決問題。

審核編輯：郭婷