推出TensorRT 7、支持ARM，英偉達GTC China 2019給了業界大驚喜

12月20日消息（南山）在日（rì）前（qián）舉辦（bàn）的英偉達 GTC China 2019大會上，“教主”黃仁勳發布了一係列新品，其中TensorRT 的最新版本TensorRT 7令人矚目，相比去（qù）年發布（bù）的（de）TensorRT 5，TensorRT 7 可支持各種類型的 RNN、transformer、CNN，能夠融合水平與垂直方（fāng）向的（de）運算，支持 1000 多種不同的計算變換（huàn）和（hé）優化。黃仁勳舉例（lì），有了 TensorRT 7 的支持，在 GPU 上編譯會話（huà）模型隻需要0.3秒（miǎo）。

TensorRT 7的典型應用，是支持交互式會話AI，為實現更加智能的AI人機交（jiāo）互打開了新大門（mén）。在大（dà）會期間，英偉達加（jiā）速計算產品管理總監Paresh Kharya等人接受C114/機器成精等媒（méi）體采訪，對TensorRT 7新平台、兼容ARM等熱門話（huà）題進行了解讀。

支撐會（huì）話式（shì）AI全流（liú）程

Paresh Kharya介（jiè）紹，AI技術（shù）正在取得長足進展，最新的應用包括會話式AI和推薦係統。其中，會話（huà）式AI是一個非常複（fù）雜的任務（wù），需要AI理解（jiě）語音、文本、語言，整個過程分為三個部分：識別你所說的（de），將你所說的話轉（zhuǎn）化為文字，理解這些文字並轉化成（chéng）語言再說出來。隨著英偉達不斷發布新版本，TensorRT 7可以（yǐ）完成三個流程計算，從語音識別到語義理解再到語音輸出。

“要想把會話式AI做得有用，需要符合（hé）兩個條件，要在（zài）300毫秒內將整個（gè）三部分完成，而且要完成的非常智能。在這個過程當中，有（yǒu）非常多（duō）的複雜模型需要（yào）計算，Tensor RT也在（zài）不斷完善。” Paresh Kharya表示。

“推薦係統也是至關重要的一環，甚至已成為了互（hù）聯網最重（chóng）要的引（yǐn）擎。” Paresh Kharya強調，用戶麵臨的選擇越來越多，網絡的信（xìn）息量呈現爆炸式增（zēng）長，包括商品、視頻，以及各類選擇的參數（shù）的數（shù）量（liàng）都在爆炸式增（zēng）長。“商品達到數十億級別，網（wǎng）絡視頻百萬（wàn）量級增長，新聞每天都在產生海量數據。阿裏巴巴、百度，都使用了英偉達的平台支持（chí）他們的推薦係統。”

這些信息在實時（shí）、動（dòng）態的變化過程中，隻有不斷對模型進行訓練，才可以有效地推薦。訓練模型需要大量算力，英偉（wěi）達提供了不斷更新的各類工具（jù）和軟件，比如最新的軟件Tensor RT 7，支持（chí）各類模（mó）型在各種（zhǒng）情景（jǐng）下（xià）的部署，支持上百萬的用戶在每秒內做數十億（yì）次的搜索（suǒ）。

例如，阿裏的邊緣係統如果在英偉達的GPU上跑，每秒可以做780次（cì）查詢；但（dàn）是如果（guǒ）用CPU，每秒隻（zhī）能做3次查詢。

與ARM合（hé）作，給客戶更多（duō）選擇

本次大會上（shàng），英偉達還宣布ARM處理器可以使用其GPU加速技（jì）術、NVIDIA Magnum IO套件，以（yǐ）及在Microsoft Azure上使用的新型雲加速GPU超級計算機等。換句話說，英偉達將全方位擴展高性能計算領域。

Paresh Kharya指出，ARM是被業界廣泛使用的架構（gòu），服務全球1500億台設備。其成功的一個重要原（yuán）因（yīn）是（shì）開放平（píng）台，各（gè）家公司都能夠在ARM架構上進行創新，ARM也能（néng）夠提供互聯、內（nèi）存（cún）、CPU內核、計算能力等各種功能。英偉達將通過（guò）CUDA平（píng）台和ARM架構（gòu）進行兼容，在高性能計算領域，給客戶更多選擇。

“加（jiā）速計算和過去以CPU為基礎（chǔ）的計算很不一樣，性能提升（shēng）是20、30甚至是100倍的（de）。原因不僅是在（zài）架構上進行了設計（jì），更（gèng）重要的是通過軟件優化和支撐。比如我們有各種各樣的（de）平台，像（xiàng）應用在醫療領域的Clara平台，應用在自動駕駛領域的Drive以及Isaac，做到了硬件和軟件的（de）結合。” Paresh Kharya表示。

當前，對於GPU，業界既用於圖像處理，也有一些特別的客戶會剝離圖像處理能力，專注於加速技術應用。Paresh Kharya認為（wéi），英偉（wěi）達豐富的產品線（xiàn），能夠（gòu）滿足客戶（hù）的差異化需求，例如應用於數據中心的（de）GPU就沒有圖像處理部分，通（tōng）過Tensor Core做AI加（jiā）速計算。一（yī）些新品如RTX6000、RTX8000，則圖像處（chù）理和AI加速功能兼具。“我（wǒ）們的優勢是統一的架構應用於各種工作負載當中實現加速計算，這意味（wèi）著在各個行業中、各種各樣的商業機會。”