適用于 Apache Spark 的 RAPIDS 加速器可以幫助公司提升性能并保護(hù)環(huán)境。

各大公司正在研究加速計(jì)算如何能提升它們的基準(zhǔn)性能，同時(shí)還能給地球帶來積極影響。

適用于 Apache Spark 的 NVIDIA RAPIDS 加速器軟件可以加速數(shù)據(jù)分析，不僅能提升性能、降低成本，還可以提升能效。這意味著它可以幫助公司實(shí)現(xiàn)溫室氣體（如二氧化碳）零排放的目標(biāo)。

一項(xiàng)新的基準(zhǔn)測(cè)試表明，RAPIDS 加速器能讓一家公司減少多達(dá) 80% 碳足跡，同時(shí)將計(jì)算速度平均提升五倍，計(jì)算成本降低 4 倍。

許多公司都能從這一技術(shù)中獲益。包括 80% 的世界五百?gòu)?qiáng)在內(nèi)的數(shù)千家公司，都在采用 Apache Spark 來分析它們?nèi)找嬖鲩L(zhǎng)的數(shù)據(jù)。

事實(shí)上，如果每家采用 Apache Spark 的公司都使用 RAPIDS 加速器，他們每年可共計(jì)減少 7.8 公噸的二氧化碳排放，減排效果相當(dāng)于一輛車使用 878 加侖汽油所產(chǎn)生的排放量。這很好地證明了綠色計(jì)算科技能夠?qū)箽夂蜃兓?/p>

人類面臨的挑戰(zhàn)

據(jù)聯(lián)合國(guó)，超過 70 個(gè)國(guó)家已經(jīng)為溫室氣體排放設(shè)定了一個(gè)凈零目標(biāo)。聯(lián)合國(guó)將“向凈零排放轉(zhuǎn)型”描述為“人類目前面臨的最大的挑戰(zhàn)之一”。

許多公司正在為此做出自身的貢獻(xiàn)。

例如，NVIDIA 正在與一家大型金融服務(wù)公司合作，測(cè)試將 Apache Spark 應(yīng)用到實(shí)時(shí)欺詐保護(hù)中。該公司希望借助加速計(jì)算降低碳足跡，并與 Net-Zero Banking Alliance 等組織通力合作。

5月份，世界上最大的 AI 超級(jí)計(jì)算機(jī)之一證實(shí)了加速計(jì)算能提高能效。

在四個(gè)熱門的科學(xué)應(yīng)用中，位于美國(guó)國(guó)家能源研究科學(xué)計(jì)算中心（NERSC）的 Perlmutter 系統(tǒng)的能效平均提升了五倍，這要?dú)w功于 NVIDIA A100 Tensor Core GPU 。與使用 CPU 相比，一個(gè)天氣預(yù)報(bào)應(yīng)用實(shí)現(xiàn)了 9.8 倍加速。

NERSC 應(yīng)用程序通過加速計(jì)算實(shí)現(xiàn)了效率提升

AT&T 接入 RAPIDS 加速器

美國(guó)電話電報(bào)公司（AT&T）、Adobe 和美國(guó)聯(lián)邦稅務(wù)局（IRS）等組織已經(jīng)發(fā)現(xiàn)了 RAPIDS 加速器的性能和成本優(yōu)勢(shì)。

在去年的一次測(cè)試中，AT&T 僅用五個(gè)小時(shí)就處理了一個(gè)月的移動(dòng)數(shù)據(jù)——足有 2.8 萬億行信息。這比以往的任何測(cè)試都要快 3.3 倍，而成本降低了 60%。

AT&T 的 AI 架構(gòu)師 Abhay Dabholkar 在一篇博客中寫道：“這一結(jié)果令人振奮，因?yàn)槿绻怯?CPU 集群，僅僅是七天的數(shù)據(jù)就需要處理超過 48 小時(shí)——曾經(jīng)，我們手握數(shù)據(jù)，但卻由于處理時(shí)間太長(zhǎng)而無法使用它。”

“如果一項(xiàng)任務(wù)耗時(shí)太長(zhǎng)，而且數(shù)據(jù)太多，那么我們建議轉(zhuǎn)向 GPU ，并借助 Spark ，CPU 上運(yùn)行的代碼也可以在 GPU 上運(yùn)行。”他補(bǔ)充說。

Adobe 加速服務(wù)

Adobe 在其 Intelligent Services 平臺(tái)上使用了加速計(jì)算，幫助市場(chǎng)營(yíng)銷團(tuán)隊(duì)用 AI 來加速分析。

他們發(fā)現(xiàn)，使用 RAPIDS 加速器時(shí)，單個(gè) NVIDIA GPU 節(jié)點(diǎn)的性能可以比 16 個(gè)節(jié)點(diǎn)的 CPU 集群高出 33% ，同時(shí)將計(jì)算成本降低 70% 。

在另一個(gè)訓(xùn)練 AI 模型的測(cè)試中，使用搭載 GPU 加速的RAPIDS 庫(kù)將速度提高了 7 倍，與在 CPU 上運(yùn)行的同一任務(wù)相比，其成本節(jié)省了 90% 。

Adobe 的機(jī)器學(xué)習(xí)工程師張磊在 GTC 大會(huì)發(fā)表的演講中表示：“這能極大節(jié)省成本，提升速度，真是令人震驚。”

Spark 帶來 20 倍的提升

CPU 的性能不足以處理分析所需的 3TB 以上的數(shù)據(jù)集，因此 IRS 轉(zhuǎn)向了 RAPIDS 加速器。

一個(gè)由 GPU 驅(qū)動(dòng)的服務(wù)器組成的 Spark 集群能夠處理這些數(shù)據(jù)負(fù)載，并為處理更大的數(shù)據(jù)集開啟了一扇門。

IRS 研究和應(yīng)用分析與統(tǒng)計(jì)部門技術(shù)主管 Joe Ansaldi 在一篇博客中表示：“我們目前正在實(shí)施這一整合，我們的數(shù)據(jù)工程和數(shù)據(jù)科學(xué)工作流程以一半的成本實(shí)現(xiàn)了超過 20 倍的速度提升。”

如何邁出第一步

提升性能和減少成本的程度在不同的工作負(fù)載中有所不同。正因?yàn)榇耍琋VIDIA 推出了一款加速的 Spark 分析工具。

該工具向用戶展示了 RAPIDS 加速器在無需更改任何代碼的情況下，在他們的應(yīng)用程序上可以實(shí)現(xiàn)怎樣的提升。該工具還能幫助用戶對(duì) GPU 加速進(jìn)行微調(diào)，以在他們的工作負(fù)載上獲得最佳效果。

一旦 RAPIDS 加速器提高了關(guān)鍵性能，公司就可以計(jì)算節(jié)省的能源，并報(bào)告他們?cè)诒Ｗo(hù)地球方面所取得的進(jìn)展。

觀看下方視頻以了解 Cloudera 數(shù)據(jù)平臺(tái)如何用適用于 Apache Spark 的 RAPIDS 加速器提速 44 倍。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國(guó)加州圣何塞會(huì)議中心舉行，線上大會(huì)也將同期開放。點(diǎn)擊“閱讀原文”或掃描下方海報(bào)二維碼，關(guān)注更多會(huì)議及活動(dòng)信息。