1956年那個(gè)燥熱的夏季，寧?kù)o的漢諾斯小鎮(zhèn)里，那場(chǎng)在后來(lái)相當(dāng)知名的“達(dá)特茅斯會(huì)議”，雖然敲定了“人工智能”作為“用機(jī)器來(lái)模仿人類學(xué)習(xí)以及其他方面的智能”的技術(shù)的代名詞，但是對(duì)它的未來(lái)，應(yīng)該是沒(méi)有明確預(yù)判的。那些當(dāng)時(shí)的行業(yè)“超腦”沒(méi)有想到，“人工智能”在此后的幾十年里波浪式前進(jìn)、階段性停滯、多次修正，并在某一個(gè)階段突然爆發(fā)式崛起，而諸如“大模型”、“生成式”這樣的術(shù)語(yǔ)，在那時(shí)，是未被討論、規(guī)劃甚至設(shè)想過(guò)的：在2020年之后，“人工智能”不僅有了真正的“靴子落地”的傾向，而且“腳印”加深，“腳步”加快。

特別是在Transformer出現(xiàn)后，大模型的規(guī)模平均每隔半年就會(huì)翻倍。目前，OpenAI最先進(jìn)的大模型有1.8萬(wàn)億參數(shù)，而前述擴(kuò)張速度或許代表，這種參數(shù)規(guī)模，對(duì)于未來(lái)，仍然不過(guò)是個(gè)“開(kāi)始”。這個(gè)時(shí)候，壓力就越來(lái)越明確地給到了“算力”。

在英偉達(dá) GTC 2024的主旨演講中，英偉達(dá)創(chuàng)始人兼首席執(zhí)行官黃仁勛表示，如果用一顆petaflop（每秒鐘可進(jìn)行1千萬(wàn)億次運(yùn)算）量級(jí)的GPU來(lái)應(yīng)對(duì)前述大模型需要的計(jì)算規(guī)模，用時(shí)約1000年，“不夠快”，“不夠大”。

也是基于此，GTC 2024現(xiàn)場(chǎng)發(fā)布Blackwell GPU，AI性能達(dá)到20 petaflops，相比作為主要面向大規(guī)模AI和HPC應(yīng)用的英偉達(dá)第九代數(shù)據(jù)中心GPU的Hopper，Blackwell的AI性能提升5倍，片上存儲(chǔ)提升4倍。同時(shí)，包含多項(xiàng)計(jì)算加速技術(shù)。黃仁勛說(shuō)，“Hopper很棒，但我們需要更大的GPU”，Blackwell就“非常非常大”。

外界將Blackwell稱之為“算力核彈”。

不過(guò)，正如“核彈”需要很好的“發(fā)射平臺(tái)”，要推動(dòng)AI創(chuàng)新領(lǐng)域的“算力引爆”，英偉達(dá)并不是“一個(gè)人在戰(zhàn)斗”，與之?dāng)y手、提供優(yōu)秀“平臺(tái)”的，是與英偉達(dá)有13年合作歷程的亞馬遜云科技。后者致力于讓最先進(jìn)的AI算力在云端觸手可得，Blackwell GPU平臺(tái)即將登陸亞馬遜云科技，亞馬遜云科技將提供NVIDIA GB200 Grace Blackwell 超級(jí)芯片和 B100 Tensor Core GPU。

具體而言，雙方的延伸合作，在AI前沿技術(shù)探索的規(guī)模、性能、安全、應(yīng)用等維度亮點(diǎn)突出。

在云上加速超萬(wàn)億級(jí)參數(shù)大模型研發(fā)

從黃仁勛的言語(yǔ)間，不難看到，英偉達(dá)Blackwell，劍指萬(wàn)億參數(shù)規(guī)模大模型。

Blackwell架構(gòu)下的新品NVIDIA GB200，包含兩個(gè)B200 GPU（單個(gè)包含2080億個(gè)晶體管）和一個(gè)Grace CPU，在具有1750億個(gè)參數(shù)的GPT-3大語(yǔ)言模型基準(zhǔn)測(cè)試中，GB200性能是H100的7倍，訓(xùn)練速度是H100的4倍，成本和能耗上GB200比H100降低了25倍。

亞馬遜云科技將提供配置GB200 NVL72的英偉達(dá)Blackwell平臺(tái)，該平臺(tái)具備配備72顆Blackwell GPU和36顆Grace CPU，通過(guò)第五代NVIDIA NVLink?互連。亞馬遜云科技則在云中為其提供強(qiáng)大的EFA網(wǎng)絡(luò)連接、高級(jí)虛擬化的Amazon Nitro系統(tǒng)和Amazon EC2 UltraClusters超大規(guī)模集群等技術(shù)支持，客戶能夠在亞馬遜云科技上擴(kuò)展至數(shù)千個(gè)GB200 Superchips。

亞馬遜云科技還計(jì)劃提供配備基于新的英偉達(dá)B100 GPU的Amazon EC2實(shí)例，并能夠在Amazon EC2 UltraClusters中進(jìn)行大規(guī)模部署。此前，亞馬遜云科技已經(jīng)成功推出了基于英偉達(dá)H100芯片的Amazon EC2 P5實(shí)例，客戶能夠在云上將其P5實(shí)例擴(kuò)展到超過(guò)2萬(wàn)個(gè)英偉達(dá)H100 GPU，后續(xù)還提供可短期使用這些實(shí)例的EC2 Capacity Blocks for ML功能，以幫助客戶更好地安排云上生成式AI開(kāi)發(fā)進(jìn)程。

GB200芯片同時(shí)也在亞馬遜云科技和英偉達(dá)共同開(kāi)發(fā)的AI平臺(tái)NVIDIA DGX? Cloud上可用，這是一個(gè)在亞馬遜云科技上雙方共同開(kāi)發(fā)的AI平臺(tái)，為企業(yè)開(kāi)發(fā)者提供了構(gòu)建和部署先進(jìn)生成式AI模型所需的專用基礎(chǔ)設(shè)施和軟件。

綜上來(lái)看，亞馬遜云科技通過(guò)對(duì)英偉達(dá)的Blackwell GPU的支持，在應(yīng)對(duì)資源密集型和數(shù)萬(wàn)億參數(shù)語(yǔ)言模型等推理工作負(fù)載加速方面實(shí)現(xiàn)了巨大飛躍。

Ceiba性能翻6倍，助力更多領(lǐng)域創(chuàng)新

在去年11月底亞馬遜云科技2023 re:Invent全球大會(huì)上，Ceiba首次亮相，是當(dāng)時(shí)英偉達(dá)與亞馬遜云科技合作建造的世界上最快的AI超級(jí)計(jì)算機(jī)之一，當(dāng)時(shí)的計(jì)算性能為65exaflops，，專為英偉達(dá)自身的研究和開(kāi)發(fā)而設(shè)計(jì)，并獨(dú)家托管在亞馬遜云科技上。

伴隨Blackwell出現(xiàn)，Ceiba項(xiàng)目迎來(lái)新進(jìn)展，將采用GB200芯片進(jìn)行設(shè)計(jì)。新的Ceiba項(xiàng)目擁有20736顆B200 GPU的超級(jí)計(jì)算機(jī)，采用新型NVIDIA GB200 NVL72系統(tǒng)構(gòu)建，該系統(tǒng)利用第五代NVLink技術(shù)連接10368顆NVIDIA Grace CPU。系統(tǒng)還通過(guò)亞馬遜云科技的第四代EFA網(wǎng)絡(luò)進(jìn)行擴(kuò)展，為每個(gè)Superchip提供高達(dá)800Gbps的低延遲、高帶寬網(wǎng)絡(luò)吞吐量，能夠處理高達(dá)414exaflops的AI計(jì)算量。

這與之前計(jì)劃在Hopper架構(gòu)上構(gòu)建的Ceiba相比，性能翻了6倍。

以此為依托，英偉達(dá)將基于Ceiba項(xiàng)目推進(jìn)大語(yǔ)言模型、圖形（圖像/視頻/3D 生成）與仿真、數(shù)字生物學(xué)、機(jī)器人技術(shù)、自動(dòng)駕駛汽車、NVIDIA Earth-2 氣候預(yù)測(cè)等領(lǐng)域的 AI 技術(shù)，從而推動(dòng)更多領(lǐng)域的生成式 AI 創(chuàng)新。

生成式AI開(kāi)發(fā)安全更進(jìn)一步

類型、規(guī)模龐大的安全問(wèn)題，在近年來(lái)與大模型、生成式AI探索幾乎相伴而生。通過(guò)合作，亞馬遜云科技與英偉達(dá)繼續(xù)強(qiáng)化了生成式AI的安全性。

一方面，英偉達(dá)也在Blackwell架構(gòu)中增加了機(jī)密計(jì)算功能來(lái)強(qiáng)化AI的安全性。另一方面，Blackwell架構(gòu)包含了可靠性引擎RAS，該引擎通過(guò)AI對(duì)可靠性、安全性等相關(guān)問(wèn)題進(jìn)行預(yù)測(cè)和預(yù)先診斷，在穩(wěn)固運(yùn)行的同時(shí)進(jìn)一步降低運(yùn)營(yíng)成本。

至于亞馬遜云科技，首先，堅(jiān)持客戶擁有并能夠始終控制其數(shù)據(jù)，并確保數(shù)據(jù)不會(huì)與第三方模型提供者共享。

其次，Amazon Nitro系統(tǒng)與英偉達(dá)GB200結(jié)合能夠阻止未授權(quán)個(gè)體訪問(wèn)模型權(quán)重。

GB200支持對(duì)GPU間的NVLink連接物理加密以及CPU和GPU間的數(shù)據(jù)傳輸加密，同時(shí)還能夠利用Amazon EFA對(duì)分布式訓(xùn)練和推理過(guò)程的數(shù)據(jù)進(jìn)行加密。

受益于Amazon Nitro系統(tǒng)，GB200系統(tǒng)能夠?qū)PU和GPU的輸入/輸出功能卸載至專門的硬件中，以提供更加一致的性能，其增強(qiáng)的安全性可以在客戶端和云端全程保護(hù)客戶的代碼和數(shù)據(jù)在處理過(guò)程中的安全。

推進(jìn)生成式AI在生命健康領(lǐng)域的應(yīng)用

亞馬遜云科技與英偉達(dá)在利用計(jì)算機(jī)輔助的藥物發(fā)現(xiàn)領(lǐng)域進(jìn)行合作拓展，推出了新的NVIDIA BioNeMo?基礎(chǔ)模型，用于生成化學(xué)、蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)，以及理解藥物分子與目標(biāo)的相互作用，這些新模型將很快在Amazon HealthOmics上提供。

Amazon HealthOmics是一個(gè)專為幫助醫(yī)療保健和生命科學(xué)組織存儲(chǔ)、查詢和分析基因組、轉(zhuǎn)錄組及其他組學(xué)數(shù)據(jù)而設(shè)計(jì)的專用服務(wù)。

Amazon HealthOmics和英偉達(dá)醫(yī)療保健團(tuán)隊(duì)還合作推出生成式AI微服務(wù)，以推進(jìn)藥物發(fā)現(xiàn)、醫(yī)療技術(shù)和數(shù)字健康領(lǐng)域的發(fā)展，該服務(wù)提供一個(gè)新的GPU加速的云端服務(wù)目錄，涵蓋生物學(xué)、化學(xué)、成像和醫(yī)療保健數(shù)據(jù)，以便醫(yī)療企業(yè)能夠在亞馬遜云科技上利用生成式AI的最新成果。

整體而言，這次的合作，是雙方在技術(shù)領(lǐng)域的又一次強(qiáng)強(qiáng)聯(lián)合：英偉達(dá)的超強(qiáng)算力芯片系統(tǒng)與亞馬遜云科技強(qiáng)大的Elastic Fabric Adapte (EFA)網(wǎng)絡(luò)連接能力、高級(jí)虛擬化( Amazon Nitro System)和超大規(guī)模集群(Amazon EC2 UltraClusters)等領(lǐng)先技術(shù)的結(jié)合，使得客戶能夠更快、更大規(guī)模、更低成本且更安全地在云上構(gòu)建和運(yùn)行數(shù)萬(wàn)億參數(shù)的大語(yǔ)言模型。（丁科技網(wǎng)原創(chuàng)，轉(zhuǎn)載務(wù)必注明“來(lái)源：丁科技網(wǎng)”）