NVIDIA H100 GPU在AWS Cloud上提供新的Amazon EC2 P5使用NVIDIA的最新加速器,為生成式AI等提供領先行業的性能

AWS用戶現在可以在AI訓練和推理的行業基準測試中獲得領先的性能

作者: DAVE SALVATOR  來源: NVIDIA

這家雲巨頭正式啟用了由 NVIDIA H100 Tensor Core GPU 驅動的新的 Amazon EC2 P5。該服務允許用戶通過瀏覽器一鍵擴展生成式AI、高性能計算(HPC)和其他應用程式。

這一消息是在AI的iPhone時刻之後傳出的。開發人員和研究人員每天都在使用大型語言模型(LLM)發現AI的新應用。將這些新應用案例帶到市場上需要加速計算的速度。

NVIDIA H100 GPU通過包括第四代Tensor Core、用於加速LLM的新Transformer引擎以及讓GPU以900GB/sec的速度相互通信的最新NVLink技術等架構創新,提供超級計算級的性能。

使用 P5 進行擴充

Amazon EC2 P5 非常適合訓練和運行越來越複雜的 LLM 和電腦視覺模型的推理。這些神經網路驅動著最具挑戰性和計算密集型的生成式AI應用,包括問答、程式碼生成、影片和圖像生成、語音識別等。

P5 可以佈署在被稱為 EC2 UltraClusters 的超大規模叢集中,該叢集由高性能計算、網絡和儲存裝置組成。每個 EC2 UltraCluster 都是一個強大的超級電腦,使客戶能夠在多個系統上運行最複雜的AI訓練和分佈式HPC工作負載。

因此,客戶可以運行需要計算節點之間高水平通信的大規模應用程式,P5 配備了由 AWS EFA 提供支持的PB級非阻塞網路,該網路端點為Amazon EC2提供3200 Gbps的速度。

使用P5,機器學習應用程式可以使用NVIDIA叢集通信庫來使用多達20,000個H100 GPU。

NVIDIA AI Enterprise

通過完整軟體套件幫助用戶充分利用P5架構,該軟體套件包括100多個框架、預先訓練模型、AI工作流程和調整AI基礎設施的工具

設計用於簡化AI應用程式的開發和佈署,NVIDIA AI Enterprise解決了構建和維護高性能、安全、雲原生AI軟體平台的複雜性。在AWS Marketplace上提供持續的安全監控、定期和及時的常見漏洞和曝光的修補、API穩定性和企業支持,以及訪問NVIDIA AI專家的權限。

NVIDIA和AWS合作超過十年,將GPU加速引入雲端。這種合作的最新例子是P5,它代表了向前邁出的重要一步,為開發人員提供了尖端性能,使他們能夠創造下一代AI。

以下是主要客戶的看法:

Anthropic 建立可靠、可解釋和可控制的AI系統,將有很多機會在商業和公益領域創造價值。

Anthropic的聯合創始人Tom Brown表示:“雖然當今的大型通用AI系統具有重大的好處,但它們也可能是不可預測、不可靠和不透明的,因此我們的目標是在這些問題上取得進展,部署人們覺得有用的系統。我們期望P5實例在性價比上比P4d實例有顯著的優勢,並且它們將以所需的大規模提供,以構建下一代LLM和相關產品。”

Cohere是語言AI領域的領先先鋒,為每個開發人員和企業提供世界領先的自然語言處理(NLP)技術,同時保護其數據的隱私和安全。

Cohere的首席執行官Aidan Gomez表示:“Cohere在幫助每個企業利用語言AI的力量在自然和直觀的方式上探索、生成、搜索和行動信息方面領先,並在最適合每個客戶的數據環境中在多個雲平台上部署。”他說:“NVIDIA H100驅動的Amazon EC2 P5 將通過其計算能力和Cohere的最先進的LLM和生成式AI功能,釋放企業創建、增長和擴展的能力。”

Hugging Face 的使命是使良好的機器學習民主化。

Hugging Face 的首席技術官兼聯合創始人Julien Chaumond表示:“作為機器學習最快增長的開源社區,我們現在在我們的平台上提供超過15萬個預訓練模型和2.5萬個NLP、計算機視覺、生物學、強化學習等數據集。他說:“我們期待著使用Amazon EC2 P5實例通過Amazon SageMaker在EFA UltraClusters上大規模加速為每個人提供新的基礎AI模型。”

如今,全球有超過4.5億人使用 Pinterest 作為視覺靈感平台,以尋找個性化的商品、尋找靈感和發現有啟發性的創作者。

“我們在我們的平台上廣泛使用深度學習,用於標記和分類數十億張上傳到我們平台的照片,以及提供視覺搜索功能,使我們的用戶能夠從靈感到行動,” Pinterest的首席架構師David Chaiken表示。“我們期待使用搭載NVIDIA H100 GPU的Amazon EC2 P5實例,以及AWS EFA和UltraClusters來加速我們的產品開發,為我們的客戶帶來新的基於共情的人工智慧體驗。”

新增留言