AMD MI300X GPUを搭載したOCI Computeの一般提供を発表 (2024/09/26)

https://blogs.oracle.com/cloud-infrastructure/post/announcing-ga-oci-compute-amd-mi300x-gpus

投稿者：Sid Padgaonkar | Sr. Director - Product Management (Gen AI) - Strategic Customers

Amar Gowda | Sr. Principal Product Manager

AMD Instinct MI300X GPUを搭載したOracle Cloud Infrastructure(OCI)Computeベアメタル・インスタンスBM.GPU.MI300X.8の一般提供を発表できることを嬉しく思います。

AIの導入が拡大し、推論、ファインチューニング、トレーニングの新しいユースケースをサポートするようになったため、AMD Instinctアクセラレータを搭載した最初のコンピュート・インスタンスをお客様に提供したいと考えています。現在、アプリケーションは、特に生成AIと大規模言語モデル(LLM)の領域において、より大規模で複雑なデータセットを必要としています。AIインフラストラクチャには、コンピューティング・パフォーマンス、クラスタ・ネットワーク帯域幅、高GPUメモリー容量と帯域幅の3つの重要な要素が必要です。OCIのベアメタル・インスタンスは、ハイパーバイザのオーバーヘッドなしでパフォーマンスを提供します。AMD本能のMI300Xアクセラレータを備えたOCI Superclusterは、最大16,384個のMI300X GPU用の高スループット、超低レイテンシのRDMAクラスタ・ネットワーク・アーキテクチャを提供します。アクセラレータあたり192GBのメモリ容量により、AMD本能的なMI300Xは、単一のGPU上で660億のパラメータHugging Face OPTトランスフォーマLLMを実行できます。

AMD本能のOCI Compute MI300X

このインスタンス・タイプは、競争力のある経済性を提供します。これは、GPU/時間あたり6ドルで、次の仕様で提供されます。

Instance Name	BM.GPU.MI300X.8
Instance Type	Bare metal
Price (per GPU/hour)	$6.00
Number of GPUs	8 x AMD Instinct MI300X Accelerators
GPU Memory	8 x 192GB = 1.5 TB HBM3
GPU Memory Bandwidth	5.3 TB/s
CPU	Intel Sapphire Rapids 2x 56c
System Memory	2TB DDR5
Storage	8x 3.84TB NVMe
Front-end Network	1 x 100G
Cluster Network	8x (1x 400G)

6月に更新したように、AMDと提携して、LLMを提供するための本能的なMI300X GPUを検証しました。検証に基づいて、最初のトークン・レイテンシまでの時間は65ミリ秒以内であり、バッチ・サイズが1の場合の平均レイテンシは1.5秒でした。バッチ・サイズが大きくなると、ハードウェアは直線的にスケーリングでき、同時256ユーザー・リクエスト(バッチ)で最大3,643個のトークンを生成できました。詳細は、ブログ投稿、AMD Instinct MI300X GPUによる早期LLMの提供経験とパフォーマンス結果をご覧ください。

BM.GPU.MI300X.8を使い始める

BM.GPU.MI300X.8は、Oracle Cloudコンソールで一般提供されています。Oracleの営業担当またはAIインフラストラクチャ販売担当VPのKyle Whiteまでお問い合わせください。このベア・メタル・インスタンスの詳細は、ドキュメンテーションを参照してください。