MLPerf: OCI上でのマルチノードMLトレーニングのベンチマーク (2023/02/28)

MLPerf: OCI上でのマルチノードMLトレーニングのベンチマーク (2023/02/28)

https://blogs.oracle.com/cloud-infrastructure/post/mlperf-benchmark-multi-node-ml-training-on-oci

投稿者：Joanne Lei

Ruzhu Chen | Master Principal Cloud Architect


前回の記事「Accelerate distributed deep learning with OCI」では、OCIのRDMAネットワーキングによって、GPUノード1台を超えるスケーリング時にモデルのトレーニングジョブを高速化できることを説明しました。具体的な例で性能向上を示すため、4つのBare Metal GPUノード（BM.GPU.GM4.8）からなるComputeクラスタを立ち上げ、MLPerfトレーニングベンチマークを実行しました。各BM.GPU.GM4.8はNVIDIA A100 80G GPUを8基搭載しているため、Computeクラスタは最大32GPUまでスケールアップし、機械学習（ML）トレーニング時間を高速化することができます。



MLPerf 101


MLPerfは、オープンエンジニアリングコンソーシアムであるMLComonsが開発したベンチマークスイートで、様々なシステムの学習・推論性能を評価するためのものです。学習ベンチマークでは、システムが目標精度のモデルをどれだけ速く学習できるかを測定し、推論ベンチマークでは、システムが新しい入力を処理し、学習済みモデルを使用して予測を計算できるかを測定します。MLPerfは、ML向けのさまざまなハードウェアインフラやソフトウェアフレームワークを測定・比較するための業界指標となりつつあります。



NVIDIA A100 Tensorコアを搭載したOCI Computeクラスタは、リニアにスケール


今回のベンチマークでは、画像分類と自然言語処理（NLP）の両方のユースケースをカバーする性能を把握するために、以下のモデルを実行しました。


  •     MLPerf v1.1 ResNet50 (画像分類)
  •     MLPerf v2.1 ResNet50 (画像分類)
  •     MLPerf v2.1 BERT (NLP)


以下の図では、1ノード＝8GPU、2ノード＝16GPU、4ノード＝32GPUとしています。



その結果、異なるMLフレームワークを用いた3つのモデルすべてにおいて、Computeノード数の増加に伴い、ほぼ直線的に性能が向上することがわかりました。複数のノードでMLモデルをトレーニングする場合、性能向上はしばしばサブリニアとなり、ノードを増やしても性能向上に比例しないことを意味します。その要因のひとつが通信のオーバーヘッドです。OCIの高スループット、超低遅延RDMAネットワークにより、クラスタはノード間のGPU間通信を最適化することで、トレーニングジョブを効率的に分散させることができました。例えば、ResNet50 v1.1モデルのトレーニングに要する時間は、8GPUで31.5分、32GPUで10.67分と短縮されています。


トレーニング時間の短縮は、MLモデルをより迅速にトレーニングできることを意味し、データサイエンティストやエンジニアはより迅速に反復し、異なるモデルアーキテクチャ、ハイパーパラメータ、データセットを実験することができます。このスピードは、より正確なモデルや、変化するビジネス環境に素早く対応するための高い開発アジリティにつながります。


詳細なレポートは、Oracle Cloud Infrastructure (OCI)の非公式ベンチマークサイトでご覧いただけます。



まとめ


このシリーズの次の記事では、RDMAをサポートしたMLPerfのマルチノードトレーニングを設定するための技術的な詳細に踏み込みます。


OCIでは、大規模な言語モデルのトレーニングやAIのアットスケールでの展開について、クラウドエンジニアによるサポートを提供しています。Oracle Cloud Infrastructureの機能の詳細については、弊社にお問い合わせいただくか、以下のリソースをご覧ください。

コメント

コメントを投稿

このブログの人気の投稿

Oracle RACによるメンテナンスのためのドレインとアプリケーション・コンティニュイティの仕組み (2023/11/01)

イメージ
Oracle RACによるメンテナンスのためのドレインとアプリケーション・コンティニュイティの仕組み (2023/11/01) https://database-heartbeat.com/2023/11/01/draining-ac-rac/ はじめに Oracle RACは、Oracle Databaseのスケーラビリティと高可用性を提供します。1つのサーバー(RACノード)に障害が発生した場合、またはメンテナンスのためにオフラインになった場合でも、追加のノードを介してデータベースにアクセスできます。ただし、メンテナンスの開始時に、データの読取りまたは変更に関係なく、一部の作業を実行しているクライアント・セッションはどうなりますか。この作業は中断され、ドレインを実装してアプリケーション・コンティニュイティまたは透過的アプリケーション・コンティニュイティを有効にしないかぎり、エンドユーザーまたはアプリケーションによって再度実行する必要があります。 環境 2ノードのOracle RACを例に挙げて、高速アプリケーション通知(FAN)、ドレインおよびアプリケーション・コンティニュイティによってメンテナンス・イベントがエンドユーザーに透過的になる方法を理解しましょう。アプリケーションは、30個のセッションを保持するように構成された接続プールを使用しています。 通常の操作 通常の操作中は、両方のRACノードが起動し、アプリケーションを実行しています。ロード・バランシング戦略によっては、セッションの数が両方のノード間で異なるか、均等に分散される場合があります。次の図をよりよく視覚化するために、ノード2のノード1および20のセッションに10のセッションがあるとします。 セッションは、アイドル状態(接続されているが何もしていない)またはアクティブ状態(リクエストの途中)にできます。リクエストは、データの読取り(SELECT)または操作(INSERT、DELETE、UPDATE)が可能です。 ドレインによるサービスの停止 ある時点で、システムのメンテナンスが必要になります。2ノードRACがあるため、メンテナンスはローリング方式で、1つのノードを順番に(ほとんどの場合)実行できます。メンテナンスは、たとえば、オペレーティング・システム、Grid Infrastructureまたはデ
続きを読む

Oracle Cloud Infrastructure Secure Desktopsを発表: デスクトップ仮想化のためのOracleのクラウドネイティブ・サービス (2023/06/28)

イメージ
Oracle Cloud Infrastructure Secure Desktopsを発表: デスクトップ仮想化のためのOracleのクラウドネイティブ・サービス (2023/06/28) https://blogs.oracle.com/cloud-infrastructure/post/secure-desktops-cloud-native-virtualization 投稿者： Joost Pronk Van Hoogeveen Jan Hendrik Mangold | Principal Product Manager Oracleは、Oracle Cloud Infrastructure(OCI)Secure Desktopsという新しいクラウド・ネイティブ・サービスをリリースしています。このエキサイティングな開発により、顧客はOCIテナンシから簡単にすばやく仮想デスクトップ・インフラストラクチャ(VDI)をデプロイできます。 OCIの使用状況は大幅に拡大しています。組織は、OCI内でデータを安全に保つことの価値を実現しています。ゼロトラストなセキュリティ優先アーキテクチャを実装することで、OCI Compute、Storage、およびNetworkingサービスは、グローバル・アクセスのためのエンタープライズ・アプリケーションを導入するための信頼できるプラットフォームを提供します。 データ・セキュリティとVDIがどのように役立つか 業界のアナリストによると 、ラップトップは53秒ごとに盗まれています。その事実と現実を結び付けると、会社のデータは、公共の場所を経由したり、従業員の自宅に座ったりするラップトップやデスクトップへと移行します。ローカル・ディスクの暗号化、データ・アクセス権限の強制、VPNアクセスの保護によってデータを保護するためにテクノロジが使用されていますが、いずれも許容可能なセキュリティ・レベルが適用されるため、リスクは依然として高くなる可能性があります。盗難または準拠していないいくつかのマシンでは、企業データ、さらには顧客データのデータ侵害が発生する可能性があります。 VDIテクノロジは長年にわたって存在してきましたが、従業員はローカル・マシンを使用して、会社のデータ・センター内の仮想マシンで実行されているデスクトップ・アプリケー
続きを読む

Oracle Cloudのデータベースをオブジェクト・ストレージにバックアップする3つの方法 (2021/12/13)

イメージ
Oracle Cloudのデータベースをオブジェクト・ストレージにバックアップする3つの方法 (2021/12/13) https://database-heartbeat.com/2021/12/13/three-ways-backup-cloud/ はじめに Oracle Cloudでは、ボタンをクリックするだけで自動バックアップを有効にするオプションが用意されています。バックアップの要件が異なる場合でも、手動でバックアップ設定を行い、コマンドライン・ツールやRMANを直接使用してバックアップを作成する柔軟性があります。これは、VM DB Systems、Exadata Cloud Service、およびExadata Cloud at Customerに適用されます。 このブログ記事では、Oracle Cloud Object Storageをバックアップ先として使用する場合の、さまざまなバックアップ・オプションの主な違いと、それに伴うコストについて紹介します。Object Storageは、内蔵されたトリプル・ミラーリングと99.999999%(イレブンナイン)の耐久性を提供します。 ハイブリッド・クラウドとマルチ・クラウド Oracle Cloud Object StorageへのOracle Databaseのバックアップは、Oracle Cloud上のOracle Databaseに限らず、ハイブリッドクラウド上のオンプレミスのOracle Databaseや、マルチクラウド環境のOracle以外のクラウド上で稼働しているOracle Databaseに対しても、RMANを介して実装することができます。 プライベートおよび専用のネットワーク接続は、FastConnect、Azure Interconnect、またはサードパーティのネットワーク接続プロバイダを介して提供できます。マルチクラウド環境では、クラウドプロバイダー、リージョン、転送するデータ量に応じて、追加のアウトバウンドトラフィックコストが発生する可能性があります。オラクルをはじめとする多くのクラウドプロバイダーは、すでに Bandwidth Alliance に参加しており、ネットワークエグレス料金を削減または排除しています。 環境について     Oracle Cloud VM DB Sy
続きを読む