OCI上のNVIDIA NIMを使用して生成AI推論のパフォーマンスを強化 (2024/09/30)

OCI上のNVIDIA NIMを使用して生成AI推論のパフォーマンスを強化 (2024/09/30)

https://blogs.oracle.com/cloud-infrastructure/post/empower-gen-ai-inference-perf-nvidia-nim-oci

投稿者： Niranjan Mohapatra | Senior Principal Solution Architect

Somnath Lahiri | Senior Principal Product Manager

Sadra Fardhosseini | Data Scientist


生成AI(GenAI)推論とは、トレーニング済みの生成人工知能モデルを使用して、新しい入力データに基づいて出力または予測を生成するプロセスを指します。この推論フェーズでは、モデルはトレーニング中に学習した内容を適用して、テキスト、イメージ、その他のタイプのデータなどの結果を生成します。適切な推論エンジンを選択することは、入力データを処理し、正確な予測とリアルタイムの応答を効率的に生成するために重要です。効果的な推論により、モデルでは大量のリクエストを迅速かつ大規模に処理できます。これは、リアルタイムの応答を必要とするアプリケーションや、検索エンジンやインタラクティブなAIアシスタントなどの高スループットを必要とするアプリケーションに不可欠です。NVIDIAは、クラウド環境に簡単にデプロイして顧客の課題に対処し、パフォーマンスを向上させることができるコンテナに事前構築済の推論エンジンを提供します。



正しい推論エンジンの選び方


GenAIワークロードに適した推論エンジンを選択する際には、効率性、スケーラビリティ、ビジネス価値、デプロイメントの複雑さ、メンテナンス、推論エンジンの管理、タイムリーなテクニカル・サポートの必要性など、いくつかの要因を考慮する必要があります。ただし、企業は主に、トークン当たりのコストで測定される総所有コスト(TCO)と、最初のトークン(TTFT)とトークン間待機時間(ITL)で評価されるエンド・ユーザー・エクスペリエンスの2つの重要な側面に重点を置いています。この複雑なトレードオフに対処するために、NVIDIA NIMマイクロサービスに対する主要なオープン・ソース推論エンジンでパフォーマンス・ベンチマークを実行しました。



NVIDIA NIMの紹介


NVIDIA AI Enterpriseの一部であるNVIDIA Inference Microservices (NIM)は、クラウド、データセンター、およびワークステーション全体にわたる高性能AIモデル推論の安全で信頼性の高い導入のために設計された、使いやすいマイクロサービスのセットです。オープン・ソース・コミュニティやNVIDIA AI Foundationモデルなど、幅広いAIモデルをサポートし、業界標準のAPIを活用して、シームレスでスケーラブルなAI推論をオンプレミスまたはクラウドで促進します。


NVIDIA NIMは、GenAI開発の複雑な世界とエンタープライズ環境の運用ニーズとのギャップを埋めるように設計されています。この設計により、企業内のAIの変革に貢献できるエンタープライズ・アプリケーション開発者の数が大幅に増え、将来的にさらに成長する可能性があります。NVIDIA NIMには、事前構築済みコンテナ、業界標準のAPI、カスタム・モデルのサポート、ドメイン固有のコード、および最適化された推論エンジンが含まれています。



OCIでNVIDIA NIMを使用する理由


Oracle Cloud Infrastructure(OCI)は、そのクラスの最初のパブリック・クラウドで、あらゆるアプリケーションのプラットフォームとして最高に優れています。お客様は、クラウド・ワークロードにOCIを選択することが増えており、そのメリットは数多くあります。OCIは、NVIDIA NIMの実行用に最適化されたNVIDIA GPUベースのベアメタルおよび仮想マシン(VM)コンピュート・シェイプを提供し、他のクラウド・プロバイダと比較して優れたパフォーマンスと管理の容易性を実現します。Oracleは、多くの企業が様々なアプリケーションに使用し、データをOCIストレージに安全に格納する、世界クラスのデータベース・ソリューションも提供しています。OCIデータベース製品間の柔軟なネットワーク接続により、お客様は、このデータをシームレスに使用してLLMモデルのトレーニングやファインチューニングを行ったり、検索拡張生成(RAG)ワークフローのために直接接続したりできます。



なぜオープンソース推論エンジン上のNIM?


環境設定、コンテナの導入、LLM推論性能の比較、サポートの評価など、NVIDIA NIMとオープンソースの推論エンジンを比較しました。これらの側面に基づいて、NIMはオープンソースの推論エンジンと比較して優れた開発者エクスペリエンスを提供すると結論付けました。次の項では、NVIDIA NIMとオープン・ソースの推論エンジンのパフォーマンス比較の例を示します。



パフォーマンス比較


NVIDIA NIMとオープンソースの推論エンジンを評価し、どちらもNVIDIA H100 GPUを搭載したOCI Computeホストで実行され、パフォーマンス・ベンチマークを実施しました。大規模言語モデル(LLM)Llama 3-8B(中小LLMワークロード)とLlama 3-70B(大規模LLMワークロード)を用いた。この比較では、毎秒トークンのスループット、対話型レイテンシ、および異なるバッチ・サイズ、入力トークンの数、出力トークンの数にまたがる最初のトークンの時間に焦点を当てました。


その結果、NVIDIA NIMの推論性能は、さまざまなシナリオでオープンソース推論エンジンの推論性能よりも1.5〜3.7倍優れていることがわかりました。また、中規模から大規模の企業に共通する高同時性バッチ・サイズを使用する場合、オープン・ソースの推論エンジンと比較して、2回以上NIMのパフォーマンスが大幅に向上しました。このパフォーマンス向上は、テキスト生成および翻訳のユースケースで特に顕著です。また、NIMは、多数のパラメータを持つモデル・サイズが大きいオープンソースの推論エンジンを常に上回ります。


次のグラフは、NVIDIA NIMとオープンソース推論エンジンのパフォーマンス比較の例を示しています。1秒当たりの合計トークン数(TPS)と、入力および出力トークン・サイズを比較しました。







まとめ


NVIDIA NIMは、OCIへの生成AIモデルの導入を加速するように設計された、使いやすい一連のマイクロサービスを提供します。NVIDIA NIMは、最先端のLLMのパワーをエンタープライズ・アプリケーションにもたらし、比類のない自然言語処理(NLP)と理解機能を提供します。企業は、Oracle Cloud Infrastructureベア・メタル・コンピュート・インスタンスでNIMコンテナを実行して、オープン・ソース製品よりもNVIDIAのパフォーマンス上の利点を享受できます。OracleまたはNVIDIAに連絡して、OCI上のNVIDIA NIMの詳細を知ることができます。



NVIDIA NIMとOCIの詳細

コメント

コメントを投稿

このブログの人気の投稿

Oracle Database 19cサポート・タイムラインの重要な更新 (2024/11/20)

イメージ
Oracle Database 19cサポート・タイムラインの重要な更新 (2024/11/20) https://mikedietrichde.com/2024/11/20/important-update-to-oracle-database-19c-support-timelines/ 長い沈黙は、私が隠れているという意味ではありません。つまり、今はとても忙しいということです。そして、より少ない旅行で、私はあなたのコメントにもブログと返信するより多くの時間を持っていることを願っています。それでも、Oracle Database 19cサポート・タイムラインの非常に重要な更新について説明します。 * 更新された内容 2024年11月19日現在、Oracle Database 19cのサポート・タイムラインが調整されています。 MOSノート: 742060.1 – 現在のデータベース・リリースのリリース・スケジュールを見ると、新しい日付が表示されます。 Premier Support、2029年12月31日まで 2030年1月1日から2032年12月31日までの拡張サポート 2033年1月1日から2034年12月31日までのアップグレード・サポート これは知ることがとても大切です。 他のリリースの更新はありますか。 MOSノートの終わりにある変更ログ: 742060.1 – 現在のデータベース・リリースのリリース・スケジュールでは、Oracle Database 21cの最新の更新も確認できます。このリリースのPremier Support期間は、2027年7月31日まで延長されました。 また、Oracle Database 23aiのパッチ適用終了日は2032年12月31日に設定されています。 Lifetime Support Policy 更新は、Oracle Technology Productsの Oracle Lifetime Support Policy (6ページ)でも確認できます。 From: Oracle Lifetime Support Policy for Oracle Technology Product s – page 6 – Nov 19, 2024 特に、次の表に示す制限事項に注意してください。 Oracle Database 1...
続きを読む

Oracle GoldenGate 23aiでMicrosoft Fabricでのオープン・ミラーリングがサポートされるようになりました (2024/11/19)

イメージ
Oracle GoldenGate 23aiでMicrosoft Fabricでのオープン・ミラーリングがサポートされるようになりました (2024/11/19) https://blogs.oracle.com/dataintegration/post/how-to-replicate-to-mirrored-database-in-microsoft-fabric-using-goldengate 投稿者： Shrinidhi Kulkarni | Principal Product Manager Oracle GoldenGate 23aiでは、オープン・ミラーリングを介したMicrosoft Fabricへの統合のパブリック・プレビューがサポートされるようになりました。この強力な組み合わせにより、リアルタイムのデータ統合が可能になり、ハイブリッド環境とマルチクラウド環境のデータをMicrosoft Fabricのミラー化されたデータベースに継続的に同期できるため、データは常にAIと分析に対応できます。 Microsoft Fabric統合のOpen Mirroring は、GoldenGate for Distributed Applications and Analytics 23ai (GG for DAA) (23.6)製品を介して提供されます。 既存の Azure統合の詳細については、 ドキュメント を参照してください。 オープン・ミラーリングは、オープン・デルタ・レイク表形式に基づいて、データISVがMicrosoft Fabricのミラーリングを拡張できるように設計されています。この機能により、Oracle GoldenGate 23aiは、オープン・ミラー化パブリックAPIおよびアプローチに基づいて、Microsoft Fabricのミラー化データベースに変更データを直接書き込むことができます。Microsoft FabricでのOpen Mirroringの詳細については、「 Microsoft FabricでのOpen Mirroringの概要 」を参照してください。 このブログ投稿では、この統合の実装の側面について深く掘り下げ、GoldenGate統合の構成方法を示します。 構成ステップ: リファレンス・アーキテクチャの理解 前提条件 ...
続きを読む

Oracle APEX 24.1の一般提供の発表 (2024/06/17)

イメージ
Oracle APEX 24.1の一般提供の発表 (2024/06/17) https://blogs.oracle.com/apex/post/announcing-oracle-apex-241 投稿者： Ashish Mohindroo | Vice President, Product Management APEX Low Code Application Platform Oracle APEX 24.1は、 ダウンロード が一般的に可能になり、世界中のOCI APEX Application DevelopmentおよびAutonomous Database Cloud Serviceリージョンにロールアウトされています。この最新リリースで、GenAIを使用して最初のローコード・アプリケーションを構築する方法を学習します。リリースのお知らせのリプレイはこちらからご覧いただけます。 このリリースでは、優れたエンタープライズ・グレードのアプリケーションを簡単に構築できるイノベーションの3つの主要な柱(AI支援アプリケーション開発、Oracleの次世代データ・プラットフォームのパワー活用、高度なWebおよびモバイル・アプリケーションを構築するための強力なエンタープライズ・グレードのコンポーネント)が提供されています。 AI支援アプリ開発 このリリースでは、AIをローコード開発に直接取り込み、すべての開発者が高度なクラウドおよびモバイル・アプリケーションを簡単に構築できるようにしています。開発者は、AIをアシスタントとして使用して、時間と労力を削減してアプリを構築できるようになりました。APEX AIアシスタントを使用すると、開発者は複数のウィンドウを使用して表名と列名を検索する必要がなくなります。 APEX 24.1 では、クラウドおよびモバイル・アプリの自然言語ベースの開発を可能にするネイティブAI搭載APEX AIアシスタントを導入しました。APEX AIアシスタントを使用すると、すべての開発者は自然言語を使用してSQLを生成できるため、アプリケーションをより簡単に構築したり、ワンクリックで構文修正を実行したり、表名を覚える必要がなくなります。開発者は、自然言語プロンプトを使用して目的の機能とコンポーネントを指定し、直感的な会話型インタフェースを使用し...
続きを読む