NVIDIA NIMを使用したOCIのエージェント・ワークフロー (2024/09/09)

https://blogs.oracle.com/cloud-infrastructure/post/agentic-workflow-oci-using-nvidia-nim

投稿者： Sanjay Basu PhD | Senior Director - Gen AI/GPU Cloud Engineering

Ionut Sturzu | Principal Cloud Architect

急速に進化する人工知能の状況において、組織は、大規模言語モデル(LLM)の機能を使用してプロセスを自動化し、生産性を向上させる方法をますます模索しています。テクノロジーの新時代を迎えるにあたって、AIモデルを日々の活動に統合することは、いつ、どうなるかという問題ではなくなってきています。このブログ投稿では、様々なモデルを使用してエージェント・ワークフローの概念を調査し、Oracle Cloud Infrastructure (OCI)にデプロイされたOracle Cloud Marketplaceで利用可能なNVIDIA AI Enterpriseソフトウェア・プラットフォームの一部であるNVIDIA NIMマイクロサービスに特に重点を置いて、今日の世界でAIモデルを使用する利点について説明します。

エージェント・ワークフローの概要

エージェント・ワークフローは、複雑なプロセスの様々な側面に特化した複数のAIモデルを利用して、タスクの自動化に対する高度なアプローチを表します。今後のOracle CloudWorld 2024セッションでは、このアプローチの能力と汎用性を実証する説得力のあるユースケースを紹介します。

複雑なロジスティクスの問題に対して最適化されたルートを見つける必要があるとします。オラクルが設計したエージェント・ワークフローは、複数のNVIDIAモデルをシームレスに統合して、このリクエストを効率的に処理します。テキスト問合せは、最初にプライマリ・エージェントとして機能するNVIDIA Llama 3.1 NIMマイクロサービスに送信されます。このモデルでは、クエリを処理し、コード生成を専門とするNVIDIA Code-Llama NIMマイクロサービスにインテリジェントにルーティングします。Code-Llama NIMは、データベースから関連データを抽出するSQL問合せを生成し、最適化モデルであるNVIDIA cuOptのJSON問合せを構築します。最後に、NVIDIA cuOptはこの情報を処理し、最適化されたレスポンスを提示し、最初の問合せに基づいて最も効率的なルートを提供します。

OCIでのモデル・デプロイメント

このエージェント・ワークフローを実現するには、AI推論ワークロードの導入に最適化されたコンテナ化されたマイクロサービスのコレクションであるNVIDIA NIMを使用します。NIMはスケーラビリティ、柔軟性、効率性を提供し、複雑なAIパイプラインに最適な選択肢となっています。これらのモデルは、OCI仮想マシン(VM)またはOracle Kubernetes Engine (OKE)クラスタにデプロイでき、様々なインフラストラクチャ・プリファレンスに柔軟に対応できます。

すぐに開始したいユーザーには、次のデプロイメント・オプションが用意されています。

• TerraformおよびAnsible対応スタックを使用した、NVIDIA A100およびNVIDIA H100 Tensor Core GPUインスタンスへの自動デプロイメント
• NVIDIA A10 Tensor CoreおよびNVIDIA L40S GPUインスタンスへの直接デプロイメント用のOracle Cloud Marketplaceイメージ
• 提供されているGitHubリポジトリまたは既存のOKEクラスタへのワンクリック・デプロイメント・ボタンを使用したOKEでのデプロイメント

これらの各オプションは、セットアップ・プロセスを合理化するように設計されており、複雑なデプロイメント・プロシージャに煩わされるのではなく、エージェント・ワークフローのパワーを使用することに集中できます。これらのアセットは、オブジェクト・ストレージ、ブロック・ストレージ、ファイル・ストレージなどの隣接するOCIサービスとも統合されます。スケーラビリティとセキュリティのために、OCI Identity and Access Management (IAM)、ロード・バランシングおよび証明書サービスと統合しました。

エージェント・ワークフローの詳細

オラクルのエージェント・ワークフローは、次の主要モデルで構成され、それぞれがプロセスで重要な役割を果たします。

• NVIDIA Llama 3.1 NIM: このマイクロサービスは、問合せ分類、他の専門エージェントへの問合せのルーティング、および一般的なレスポンスの生成を担当するメイン・エージェントとして機能します。
• NVIDIA Code Llama NIM: コード関連クエリの処理に特化したこのマイクロサービスは、構文例の提供と、必要に応じてコードの生成に優れています。
• NVIDIA cuOpt: 最適化タスクに重点を置いており、cuOptは複雑なルーティングおよびロジスティクスの問題を解決できます。

ワークフローは、各マイクロサービスの独自の強みを適用して、ユーザー問合せにターゲットを絞った効率的な応答を提供します。クエリを送信すると、Llama 3.1はそれを分類し、それがコード生成、ルート最適化、または一般的なトピックに関連しているかどうかを判断します。この分類に基づいて、ワークフローは異なるチェーンに分岐します。

コード関連問合せの場合、Code Llamaはリードを取得し、最終的なレスポンス形成のために結果をLlama 3.1に渡す前に必要なコードを生成します。cuOptは、必要なJSON入力を生成するLlama 3.1を使用して最適化問合せを処理します。cuOptは、最適なルートを計算し、JSON出力を返します。Llama 3.1は、わかりやすい説明を提供するように解釈します。Llama 3.1では、一般的な問合せに直接対応し、その汎用性をプライマリ・エージェントとして示しています。

マイクロサービス間のこの複雑なダンスにより、複雑な問題解決への包括的で効率的なアプローチが可能になり、一人で達成できるものがはるかに上回ります。

まとめ

調査したエージェント・ワークフローは、現実世界のアプリケーションにAIを使用する際の重要な飛躍を表しています。Llama 3.1、Code Llama、およびNVIDIA cuOptを統合することで、さまざまな複雑なタスクを優れた効率性と精度で処理できるシステムを構築しました。このアプローチは、複雑なプロセスの自動化におけるLLMの能力を示すだけでなく、AIアシスタントがシームレスにコラボレーションして多面的な問題を解決できる未来への道を指摘します。

北米のクラウド・エンジニアリングAIソリューションの立ち上げパッドは、AIで可能な限界を押し広げ続けているため、これらの最先端ソリューションの導入に向けた組織の支援に備えています。NVIDIA NIMマイクロサービスのパワーとOracle Cloud Infrastructureの堅牢性とスケーラビリティを組み合せることで、オラクルは業界全体でイノベーションと効率の可能性を生み出しています。

AIの未来は、個々のモデル以上のものです。現代の世界の複雑な課題に取り組むために、複数のAIエージェントが連携して作業できるインテリジェントなエコシステムを構築する必要があります。先を見越して、エージェント・ワークフローの潜在的な適用は無限であり、ビジネス、科学などにおける問題解決へのアプローチ方法に革命をもたらすことが期待されています。

NVIDIAがホストするNIMマイクロサービスで無料でプロトタイピングを開始したり、NIMマイクロサービスをダウンロードしてデプロイしたりするには、NVIDIA APIカタログにアクセスしてください。エージェントのワークフローなど、様々なハンズオン・ラボを試すには、Oracle LiveLabsにアクセスしてください。