OCI Data ScienceでのAI Quick Actionsの概要 (2024/04/17)

https://blogs.oracle.com/ai-and-datascience/post/ai-quick-actions-in-oci-data-science

投稿者： Wendy Yip | Senior Product Manager, OCI Data Science

本日、OCI Data Science AI Quick Actionsのリリースを発表します。これは、誰もが簡単に基盤モデルをデプロイ、ファインチューニング、評価できるように設計されています。

過去1年間にわたり、Generative AIの人気が爆発的に高まり、それを支える基盤モデルへの関心が高まっています。OCI Data Scienceは、OCIの基盤モデルをファインチューニングおよび導入するためのプラットフォームを提供します。しかし、今日までは、Pythonのコーディング、コンテナ、機械学習の専門知識を必要とする多段階のプロセスでした。

AI Quick Actions

OCI Data Scienceで利用可能なこの新機能は、合理化されたコードフリーで効率的な環境をお客様に提供し、基盤モデルを操作することで、基盤モデルの範囲を拡大することを目的としています。AI Quick Actionsを使用すると、OCI Data Scienceに加えて追加コストは発生しません。これは、基礎となるコンピュート・インフラストラクチャとデータ・サイエンス・ワークロードのストレージに対してのみ課金されます。AIQuick Actionsの使用を開始するには、必要なポリシーを設定する必要があります。詳細は、ドキュメントを参照してください。ポリシーを設定した後、データ・サイエンス・ノートブックを作成するか、既存のノートブックを非アクティブ化および再アクティブ化して、AI Quick Actionsでジャーニーを開始します。

データ・サイエンス・ノートブックを開くと、ノートブック・ランチャの拡張機能の下にAI Quick Actionsが表示されます。図1と図2を参照してください。AI Quick Actionsを開くと、モデル、デプロイメントおよび評価にアクセスできます。

図1: OCI Data Scienceランチャ・インタフェース

図2: AI Quick Actionsインタフェース

LLMおよびその他の基盤モデルの確認

モデル・エクスプローラでは、AI Quick Actionsがサポートする基盤モデルのリストと、ファインチューニングされたモデルのリストが表示されます。最初のリリースでは、CodeLlama、Mistral、Falconなど、複数の大規模言語モデル(LLM)をサポートしています。時間の経過とともにモデルを追加する予定です。各LLMのカードを選択すると、アーキテクチャ、入力、出力、モデル・ライセンスなど、モデルに関する詳細を表示できます。図4を参照してください。

図3: モデル・エクスプローラ・インタフェース

図4: モデルカードパネル

独自のデータでモデルをファインチューニング

ファインチューニングは、事前にトレーニングされたモデルを取得し、ドメイン固有のデータセットでトレーニングして、その知識を改善し、そのドメインでより正確なレスポンスを提供するプロセスです。図5に示すように、モデル・カードのタグ「Ready to Fine Tune」を使用してモデルをファインチューニングし、モデルが特定のドメインに適切に適応するようにできます。OCI Object Storageのデータセットまたはノートブック・セッションのストレージを使用できます。データセットには100以上のレコードを含めることをお薦めします。ファインチューニングに必要なデータセットの形式の詳細は、このGitHubページを参照してください。

図5: ファインチューニングパネル

モデルをすぐにデプロイしてテスト

図6に示すように、タグ「デプロイ準備完了」またはすでにファインチューニング済のモデルを使用して、基盤モデルから独自のモデル・デプロイメントを作成します。その後、モデルをOCIにHTTPエンドポイントとしてデプロイできます。モデルをデプロイした後、プロンプトとレスポンス・パネルを使用して、モデルを迅速かつ簡単にテストできます(図7を参照)。

図6: モデル配置パネル

図7: プロンプトとレスポンス・インタフェースを使用したデプロイ済モデルのテスト

モデルの評価

AI Quick Actionsを使用すると、モデル評価を作成してモデルのパフォーマンスを確認できます。データに従ってLLMを評価する必要がありますが、その出力の構造化されていない性質のため、かなりの課題があります。言語モデルのパフォーマンスの特定の側面を評価するためのメトリックが多数あります。

現在、モデル評価にはROUGEとBERTScoreを使用し、今後他の評価指標をサポートする計画があります。ROUGEは、モデル予測と人間が作成した参照との間の重複の測定に基づいています。これは、参照予測とモデル予測の間のnグラムの重複に焦点を当てています。BERTScoreは、テキスト生成モデルを評価するためのメトリックです。これは、参照とモデル予測のコンテキスト・トークン埋込み間の類似性を測定します。

Object Storageのデータセット、またはノートブック評価とグループ・モデル評価の格納を使用してモデルを評価するには、実験名を作成します。評価が完了したら、評価レポートを表示してローカル・マシンにダウンロードできます。

図8: モデル評価パネル

まとめ

OCI Data ScienceのAIQuick Actionsは、より技術的なものを含むユーザー・エクスペリエンスを簡素化するため、基盤モデルの導入、カスタマイズ、テスト、評価を迅速に行い、生成AIを活用したアプリケーションの作成に集中できます。今後数か月で、より多くの基盤モデルのサポート、より多くのデータセット・ファイル形式のサポート、その他のモデル評価メトリックの追加など、サポートと改善を追加する予定です。

AI Quick Actionsに追加する特定のモデルを提案する場合は、OCI Data ScienceグループをEメールで送信します。AI Quick Actionsの使用方法の詳細は、Oracle Cloud Infrastructure Data ScienceのYouTubeプレイリストにアクセスしてAI Quick Actionsのデモ・ビデオを確認し、テクニカル・ドキュメンテーションを見つけて、ヒントと例を記載したGithubリポジトリを参照してください。