OCIエージェント評価フレームワーク (2026/07/01)
OCIエージェント評価フレームワーク (2026/07/01) https://blogs.oracle.com/ai-and-datascience/oci-agent-evaluation-framework 投稿者： Kishore Pusukuri エグゼクティブサマリー エージェント型AIシステムは、単に回答を生成するだけではありません。証拠を収集し、ツールを呼び出し、IDを使用し、状態を維持し、コンポーネント間で連携し、時には副作用を引き起こすこともあります。これにより、評価の問題が変わります。 チャットボットは多くの場合、その応答によって評価されます。一方、エージェントは、応答、動作、使用するツール、状態変化、そして問題発生時の復旧経路など、あらゆる側面から評価する必要があります。 このブログでは、エージェントを評価するためのライフサイクルアプローチとして、OCIエージェント評価フレームワークを紹介します。このフレームワークでは、機能の認定、プロンプトのテスト、検索拡張生成（RAG）、ツールと軌跡、リリース準備状況の評価、本番環境での動作監視、インシデントを復旧および再認証の対象範囲に変換することなどについて解説します。 重要なのは、答えが正しいかどうかだけでなく、経路、認証、状態変化、信頼性、本番環境での動作、および復旧が安全で、追跡可能で、本番環境に対応できる状態であるかどうかです。 エージェント評価はライフサイクル全体にわたる規律であり、 回答、経路、ツール、状態変化、信頼性、本番環境における動作、および復旧を総合的に評価する。 エージェントにとって最終回答の採点が有利になる理由 多くのエージェント評価は、依然としてツール呼び出しログを添付したチャットボット評価に似ています。それでは不十分です。最終的な回答は有用に見えても、その回答を生成する過程で、認証、承認、プライバシー、ツール境界、状態変更、または復旧に関するルールに違反している可能性があります。表1は、従来の出力スコアリングとエージェントのライフサイクル評価を比較したものです。 表1. 出力スコアリングと薬剤ライフサイクル評価の比較 寸法 出力スコアリング 薬剤ライフサイクル評価 評価単位 最終回答 結果、経路、状態、回復 主な証拠 プロンプト、出力、スコア トレース、取得、ツール呼び出し...