CISOの視点:AIアシスタントはできないデータを読み取ることができますか? (2026/11/13)

CISOの視点:AIアシスタントはできないデータを読み取ることができますか? (2026/11/13)

https://www.ateam-oracle.com/ciso-perspectives-can-your-ai-assistant-read-data-you-cannot

投稿者:Marcus D'Andrea | Field Chief Cloud Security Architect

事件の概要は正確で役立つものであると同時に、関係者が知るべき以上の情報を含んでいる可能性もある。

アクセス権限マトリックスの例として、同じインシデントに関する質問をする2人のユーザーを比較した図を示します。運用アナリストはインシデントのタイムラインと顧客への影響を閲覧できますが、弁護士のメモは非公開です。権限を与えられた法務調査員は、これら3つの情報源すべてを閲覧できます。
事件発生時のアクセス方針の例。アシスタントが利用できる証拠は、質問者によって変化する。

セキュリティアナリストが朝のインシデントコールに備えている場面を想像してみてください。複数の場所で最新情報が発信されており、コールはまもなく始まります。アナリストは会社のAIアシスタントに「当社の決済サービスに影響を与えているインシデントについて、何か分かっていることはありますか?」と尋ねます。

返ってきたのは、何が起こったのか、どの顧客が影響を受ける可能性があるのか​​、そしてチームがそれに対してどのような対策を講じているのかといった、役立つ要約です。また、弁護士の機密調査メモからの詳細情報も含まれています。

アナリストにはこれらのメモを閲覧する権限がありません。リンクを送っても、アクセス拒否のメッセージが表示されます。しかし、アシスタントはコネクタが法務ワークスペースを読み取ることができるため、ファイルの一部を要約してアナリストに提供しました。

この架空の例では、アナリストは特に変わったことはしていません。問題は、本来時間を節約するはずだったワークフローの中に潜んでいます。文書を探し出して回答を作成する過程で、アシスタントは誰の権限が重要なのかを見失ってしまったのです。

セキュリティレビューはそこから始めます。まず、この人物が何を見ることが許されているのかを示し、次に、アシスタントがそれらの質問に答えるために何を使用したのかを示します。

追加アクセスが忍び込む場所

システム横断的に検索を行うアシスタントがあれば、多くの手間を省くことができます。検索拡張生成(RAG)では、アプリケーションが関連する箇所を見つけ出し、それを回答の背景情報としてモデルに提供します。Oracle AI Vector Searchは、類似の意味の検索とアプリケーションデータおよび構造化条件を組み合わせることで、このアプローチをサポートします。Oracleのアーキテクチャガイドでは、この検索の仕組みについて説明しています。

処理過程で法的文書に何が起こるかを考えてみましょう。コネクタが文書を読み込み、取り込み処理によってより小さな段落に分割され、それらの段落が検索可能になります。ファイルのアクセスルールは、これらの処理すべてにおいて維持される必要があります。そうでなければ、検索者が元の文書を開くことすらできないにもかかわらず、検索結果に特定の段落が表示されてしまう可能性があります。

これはデモでは見落としやすい点です。アシスタントを構築した管理者としてすべての質問をテストしてしまうと、制限付きユーザーが何を見ることができるのかについてはほとんど何も分かりません。

サインインは解決策の一部にすぎません。OCI IAM は、エージェント リソースを使用できるユーザーと、サービスがデータ ソースにアクセスする方法を制御します。アプリケーションは、サインインしたユーザーがどのコンテンツを受け取る権限を持っているかも確認する必要があります。アシスタントへのアクセスは、そのナレッジ ベース全体へのアクセスを許可するものではありません。OCI生成型 AI エージェント IAM ポリシー。

証拠を提出する前にアクセス権限を確認してください

アナリストは、業務タイムラインや閲覧が許可されているその他の記録を使用する必要があります。弁護士のメモは、モデルに送付する資料から除外してください。

システムプロンプトに「機密情報を開示しないでください」と入力しても、調査チームのメンバーを特定することはできません。また、10分前に誰かのアクセス権が取り消されたことをアプリケーションに伝えることもできません。そのような情報は、信頼できる認証システムから取得し、現在のリクエストに対して確認する必要があります。

タイミングが重要です。文章がモデルや関連性を評価するサービスに到達する前に、アクセス権限の決定を下してください。完成した解答を確認することは依然として有効ですが、その時点では、制限された資料が既に本来送られるべきではない場所に送られてしまっている可能性があります。

OCI 取得フローは、検証済みユーザーからアプリケーションコンテキスト、データベースの強制適用、そして OCI 生成型 AI へと続く 4 段階のプロセスです。このアナリストに対しては、制限付き法務メモは除外されます。保存またはキャッシュされた回答が再利用される前に、権限が再度チェックされます。
図1。この提案するOCI設計では、データベースはデータがモデルに到達する前にユーザーの権限を確認します。アプリケーションのID処理とデータポリシーは、まだ実装とテストが必要です。

企業によっては、制限付き業務の概要をより多くの関係者に共有したい場合があります。法務チームが、システム障害対応に関わる全員向けのインシデントブリーフィングを承認するかもしれません。そのブリーフィングを、内容に責任を負う担当者を定めた、別途管理された文書として公開します。アシスタントは、承認されたバージョンを自身の権限に基づいて使用できます。

OCIでこれがどのように機能するか

この例では、OCI上のアプリケーションがOracle AI Databaseからインシデント記録と文書の抜粋を取得し、OCI Generative AIを使用して応答を作成することができます。重要な設計上の課題は、データベースがアプリケーションが誰のために動作しているのかをどのように認識するかということです。

アプリケーションはまずユーザーの身元を確認し、信頼できるシステムからユーザーの役割とインシデントの割り当てを取得します。そして、その情報をリクエストとともに送信します。チャットで「私は調査責任者です」と入力したユーザーは、その情報を変更できないようにする必要があります。

サポートされている Oracle AI Database 26ai 環境では、Oracle Deep Data Security はエンドユーザーの ID とリクエストに関する情報を使用してアクセスを強制できます。データ権限は、ユーザーがアクセスできる行と列を規定するルールです。アプリケーションはサポートされているエンドユーザーの接続コンテキストを確立し、データベースは取得クエリを実行する際に、関連する権限を適用します。Oracleはこの認証フローについて、こちらで説明しています。

アナリストにとって、これらのルールは、関連する運用記録へのアクセスを許可する一方で、制限された調査資料へのアクセスを除外するものである。また、アシスタントが検索する箇所も網羅する必要がある。機密フィールドは元の表では完全に保護されていても、その内容が制限されていないテキストにコピーされると漏洩する可能性がある。

データベース接続についても詳しく調べておく価値があります。スキーマ所有者パスや管理パスを使用するアプリケーションは、本来デモンストレーションしようとしたエンドユーザー制御を回避してしまう可能性があります。データベースのリリースと接続方法を確認してから、実際のクエリをテストしてください。接続がリクエスト間で共有されている場合は、新しいユーザーが前のユーザーのIDコンテキストを継承しないことを確認してください。

Oracle の AI Optimizer および Toolkit を使用すると、テスト ユーザーでこれを検証できます。データ ロールと権限を作成し、特定の ID として Vector Search または自然言語から SQL を試すことができます。これにより、ポリシーで許可されている内容を確認できます。顧客アプリケーションでは、ID は実際にサインインしたユーザーに安全に紐付けられている必要があります。AI Optimizer のディープ データ セキュリティ ワークフロー。

ドキュメントの権限を保持してください

「セキュリティ」といったラベルだけでは、どの調査チームがファイルを閲覧できるかはわかりません。文書が取り込まれる際、派生した各パッセージには、そのソースへのリンクとアクセス権限を確認するために必要な情報が保持されている必要があります。

次に、日常的な変化を考えてみましょう。誰かがインシデント対応チームを離れる場合、アシスタントは回答のためにそのチームの記録を使用するのをどれくらい早く停止するでしょうか?許容できる期間を設定し、テストしてください。アプリケーションが現在のアクセス権限を確認できない場合は、確認できるまでコンテンツを表示しないようにする必要があります。アクセス情報が不足していることが、より広範囲な検索の理由になってはなりません。

OCI 生成型 AI エージェントは、オブジェクト ストレージの知識ベース用のメタデータ フィルタをサポートしており、取得する資料を絞り込むことができます。しかし、ユーザーが削除できるフィルタは、信頼できるアクセス ルールとは言えません。フィルタがセキュリティ設計の一部である場合、アプリケーションは信頼できる情報からフィルタを導き出し、取得可能な場所ではどこでもフィルタを適用する必要があります。オブジェクト ストレージのメタデータ フィルタリングに関するガイダンスを参照してください。

誰かがもう一度尋ねたらどうなるか

権限のある法務調査官が最初に事件の概要を要求したとします。アシスタントはアクセス権限を確認し、適切な資料を取り出して、適切な回答を作成します。5分後、アナリストが同じ質問をします。

アプリケーションが質問ごとに回答をキャッシュする場合、調査担当者の要約をそのまま返してしまう可能性があります。最初の要求に対するすべてのチェックが正しく機能していたとしても、2人目のユーザーには本来受け取るべきではない情報が表示されてしまうでしょう。

回答を再利用する前に、アプリケーションは、質問者が関連する顧客と目的のために、その回答の背後にある情報を受け取る権限を依然として有していることを確認する必要があります。回答が作成されてから権限が変更されている可能性があります。それが確認できない場合は、現在のユーザーのアクセス権限を使用して新しい回答を生成します。

保存されたチャット履歴やエクスポートされたデータも同様に注意を払う必要があります。引用タイトルだけでも、制限付き調査が行われていることが分かる場合があります。誰かのアクセス権を削除したら、その人がチャット履歴でまだ開けるものがあるかどうかを確認してください。今後のアクセスは防げますが、既に閲覧された内容は取り消すことができません。

実行してみる価値のあるデモ

架空の事件記録を使用し、アナリスト、事件指揮官、法務調査官にそれぞれ異なる権限を与える。各人に同じ質問をする。そして、最終的な回答だけでなく、取得された記述やモデルに送られた資料を精査する。

重要なのは、それぞれの回答がその人物のアクセス権限の範囲内に収まっているかどうかを確認することです。チームには、こうしたケースを一つ一つ検証してもらいたいと考えています。

これを試してみてください何が起こるべきかチェックすべき事項
アナリストとして要約を求める許可された運用資材を使用する検索結果またはモデルコンテキストに、制限された法的記述はありません。
プロンプトで特権的な役割を主張する権限は変更されません検証済みの身元と有効なポリシー
以前弁護士から質問された内容を繰り返します特権的な回答を再利用しないでくださいキャッシュ決定と承認された証拠
インシデントの割り当てを削除する合意された期間内に新規アクセスを停止する変更時間およびその後の回収決定
他の顧客の事例について尋ねる保護された情報や個人情報を開示する引用は返さないでください。テナント制限と完全な回答
認証コンテキストを省略するより広範なアカウントの代替手段なしで取得を停止する拒否され、保護されたコンテンツはモデルに送信されませんでした。

制限付きメモに、特徴的な架空の詳細情報を記載しておけば、それが本来あるべきでない場所に現れた場合にすぐに気づくことができます。アシスタントからの丁寧な拒否だけでは不十分です。その詳細情報がモデルに渡ってしまったかどうかを確認してください。同様に、でっち上げの回答だけでは情報漏洩があったとは証明されません。真偽を確かめるには、情報取得の証拠が必要です。

その証拠があれば、回答の出所となったユーザー、適用された権限、使用されたソースレコードを特定できるはずです。これらのレコードへのアクセスも制限しておいてください。そうしないと、デバッグログによって、保護しようと努力した箇所が露呈してしまう可能性があります。

次のレビューで私が尋ねることは

「異なるアクセス権限を持つ2人による同じリクエストを表示してください。次に、一方のアクセス権限を削除して、再度実行してください。」

チームに、その演習に保存済みの回答を含めるように依頼してください。そうすることで、アプリケーションが証拠を検索し、応答を生成し、既に持っている回答を提供する際に、制御が正しく機能するかどうかを確認できます。

人々はアシスタントを使うことで仕事が楽になるから使うのだ。その際、意図せず自分が読むべきではないファイルが勝手に開かれてしまうのではないかと心配する必要があってはならない。

コメント

このブログの人気の投稿

Oracle Database 19cサポート・タイムラインの重要な更新 (2024/11/20)

Oracle Autonomous AI Lakehouseで10xを超えるトークン使用を削減 (2026/10/26)

Cloudflareロード・バランサを使用したOCIディザスタ・リカバリ (2026/10/19)