Autonomous DatabaseでのOMLモニタリングの発表 (2023/02/27)

https://blogs.oracle.com/machinelearning/post/announcing-oml-monitoring-on-autonomous-database

投稿者： Mark Hornick | Senior Director, Data Science and Machine Learning

Oracle Autonomous DatabaseのOMLサービスの一部として、Oracle Machine Learning (OML) モニタリングが利用可能になったことをお知らせします。OML モニタリングを使用すると、データとネイティブのデータベース内モデルの両方の品質の問題についてアラートを受け取ることができます。データドリブンの企業では、時間の経過とともにデータに大きな変化があるかどうか、およびデータから構築された機械学習モデルが期待どおりに機能しているかどうかを知る必要があります。

OML モニタリングを使用すると、ユーザーはベースラインデータセットからの変更についてデータを監視できます。データ監視は、組織のデータ品質基準を維持し、エンタープライズアプリケーションとダッシュボードの整合性を確保するのに役立つツールの 1 つです。さらに、OML モニタリングは、データモニタリングとモデルモニタリングの組み合わせにより、機械学習ライフサイクルと MLOps のサポートを拡張します。  

データモニタリング

データモニタリングの重要な側面には、データドリフトの検出が含まれます。ここでは、データの統計的特性が時間の経過とともに大幅に変化した場合にフラグを立てます。OML データの監視により、時間の経過に伴うデータの変化を比較および追跡できます。ビジネスタスクは、ベースラインデータセットと呼ばれる十分に理解されたデータとそのベースラインと比較される定期的な後続のデータセットに依存するという考えに基づいています。基盤となるデータの特性の変化を迅速かつ確実に特定することで、データスチュワードは企業に重大な悪影響が及ぶ前に是正措置を講じることができます。 

以下の図は、これを概念的に示しています。ベースラインとして機能するデータセットを提供すると、同じ統計が新しいデータで計算され、ベンチマークと比較されます。重大な差異が発生した場合、差異の原因を調査し、それらを考慮する必要があるかどうかを選択できるように、フラグが立てられます。さらに、このデータがスコアリング用の機械学習モデルで使用されているという状況では、そのようなモデルを再構築する必要があることを意味する場合もあります。

データドリフトは、法律やガバナンスの変更などのビジネス環境の変化、顧客の好みの変化などのユーザーの行動や関心の変化、地域の傾向、さまざまなコンテンツなどのサードパーティソースからのデータの変更など、さまざまな理由で発生する可能性があります。データが正しくない、または欠落しているなどのデータ品質の問題や、センサーの機械的な摩耗や破損などの上流のデータ処理パイプラインの問題。

モデルモニタリング

モデルのモニタリングには、平衡精度や平均二乗誤差 (MSE) などのユーザー指定のモデルメトリックが大幅に変化したとき、または予測値の分布が初期値から大きく逸脱したときの特定が含まれます。このような偏差は、モデルを再構築する必要があることを示している可能性があります。

概念のドリフト、つまり、ターゲット変数の統計的特性が時間の経過とともに変化する場合には、バランスの取れた精度など、選択したモデルのメトリックが低下しているかどうかを観察し、対応するモデルを再構築する必要があることを示唆し、根本的な原因を調査することも含まれます。たとえば、昨年魅力的な見通しと見なされたローン申請者は、銀行の戦略または将来のマクロ経済状況に対する見通しの変更により、もはや魅力的であると見なされなくなる可能性があります。同様に、製品カテゴリに対する顧客の関心は、時間の経過とともに変化し、供給の問題につながる可能性があります。小売予測モデルは、以前の期間からの関心を反映したデータに基づいて構築されました。

データモニタリングと同様に、ユーザーは定期的に新しいテストデータセットを提供して、モデルの精度指標を評価します。メトリクスが指定されたしきい値を下回ると、モデルを再構築するか、より高いメトリクスを持つ別のモデルを選択できるように、そのようなテストデータにフラグが立てられます。 

たとえば、異なるアルゴリズムや設定を使用して、複数のモデルを構築することを含むシナリオを作成したい場合があります。これらのモデルは、精度メトリックに基づいて競合します。この「チャンピオン スコア」は、特定の時点でアプリケーションがどのモデルを使用する必要があるかを示すことができます。 

最初のリリースでは、OML モニタリングはデータベース内モデルをサポートし、後で ONNX 形式のモデルを含める予定です。

OML サービス

より広義には、Autonomous Database の OML サービスにより、データサイエンス チームとアプリケーション開発者が REST API を使用して機械学習モデルを簡単に管理およびデプロイできるようにし、アプリケーションの統合を容易にします。OML サービスは、MLOps のニーズの重要な要素であり、システム提供のインフラストラクチャと統合されたデータベースアーキテクチャの恩恵を受けながら、モデルの管理、展開、および監視をサポートします。モデル管理およびデプロイサービスにより、ユーザーはオンプレミスの Oracle Database と Autonomous Database の両方からデータベース内の機械学習モデルをデプロイして、分類、回帰、およびクラスタリング ML 手法を利用できます。

OML サービスでは、Tensorflow、PyTorch、scikit-learn などのパッケージとは別に作成された、ONNX 形式でエクスポートされたサードパーティモデルの展開も可能になります。

さらに、OML サービスは、トピックとキーワードの抽出、感情分析、テキストの要約と類似性などのコグニティブ テキスト分析をサポートします。

ストリーミングおよびリアルタイムアプリケーションをサポートするために、OML サービスをスコアリング/推論用に最適化しました。また、24 時間 365 日の可用性のために VM をプロビジョニングする必要がある他のソリューションとは異なり、OML サービスは Oracle Autonomous Database に含まれているため、ユーザーは実際の予測を作成するときに追加のコンピューティング料金のみを支払います。 

詳細については

このOML Office Hours セッションをチェックして、この機能、REST エンドポイント、およびデモンストレーションの詳細な紹介を確認してください。追加の詳細と例については、OML サービスのドキュメントを参照してください。また、OML GitHub リポジトリでサンプル ノートブックと関連する Postman コレクションを参照してください。Oracle Machine Learningの詳細を学び、Always Freeアクセスを使用してOracle Autonomous DatabaseでOMLサービスを試すか、 Oracle LiveLabsのOML Fundamentalsハンズオンワークショップで自分で調べてください。