Feature Type Validatorsでデータの信頼性を高めよう (2021/10/29)

Feature Type Validatorsでデータの信頼性を高めよう (2021/10/29)

https://blogs.oracle.com/ai-and-datascience/post/have-confidence-in-your-data-with-feature-type-validators

投稿者： John Peach | Principal Data Scientist

コード化された検証でデータに自信を持つ


Pandasには、データサイエンティストがデータが特定のタイプであることを検証するためのツールがいくつか用意されています。例えば、.is_integer_dtype()や.is_numeric_dtype()のようなメソッドや、.is_dict_like()や.is_list_like()のような、データが特定の性質を持っているかどうかをチェックする、より複雑なメソッドがあります。これには2つの大きな問題があります。1つ目は、テストが非常に限定されていることです。一つのことしかチェックしません。第二に、テストは拡張性がありません。独自のバリデータをPandasに追加することはできません。例えば、クレジットカード番号のデータがあったとしましょう。あなたができることは、.is_int64_dtype()を使って、それが数字であることをチェックすることです。しかし、それが有効なクレジットカード番号であるかどうかはチェックしません。


ここで、Feature Type Validatorsの出番です。Feature Typeシステムに慣れていない方は、「How feature types improves your data science workflow」というブログ記事をご覧になるとよいでしょう。要約すると、Feature Typeシステムは、データが表すものをコード化するのに役立つということです。これにより、新しいデータセットを扱うたびに、時間のかかるデータ検証プロセスをスピードアップし、改善することができます。また、カスタム統計の計算、データの可視化、Validatorや警告システムを使ったデータの検証、Feature Typeに基づいたカラムの選択などのツールも用意されています。これらのコンポーネントについては、一連のブログ記事で紹介していますので、このブログの最後にあるリストをご覧ください。


Feature Type Validatorはカスタム関数で、自分で書きます。これはFeature Type Validatorハンドラと呼ばれます。この関数は、シリーズを受け取り、そのシリーズが基準を満たしているかどうかを示す一連のブール値を返します。例えば、CreditCard というFeature Typeを用意し、.is_credit_card() というハンドラーでデータを徹底的にチェックして、各観測データが有効なクレジットカード番号であることを確認することができます。



条件によるバリデーションのカスタマイズ


Feature Type Validatorは、あなたが書いたカスタム関数です。これはFeature Type Validatorハンドラと呼ばれます。この関数は、シリーズを受け取り、そのシリーズが条件を満たしているかどうかを示す一連のブール値を返します。例えば、CreditCardというFeature Typeと.is_credit_card()というハンドラーを用意して、各観測値が有効なクレジットカード番号であることを確認するために、データを徹底的にチェックすることができます。


システムには非常に柔軟性があり、パラメータを追加して他のハンドラをディスパッチさせることができます。例えば、.is_credit_card()というValidatorがありますが、これを使ってカードがAmerican Expressカードかどうかをチェックしたいとしましょう。.is_credit_card(type="American Express")のようなオプションのパラメータを使って、この関数を拡張することができます。このために登録された別のハンドラがあり、カードがAmerican Expressのものであるかどうかを示す一連のブール値を返すことになります。最初に.is_credit_card()のハンドラを呼び出して、カードが実際にクレジットカード番号であることを確認してから、クレジットカード番号であるものだけを検証して、American Expressのカードであるかどうかをチェックすることもできます。


このブログ記事では、Feature Type Validatorの概念を紹介します。このシリーズの他のブログ記事では、カスタムのFeature Typeを作成してそのためのValidatorを書く方法を紹介しています。



再現性のために前提条件をコード化する


Feature Type Validatorはis_*メソッドの集合で、*は通常、フィーチャータイプの名前を表します。例えば、.is_credit_card()というメソッドは、データがクレジットカードであることを確認するために呼び出されます。このメソッドは、データの長さを表すブール値のPandasシリーズを返します。要素がFeature Type Validatorで指定された基準を満たしていればTrue、そうでなければFalseを示します。


Feature Type Validatorは、Feature Typeのレベルで定義されます。同じFeature Typeの列やFeatureに適用可能な関数を定義することができます。ADSが提供するFeature Typeには、デフォルトのハンドラーセットが付属しています。


上で見たように、Featureハンドラーには、条件という概念もあります。条件を使うと、パラメータに応じて異なるFeatureハンドラーのセットを作ることができます。例えば、あるクレジットカードがVisaカードかどうかを確認したい場合、.is_credit_card(startwith='4')のような条件を作ると、すべてのVisaカードは4で始まるので、その条件でFeatureハンドラーを登録すると、その条件を渡したときに実行されます。



Feature Type Validatorの一覧表示


feature_type_manager.validator_registered() メソッドを使用すると、現在のフィーチャータイプのバリデータとその条件を一覧できます。これは、登録されているデフォルトハンドラをデータフレーム形式で表示します。





CreditCard Feature Typeオブジェクトでは、CreditCard Feature Typeに関連付けられたハンドラを見ることができます。





Feature Type Validatorは、Pandasのシリーズで呼び出され、シリーズ内の値をテストすることができます。次の図は、有効なクレジットカード番号と無効なクレジットカード番号を含むseriesというデータセットを作成する方法を示しています。このシリーズには、クレジットカードのFeature Typeが割り当てられています。.is_credit_card()Feature Typeバリデータが実行され、どの値が有効なクレジットカード番号であるかを判断します。このコードの出力は、その数字が有効なクレジットカード番号かどうかを示す一連のブール値です。





同じことをする別の方法として、Pandasの系列を評価するために機能タイプのオブジェクトを使うことができます。例えば、CreditCard.ads.validator.is_credit_card(series)です。




まとめ


このブログ記事では、Feature Type Validatorの概念とその使い方について紹介しました。また、Validatorの機能を拡張するオプションのパラメータを持つように拡張できることも紹介しました。feature_type_manager.validator_registered() メソッドを使用すると、Feature Typeシステムに登録されているすべてのValidatorメソッドを一覧できます。ValidatorはFeature Typeに関連付けられているので、 .validator.registered() メソッドは特定のFeature Typeに関連付けられた名前、条件、そしてハンドラの一覧をデータフレームで返します。このメソッドは、Feature Typeオブジェクトに対してコールする必要があります。Validatorは、Pandasシリーズで.ads.validator.is_VALIDATOR_NAME()を呼び出すことで起動されます。この例では、VALIDATOR_NAMEは、Validatorの名前の代用です。このブログ記事では.is_credit_card()を使用していました。


Other blogs in this series

Explore OCI Data Science

Try Oracle Cloud Free Tier! A 30-day trial with US$300 in free credits gives you access to OCI Data Science service.

Ready to learn more about the OCI Data Science service?

コメント

コメントを投稿

このブログの人気の投稿

Oracle RACによるメンテナンスのためのドレインとアプリケーション・コンティニュイティの仕組み (2023/11/01)

イメージ
Oracle RACによるメンテナンスのためのドレインとアプリケーション・コンティニュイティの仕組み (2023/11/01) https://database-heartbeat.com/2023/11/01/draining-ac-rac/ はじめに Oracle RACは、Oracle Databaseのスケーラビリティと高可用性を提供します。1つのサーバー(RACノード)に障害が発生した場合、またはメンテナンスのためにオフラインになった場合でも、追加のノードを介してデータベースにアクセスできます。ただし、メンテナンスの開始時に、データの読取りまたは変更に関係なく、一部の作業を実行しているクライアント・セッションはどうなりますか。この作業は中断され、ドレインを実装してアプリケーション・コンティニュイティまたは透過的アプリケーション・コンティニュイティを有効にしないかぎり、エンドユーザーまたはアプリケーションによって再度実行する必要があります。 環境 2ノードのOracle RACを例に挙げて、高速アプリケーション通知(FAN)、ドレインおよびアプリケーション・コンティニュイティによってメンテナンス・イベントがエンドユーザーに透過的になる方法を理解しましょう。アプリケーションは、30個のセッションを保持するように構成された接続プールを使用しています。 通常の操作 通常の操作中は、両方のRACノードが起動し、アプリケーションを実行しています。ロード・バランシング戦略によっては、セッションの数が両方のノード間で異なるか、均等に分散される場合があります。次の図をよりよく視覚化するために、ノード2のノード1および20のセッションに10のセッションがあるとします。 セッションは、アイドル状態(接続されているが何もしていない)またはアクティブ状態(リクエストの途中)にできます。リクエストは、データの読取り(SELECT)または操作(INSERT、DELETE、UPDATE)が可能です。 ドレインによるサービスの停止 ある時点で、システムのメンテナンスが必要になります。2ノードRACがあるため、メンテナンスはローリング方式で、1つのノードを順番に(ほとんどの場合)実行できます。メンテナンスは、たとえば、オペレーティング・システム、Grid Infrastructureまたはデ
続きを読む

Oracle Cloud Infrastructure Secure Desktopsを発表: デスクトップ仮想化のためのOracleのクラウドネイティブ・サービス (2023/06/28)

イメージ
Oracle Cloud Infrastructure Secure Desktopsを発表: デスクトップ仮想化のためのOracleのクラウドネイティブ・サービス (2023/06/28) https://blogs.oracle.com/cloud-infrastructure/post/secure-desktops-cloud-native-virtualization 投稿者： Joost Pronk Van Hoogeveen Jan Hendrik Mangold | Principal Product Manager Oracleは、Oracle Cloud Infrastructure(OCI)Secure Desktopsという新しいクラウド・ネイティブ・サービスをリリースしています。このエキサイティングな開発により、顧客はOCIテナンシから簡単にすばやく仮想デスクトップ・インフラストラクチャ(VDI)をデプロイできます。 OCIの使用状況は大幅に拡大しています。組織は、OCI内でデータを安全に保つことの価値を実現しています。ゼロトラストなセキュリティ優先アーキテクチャを実装することで、OCI Compute、Storage、およびNetworkingサービスは、グローバル・アクセスのためのエンタープライズ・アプリケーションを導入するための信頼できるプラットフォームを提供します。 データ・セキュリティとVDIがどのように役立つか 業界のアナリストによると 、ラップトップは53秒ごとに盗まれています。その事実と現実を結び付けると、会社のデータは、公共の場所を経由したり、従業員の自宅に座ったりするラップトップやデスクトップへと移行します。ローカル・ディスクの暗号化、データ・アクセス権限の強制、VPNアクセスの保護によってデータを保護するためにテクノロジが使用されていますが、いずれも許容可能なセキュリティ・レベルが適用されるため、リスクは依然として高くなる可能性があります。盗難または準拠していないいくつかのマシンでは、企業データ、さらには顧客データのデータ侵害が発生する可能性があります。 VDIテクノロジは長年にわたって存在してきましたが、従業員はローカル・マシンを使用して、会社のデータ・センター内の仮想マシンで実行されているデスクトップ・アプリケー
続きを読む

Oracle Cloudのデータベースをオブジェクト・ストレージにバックアップする3つの方法 (2021/12/13)

イメージ
Oracle Cloudのデータベースをオブジェクト・ストレージにバックアップする3つの方法 (2021/12/13) https://database-heartbeat.com/2021/12/13/three-ways-backup-cloud/ はじめに Oracle Cloudでは、ボタンをクリックするだけで自動バックアップを有効にするオプションが用意されています。バックアップの要件が異なる場合でも、手動でバックアップ設定を行い、コマンドライン・ツールやRMANを直接使用してバックアップを作成する柔軟性があります。これは、VM DB Systems、Exadata Cloud Service、およびExadata Cloud at Customerに適用されます。 このブログ記事では、Oracle Cloud Object Storageをバックアップ先として使用する場合の、さまざまなバックアップ・オプションの主な違いと、それに伴うコストについて紹介します。Object Storageは、内蔵されたトリプル・ミラーリングと99.999999%(イレブンナイン)の耐久性を提供します。 ハイブリッド・クラウドとマルチ・クラウド Oracle Cloud Object StorageへのOracle Databaseのバックアップは、Oracle Cloud上のOracle Databaseに限らず、ハイブリッドクラウド上のオンプレミスのOracle Databaseや、マルチクラウド環境のOracle以外のクラウド上で稼働しているOracle Databaseに対しても、RMANを介して実装することができます。 プライベートおよび専用のネットワーク接続は、FastConnect、Azure Interconnect、またはサードパーティのネットワーク接続プロバイダを介して提供できます。マルチクラウド環境では、クラウドプロバイダー、リージョン、転送するデータ量に応じて、追加のアウトバウンドトラフィックコストが発生する可能性があります。オラクルをはじめとする多くのクラウドプロバイダーは、すでに Bandwidth Alliance に参加しており、ネットワークエグレス料金を削減または排除しています。 環境について     Oracle Cloud VM DB Sy
続きを読む