Oracle Cloud Infrastructureで最新のデータレイクを構築 (2021/07/28)
Oracle Cloud Infrastructureで最新のデータレイクを構築 (2021/07/28)
投稿者：Shadab Mohammad
はじめに
データレイクは、語源的にも機能的にもデータウェアハウスを進化させたものです。かつて企業では、データソースとしてリレーショナルデータベースを使用し、データを抽出、変換し、中央のリポジトリにロードしていました。これらのプロセスはバッチモードで毎日実行され、ETL（Extract Transform Load）と呼ばれ、セントラルデータベースはデータウェアハウスと呼ばれていました。データウェアハウスは、商品（この場合はデータ）を長期間保管し、アナリティクスやビジュアライゼーションを用いて価値を引き出すための巨大なデータベースの総称となった。企業が過去のデータから価値を引き出すというアプローチは、データの量と速度が予測可能だったオンプレミスの世界とは異なり、容量計画はデータソースとデータの増加を数える問題でした。しかし、ビッグデータ・コンピューティングの登場と入力データの性質の変化により、このアプローチでは、時間の経過や極めて大量のデータに対してうまく対応できなくなりました。
データレイクは、構造化データ（リレーショナルデータベース）、半構造化データ（NoSQLデータベース）、非構造化データ（動画、画像、音声）の収集と保存に特化した、ほぼ無限に拡張可能なストレージプールを提供します。データレイクでは、膨大な量と速度のデータを多種多様なソースから収集するというアプローチが採用されました。データストレージは、あらゆる種類のデータを収集しながら、巨大な集中型データベースの容量計画を必要とせず、ペタバイトまで容易に拡張することができます。過去のデータを収集・保存するこのアプローチは、ETLのプロセスにわずかな変化をもたらしました。「L」が「T」の前に移動し、ELT（Extract Load Transform）となりました。まずデータを抽出し、それを生のフォーマットで集中管理されたステージングエリアにロードし、後で変換してビジネス価値を引き出すのです。このような膨大な量のデータを保存するために、高価なカスタムビルドのデータウェアハウスアプライアンスやファイルシステムの代わりに、分散オブジェクトストアが使用されました。オブジェクトストレージは、はるかに安価なストレージメカニズムであり、より低いTCOでデータを保持することができます。インターネット・スケールのオブジェクト・ストレー ジはこれをさらに安価にし、企業のデータレイクをエクサバイトにまで拡大することを加速させました。
OCI Datalake アーキテクチャ
データを上流のシステムからDatalakeに取り込み、そこから下流のシステムで消費するまでの過程は、「取り込み」、「保存」、「変換」、「可視化」に分けられます。これらの段階が完了すると、データからビジネス価値を引き出すことができるようになります。
それでは、OCIの最新のデータレイクがどのようなものか、また、OCIのサービスを使ってどのように様々なステージを構築することができるかを見てみましょう。
データレイクにデータを保存するためには、3つの異なるサイロで管理する必要があります。このように分離する理由は、データのカテゴリの本質的な価値を識別できるようにし、データの保持を適切に定義して過剰なコストを回避するためです。第一段階は、データレイクへの生データの保存です。ここでは通常、受信ストリームをアンロードしてデータをダンプするだけです。データはさまざまなソースからのもので、異なるバケットにステージングすることができます。第2段階では、データの基本的なクリーニングを行い、データの元となったアプリケーションの種類に応じたカテゴリーに格納します。データをアプリケーション別に分類することは任意であり、ビジネスのニーズに応じて分類することができます。
最終的な保存段階では、データのクレンジング、マスキング、タグ付けを行い、すぐに利用できるようにしたり、可視化ツールに読み込ませたりします。これには、機械学習アルゴリズムやその他のデータサイエンス技術を実行して、組織のニーズに基づいてビジネスの結果を予測することも含まれます。この最終ストレージにデータをどのように保存するかは、ビジネス上の要件によりますが、組織のビジネス構造に合わせて保存するのが良い方法です。これはセキュリティの観点からも重要で、役割に応じて適切なアナリストのみがデータにアクセスできるようにします。
OCI データレイクの提供
Oracle Cloud Infrastructure (OCI) には、OCI ネイティブ・データ・サービスとオラクル独自のオブジェクトストレージを使用して、企業のためのインターネット・スケールの データレイク を構築するためのすべてのオファリングが用意されています。OCIは、スタートアップ企業、スケールアップ企業、企業のいずれにも、堅牢で安全かつスケーラブルなデータレイクを構築する機会を提供します。OCIは、エクサバイト規模のデータレイクを構築するために、最も競争力のあるコストとパフォーマンスを提供します。
OCIは、完全にクラウドネイティブでサーバーレスなデータレイクを構築するための包括的なサービスを提供しており、オンプレミスや他のクラウドプロバイダー、様々なサードパーティのデータソースからデータを取り込むことができます。さらに、Oracle Cloud Infrastructureには、データレイクを統合、変換してビジネス価値を引き出すためのさまざまなサービスがあります。これらのサービスはすべてフルマネージドサービスであり、サーバーを用意する必要はありません。
インジェスト
OCI Data Integration - Oracle Cloud Infrastructure Data Integrationは、完全に管理されたマルチテナントのサーバーレスのネイティブ・クラウド・サービスで、さまざまなソースからデータを取り込み、そのデータをクレンジング、変換、再形成して、Oracle Cloud Infrastructure上のターゲット・データ・ソースに効率的にロードするなど、一般的なETL（抽出、ロード、変換）タスクを支援します。
OCI Goldengate - GoldenGateは、完全に管理されたネイティブ・クラウド・サービスであり、データをリアルタイムに大規模に移動させます。OCI GoldenGateは、1つまたは複数のデータ管理システムからターゲット・データベースに移動するデータを処理します。また、コンピュート環境を割り当てたり管理したりすることなく、データ・レプリケーション・タスクの設計、実行、オーケストレーション、監視を行うことができます。
Oracle Integration Cloud（OIC） - Oracle Integrationは、アプリケーションの統合、プロセスの自動化、ビジネス・プロセスへの洞察を可能にする、完全に管理されたサービスです。
OCI Streaming（Kafka互換） - Oracle Cloud Infrastructure Streamingサービスは、大容量のデータ・ストリームをリアルタイムで取り込み、消費するための、完全に管理されたスケーラブルで耐久性のあるソリューションを提供します。Streamingは、パブリッシュ・サスクライブ・メッセージング・モデルで継続的かつ逐次的にデータを生成・処理するあらゆるユースケースに使用できます。
ストレージ
Oracle Object Storage - Oracle Cloud Infrastructure Object Storageサービスは、信頼性とコスト効率に優れたデータ耐久性を提供する、インターネット規模の高性能ストレージ・プラットフォームです。Object Storageサービスは、分析データや、画像や動画などのリッチコンテンツを含む、あらゆるコンテンツタイプの非構造化データを無制限に保存することができます。
トランスフォーメーション
OCI Datacatalog - Oracle Cloud Infrastructure Data Catalogは、完全に管理された、エンタープライズ・データのためのセルフサービスのデータ発見およびガバナンス・ソリューションです。Data Catalogを使用すると、技術、ビジネス、および業務上のメタデータを管理するための単一のコラボレーション環境が得られます。メタデータの収集、整理、検索、アクセス、理解、エンリッチ、アクティベーションを行うことができます。
OCI Dataflow - Oracle Cloud Infrastructure Data Flowは、Apache Spark ™アプリケーションを実行するためのフルマネージドサービスです。開発者はアプリケーションに集中することができ、アプリケーションを実行するための簡単なランタイム環境を提供します。アプリケーションやワークフローとの統合のためのAPIサポートを備えた、簡単でシンプルなユーザーインターフェースを備えています。
OCI BigData - Big Dataは、完全に構成されたセキュアで高可用性のある専用のHadoopおよびSparkクラスタをオンデマンドで提供します。小規模なテストおよび開発用クラスターから大規模な本番用クラスターまでをサポートする、さまざまなOracle Cloud Infrastructureコンピュート・シェイプを使用することで、ビッグデータおよびアナリティクスのワークロードに合わせてクラスターを拡張できます。
OCI Data Science - Data Scienceは、データ・サイエンス・チームがOracle Could Infrastructureで機械学習モデルを構築、トレーニング、および管理するための、完全に管理されたサーバーレス・プラットフォームです。
可視化
Oracle Analytics Cloud - Analyticsは、データ準備、可視化、エンタープライズ・レポート、拡張分析、自然言語処理のための、AIを搭載した最新のセルフサービス型分析機能によって、ビジネス・アナリストとコンシューマーを強化します。
Oracle Autonomous Database（Apex） - Autonomous Databaseは、完全に管理された構成済みのデータベース環境で、以下の4つのワークロードタイプが利用できます。「Autonomous Transaction Processing」、「Autonomous Data Warehouse」、「Oracle APEX Application Development」、「Autonomous JSON Database」の4つのワークロードタイプがあります。
OCI データレイクの導入
前提条件
- OCIテナンシーを作成し、ルートコンパートメントレベルでIAMポリシーを設定する権利を持つAdministratorユーザーを作成する。
- デプロイされるサービスに応じて、正しいIAMグループとポリシーが作成されていることを確認します。
- OCIテナントで管理者権限を持つユーザーの API キーを作成します。
- OCIテナントの仮想クラウドネットワーク（VCN）から、オンプレミス、他のクラウド、またはサードパーティのネットワークへのネットワーク接続があること。セキュリティのベストプラクティスは、他のクラウドやオンプレミスのデータセンターへのIPsec VPNまたはFastconnectを使用したプライベート仮想回路を持つことです。ここでは、広帯域で低遅延のFastconnectを使用して、AWS VPCの接続をOCI VCNに接続する例を紹介しています。
OCI データレイクのデプロイをTerraformを使って自動化することができます。
データガバナンス
データ保持
データ保持は、データレイク戦略の重要な部分です。データの保持は、お客様が事業を展開している業界や、データが存在する国のデータ保持法に沿った、さまざまなコンプライアンスや規制のポリシーにとって重要となります。
データセキュリティ
様々なソースからのデータがHIPAA、PCI-DSS、FedRAMP、FIPS 140などのコンプライアンスの対象となる場合は、特にセキュリティが最優先されます。クラウドでは、セキュリティは共有責任モデルです。OCIがどのようにしてお客様がデータセキュリティのための様々な業界の認証に準拠するのを支援するかについては、このリンクを参照してください。データレイク内のデータは、保存時と転送時の両方で暗号化する必要があります。OCIのセキュリティ関連のベスト・プラクティスについては、こちらをご覧ください。
まとめ
最近では、最終的なデータを保存する場所がさらに変化しています。Oracle Autonomous Data Warehouseのようなクラウドネイティブなデータウェアハウスでは、すぐに利用できる大量のデータを保存するための、よりコスト効率の高い代替手段が利用できます。また、データレイクハウス・アーキテクチャーという新しい概念もあります。データレイクハウスでは、基礎となるストレージがリレーショナルデータベースのテーブルのように動作し、データを問い合わせたり書き込んだりすることができます。データレイクハウスは、データレイクをさらに進化させたものです。ビジネスの価値を引き出すために、さまざまなソースから過去のデータを保存・処理することは、これまでも、そしてこれからも、常に進化し続けるプロセスです。
OCIでは、インターネットスケールのサーバーレスでスケーラブルなデータレイクを簡単に構築・展開することができます。OCIは、データから深い洞察を得るためのデータサイエンスと機械学習技術に加えて、データ統合と変換のサービスを提供しています。オラクルは、常に企業の重要なデータニーズの中心的存在であり、ペタバイト規模のデータウェアハウス向けのExadataや、エクサバイト規模のデータストレージと処理が可能なOracle Cloud Infrastructure データレイクなど、お客様のデータニーズの高まりを常にサポートしてきました。
コメント
コメントを投稿