Oracle GoldenGate 23aiでMicrosoft Fabricでのオープン・ミラーリングがサポートされるようになりました (2024/11/19)

https://blogs.oracle.com/dataintegration/post/how-to-replicate-to-mirrored-database-in-microsoft-fabric-using-goldengate

投稿者： Shrinidhi Kulkarni | Principal Product Manager

Oracle GoldenGate 23aiでは、オープン・ミラーリングを介したMicrosoft Fabricへの統合のパブリック・プレビューがサポートされるようになりました。この強力な組み合わせにより、リアルタイムのデータ統合が可能になり、ハイブリッド環境とマルチクラウド環境のデータをMicrosoft Fabricのミラー化されたデータベースに継続的に同期できるため、データは常にAIと分析に対応できます。

Microsoft Fabric統合のOpen Mirroringは、GoldenGate for Distributed Applications and Analytics 23ai (GG for DAA) (23.6)製品を介して提供されます。

既存の Azure統合の詳細については、ドキュメントを参照してください。

オープン・ミラーリングは、オープン・デルタ・レイク表形式に基づいて、データISVがMicrosoft Fabricのミラーリングを拡張できるように設計されています。この機能により、Oracle GoldenGate 23aiは、オープン・ミラー化パブリックAPIおよびアプローチに基づいて、Microsoft Fabricのミラー化データベースに変更データを直接書き込むことができます。Microsoft FabricでのOpen Mirroringの詳細については、「Microsoft FabricでのOpen Mirroringの概要」を参照してください。

このブログ投稿では、この統合の実装の側面について深く掘り下げ、GoldenGate統合の構成方法を示します。

構成ステップ:

リファレンス・アーキテクチャの理解
前提条件
ステップ1: DAAデプロイメント用のGGにログインします。
ステップ2: DAA ReplicatのGGの作成
ステップ3: Replicatのステータスおよび統計を確認します。
ステップ4: ミラー化データベース・ランディング・ゾーンのレプリケート・データの検証
ステップ5: Microsoft Fabricのオープン・ミラー化ステータスの確認
ステップ6: ミラー化データベース・デルタ表のデータのプレビュー

リファレンス・アーキテクチャ

次の図は、Microsoft AzureでホストされているOracle GoldenGate実装の、Microsoft Fabricのミラー化データベースとの統合のためのこのリファレンス・アーキテクチャを示しています。

前提条件

Oracle GoldenGate for Distributed Applications and Analytics 23ai (GG for DAA)をインストールします。
デプロイメント構成: DAA 23aiデプロイメント用のGGを追加するには、Oracle GoldenGate Configuration Assistant (oggca)プログラムを実行して、Oracle GoldenGate Configuration Assistantウィザードを使用してデプロイメントを追加するには、ここで説明するステップを対話型またはサイレントmode.Followでウィザードを起動します。DAAインストール・ホームのGGには、レプリケーション用のサンプル証跡ファイルが含まれています。
ソース・システムからデータを取得するOracle GoldenGate抽出(Oracle、Oracle以外またはビッグ・データ)が起動し、実行中です。また、トレイルはDAAデプロイメントのためにGGに送信されます。
GoldenGate環境変数の設定: システムに適した環境変数を使用して、PATHおよびJVM共有ライブラリ内のJREを検索するように環境を構成します。Linuxでは、次のように、JVM共有ライブラリを含むディレクトリを含めるようにJAVA_HOMEおよびLD_LIBRARY_PATHを設定します。
export JAVA_HOME=<ggdaa_install_home>/jdk
export PATH=$JAVA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$JAVA_HOME/lib/server:$LD_LIBRARY_PATHMicrosoft Fabricでのミラー化データベースの作成: Microsoft Fabricのミラー化データベースは、パブリックに使用可能なRest APIまたは Microsoft Fabricコンソールを使用して作成できます。
Download Dependencies: DAAインストールホームディレクトリのGGへ移動します。依存関係ダウンローダーを実行して、Microsoft Fabric dependencies.Toをダウンロードし、依存関係ダウンローダー・スクリプトを実行します。

Unix端末インタフェースを使用して、{GGforDAA install}/opt/DependencyDownloaderディレクトリに移動します。
スクリプトを実行するには、次を実行します: ./{依存関係スクリプト} {ダウンロードする依存関係のバージョン}
./onelake.sh 12.20.0
依存性ライブラリは次のディレクトリにダウンロードされます: {GGforDAAinstall}/opt/DependencyDownloader/dependencies/onelake_12.20.0

認証用のMicrosoft Entra IDアプリケーションの作成: GG for DAA Replicatは、Microsoft Fabricでの認証にMicrosoft Entra IDアプリケーションを使用します。次のように構成します。

Azureポータルにサインインします。
Microsoft Entra IDを検索して選択します。
「管理」リストから、「アプリケーション登録」を選択します。
「新規登録」を選択します。
必要な情報を入力します。

名前- アプリケーションの名前を入力します。
サポートされるアカウント・タイプ- アプリケーションでサポートするアカウントを選択します。
(オプション)リダイレクトURI– 「プラットフォームの選択」ドロップダウンで「Web」を選択します。

「登録」を選択します。
Microsoft Fabricにアクセスするために作成したアプリケーション登録を選択します。
アプリケーション(クライアント) ID、アプリケーションに表示されるディレクトリ(テナント) IDを書き留めます。
「管理」で「証明書とシークレット」を選択し、「新規クライアント・シークレット」をクリックして新しいシークレットを作成し、次のステップのために値を安全に保存します。この生成されたキー値文字列は、シークレットの作成時に1回のみ使用できます。生成されたシークレットがわからない場合は、生成された値文字列を取得するように別のシークレットを作成します。
Fabric Workspaceに移動し、「アクセスの管理」をクリックします。

「ユーザーの追加」をクリックするか、前のステップで作成したアプリケーション名をGroups.Typeして「アプリケーション」を選択します。アプリケーション・コントリビュータ・ロールを割り当て、「追加」をクリックします。

Microsoft Fabricでのミラー化データベース用のDAA ReplicatのGGの作成および構成

Webブラウザでサービス・マネージャ・ログイン・ページを開き、Oracle GoldenGate管理者ユーザー資格証明を使用してサービス・マネージャにログインします。初めてログインする場合は、Oracle GoldenGate Configuration Assistantウィザードでデプロイメントを追加するときに作成される管理者アカウント・ユーザー資格証明を使用してログインする必要があります。

ステップ1: 分散アプリケーションおよび分析デプロイメントのGoldenGateにログイン

「デプロイメント」リストから、分散アプリケーションおよび分析デプロイメントのGoldenGateの管理サービスをクリックします。これにより、管理サービスのログイン・ページが開きます。サービス・マネージャへのログインに使用したものと同じ資格証明を使用して、管理サービスにログインします。「管理サービスの概要」ページが表示されます。

ステップ2: 分散アプリケーションおよび分析Replicat用のGoldenGateの作成

Replicatを追加するには、「Replicats」ラベルの横にある「+」をクリックします。

2つのReplicatタイプがあります。

クラシックReplicatはシングル・スレッド・プロセスです。
調整Replicatは、トランザクションをパラレルに適用するマルチスレッド・プロセスです。

ReplicatタイプとしてクラシックReplicatを選択し、「次へ」をクリックします。

Replicatオプションを入力し、「Next」をクリックします。

証跡名: 必要な証跡ファイルの名前(サンプル証跡を使用している場合、trとして提供)
サブディレクトリ: サンプル証跡を使用する場合は、GG_HOME/opt/AdapterExamples/trail/と入力します。
ターゲット: Microsoft Fabricのミラー化データベース

「Managed Options」をデフォルトのままにして、「Next」をクリックします。

パラメータ・ファイルの詳細を入力し、「次へ」をクリックします。パラメータ・ファイルでは、ソースとターゲットのマッピングを指定できます。サンプル証跡ファイル(tr)を使用している場合は、次のように指定します: MAP QASOURCE.*、TARGET <your_schema_name>.*;

プロパティ・ファイルで、TODOとマークされているプロパティを更新します。

gg.target=fabric_mirrored_database
#TODO: Edit the Fabric workspace name.
gg.eventhandler.onelake.workspace=<workspace-name>
#TODO: Edit the Fabric mirror name.
gg.eventhandler.onelake.mirror=<mirror-name>
#TODO: Edit the tenant ID of the application.
gg.eventhandler.onelake.tenantId=<azure-tenant-id>
#TODO: Edit the client ID of the application.
gg.eventhandler.onelake.clientId=<azure-client-id>
#TODO: Edit the client secret for the authentication.
gg.eventhandler.onelake.clientSecret=<azure-client-secret>
#TODO: Edit the classpath to include Hadoop, Parquet, and Azure DataLake SDK dependencies.
gg.classpath=$THIRD_PARTY_DIR/hadoop/*:$THIRD_PARTY_DIR/parquet/*:$THIRD_PARTY_DIR/onelake/*
#TODO: Edit the proxy configuration.
#jvm.bootoptions=-Dhttps.proxyHost=some-proxy-address.com -Dhttps.proxyPort=80 -Djava.net.useSystemProxies=true

依存性の一部としてダウンロードした依存性jarファイルへのパスを指定します。「作成して実行」をクリックします。

ステップ3: Replicatのステータスおよび統計を確認

「実行中」ステータスをチェックして、Replicatプロセスが実行中であることを確認します。

Replicat名をクリックし、左側のメニューの「統計」タブをクリックします。

ステップ4: ミラー化データベース・ランディング・ゾーンのレプリケート・データの検証

データがミラー化データベースにレプリケートされたことを確認するには、Microsoft Fabricワークスペースに移動します。ミラー化データベース名をクリックします。

上部にある「表示」タブをクリックします。次に、「レプリケーション」ステータスオプションをクリックして、Microsoft Fabric Mirroringによってデルタテーブルにレプリケートされた行のステータスと数を確認します。

GoldenGate Replicatプロセスは、parquet形式でデータをミラー化データベースのOneLakeランディング・ゾーンにレプリケートします。または、UIのランディング・ゾーン・オプションを展開して、レプリケートされる表名とともにスキーマ名を表示することで、データがミラー化されたデータベースのランディング・ゾーンに正常に着陸したことを確認できます。