OCI GoldenGateによるOCIオブジェクト・ストレージへのリアルタイムApache Iceberg Lakehouseの構築 (2026/05/08)

OCI GoldenGateによるOCIオブジェクト・ストレージへのリアルタイムApache Iceberg Lakehouseの構築 (2026/05/08)

https://blogs.oracle.com/dataintegration/building-a-real-time-apache-iceberg-lakehouse-on-oci-object-storage-with-oci-goldengate

投稿者：Deniz Sendil | Senior Principal Product Manager

この1年間で、Apache Icebergはオープンレイクハウスアーキテクチャの標準的なテーブルフォーマットとなりました。こうした流れを受け、OCI GoldenGateのApache Icebergサポートも進化を続け、Oracle GoldenGateを基盤としたさまざまなリアルタイムオープンレイクハウスアーキテクチャに関するブログ記事を複数公開してきました。

このブログでは、OCI オブジェクトストレージ上にリアルタイムの Apache Iceberg ベースのオープンなレイクハウスを作成するために、OCI GoldenGate を構成する方法について詳しく見ていきます。

あなたが構築するもの

このブログでは、OCI GoldenGate Big Data を構成して、ソース データベースからの変更をキャプチャし、OCI Object Storage に保存されている Apache Iceberg テーブルにリアルタイムでレプリケートする方法を説明します。ターゲットアーキテクチャでは、OCI Object Storage Amazon S3 互換性 API、Apache Iceberg Hadoop カタログ、および OCI GoldenGate の Apache Iceberg ハンドラーを使用して、外部処理エンジンを必要とせずに Iceberg テーブルを作成し、継続的に更新します。

Apache Iceberg CDCにOCI GoldenGateを採用する理由とは？

  • 処理エンジンは不要です。OCI GoldenGateはApache Iceberg Java APIを直接使用するため、外部の処理エンジンを必要とせずに、Icebergテーブルを作成し、データをリアルタイムで複製できます。
  • プラットフォームを横断したリアルタイムIcebergレイクハウス：OCI GoldenGateは、幅広いオブジェクトストレージサービスとApache Icebergカタログをサポートしており、チームはニーズに最適なプラットフォーム上でリアルタイムレイクハウスアーキテクチャを柔軟に構築できます。
  • OCI GoldenGate マルチクラウド：  OCI GoldenGate は、Oracle Database@Azure や Oracle Database@Google Cloud などのマルチクラウド環境に、Oracle のフルマネージド型クラウドネイティブ CDC サービスを提供します。これにより、チームはデータおよび分析プラットフォームの近くでリアルタイムの Apache Iceberg レプリケーションを実行し、該当する場合は好みのクラウド商用モデルに合わせて消費量を調整し、クラウド全体で GoldenGate インフラストラクチャを自己管理する必要がなくなります。

前提条件：

OCIオブジェクトストレージに接続するためのオブジェクトストレージAmazon S3互換性APIを設定します。

Apache Iceberg レプリケーションは、OCI GoldenGate Big Data デプロイメントタイプでサポートされています。OCI GoldenGate Big Data デプロイメントを作成します。

Apache Iceberg接続を作成する

  • OCI GoldenGateとApache Icebergの接続に関する詳細は、OCI GoldenGateのドキュメントを参照してください。
  • このブログでは、カタログタイプとして Hadoopを使用します。OCIオブジェクトストレージには、Nessie、Polaris、RESTカタログも使用できます。
  • OCIオブジェクトストレージS3 APIエンドポイントへの接続には、ストレージタイプとしてAmazon S3を使用します。詳細については、OCI GoldenGateのAmazon S3接続に関するドキュメントを参照してください。
  • スキーマタイプはS3Aのままにしてください。
  • 必要に応じて残りの項目を入力してください。
  • 接続を作成し、 OCI GoldenGateビッグデータデプロイメントに割り当てます。

Apache Iceberg Replicatを作成する

  • 「+ レプリケートを追加」をクリック
  • Replicat Trail Nameには、トレイルファイル名を指定します。
  • ターゲットとしてApache Icebergを選択してください。
  • ターゲットエイリアスとして使用する接続を選択してください。
  • カタログとしてHadoopを選択します。
  • ストレージ構成としてAmazon S3を選択してください。
  • 管理オプションはそのままにしておいてください。
  • パラメータファイルで、ソースとターゲットのマッピングを定義します。 を使用する場合、OCI GoldenGate はソーステーブル名に基づいてターゲットテーブル名を作成します。必要に応じて、パラメータファイルにオプションのパラメータをMAP *.*, TARGET *.*; 追加することもできます。
  • プロパティファイルで、必要なレプリケートプロパティを更新します。
  • gg.eventhandler.iceberg.warehouseLocationOCIオブジェクトストレージバケット内のIcebergウェアハウスへのパスを定義します。例：gg.eventhandler.iceberg.warehouseLocation=/blog_warehouse
  • レプリケートプロパティファイルに以下のプロパティを追加してください。gg.eventhandler.iceberg.awsS3PathStyleAccess=true
  • 必要に応じて、次のプロパティをレプリケート プロパティ ファイルに追加しますgg.handler.iceberg.inactivityRollInterval=5s

    。必要に応じて、gg.handler.iceberg.inactivityRollInterval受信レコードがない期間が経過した後にファイルをローテーションするために使用できます。これは、アクティビティが停止した直後に OCI GoldenGate がデータを Apache Iceberg にフラッシュする必要がある開発または低ボリュームのテスト シナリオで役立ちます。例:gg.handler.iceberg.inactivityRollInterval=5s

    Apache Iceberg レプリケート プロパティの詳細については、 Oracle GoldenGate のドキュメントを参照してください。
  • レプリケートを作成して実行します。
  • OCIオブジェクトストレージバケット内のReplicat統計情報とApache Icebergテーブルを確認してください。

ベストプラクティスと推奨事項

  • Apache Icebergレプリケーションには、非圧縮操作を使用することをお勧めします。Oracle GoldenGate  Extractは 、非圧縮操作を生成するように構成できます。Extractを追加する際に、LOGALLSUPCOLS パラメータを使用してください。LOGALLSUPCOLSを指定すると、ExtractはUPDATE操作の完全な前イメージをトレイルレコードに自動的に含めます。  
  • ソーステーブルに主キー（PK）がない場合、  ExtractにKEYCOLS 句を含めることで代替キーを定義できます。ソーステーブルにPKがなく、かつExtractにKEYCOLSが指定されていない場合、OCI GoldenGate Apache Icebergレプリケーションは失敗します。 
  • OCI GoldenGate Apache Iceberg レプリケーションは、マージオンリードをサポートしています。マージオンリードのパフォーマンスを向上させるため、Apache Iceberg レプリケーションは内部集約を実行します。デフォルトの集約ウィンドウは 15 分で、設定可能です。集約期間が長いほど、Oracle GoldenGate が集約できる操作の数が増え、特に長時間実行されるトランザクションに有効です。この設定は、  Replicat プロパティファイルにgg.handler.iceberg.fileRollInterval を追加することで行えます。例: gg.handler.iceberg.fileRollInterval=30m 

制限事項

現在、 Oracle Autonomous AI DatabaseはApache Icebergテーブルとのマージオンリードをサポートしていません。OCI GoldenGateのApache Icebergレプリケーションはマージオンリードをサポートしているため、このことがOCI GoldenGateによって作成されたApache Icebergテーブルへのクエリ機能を制限しています。

その他の既知の制限事項については、Oracle GoldenGateのドキュメントを参照してください。

まとめ

OCI GoldenGateは、エンタープライズグレードのCDCとオープンテーブルフォーマット、そしてOCIオブジェクトストレージを組み合わせることで、OCIオブジェクトストレージ上にリアルタイムのApache Iceberg Lakehouseを簡単に構築できるようにします。Apache Icebergカタログ、S3互換ストレージ、自動テーブル作成、そしてIceberg Java APIの直接使用をサポートするOCI GoldenGateは、追加の処理エンジンを不要にし、アーキテクチャの柔軟性と拡張性を維持します。

このブログでは、Amazon S3 Compatibility APIを使用して、OCI GoldenGate Big Dataを構成し、ソースデータベースの変更をOCI Object Storage上のApache Icebergテーブルにレプリケートする方法について説明しました。また、パススタイルのアクセス、データウェアハウスの場所、ソースとターゲットのマッピング、操作の集約、キーの処理など、重要な構成オプションについても解説しました。

Apache Icebergがオープンなレイクハウスアーキテクチャの基盤として定着するにつれ、OCI GoldenGateはIcebergテーブルを運用データで継続的に更新するための強力なCDCレイヤーを提供します。これにより、チームはOCIオブジェクトストレージ上にリアルタイム分析アーキテクチャを構築しながら、Oracle GoldenGateに期待されるオープン性、柔軟性、信頼性を維持することができます。

コメント

コメントを投稿

このブログの人気の投稿

Oracle Database 19cサポート・タイムラインの重要な更新 (2024/11/20)

イメージ
Oracle Database 19cサポート・タイムラインの重要な更新 (2024/11/20) https://mikedietrichde.com/2024/11/20/important-update-to-oracle-database-19c-support-timelines/ 長い沈黙は、私が隠れているという意味ではありません。つまり、今はとても忙しいということです。そして、より少ない旅行で、私はあなたのコメントにもブログと返信するより多くの時間を持っていることを願っています。それでも、Oracle Database 19cサポート・タイムラインの非常に重要な更新について説明します。 * 更新された内容 2024年11月19日現在、Oracle Database 19cのサポート・タイムラインが調整されています。 MOSノート: 742060.1 – 現在のデータベース・リリースのリリース・スケジュールを見ると、新しい日付が表示されます。 Premier Support、2029年12月31日まで 2030年1月1日から2032年12月31日までの拡張サポート 2033年1月1日から2034年12月31日までのアップグレード・サポート これは知ることがとても大切です。 他のリリースの更新はありますか。 MOSノートの終わりにある変更ログ: 742060.1 – 現在のデータベース・リリースのリリース・スケジュールでは、Oracle Database 21cの最新の更新も確認できます。このリリースのPremier Support期間は、2027年7月31日まで延長されました。 また、Oracle Database 23aiのパッチ適用終了日は2032年12月31日に設定されています。 Lifetime Support Policy 更新は、Oracle Technology Productsの Oracle Lifetime Support Policy (6ページ)でも確認できます。 From: Oracle Lifetime Support Policy for Oracle Technology Product s – page 6 – Nov 19, 2024 特に、次の表に示す制限事項に注意してください。 Oracle Database 1...
続きを読む

ミリ秒の問題: BCCグループとOCIが市場データ・パフォーマンスを再定義する方法(AWSに対するベンチマークを使用) (2025/11/13)

イメージ
ミリ秒の問題: BCCグループとOCIが市場データ・パフォーマンスを再定義する方法(AWSに対するベンチマークを使用) (2025/11/13) https://blogs.oracle.com/cloud-infrastructure/post/milliseconds-matter-bcc-group-and-oci-vs-aws 投稿者： Steven Riley | Senior Cloud Architect William Bierds | Business Analyst and Systems Engineer - BCC Group International Travis Liles | Master Principal Cloud Architect Puru Patel | Cloud Architect - FSI これは、BCC グループと Oracle Cloud Infrastructure (OCI) 間の市場データ パートナーシップを紹介するブログ シリーズの第 2 部です。   はじめに 金融市場データアプリケーションは、トレーダー、金融機関、そして市場参加者が情報に基づいた意思決定を行えるよう、リアルタイムデータを提供することで、取引エコシステムにおいて重要な役割を果たしています。 前回のブログ で述べたように、取引環境において最適なパフォーマンスを確保するには、市場データを超低レイテンシかつ高い信頼性で配信する必要があります。 今日の急速に変化する金融市場において、クラウドは市場データ・アプリケーションにとって強力な推進力として台頭しています。適切なネットワークとインフラストラクチャがあれば、企業は実行時間の短縮、可用性の向上、そして堅牢なセキュリティを実現できます。しかし、企業によるクラウド導入は遅れており、ワークロードのクラウド移行計画を中止しているケースもあります。そこで、BCCグループとOracle Cloud Infrastructure（OCI）のパートナーシップが注目されています。 BCCグループは、主力市場データアプリケーションであるONE PlatformをOCI上に導入しました。このブログでは、以下の点について説明します。 このパートナーシップがなぜこれほど相乗効果をもたらすのかを探る OC...
続きを読む

OCIのカスタム・ルート表を使用した詳細なルーティング制御 (2025/02/27)

イメージ
OCIのカスタム・ルート表を使用した詳細なルーティング制御 (2025/02/27) https://www.ateam-oracle.com/post/granular-routing-control-with-custom-route-tables-in-oci 投稿者： Achinthya Gopinath | Principal Cloud Architect OCIでは、カスタムVCNルート表をVNIC上の個々のVNICまたは特定のIPアドレスに割り当てることができるため、ルーティングの柔軟性を高める強力な新機能が導入されました。この更新により、異なるトラフィック・ルーティング・ポリシーを必要とするインスタンスに対して個別のサブネットを作成する必要がなくなります。 概要: 以前は、VCNルート表はサブネット・レベルでのみ割り当てられていました。つまり、同じサブネット内の異なるインスタンスで異なるルーティング・ルールが必要な場合は、別々のサブネットを作成し、ネットワーク設計に複雑さを加える必要がありました。 この機能により、次のことができるようになりました。 •    カスタムVCNルート表をVNICまたはVNICの特定のIPアドレスに割り当てます。 •    プライマリIPアドレスとセカンダリIPアドレスの両方にルーティング・ポリシーを適用します。 •    階層ルート表のプリファレンスを有効にします。このプリファレンスは、使用するルート表を決定する構造化アプローチに従います。 ルーティングに関する考慮事項: •    一度にトラフィック・ルーティングを決定するために使用されるルート表は1つのみです。 •    ルート表がIPアドレスに関連付けられている場合は、他のルート表よりも優先されます。 •    IPアドレス/VNICにルート表がない場合は、階層内の次に使用可能なルート表(VNICレベルまたはサブネット・レベル)が使用されます。 詳細の選択プロセス: 1.    VNICのIPアドレスにルート表が関連付けられている場合、その表はIPアドレスからのトラフィックのルーティングに使用されます。 2.  ...
続きを読む