Oracle Database 21.3および19.12のObject Storageから直接データをインポートできます。 (2021/09/20)

Oracle Database 21.3および19.12のObject Storageから直接データをインポートできます。 (2021/09/20)

https://database-heartbeat.com/2021/09/20/imp-exp-oss/



はじめに


Object Storage との間でデータを直接エクスポートおよびインポートするには、Oracle Autonomous Database で導入された DBMS_CLOUD PL/SQL パッケージが必要です。DBMS_CLOUD は、Oracle Autonomous Database 以外のデータベースではバージョン 21c で利用可能になり、その後 19.9 にバックポートされました。


しかし、Data Pump ユーティリティーを使用して Object Storage との間で直接インポートおよびエクスポートを行うことは、当初考えられていたような小さな機能ではありません。開発にはより多くの時間と労力が必要でした。現在、バージョン21.3と19.12で、ほぼ実現しています。


非常に大きなデータベースをクラウド仮想マシン、ベアメタル、Exadata Cloud Serviceに移行する際、ローカルファイルシステムにデータベースとダンプファイル用の十分なスペースがない場合は特に困難でした。このような場合、以下のような回避策が必要でした。


  •     File Storage Serviceを使用して、DBシステムにNFSをマウント
  •     Storage Gatewayを使用して、NFSマウントポイントとしてObject Storageにアクセス
  •     s3fs-fuse を使用して Object Storage のバケットを NFS でマウント


バージョン21.3および19.12からは、これらの回避策は必要なくなりました。Data Pumpを使ってObject Storageから直接データをインポートできるようになりました。



環境について


  •     Oracle CloudのVM DB System上にOracle Databaseバージョン21.3を構築
  •     Oracle CloudのVM DB System上のOracle Databaseバージョン19.12を構築
  •     Object Storageのバケット


準備

Step1: DBMS_CLOUD PL/SQLパッケージのインストール


前述の通り、DBMS_CLOUDはデータベースバージョン19.9以上で利用できるようになりましたが、データベースのインストールには（まだ）含まれていません。で説明されている手順に従ってください。


  •     DBMS_CLOUDパッケージのセットアップと使用方法 (Doc ID 2748362.1)


DBMS_CLOUD パッケージのセットアップと使用方法 (Doc ID 2748362.1) に記載されている手順に従って、データベースで DBMS_CLOUD をセットアップして構成します。


LIST_OBJECTS 関数を使用して、構成を検証します。

ORA-39001: invalid argument value
ORA-39000: bad dump file specification
ORA-31640: unable to open dump file "https://swiftobjectstorage.eu-frankfurt-1.oraclecloud.com/v1/oci_core_emea/dumps/sample213.dmp" for read
ORA-27037: unable to obtain file status


ステップ 2: Object Store ODM ライブラリの有効化


通常、DBMS_CLOUDをインストールして設定した後は、インポートとエクスポートにObject Storageを使用する準備ができているはずです。しかし、インポートでは以下のようなエラーが発生します。

ORA-39001: invalid argument value
ORA-39000: bad dump file specification
ORA-31640: unable to open dump file "https://swiftobjectstorage.eu-frankfurt-1.oraclecloud.com/v1/oci_core_emea/dumps/sample213.dmp" for read
ORA-27037: unable to obtain file status


残念ながら、そこにはまだバグがあり、以下に説明するような回避策を使って修正する必要があります。


  •     OCI OBJECT STORAGEへのDATA PUMP EXPORT FAILED ORA-39001 ORA-39000 ORA-31641 (Doc ID 2806178.1)


ODMライブラリを有効にします。

[oracle@host213 ~]$ dbshut $ORACLE_HOME
Processing Database instance "CDB213": log file /u01/app/oracle/homes/OraDB21Home1/rdbms/log/shutdown.log
 
[oracle@host213 ~]$ cd $ORACLE_HOME/rdbms/lib
 
[oracle@host213 lib]$ make -f ins_rdbms.mk opc_on
rm -f /u01/app/oracle/product/21.0.0/dbhome_1/rdbms/lib/odm/libopcodm.so; \
    cp /u01/app/oracle/product/21.0.0/dbhome_1/lib/libopcodm.so /u01/app/oracle/product/21.0.0/dbhome_1/rdbms/lib/odm/libopcodm.so
 
[oracle@host213 lib]$ dbstart $ORACLE_HOME
Processing Database instance "CDB213": log file /u01/app/oracle/homes/OraDB21Home1/rdbms/log/startup.log

データベースのアラートログを確認してください。

-- database version 21.3
[oracle@host213 ~]$ cd /u01/app/oracle/diag/rdbms/cdb213_fra18w/CDB213/trace
[oracle@host213 trace]$ grep -i "ODM Library Version" alert_CDB213.log
...
Oracle instance running with ODM in SGA: Object Store ODM Library Version 7.0
 
-- database version 19.12
[oracle@host1912 ~]$ cd /u01/app/oracle/diag/rdbms/cdb1912_fra2cm/CDB1912/trace/
[oracle@host1912 trace]$ grep -i "ODM Library Version" alert_CDB1912.log
...
Oracle instance running with ODM: Object Store ODM Library Version 6.0

ご存知の通り、21.3のODMライブラリはバージョン7で、19.12のODMライブラリはバージョン6です。これは、リリースごとにライブラリのバージョンが異なるため、問題ありません。


オブジェクトストレージからのインポート

ステップ3: Object Storageから直接データをインポート


さて、いよいよ正念場です。


バージョン21.3でインポート

[oracle@host213 ~]$ export TNS_ADMIN=/u01/app/oracle/homes/OraDB21Home1/network/admin/
[oracle@host213 ~]$ impdp SYSTEM@PDB213 credential=OSS_CRED directory=DATA_PUMP_DIR schemas=sample213 dumpfile=https://objectstorage.eu-frankfurt-1.oraclecloud.com/n/oci_core_emea/b/dumps/o/sample213.dmp
 
Import: Release 21.0.0.0.0 - Production on Mon Sep 13 07:55:41 2021
Version 21.3.0.0.0
Copyright (c) 1982, 2021, Oracle and/or its affiliates.  All rights reserved.
Connected to: Oracle Database 21c EE Extreme Perf Release 21.0.0.0.0 - Production
Master table "SYSTEM"."SYS_IMPORT_SCHEMA_01" successfully loaded/unloaded
Starting "SYSTEM"."SYS_IMPORT_SCHEMA_01":  SYSTEM/********@PDB213 credential=OSS_CRED directory=DATA_PUMP_DIR schemas=sample213 dumpfile=https://objectstorage.eu-frankfurt-1.oraclecloud.com/n/oci_core_emea/b/dumps/o/sample213.dmp
Processing object type SCHEMA_EXPORT/USER
Processing object type SCHEMA_EXPORT/DEFAULT_ROLE
Processing object type SCHEMA_EXPORT/TABLESPACE_QUOTA
Processing object type SCHEMA_EXPORT/PASSWORD_HISTORY
Processing object type SCHEMA_EXPORT/PRE_SCHEMA/PROCACT_SCHEMA
Processing object type SCHEMA_EXPORT/TABLE/TABLE
Processing object type SCHEMA_EXPORT/TABLE/TABLE_DATA
. . imported "SAMPLE213"."SAMPLETABLE"                  5.062 KB       1 rows
Processing object type SCHEMA_EXPORT/TABLE/STATISTICS/TABLE_STATISTICS
Processing object type SCHEMA_EXPORT/STATISTICS/MARKER
Job "SYSTEM"."SYS_IMPORT_SCHEMA_01" successfully completed at Mon Sep 13 07:56:14 2021 elapsed 0 00:00:30

バージョン19.12でインポート

[oracle@host1912 ~]$ impdp SYSTEM@PDB1912 credential=OSS_CRED directory=DATA_PUMP_DIR schemas=sample1912 dumpfile=https://objectstorage.eu-frankfurt-1.oraclecloud.com/n/oci_core_emea/b/dumps/o/sample1912.dmp
 
Import: Release 19.0.0.0.0 - Production on Mon Sep 13 08:01:00 2021
Version 19.12.0.0.0
Copyright (c) 1982, 2019, Oracle and/or its affiliates.  All rights reserved.
Connected to: Oracle Database 19c EE Extreme Perf Release 19.0.0.0.0 - Production
Master table "SYSTEM"."SYS_IMPORT_SCHEMA_01" successfully loaded/unloaded
Starting "SYSTEM"."SYS_IMPORT_SCHEMA_01":  SYSTEM/********@PDB1912 credential=OSS_CRED directory=DATA_PUMP_DIR schemas=sample1912 dumpfile=https://objectstorage.eu-frankfurt-1.oraclecloud.com/n/oci_core_emea/b/dumps/o/sample1912.dmp
Processing object type SCHEMA_EXPORT/USER
Processing object type SCHEMA_EXPORT/DEFAULT_ROLE
Processing object type SCHEMA_EXPORT/TABLESPACE_QUOTA
Processing object type SCHEMA_EXPORT/PASSWORD_HISTORY
Processing object type SCHEMA_EXPORT/PRE_SCHEMA/PROCACT_SCHEMA
Processing object type SCHEMA_EXPORT/TABLE/TABLE
Processing object type SCHEMA_EXPORT/TABLE/TABLE_DATA
. . imported "SAMPLE1912"."SAMPLETABLE"                 5.054 KB       1 rows
Processing object type SCHEMA_EXPORT/TABLE/STATISTICS/TABLE_STATISTICS
Processing object type SCHEMA_EXPORT/STATISTICS/MARKER
Job "SYSTEM"."SYS_IMPORT_SCHEMA_01" successfully completed at Mon Sep 13 08:01:10 2021 elapsed 0 00:00:09


いいですねー。Object Storageからのインポートは、21.3と19.12の両方のバージョンで正常に動作しています。


Object Storageへのエクスポート

ステップ4: データをObject Storageに直接エクスポート


バージョン21.3でのエクスポート

[oracle@host213 ~]$ export TNS_ADMIN=/u01/app/oracle/homes/OraDB21Home1/network/admin/
[oracle@host213 ~]$ expdp SYSTEM@PDB213 credential=OSS_CRED directory=DATA_PUMP_DIR schemas=sample213 dumpfile=https://objectstorage.eu-frankfurt-1.oraclecloud.com/n/oci_core_emea/b/dumps/o/exp_sample213.dmp
 
Export: Release 21.0.0.0.0 - Production on Mon Sep 13 07:56:56 2021
Version 21.3.0.0.0
Copyright (c) 1982, 2021, Oracle and/or its affiliates.  All rights reserved.
Connected to: Oracle Database 21c EE Extreme Perf Release 21.0.0.0.0 - Production
Starting "SYSTEM"."SYS_EXPORT_SCHEMA_01":  SYSTEM/********@PDB213 credential=OSS_CRED directory=DATA_PUMP_DIR schemas=sample213 dumpfile=https://objectstorage.eu-frankfurt-1.oraclecloud.com/n/oci_core_emea/b/dumps/o/exp_sample213.dmp
Processing object type SCHEMA_EXPORT/TABLE/TABLE_DATA
Processing object type SCHEMA_EXPORT/TABLE/STATISTICS/TABLE_STATISTICS
Processing object type SCHEMA_EXPORT/STATISTICS/MARKER
Processing object type SCHEMA_EXPORT/USER
Processing object type SCHEMA_EXPORT/DEFAULT_ROLE
Processing object type SCHEMA_EXPORT/TABLESPACE_QUOTA
Processing object type SCHEMA_EXPORT/PASSWORD_HISTORY
Processing object type SCHEMA_EXPORT/PRE_SCHEMA/PROCACT_SCHEMA
Processing object type SCHEMA_EXPORT/TABLE/TABLE
. . exported "SAMPLE213"."SAMPLETABLE"                  5.062 KB       1 rows
ORA-39173: Encrypted data has been stored unencrypted in dump file set.
Master table "SYSTEM"."SYS_EXPORT_SCHEMA_01" successfully loaded/unloaded
******************************************************************************
Dump file set for SYSTEM.SYS_EXPORT_SCHEMA_01 is:
  https://swiftobjectstorage.eu-frankfurt-1.oraclecloud.com/v1/oci_core_emea/dumps/exp_sample213.dmp
Job "SYSTEM"."SYS_EXPORT_SCHEMA_01" successfully completed at Mon Sep 13 07:57:35 2021 elapsed 0 00:00:36

21.3のObject Storageに直接エクスポートしても問題ありません。


19.12クライアントを使用してバージョン19.12でエクスポートしました。

[oracle@host1912 ~]$ expdp SYSTEM@PDB1912 credential=OSS_CRED directory=DATA_PUMP_DIR schemas=sample1912 dumpfile=https://objectstorage.eu-frankfurt-1.oraclecloud.com/n/oci_core_emea/b/dumps/o/exp_sample1912.dmp
 
Export: Release 19.0.0.0.0 - Production on Mon Sep 13 10:30:49 2021
Version 19.12.0.0.0
 
Copyright (c) 1982, 2019, Oracle and/or its affiliates.  All rights reserved.
 
Connected to: Oracle Database 19c EE Extreme Perf Release 19.0.0.0.0 - Production
ORA-39001: invalid argument value
ORA-39208: Parameter KU$_FILE_TYPE_URIDUMP_FILE is invalid for EXPORT jobs.


また、代わりに21.3クライアントを使用した場合

[oracle@host213 ~]$ expdp SYSTEM@PDB1912 credential=OSS_CRED directory=DATA_PUMP_DIR schemas=sample1912 dumpfile=https://swiftobjectstorage.eu-frankfurt-1.oraclecloud.com/v1/oci_core_emea/dumps/exp_sample1912.dmp
 
Export: Release 21.0.0.0.0 - Production on Mon Sep 13 17:27:49 2021
Version 21.3.0.0.0
 
Copyright (c) 1982, 2021, Oracle and/or its affiliates.  All rights reserved.
 
Connected to: Oracle Database 19c EE Extreme Perf Release 19.0.0.0.0 - Production
UDE-00023: parameter credential is incompatible with database version 19.12.0.0.0

そのため、19.12ではObject Storageへの直接のエクスポートはサポートされていません（本日現在）。もう少し作業を進める必要があります。期待していてください。



Oracle Autonomous Database


Autonomous DatabaseからObject Storageに直接データをエクスポートするには、クレデンシャル・パラメータを提供する21.3クライアントが必要です。

[oracle@host213 ~]$ expdp userid=ADMIN@adbpublic_high credential=OSS_CRED2 schemas=sampleadb directory=DATA_PUMP_DIR dumpfile=https://swiftobjectstorage.eu-frankfurt-1.oraclecloud.com/v1/oci_core_emea/dumps/exp_sampleadb.dmp


インポートのためのクレデンシャルパラメータは、18cですでに導入されていました。Object Storageからの直接インポートは、最初のAutonomous Databaseバージョン18cですでに可能でした。



まとめ


Object Storage からの直接インポートにより、データベースの移行が大幅に簡素化されます。また、Object Storageは、Autonomous Database、Database Cloud、オンプレミスを問わず、すべてのOracle Databaseのダンプファイルをアーカイブするための費用対効果の高いストレージを提供します。


Autonomous Database


  •     バージョン18c以降、Object Storageからの直接インポートがサポートされています。
  •     また、Object Storageへの直接エクスポートもサポートされています。Expdpクライアントのバージョン21.3が必要です。


非Autonomous Database バージョン21.3


  •     Object Storageからの直接インポートがサポートされています。
  •     また、Object Storageへの直接エクスポートもサポートされています。


Autonomous Database バージョン19.12


  •     Object Storageからの直接インポートがサポートされています。
  •     Object Storageへの直接エクスポートはまだサポートされていません。最初にローカルファイルシステムにエクスポートしてから、OCI CLIなどを使用してダンプファイルをObject Storageにアップロードする必要があります。



Further Reading

コメント

コメントを投稿

このブログの人気の投稿

Oracle Database 19cサポート・タイムラインの重要な更新 (2024/11/20)

イメージ
Oracle Database 19cサポート・タイムラインの重要な更新 (2024/11/20) https://mikedietrichde.com/2024/11/20/important-update-to-oracle-database-19c-support-timelines/ 長い沈黙は、私が隠れているという意味ではありません。つまり、今はとても忙しいということです。そして、より少ない旅行で、私はあなたのコメントにもブログと返信するより多くの時間を持っていることを願っています。それでも、Oracle Database 19cサポート・タイムラインの非常に重要な更新について説明します。 * 更新された内容 2024年11月19日現在、Oracle Database 19cのサポート・タイムラインが調整されています。 MOSノート: 742060.1 – 現在のデータベース・リリースのリリース・スケジュールを見ると、新しい日付が表示されます。 Premier Support、2029年12月31日まで 2030年1月1日から2032年12月31日までの拡張サポート 2033年1月1日から2034年12月31日までのアップグレード・サポート これは知ることがとても大切です。 他のリリースの更新はありますか。 MOSノートの終わりにある変更ログ: 742060.1 – 現在のデータベース・リリースのリリース・スケジュールでは、Oracle Database 21cの最新の更新も確認できます。このリリースのPremier Support期間は、2027年7月31日まで延長されました。 また、Oracle Database 23aiのパッチ適用終了日は2032年12月31日に設定されています。 Lifetime Support Policy 更新は、Oracle Technology Productsの Oracle Lifetime Support Policy (6ページ)でも確認できます。 From: Oracle Lifetime Support Policy for Oracle Technology Product s – page 6 – Nov 19, 2024 特に、次の表に示す制限事項に注意してください。 Oracle Database 1...
続きを読む

ミリ秒の問題: BCCグループとOCIが市場データ・パフォーマンスを再定義する方法(AWSに対するベンチマークを使用) (2025/11/13)

イメージ
ミリ秒の問題: BCCグループとOCIが市場データ・パフォーマンスを再定義する方法(AWSに対するベンチマークを使用) (2025/11/13) https://blogs.oracle.com/cloud-infrastructure/post/milliseconds-matter-bcc-group-and-oci-vs-aws 投稿者： Steven Riley | Senior Cloud Architect William Bierds | Business Analyst and Systems Engineer - BCC Group International Travis Liles | Master Principal Cloud Architect Puru Patel | Cloud Architect - FSI これは、BCC グループと Oracle Cloud Infrastructure (OCI) 間の市場データ パートナーシップを紹介するブログ シリーズの第 2 部です。   はじめに 金融市場データアプリケーションは、トレーダー、金融機関、そして市場参加者が情報に基づいた意思決定を行えるよう、リアルタイムデータを提供することで、取引エコシステムにおいて重要な役割を果たしています。 前回のブログ で述べたように、取引環境において最適なパフォーマンスを確保するには、市場データを超低レイテンシかつ高い信頼性で配信する必要があります。 今日の急速に変化する金融市場において、クラウドは市場データ・アプリケーションにとって強力な推進力として台頭しています。適切なネットワークとインフラストラクチャがあれば、企業は実行時間の短縮、可用性の向上、そして堅牢なセキュリティを実現できます。しかし、企業によるクラウド導入は遅れており、ワークロードのクラウド移行計画を中止しているケースもあります。そこで、BCCグループとOracle Cloud Infrastructure（OCI）のパートナーシップが注目されています。 BCCグループは、主力市場データアプリケーションであるONE PlatformをOCI上に導入しました。このブログでは、以下の点について説明します。 このパートナーシップがなぜこれほど相乗効果をもたらすのかを探る OC...
続きを読む

OCIサービスを利用したWebサイトの作成 その4～Identity Cloud Serviceでサイトの一部を保護 (2021/12/30)

イメージ
OCIサービスを利用したWebサイトの作成 その4～Identity Cloud Serviceでサイトの一部を保護 (2021/12/30) https://blogs.oracle.com/cloudsecurity/post/using-oci-services-part-4 投稿者： Christopher Johnson 今回は、OCI Native Servicesを使って完全にサーバーレスでWebサイトをホスティングするシリーズの第4弾です。     パート1 では、OCI WAF + API Gateway + Functionを使用して、OCI Object Store Bucketから静的コンテンツを提供する基本的な方法を紹介しました。     パート2 では、バケットを（公開ではなく）非公開にし、Resource Prinicpalを使用して安全にアクセスする方法を紹介しました。     パート3 では、ハードコードされた設定を削除し、代わりにそれらの設定をアプリケーションに保存する方法を紹介しました。 パート4では、サイトの一部をログインの後ろに置いてみようと思っています。 この記事は、ちょっとした「フクロウの描き方」のようなものになりそうです。でも、コードを見ればきっと理解できるはずです! IDCSでアプリケーションを作成 注：OCI Identity Domains は、OCI の新規顧客に対して IDCS の機能を直ちに提供します。現在 IDCS を使用している顧客については、既存の IDCS ストライプは今後数ヶ月の間に OCI Identity Domains に移行される予定です。詳細については、OCI Identity Domainの ドキュメント を参照してください。この変更は、このブログで説明したセキュリティ・パターンに影響を与えるものではありません。このブログで IDCS に起因するセキュリティ機能は、OCI Identity Domainsでも提供されます。 まず最初に、サイトを表現するために IDCS で実際にアプリケーションを作成する必要があります。 IDCSコンソールを開き、「アプリケーション」に移動し、「作成」をクリックします。Functionアプリケーシ...
続きを読む