[OCI]どのクラウドが先に1テラバイト/秒にするのか？(HPC Cluster Filesystem) (2020/08/25)

 どのクラウドが先に1テラバイト/秒にするのか？ (2020/08/25)

https://blogs.oracle.com/cloud-infrastructure/which-cloud-will-make-it-to-1-terabyte-per-second-first
投稿者：Pinkesh Valdria | Principal Solutions Architect

Oracle Cloud Infrastructureは先日、広く認知されている高性能ストレージIOベンチマーク「IO500」で7位にランクインしました。
このリストにランクインしている他のシステムの大半は、研究用スーパーコンピュータを含むオンプレミス環境に特化したものです。
BeeGFS BeeONDファイルシステムを実行しているHPCクラスタネットワークの270ノードを使用した高性能並列ファイルシステムで、
500GB/秒の書き込みIOスループットと1,310万IOPSのメタデータ性能を達成しました。

このパフォーマンスにスケール感を持たせるために、
オラクルの顧客であるZoomは、3億人の会議参加者をサポートするために毎日7PBのデータを移動しています。
ここで使用されているストレージクラスタは、4時間以内にそれだけのデータをローカルに転送して処理することができます。
計算流体力学（CFD）クラスタの一部として、これだけのストレージ・スループットがあれば、
一般的なサイズのジョブで1000人の同時ユーザーをサポートできると見積もっています。

オラクルの第2世代のクラウド・インフラストラクチャは、
100GbpsのRDMA Over Converged Ethernet（RoCEv2）と6.4TBのローカルNVMe SSDを備えた
HPCベアメタル・コンピュート・シェイプ（BM.HPC2.36）を提供します。
100Gbpsのクラスター化されたネットワークは、ファイルシステムに毎秒数百ギガバイトのIOスループットを提供するのに役立ちます。
クラスタ内の各ノードはメタデータ、ストレージ、クライアントサービスを実行し、管理サービスは最初のノードで実行します。

RoCEv2は、Oracle Cloud Infrastructure上で提供しているHPCクラスタ・ネットワークの主要機能です。
Oracle Cloudのお客様は、ファイル・システムのサーバー・クライアント・ブロック通信を高速で信頼性の高い100Gbps RDMAインフラストラクチャ上で実行することで、
待ち時間の短縮とスループットの向上によるパフォーマンスの大幅な向上を得ることができます。

ベンチマーク結果をさらに詳しく見てみましょう。


IO500ランキング一覧


先日、ISC High Performance 2020イベントの一環として、
ハイパフォーマンス・ストレージ・システムのIO500ランク・リストが発表されました。
以下の表とグラフは、公表されたリストから生成されたインサイトを提供しています。

図 1: IO500 ベンチマーク結果


Oracle Cloud（OCI）、クラウド・ベンダーの中で最高の帯域幅（GiB/s）を実現

図2：全体的な帯域幅スコア


Oracle Cloud、クラウド・ベンダーの中でプロセスあたりのスループット（GiB/s）が最高水準を達成

図 3: プロセスごとの帯域幅スコア


Oracle Cloud、最速のBeeGFSファイルサーバーを一覧で配信

図4：トップ6のBeeGFSファイルサーバー


Oracle Cloud、最速のスペクトラム・スケール・ファイル・サーバーを一覧で提供

図5: スペクトラムスケールファイルサーバのトップ4


デプロイメント


当社のTerraformテンプレートを使用して、RDMAを使用したBeeGFS BeeONDアーキテクチャをOracle Cloud Infrastructureにデプロイします。
数分以内に、以下のアーキテクチャがテナントにデプロイされます。

図6: BeeGFS BeeOND RDMAクラスタアーキテクチャ

Oracle Cloudの高性能なマルチインスタンス・アタッチメント・ブロック・ストレージと
HPCコンピュート・インスタンスを組み合わせたことで、クラウドのファイル・システムの新たな標準が確立されました。
オンプレミスのパフォーマンスとオンプレミスの価格を実現するHPCファイル・システムは、数分で導入または拡張が可能です。
1,300万IOPS以上、毎秒500GB以上のHPCファイルシステムが必要な場合は、
クラウドマーケットプレイスのOracle CloudのHPCファイルシステムとBeeGFSオンデマンド（BeeOND）クイックスタート導入スクリプトをチェックしてみてください。

あなたのファイルシステムの高速化を教えてください!

コメント

コメントを投稿

このブログの人気の投稿

Oracle Database 19cサポート・タイムラインの重要な更新 (2024/11/20)

イメージ
Oracle Database 19cサポート・タイムラインの重要な更新 (2024/11/20) https://mikedietrichde.com/2024/11/20/important-update-to-oracle-database-19c-support-timelines/ 長い沈黙は、私が隠れているという意味ではありません。つまり、今はとても忙しいということです。そして、より少ない旅行で、私はあなたのコメントにもブログと返信するより多くの時間を持っていることを願っています。それでも、Oracle Database 19cサポート・タイムラインの非常に重要な更新について説明します。 * 更新された内容 2024年11月19日現在、Oracle Database 19cのサポート・タイムラインが調整されています。 MOSノート: 742060.1 – 現在のデータベース・リリースのリリース・スケジュールを見ると、新しい日付が表示されます。 Premier Support、2029年12月31日まで 2030年1月1日から2032年12月31日までの拡張サポート 2033年1月1日から2034年12月31日までのアップグレード・サポート これは知ることがとても大切です。 他のリリースの更新はありますか。 MOSノートの終わりにある変更ログ: 742060.1 – 現在のデータベース・リリースのリリース・スケジュールでは、Oracle Database 21cの最新の更新も確認できます。このリリースのPremier Support期間は、2027年7月31日まで延長されました。 また、Oracle Database 23aiのパッチ適用終了日は2032年12月31日に設定されています。 Lifetime Support Policy 更新は、Oracle Technology Productsの Oracle Lifetime Support Policy (6ページ)でも確認できます。 From: Oracle Lifetime Support Policy for Oracle Technology Product s – page 6 – Nov 19, 2024 特に、次の表に示す制限事項に注意してください。 Oracle Database 1...
続きを読む

ミリ秒の問題: BCCグループとOCIが市場データ・パフォーマンスを再定義する方法(AWSに対するベンチマークを使用) (2025/11/13)

イメージ
ミリ秒の問題: BCCグループとOCIが市場データ・パフォーマンスを再定義する方法(AWSに対するベンチマークを使用) (2025/11/13) https://blogs.oracle.com/cloud-infrastructure/post/milliseconds-matter-bcc-group-and-oci-vs-aws 投稿者： Steven Riley | Senior Cloud Architect William Bierds | Business Analyst and Systems Engineer - BCC Group International Travis Liles | Master Principal Cloud Architect Puru Patel | Cloud Architect - FSI これは、BCC グループと Oracle Cloud Infrastructure (OCI) 間の市場データ パートナーシップを紹介するブログ シリーズの第 2 部です。   はじめに 金融市場データアプリケーションは、トレーダー、金融機関、そして市場参加者が情報に基づいた意思決定を行えるよう、リアルタイムデータを提供することで、取引エコシステムにおいて重要な役割を果たしています。 前回のブログ で述べたように、取引環境において最適なパフォーマンスを確保するには、市場データを超低レイテンシかつ高い信頼性で配信する必要があります。 今日の急速に変化する金融市場において、クラウドは市場データ・アプリケーションにとって強力な推進力として台頭しています。適切なネットワークとインフラストラクチャがあれば、企業は実行時間の短縮、可用性の向上、そして堅牢なセキュリティを実現できます。しかし、企業によるクラウド導入は遅れており、ワークロードのクラウド移行計画を中止しているケースもあります。そこで、BCCグループとOracle Cloud Infrastructure（OCI）のパートナーシップが注目されています。 BCCグループは、主力市場データアプリケーションであるONE PlatformをOCI上に導入しました。このブログでは、以下の点について説明します。 このパートナーシップがなぜこれほど相乗効果をもたらすのかを探る OC...
続きを読む

Oracle SQLマクロ表: パラメータのあるビュー! (2025/05/01)

イメージ
Oracle SQLマクロ表: パラメータのあるビュー! (2025/05/01) https://medium.com/oracledevs/oracle-sql-macro-tables-finally-views-with-parameters-bc78286ab010 投稿者： vijay balebail View with parameters Oracleでは、強力でエレガントな機能であるSQLマクロが導入されました。この記事では、インライン・ビューのように動作するがスマートなパラメータ化されたSQLブロックを作成できるSQLマクロ表のみに焦点を当てます。 ビューにパラメータを渡したいと思ったことがあるなら、それはあなたの解決策です。 📌SQLマクロ表は「パラメータ付きビュー」と考えてください。 通常のSQLと同様に解析および最適化された問合せが返されます。ただし、複雑なPL/SQL構造に依存することなく、引数を渡すことができます。 SQLマクロテーブルで解決する問題 次のことを行います。 動的入力(検索語やしきい値など)の埋込み SQLロジックでの入力の使用(フィルタリングや順序付けなど) 多数の問合せまたはツールでロジックを再利用 ビューを本能的に使用しようとする場合もありますが、ビューはパラメータを使用できません。回避策は次のとおりです。 パイプラインPL/SQLファンクションの記述 カスタムSQLタイプの定義(オブジェクトと表) ループとPIPE ROWでロジックをラップ しかし、これはオプティマイザーフレンドリーではありません。 SQLマクロテーブルは、これをクリーンに解決します。 例: Top-N Vector類似性検索(Oracle 23ai) OracleのVECTOR_EMBEDDING関数を使用して質問を埋め込み、ベクトル・ストアから最も類似した上位N件の結果を取得するとします。 ベクトル検索を行うSQL問合せの例を次に示します。このクエリは、sqlplus から実行できます。vector_embdding関数を使用して質問を埋め込み、vector_distanceを使用してベクトル検索を実行することに注意してください。 WITH a AS ( SELECT VECTOR_EMBEDDING(ALL_MINILM...
続きを読む