[OCI]クラウド上のHPCおよびEDAワークロードのためのQuobyteファイルシステム (2020/10/23)

 クラウド上のHPCおよびEDAワークロードのためのQuobyteファイルシステム (2020/10/23)

https://blogs.oracle.com/cloud-infrastructure/quobyte-file-system-for-high-performance-computing-and-electronic-design-automation-workloads-in-the-cloud
投稿者：Pinkesh Valdria | Principal Solutions Architect


Oracle Cloud Infrastructure（OCI）上のQuobyteファイルシステムの検証を行いました。
OCI上でクライアントとサーバーのデプロイを自動化した後、大規模なシーケンシャルIOと小さなファイルを使用したさまざまなユースケースでテストを行いました。
Quobyteは、大規模なシーケンシャルIOと並列読み書きを伴う従来のハイパフォーマンス・コンピューティング（HPC）ワークロードに最適であることがわかりました。
また、流体力学や電子設計自動化(EDA)のような、より要求の厳しい小さなファイルのワークロードにも強いことがわかりました。

なぜQuobyteなのか？

このファイルシステムは、いくつかの重要な理由からEDAワークロードに最適です。
シミュレーションを実行するためには、ロックレスな同時ファイルアクセスが必要です。
Quobyteのポリシーベースのデータ管理は、小さなファイルとメタデータのパフォーマンスを最適化するのに役立ちます。
最後に、Quobyteにはストレージのボトルネックがないため、メーカーや研究者はハードウェアを追加することでパフォーマンスを無限に拡張することができます。

Quobyteは、データ共有を容易にするためのさまざまなインターフェースを備えた1つのストレージシステム上で、
並列ファイル共有とネットワークファイルシステムのワークロードをサポートする並列分散型の何も共有されないPOSIXファイルシステムです。
MPI-IO、Linux、Windows、HDFS、S3、TensorFlow用のネイティブドライバが含まれています。

ポリシーベースのデータ配置により、ローカルNVMeソリッドステートドライブ（SSD）のパフォーマンスと、
永続的ブロックボリュームストレージのコスト効率を両立させることができます。
同じボリュームを両方に格納するか、2つのバックエンド間の透過層に格納するかを選択できます。
この柔軟性により、コスト、パフォーマンス、データ耐久性を最適化することができます。

Quobyteはシンプルです。
すぐに説明する自動デプロイテンプレートを構築しましたが、これで終わりではありません。
WebインターフェースやCLIを使ってクラスタを管理したり、ライブパフォーマンスメトリクスを見たり、データを移行したりすることができます。

Quobyteは、ストレージのボトルネックなしにスケーラブルなパフォーマンスを提供します。
ストレージサーバーを追加すると、帯域幅、容量、IOPSが増加し、パフォーマンスが向上します。
さらに、既存のストレージサーバーに永続的なブロックボリュームを追加したり、ストレージサーバーを追加したりすることで、簡単にストレージを成長させることができます。

Quobyte for Oracle Cloud Infrastructure

OCIとQuobyteは、どちらもハイエンドのコンピュート市場向けにテーラーメイドされているため、非常に相性が良いです。
「Oracle Cloudと一緒に仕事ができることを非常に楽しみにしています。
ベアメタルと高速ネットワーキングへのアプローチは、Quobyteが設計したスケールアウト・ワークロードに最適です。
QuobyteとOracle Cloudは、企業がHPCやスケールアウトアプリケーションを実行するために必要な信頼性を提供します」と、
Quobyteの共同創業者兼CEOであるBjorn Kolbeck氏は述べています。
Quobyteは、クラウドネイティブのソリューションです。
ストレージは最大のパフォーマンスを実現するためにスケールアウトされ、
新しいクラスタの導入やリソースの追加を数分で行うことができるため、クラウドの柔軟性が向上します。

Quobyteはまた、当社のオーバーサブスクリプションなしの高性能ネットワーキングの利点を活かし、
最大のネットワーク・スループットと低レイテンシを実現します。
OCIは要求の厳しいスケールアウトのワークロードをサポートしているため、これらは完璧に適合しています。

Quobyteを使用すると、OCIのお客様は、ローカルのNVMe SSDとネットワークに接続されたブロックボリュームの両方を使用して、
低レイテンシ、高IOPS、高IOスループットの高性能ファイルサーバーを構築することができます。
Quobyteのデプロイは、自動化されたTerraformテンプレートであるoci-quobyteを使用するのと同じくらい簡単です。

ハイレベルアーキテクチャ

Terraformテンプレートは、コンピュート、ストレージ、ネットワークなど、必要なOCIリソースのプロビジョニングから始まります。
このスクリプトは、Quobyteファイルシステムをデプロイして設定します。


Quobyteクラスタには、レジストリ、メタデータ、データの3つのコアサービスがあります。
テンプレートはこれらをすべて同じノードにデプロイしますが、EDAなどのメタデータを多用する用途では、
Quobyteを使用して別々のメタデータノードをプロビジョニングすることができます。

ベアメタル（または標準またはDenseIOコンピュートシェイプの仮想マシン（VM））のいずれかを選択します。
スループットを最適化するにはベアメタルをお勧めします。
なぜなら、これらのインスタンスには2枚の物理的な25ギガビット/秒のネットワークインターフェイスカード（NIC）が付属しているからです。

ベンチマーキング

テストベッドは、6台のQuobyteストレージノードと10台のクライアントノードで構成されています。
Quobyteストレージノードには、クラスタ通信用とクライアントアクセス用の2つの25Gbpsネットワーク接続がありました。
クライアントノードは25Gbpsのネットワーク接続を1つ持っていました。
ストレージノードはBM.DenseIO2.52を使用して構築し、クライアントノードはBM.Standard2.52を使用しました。
各Quobyteストレージノードには、8台の6.4TB Intel NVME SSDデバイスと、バランスのとれたパフォーマンス層を持つ1TBブロックボリュームのいずれかが搭載されていました。
すべてのマシンは、Linuxカーネル4.14.35、Java 11、およびQuobyte 2.25.1.1.1を搭載したOracle Linux Server 7.7上で動作しました。

テストは、標準の Quobyte OCI を使用し、追加のチューニングは行いませんでした。
クライアントでは、並列ワークロードのためにアラインメントされていないIOを有効にしました。
また、メタデータのパフォーマンスを最大化するために、xattrsを無効にし、デフォルトのパーミッションを設定しました。

以下のチャートは、IORパフォーマンスのベンチマーク結果を示しています。





管理GUI

管理者は、管理しやすいWeb GUIまたはコマンドラインから直接Quobyteを設定することができます。
マシンのデプロイ、パーミッションの設定、プロビジョニングクォータの設定、自動データ階層の設定などが可能です。

まとめ

Quobyteのソリューションがクラウドにもたらすユニークな価値を認識しているので、Quobyteとの提携に興奮しています。
信じられないかもしれませんが、Quobyteの主な機能の一部しか取り上げていません。
このファイルシステムは、ポリシーベースのデータ配置からファイルのストライピング、
IPおよびX.509ベースのアクセス制御まで、あらゆることを可能にします。
詳細については、Quobyteのドキュメントを参照してください。

Quobyteを使用すると、パフォーマンスと信頼性の選択を迫られることなく、ハイパースケーラーのように作業することができます。
Oracle Cloud Infrastructure上でQuobyteを設定して、今すぐ始めましょう。