Oracle Cloud VMware Solution vSANのサイジングとスケーリング (2022/07/14)

https://blogs.oracle.com/cloud-infrastructure/post/ocvs-sizing-scaling

投稿者： Thomas Thyen | Cloud VMware Solutions Specialist

Oracle Cloud VMware Solutionは、Oracle Cloud Infrastructure（OCI）上のVMware Software-Defined Data Center（SDDC）ソリューションであり、インテルまたはAMDのベアメタルホストをベースに、以下のVMware製品スタックをベースとすることが可能です。

VMware vSphere Hypervisor（ESXi）
VMware vCenterサーバー
VMware vSAN
VMware NSX-T
VMware HCX Advanced Edition（エンタープライズ版は別途課金）

VMware vSAN は、ハイパーコンバージドインフラストラクチャ（HCI）システムをサポートするソフトウェア定義のエンタープライズストレージソリューションです。vSAN は、ESXi ハイパーバイザ内の分散ソフトウェア層として VMware vSphere と完全に統合されています。

vSANは、外部共有ストレージの必要性を排除し、ストレージポリシーベースの管理によりストレージの構成を簡素化します。仮想マシン（VM）のストレージポリシーを使用して、ストレージの要件と機能を定義できます。

VMwareソリューションのベアメタルシェイプ

Oracle Cloud VMware Solution ESXiホストでは、次のシェイプがサポートされています。

Processor	OCI shape	CPU or socket	Cores or socket	Total cores	Memory	Storage
Intel	BM.DenseIO2.52	2	26	52	768 GB	51.2 TB
AMD	BM.DenselO.E4.128 - 32	2	16	32	2,048 GB	54.4 TB
AMD	BM.DenselO.E4.128 - 64	2	32	64	2,048 GB	54.4 TB
AMD	BM.DenselO.E4.128 - 128	2	64	128	2,048 GB	54.4 TB

詳細については、「Dense I/O Shapes」を参照してください。

VMware Solution クラスタの最小サイズ

VMware Solution クラスタの最小サポートサイズは常に 3 ホストです。これは、vSAN 標準クラスタが 1 台のホストの障害を許容する RAID-1 構成をサポートするために必要な最小限のホスト数です。

Intel ベースの 3 ホストクラスタの仕様は次のとおりです。

クラスタあたり156コア
2,304GBメモリ/クラスタ
153 TB NVMe SSD/クラスタ（ベアメタルシェイプのRAW容量）
122.22 TB vSANストレージ

AMDベースの3ホストクラスタの仕様は以下のとおりです。

クラスタごとに96、192、または384コア
クラスタあたり6,144GBのメモリ
クラスタあたり163 TB NVMe SSD（ベアメタルシェイプのRAW容量）
129.9 TB vSANストレージ

クラスタの種類

Oracle Cloud VMware Solutionクラスタには、3つのフォールトドメインにまたがる単一の可用性ドメインでのみ利用可能なシングル可用性ドメインクラスタと、可用性ドメインがフォールトドメインとして機能する、複数の可用性ドメインにまたがるマルチ可用性ドメインクラスタと呼ばれるクラスタがあります。

シングル可用性ドメインクラスタ

シングル可用性ドメインクラスタは、可用性ドメイン内の 3 つのフォールトドメインにまたがり、ESXi ホストのローカルストレージを vSAN データストアに集約します。各OCIフォールトドメインは、vSANフォールトドメインとして機能します。

マルチ可用性ドメインクラスタ

マルチ可用性ドメインクラスターは、OCIリージョン内の3つの可用性ドメインにまたがり、ESXiホストのローカルストレージをvSANデータストアに集約することができます。各可用性ドメインは、可用性ドメイン間でOracle Cloud VMware Solutionクラスターを構築するフォールトドメインとして機能します。この設定により、VMware SolutionクラスタとそのVMに最大の可用性がもたらされます。

Oracle Cloud VMware Solutionにおけるマルチ可用性ドメインクラスタのアーキテクチャを示す図

Oracle Cloud VMware SolutionのvSANのサイジング

Oracle Cloud VMware Solution上のvSANクラスターに参加する各ESXiホストは、vSANディスクグループを表す8つのNVMe SSDデバイスでスタックされます。ディスクグループは、1つのキャッシュデバイスと7つのキャパシティデバイスで構成されるストレージリソースのローカルアグリゲーションを表します。Oracle Cloud VMware Solutionでは、すべてのキャッシュデバイスとキャパシティデバイスがNVMeベースであり、他のストレージコントローラを必要としないため、1つのディスクグループを使用しています。この構成により、vSANのディスクグループ設計における単一障害点を排除することができます。

容量デバイスは、ESXi ホストが vSAN クラスターに提示する vSAN Storage の総量を表します。

インテルベースのESXiホスト vSANのローキャパシティ

VMware Solution IntelベースのESXiホストは、8台の5.82TB NVMe SSDで構成されます。vSANキャッシュ用に1台のNVMe SSD、vSAN容量用に7台のNVMe SSDを搭載しています。この構成では、ESXi ホストの vSAN の raw 容量は 40.74 TB になります。

容量デバイスのサイズ * 容量デバイスの数 = ESXi vSAN ホストの未処理容量

VMware ソリューションクラスタ vSAN のローキャパシティ

Intelベースのクラスターでサポートされる最小構成は、Cloud VMware Solution vSANクラスターである3台のESXiホストです。

ESXi ホスト vSAN raw 容量 * ESXi ホストの数 = クラスタ vSAN raw 容量

AMDベースのESXiホスト vSANのローキャパシティ

AMD ベースの ESXi ホストは、8 台の 6.18-TB NVMe SSD で構成されています。vSAN キャッシュ用に 1 台の NVMe SSD、vSAN Capacity 用に 7 台の NVMe SSD を搭載しています。この構成では、ESXi ホストの vSAN の raw 容量は 43.3 TB になります。

容量デバイスのサイズ * 容量デバイスの数 = ESXi vSAN ホストの raw 容量

AMDベースのクラスタvSANの未処理容量

AMD ベースのクラスタでサポートされる最小構成は 3 台の ESXi ホストで、3 ホストの vSAN クラスタの場合、合計 vSAN raw 容量は 129.9 TB になります。

ESXi ホスト vSAN raw 容量 * ESXi ホストの数 = クラスタ vSAN raw 容量

容量の依存性

Oracle Cloud VMware Solution vSAN クラスタの使用可能な容量は、クラスタの vSAN raw 容量をスケールアウトするためにプロビジョニングされた ESXi ホストの数だけに依存するわけではありません。次の要因も、クラスタのサイジングとスケーリングに影響を及ぼします。

フェイルトレランス方式 (FTM)
フェイルトレラート（FTT：Failures to tolerate）
ホストの予約
重複排除と圧縮
運用予約とホスト再構築予約
VM のサイジング (vCPU と vMEM)
vSphereの高可用性リソース（vCPUとvMEM)

FTMとFTT

FTMとFTTは、vSANのストレージ容量を計画し、サイズを決定する際に重要な役割を果たします。VMの可用性要件に基づき、設定によりvSANの容量消費が2倍以上になる場合があります。

FTM：vSANオブジェクトのRAIDレベル
FTT：vSANクラスタが劣化せずに耐えられるべきホスト障害

RAID-1（ミラーリング）：パフォーマンス

FTTを0に設定した場合、消費量は1倍（100GB VMDK = 100GB vSAN）となります。
FTTを1に設定した場合、消費電力は2倍となります。
FTTを2に設定した場合、消費量は3倍となります。(100GB VMDK = 300GB vSAN)
FTTを3に設定した場合、消費電力は4倍となります。

RAID-5/6(消去符号化)：容量

FTTを1に設定した場合、消費量は1.33倍となります。(100GB VMDK = 133GB vSAN)
FTTを2に設定した場合、消費量は1.50倍となります。(100GB VMDK = 150GB vSAN)

RAID Configuration (FTM)	FTT	Hosts required	FTT calculation	vSAN used	vSAN free
RAID-1 (Mirroring)	1	3	2n+1	50%	50%
RAID-5 (Erasure Coding)	1	4	3+1	25%	75%
RAID-1 (Mirroring)	2	5	2n+1	67%	33%
RAID-5/6 (Erasure Coding)	2	6	4+2	33%	67%
RAID-1 (Mirroring)	3	7	2n+1	75%	25%

RAID-1(ミラーリング)とRAID-5/6(消去符号化)の比較

vSANのRAID-1（ミラーリング）は、2n+1ホストまたはフォールトドメインアルゴリズムを採用しており、nはFTTの数です。
vSANのRAID-5/6(Erasure coding)は、1つまたは2つの故障を許容するために、3+1 (RAID-5)または4+2 (RAID-6)のホストまたは故障領域の要件をそれぞれ採用します。
RAID-5/6 (Erasure coding) は、3 つの耐故障をサポートしていません。この設定は、RAID-1 (パフォーマンス) でのみ利用可能です。

ホストの予約

vSANのホスト予約は、一般的にvSANクラスタ内のESXiホストを予約します。つまり、これらのホストはvSANクラスタに参加し、障害時やメンテナンス作業時のクラスタの可用性要件に応じて、専用のフェイルオーバーリソースとして機能することになります。このオプション設定は、より高い可用性と耐障害性をもたらします。

n+1 は、ホストの障害または保守作業に関して、vSAN クラスタの可用性要件を満たすために、余分なホストを 1 台保証します。

n+2 は、任意の時点で n+1 予約を維持するために、vSAN クラスタの可用性要件を満たす 2 台の余分なホストを保証します。ホストの故障やメンテナンスが必要な場合でも、パフォーマンスや可用性の低下は発生しません。

重複排除と圧縮

重複排除と圧縮は、VDI のフルクローンのような重複排除可能性の高いワークロードに最も適している。オンディスクフォーマットバージョン 3.0 以降では、余分なオーバーヘッドが追加されるが、通常デバイスあたり 1～2 パーセントの容量にとどまります。ソフトウェアチェックサムを有効にした重複排除および圧縮には、デバイスあたり約 6.2 パーセントの余分なオーバーヘッドが必要です。

削減率は、VMware の測定値に基づいており、ワークロードの種類ごとに、重複排除と圧縮が vSAN クラスタのスペースをどのように節約できるかの指標となります。これらの比率は、常に、オンプレミス環境で測定された希望するワークロードの削減比率を参照値として調整します。

削減比率の表示

汎用的なVM 1.5
データベース: 2.0
ファイルサービス: 1.5
VDIフルクローン: 8
VDIインスタントクローン：2台
VDIリンククローン：2.5
Tanzu：1.5

オペレーションリザーブとホストリビルドリザーブ

オペレーションリザーブは、ポリシーの変更、リバランス、データ移動などの内部オペレーションを実行するために vSAN が必要とするキャパシティを定義します。

vSAN には、事前に容量を予約するオプションが用意されており、単一ホスト障害後に内部処理を実行し、データをコンプライアンスに修復するために十分な空き容量が用意されています。事前に容量を予約することを有効にすることで、vSAN はワークロードを作成するためにスペースを使用することを防ぎ、クラスタで使用できる容量を保存することを意図しています。デフォルトでは、リザーブドキャパシティは無効になっています。

vSAN クラスタに十分な空き領域がある場合、オペレーションリザーブとホストリビルドリザーブを有効にすることができます。オペレーションリザーブは、vSAN 内部操作のためにクラスタ内で予約されたスペースです。ホストリビルドリザーブは、1 台のホストに障害が発生した場合に vSAN が修復できるようにするための予約領域です。

ホストリビルドリザーブを有効にすると、クラスタ内の 1 ホスト分の容量が区切られます。ホストリビルドリザーブは、n+1 の原則で動作します。たとえば、同一のハードウェア構成の 4 ノードクラスタでは、十分なリビルド容量を確保するために、ホストリビルドリザーブには 25% の予備容量が必要です。vSAN クラスタのサイズが大きくなると、ホストリビルドリザーブは減少していきます。たとえば、同一のハードウェア構成の 8 ノードクラスタでは、ホストのリビルド予備は 12.5 パーセント必要です。

VMのサイジング（vCPUとvMEM）

vSAN クラスタが水平方向に拡張されると、vSAN の容量は vCPU および vMEM のリソースに比例して拡張されるため、提供される vSAN ストレージと比較して、未使用の vCPU および vMEM のリソースが発生する可能性があります。

VMware vSphereの高可用性リソース（vCPUおよびvMEM）

VMware vSphere の高可用性は、すべての vSphere 展開に不可欠な要素であり、ホストがメンテナンスモードに移行する必要がある場合や、ハードウェアエラーによって障害が発生した場合に、vCPU および vMEM リソース用のクラスタ容量を予約する機能を提供します。これにより、クラスタ内のすべての VM に、十分な vCPU および vMEM リソースが提供されることが保証されます。通常、この高可用性リザーブは、クラスタ内のホスト数に基づくパーセンテージで計算されます。同一のハードウェア構成の3ノードクラスタでは、十分な高可用性キャパシティを確保するために、高可用性リザーブには33%のリザーブキャパシティが必要です。同じハードウェア構成の8ノードクラスタでは、十分なリビルド能力を確保するために12.5%のリザーブ容量が必要です。この例では、n+1 シナリオの高可用性予約を示しています。n+2の場合、予約は2倍のサイズになります。

Oracle Cloud VMware SolutionのvSANスケーリング

多くのオンプレミスのvSANクラスタとは異なり、Oracle Cloud VMware Solutionはスケールアウトのみのソリューションです。つまり、ディスクを追加してディスクグループを拡張したり、ディスクグループをさらに作成したりしてESXiホストをスケールアップすることができないのです。Oracle Cloud VMware Solutionは、クラスタにホストを追加することでvSANストレージレベルのみを拡張することができます（水平スケーリングとも呼ばれます）。クラスタは、1つのSDDCで3台のホストから最大64台のホストまで拡張することができます。

Oracleは、リージョン内の可用性ドメインに展開されたVMware SDDCが、最大16台のESXiホストを超えないようにすることを推奨しています。

選択したVMのシェイプ（IntelまたはAMD）に応じて、クラスタのスケーリングは、必要なvCPU、vMEM、ストレージ要件（FTMおよびFTT）、およびワークロードの種類に応じてストレージ節約の可能性を示す重複排除や圧縮技術により決定されます。

次の表は、CPUとvCPUの比率が1:2の8ノードOracle Cloud VMware Solution vSANクラスタで、重複排除や圧縮などのストレージ節約技術を適用せず、運用やホスト再構築の予備もない場合のローキャパシティを示します。実際に使用可能なvSANの容量は、VMオブジェクトごとのFTMとFTTの設定によって決まります。

Nodes	Processor type	Sockets	Cores per socket	Physical cores	Logical cores	Memory	Storage	vCPU total	vMEM total	vSAN total
8	Intel	2	26	52	104	768 GB	40.74 TB	832	6,144 GB	325 TB
8	AMD	2	16	32	64	2,048 GB	43.3 TB	512	16,384 GB	346 TB
8	AMD	2	32	64	128	2,048 GB	43.4 TB	1024	16,384 GB	346 TB
8	AMD	2	64	128	256	2,048 GB	43.3 TB	2048	16,384 GB	346 TB

VMware vSAN Sizer

VMware vSANクラスタのサイジングとスケーリングを検証するための便利で強力なツールは、VMware vSAN Sizerです。VM CPU、メモリ要件、n+1またはn+2構成、重複排除と圧縮、CPU対vCPU比率、運用予備、およびホスト再構築予備を考慮して、異なるFTMおよびFTTレベルの混合ワークロードクラスタのサイズを計算する機能が提供されます。

まとめ

このブログでは、Oracle Cloud VMware Solutionへのワークロードの移行、ローカルのVMware SDDCからOracle Cloud VMware Solution SDDCへの拡張、Oracle Cloud VMware Solutionのディザスタリカバリへの使用、またはOracle Cloud VMware Solution上でレガシーワークロード、VMware Tanzu、VDIをホストするためのグリーンフィールドOracle Cloud VMware Solution導入に向けたサイジングおよびスケーリングの選択肢を実証するため、インテルベースまたはAMDベースの異なるタイプのクラスタにおけるVMware vSANの一般的なサイジングおよびスケーリング原則を要約しています。

このトピックについてさらに詳しく知りたい場合は、以下のリンクからOracle Cloud Infrastructure上のVMwareについて理解を深めることができます。