舞台裏:CFDによるデータセンターの最適化 (2024/09/25)
舞台裏:CFDによるデータセンターの最適化 (2024/09/25)
https://blogs.oracle.com/cloud-infrastructure/post/behind-the-scenes-optimizing-data-centers-cfd
投稿者： Vali Sorell | Senior Data Center Design Engineer, OCI Data Center Engineering
Chris Newton | Design Mechanical Engineer, OCI Data Center Engineering
暑さがやってきた。データセンターを、賑やかな街並みの賑やかな地区と想像してみてください。都市生活の喧騒が車両、機械、人々の動きから熱を発生させるように、サーバーとIT機器の密集した梱包は大きな熱を生み出します。また、データセンターは、自社の業務の熱を感じるだけではありません。気候変動の暑さにも直面している。
では、こうした課題の中で、データセンターをクールに保ち、最適に運用できるようにするにはどうすればよいでしょうか。Oracle Cloud Infrastructure(OCI)では、信頼できる冷却戦略により、データセンター向けの効率的で信頼性の高い冷却システムの設計と実装において、計算流体力学(CFD)分析とデータセンターのエンジニアリング設計原則の統合が極めて重要な役割を果たしています。
このブログ投稿は、データセンターの機械システム設計におけるCFD分析の役割、潜在的な欠陥の特定、機器の故障の防止とシステムの整合性の確保のための設計変更の通知にどのように役立つかを探求することを目的としています。
CFD分析とは
近所のアナロジーとしてデータセンターに戻り、都市計画者としてCFD分析を想像してみてください。CFD分析は、都市計画者が道路や建物をマップするのと同様に、データセンターでの機械システム設計をサポートする基本的なツールです。都市計画者がトラフィック・パターンを予測する方法と同様に、データセンター環境内の気流、温度分布および圧力変動の詳細なシミュレーションが可能になります。CFDは、データセンターの仮想モデルを作成し、このシミュレーションを使用することで、設計者は空間の移動方法を視覚化し、データセンター内の潜在的なホットスポットやボトルネックを特定することができます。これらのホットスポットやボトルネックは、都市計画者が交通渋滞を起こしやすい地域を特定するのと同様に、機器の信頼性と長寿のリスクをもたらします。これらのホットスポットを分析することで、都市計画担当者が道路や輸送システムが人々の流れを確実に処理できるようにするのと同様に、冷却システムがタスクに対応していることを確認できます。設計選択が熱環境に与える影響を視覚化および定量化する強力な手段を提供します。
データセンターのインフラストラクチャ設計者として、CFDモデリングを使用して、ラック前の通路に十分な通気を確保しながら、データホール内のITラックを調整する方法を理解する必要があります。上げられたアクセスフロアと穴があいた床タイルの日中、誰もどんなタイプの封じ込めもしていませんでした。どれだけの冷たい供給空気がラックを「バイパス」するか、どれだけの温かいリターン空気が「ラックの前面に再循環する」かを理解することは、どちらも重要な懸念でした。
バッフラーまたはダイバータを使用して、必要な場所に空気の流れを誘導するwhat-ifシナリオをいくつか試みました。時間の経過とともに、これらのバッフラーやダイバータは、私たちが今や完全封じ込めと呼んでいるもの、つまりITラックの冷たい側面と熱い側面の間の完全な分離の範囲内で成長しました。最終的に、先進的な設計者とエンド・ユーザーは、すべての導入に封じ込めを始め、この移行により、冷気と熱気の分離を具体的に取り組む新しいベストプラクティスが実現しました。すべての供給空気はラックに入り、生産的な冷却を提供します。これは、空気の流れの唯一の可能な経路は、コンピュータールームエアハンドリング(CRAH)ユニットからコールド通路、ITラック、ホット通路、および再び冷却されるCRAHに戻るためです。この方法では、再循環およびバイパスに失われる空気が少ないため、データホールに提供される空気の合計量を減らすことができます。
業界設計のガイドラインとベストプラクティスがこの概念に追いついたため、ITラックに空気を届ける方法を正確に把握し、封じ込め、ホット通路、コールド通路、通気の明確な経路などのベストプラクティスに従うことが判明した場合、他に何が改善できるでしょうか? 答えはたくさん! CFDモデリングは、単なる温度、圧力、速度プロファイルの分布の可視化以上のものであることが証明されています。データホール内の通気の最適化には小冊子があり、CFDモデリングは、データホールが最も単純なレイアウトで構成されている場合でも、すべてのデータセンター・アプリケーションにとって非常に貴重な設計ツールです。
複雑で重要なデータセンター環境では、熱環境の理解と制御が不可欠です。この予測機能は、非効率的な冷却、機器の故障、または熱暴走につながる問題にエスカレーションする前に、潜在的な問題を特定するために重要です。
データセンターの最適化のためのCFDモデリング
CFDは流体力学と熱力学の原則を使用して、流体流に関する問題を解決および分析する数値解析を利用します。データ ホールなどのスペースをモデル化するには、スペースをノードを持つメッシュに分割する必要があります。各ノード間の間隔が小さいほど、問題の解決にかかる計算時間が長くなります。ソリューションの粒度を決定するために、バランスを作成する必要があります。粗いメッシュは、ソリューションを迅速に実現できますが、特定の問題に必要なスケールまで正確ではない可能性があります。より細かいメッシュは、より正確なソリューションを提供しますが、ソリューションまでの時間を大幅に短縮します。
各節点の質量、運動量、エネルギーの保全のための熱力学方程式を解く解法を見つけた。各ノードを通過するたびにエラーまたは残余が発生し、シミュレーションの入力に出力をフィードしてソリューションを数百または数千回反復すると、残余が最小化され、解が収束されます。このレベルでは、各ノードは、温度、湿度、速度、圧力などの物理的特性について解決されます。
この方法を使用すると、CFD分析は設計段階の早い段階でリスクを特定し、レイアウト、冷却インフラストラクチャ、温度と圧力の設定ポイント、または気流管理戦略を調整して潜在的な問題を軽減できます。データ・センターの設計と運用におけるCFDの有効性は、モデリング・プロセス全体のベスト・プラクティスの遵守を条件としています。これらのプラクティスにより、CFDシミュレーションは正確であるだけでなく、対処しようとしている現実世界の課題にも関連していることが保証されます。
手続きステップ
次に、モデルを確立し、状況を実行します。
- ステップ1: データホールの3Dモデルの作成
3Dモデルの作成は、近所のブループリントを描くようなものです。
データセンターの3D-CAD表現から始めます。あるいは、CFDソフトウェアがスペースを作成し、スペースの構成、形状、境界を定義するパッシブ・オブジェクトを挿入することもできます。
- ステップ2: アクティブなオブジェクトをスペースに挿入します。
非アクティブなオブジェクトは、ブループリントの建物や道路のようなものです。
追加したら、アクティブなオブジェクトを仮想領域に挿入できます。これらのアクティブオブジェクトは、熱伝達および質量フローのソースを表します。たとえば、熱生成サーバーを備えたITラックなど、熱生成デバイスを介して空気を移動するサーバーファンも含まれます。これらのオブジェクトには境界があり、サイズ、形状、位置、通気などに関して可能なかぎり正確に表す必要があります。
アクティブ オブジェクトは、空間の内外への空気または湿気の導入を表すこともできます。物理的な法則に従ってください。たとえば、冷却システムによるモデル化された空間への空気の導入は、その空間から抽出された質量とまったく同じ量によって均衡化されます。また、熱負荷の表現も同様に重要です。これは、データホールに配置する装置の実際の熱出力を反映させる必要があります。この部品には、熱環境に影響を与える可能性のある負荷の変動など、装置の仕様と動作パターンに関する詳細情報が必要です。データセンターで使用される材料のプロパティーと、外部温度や通気率などの境界条件を正確に入力する必要があります。
「ガベージ・イン、ガベージ・アウト」は、出力の精度が入力データの品質に直接関連しているCFDモデリングに特に適しています。相互参照装置の仕様、実際の通気率の測定、運用データの正確性確認など、シミュレーションで使用される物理データおよび運用データの正確性を検証して、モデル入力を検証する必要があります。
よく見落とされるモデルの一面は、隣接するITラック間のギャップ、ITラックと封じ込め壁の間、封じ込めパネルの間、ラックとラックが置かれている床の間の隙間など、仮想空間のコンポーネント間の漏れです。 この漏れは、見かけのように小さく、再循環とバイパス空気の唯一の可能な源です。漏れの要因を見積もるのは難しい。モデラーは、スペース内の合計気流の特定の割合の漏れを想定したり、モデラーがモデルに十分な詳細を配置してこれらのインチのギャップを物理的に含めたりする場合、モデリングをより正確に行うことができます。
データホールの仮想表現、その負荷、および境界条件は、日常業務の現実的なビューになることはありません。ほとんどの場合、CFDモデリングは設計条件を表し、最大限の期待条件で実行される冷却装置の完全な補完による最悪のケース負荷です。
設計者は、冷却装置が冗長装置の障害などの応力条件下でピーク構成の負荷をサポートできることを示すものを探します。領域構成がこれらの応力条件下で機能する場合は、負荷が低い場合にも機能します。可能なすべてのロードに対応できると期待することは解決できません。荷重と空気の流れの順列数はほぼ無限である。
- ステップ3:CFDモデルを実行します。
モデルとそのアクティブ・コンポーネントおよびパッシブ・コンポーネントが設計条件の良好な表現である場合、シミュレーションのメッシュと計算部分が始まります。粗いメッシュでシミュレーションを開始して近似的なソリューションを実現すると、結果が有用か現実的かを示す簡単な概要が得られます。次に、モデルを調整し、メッシュをより細かい設定に設定して、モデルのより正確な表現を取得できます。
反復的な設計プロセスの一環としてCFDモデリングを使用し、シミュレーション結果に基づいて設計調整を行い、必要な熱性能が得られるまでモデルを継続的に調整します。CFDモデリングを使用して、さまざまなラックレイアウトが通気パターンに与える影響をシミュレートし、特定の構成が高密度ラック付近の再循環ゾーンやホットスポットにどのような影響を与えるかを明らかにできます。その後、データセンターが均一な温度分布になるまでレイアウトを調整できます。
圧力センサの適切な配置を決定するためにCFDモデリングが使用された実際のケース・スタディを見てみましょう。また、CFDモデリングがデータセンター設計におけるこれらのセンサの戦略的位置づけをどのように導くかを見てみましょう。
データセンター設計におけるホット通路圧力センサの配置
データセンターレイアウトのベストプラクティスは、CRAHユニットがコールド通路に冷気を供給し、ホット通路から熱気を除去できるようにITラックの行を整理することです。各ラックの前面がコールド通路に面し、各ラックの背面がホット通路に面します。その他のベストプラクティスとしては、冷気がITラックをバイパスしてホット通路に入ることができないように封じ込めパネルの保守や、冷気を汚染して温度を上げるような冷気通路への熱気の「再循環」ができないようにすることです。
一般的なベスト・プラクティスの1つは、データホールへの供給空気の流れを制御して、コールド・アイルとホット・アイル間のわずかにプラスの圧力を維持することです。これにより、最小限の量の空気のみがホット通路にバイパスされ、ほとんどまたはまったく空気が冷たい通路に再循環できません。ベスト・プラクティスに従うと、CFDモデリングは必要ありません。ベスト・プラクティスは、動作するシステムを提供するために設計ガイドラインに組み込まれています。
しかし、ここでは、物事が興味深い: ホット通路圧力センサーの配置は、必ずしも特定のベストプラクティスに従うことはできません。ホット通路の圧力センサーをラックのすぐ後ろに固定すると、ラックがハイパワーのハイエアーフローラックの場合、読み取りはホット通路全体およびデータホール全体の状態を表すものではありません。
そのため、ホット通路圧力センサの最適な位置と、データホール全体の集約状態の最も代表的なセンサの数を把握する必要があります。CFDモデルがその答えになる。5種類のモデルを用いて、多くのホット通路とコールド通路のペアを持つデータホール全体を分析した。各モデルについて、冷気通路が広く、空気速度が比較的低いため、冷気通路圧力センサは問題ではなかった。ホット通路の場合、ケースは同じではありませんでした。図1は、1つのホット通路- コールド通路ペアの単純な表現を示し、集計でモデル化された複数の通路のすべてのセンサーの全範囲を示していません。5つのモデルについて、次の結果を確認しました。
図1: ホット通路圧力センサ配置の設計ツールとしてのCFDモデリングの使用例
- 最初のCFDモデルには、ラックのすぐ後ろに圧力センサーが付いています。センサは空気速度の変動の影響を受け、圧力の読み取りに大きな影響を与えます。
- 2つ目は、ホット通路の真ん中に圧力センサーがあります。最初のモデルと同様に、センサーはラック位置からラック位置までのバリエーションが多すぎるため、ホット通路に対して優れた集計読み取りを提供できません。
- 3つ目のモデルでは、ホット通路の中央に圧力センサーがありますが、ラックから放電空気流から引き上げられます。この位置は読みやすくなりますが、急速に上昇する気流の結果として多くのバリエーションが存在する可能性があり、2つの高出力ラックの受信側端にあるため、依然として多くの乱気流が発生する可能性があります。
- 第四は、封じ込めとリターンエアプレナムの間に圧力センサーがある。この位置では、熱通路内の気流が安定し、熱通路内の平均状態の良い指標となる。また、この位置は変動の影響を受けず、各ラックの荷重に関係なく圧力の良い指標となることがわかります。
- 最終モデルは、天井リターンエアプレナムで、リターンエアパスウェイにさらに圧力センサーを搭載しています。天井スペースに入ると空気の流れは安定していますが、ホット通路からの圧力は、ターンし、ホット通路を終了し、場合によっては別のホット通路の戻り通路と混ぜ合うため、すでに消えています。したがって、この場所は、ホット通路圧力の代表ではありません。
オプション4は最も安定した制御を示し、冷たい通路に適切な気流を提供し、冷たい通路と熱い通路の間の均一でわずかに肯定的な圧力差を維持した。しかし、この解決策は「万能」ではありません。データホールの各構成とITラックの選択、およびそれに関連する負荷には、独自の課題と解決策があることを承諾する必要があります。CFDは貴重なエンジニアリング・ツールであり、優れたデータ・センター・エンジニアリングのベストプラクティス原則と連携して、データ・センターを円滑に運営しています。CFDのインサイトとデータセンター設計のベストプラクティスを統合することで、最適なソリューションを実現します。
まとめ
熱と気候変動の課題が増大する中で、データセンターで最適な熱状態を維持することが重要です。データセンターの最適化におけるオラクルの取り組みの主なポイントは次のとおりです。
- 計算流体力学(CFD)解析は、データセンターの冷却システムの設計と最適化において重要な役割を果たします。気流と温度分布をシミュレートすることにより、CFDは潜在的なホットスポットを特定し、重要なコンポーネントの配置を最適化し、さまざまな条件下での効率的で信頼性の高い冷却を実現します。
- CFDのインサイトとデータセンター設計のベストプラクティスを統合することは、効率的で信頼性の高い運用を維持するために不可欠であり、熱発生と気候変動の課題に真正面から対応できます。
Oracle Cloud Infrastructure(OCI)は、データセンターの設計と運用の境界を押し広げ続け、現在の要求と将来の課題に対応できるよう、当社の施設を準備しています。
このブログ・シリーズでは、優れたクラウド製品の提供に向けた、新しいプロジェクト、課題、および問題解決のOCIエンジニアが直面している課題について説明します。OCIエンジニアリング・シリーズの後ろには、Oracle Cloud Infrastructureで働く有能なエンジニアが参加する、同様のOCIエンジニアリングの詳細が記載されています。
詳細は、次のリソースを参照してください。
コメント
コメントを投稿