エッジでのAIの実行: Oracleの次世代Roving Edge Device (2024/10/11)

https://blogs.oracle.com/cloud-infrastructure/post/performance-enhancements-next-gen-roving-edge-red

投稿者：Tanmay Dhuri | Senior Product Manager - OCI Edge Cloud

Jeevan Sreenivas | Principal Technical Product Manager

Oracle'e Edge Cloudポートフォリオの最新機能であるOracleの第2世代のRoving Edge Device (RED)は、極めて高い処理能力、シームレスな接続性、組み込みのセキュリティをネットワークのエッジや接続されていない場所で提供します。REDを使用すると、エンタープライズ・アプリケーションからAIまで、複数のワークロードを実行し、導入の簡素化、優れたパフォーマンス、優れたセキュリティ(分離またはエアギャップを実行する機能を含む)により、エッジでOCIサービスを選択できます。

第2世代のREDによるパフォーマンス強化

ペースの速いAI時代では、ミリ秒が違いを生みます。ネットワークの境界が無限であり、ネットワークのエッジが指数関数的にスマートになる世界を想像してみてください。Oracle Roving Edge Device 2nd Generation (RED)では、コンピュートとストレージ用に最適化された構成を備えた新しいGPU最適化構成が導入され、導入オプションの柔軟性が向上します。

エッジにIntel Xeon 8480+プロセッサを搭載することで、お客様はデータ生成と取り込みのポイントに近い低レイテンシ処理を利用できるため、データに関するよりタイムリーなインサイトを得ることができます。このパワーをテストするために、OracleはIntelと提携し、第1世代のREDで一連のベンチマークを実行しました。テストでは、Intel XeonプロセッサのみでLlama 2-7B、Yolov10モデルおよびResnet50畳み込みニューラル・ネットワーク(CNN)を実行しました。次のベンチマークでは、Intel Xeon 6230Tに基づく第1世代のREDと、Intel Xeon 8480+による第2世代のREDを比較します。

REDへのLlama2-7Bのデプロイ

Llama 2は、自動レグレッシブ・トランスフォーマ・アーキテクチャに基づく、事前トレーニング済で微調整されたテキスト生成モデルのファミリです。Llama 2には、70億、130億、700億のパラメータを持つ3つのモデルが付属しています。このシミュレーションでは、OracleがLlama 2 70億のパラメータ・モデルの実行をベンチマークしました。

レイテンシの向上

第2世代のREDは、Llama 2-7Bモデルを使用して、RED Gen 1よりも最大13.6倍高速な応答率を提供できるため、エッジベースの大規模言語モデル(LLM)推論の高速パフォーマンスを実現できます。

スループット強化Intel®Xeon®8480+プロセッサ

RED Gen 2は、Llama2-7Bモデルを使用して最大12.4倍のスループットを実現し、エッジでのLLMデータ処理機能を大幅に強化します。

YOLO v10

YOLOシリーズのモデルは、リアルタイムのオブジェクト検出と、低レイテンシのイメージ内のオブジェクト・カテゴリおよび位置の正確な予測のために設計されています。この一連のベンチマークで、Oracleは、Roving Edge Deviceの両世代でYOLO v10モデルの実行を比較しました。

レイテンシの向上

新世代のREDは、前世代と比較して最大60%のパフォーマンス向上を実現できます。

YOLO v10を実行するスループットが67%向上

ResNet-50

ResNet-50は、Residual Networks (ResNet)ファミリに属する畳込みニューラル・ネットワーク(CNN)アーキテクチャです。このアーキテクチャは、ディープ・ニューラル・ネットワークのトレーニングに関連する課題に対処するために設計された一連のモデルです。Microsoft Research Asiaの研究者によって開発されたResNet-50は、画像分類タスクの深さと効率性で有名です。ResNetアーキテクチャには、ResNet-18やResNet-32などの様々な深さがあり、ResNet-50は中規模バリアントです。

レイテンシの向上

第2世代は、ResNet 50 CNNを実行して、前世代と比較して最大3倍改善されたレスポンス・レートを提供します。

最大4xでスループットが向上

Oracle Roving Edge Deviceで導入する理由

クラウド・テクノロジーと経済性のメリットを備えたスケーラブルでセキュア、かつ柔軟なプラットフォームを必要とするエッジにデプロイする必要があるアプリケーション・ワークロードがある場合は、Oracle REDが最適です。コネクテッド・ロケーションおよびディスコネクテッド・ロケーションのエッジで、ミッション・クリティカルで時間に制約のあるアプリケーションを実行するために構築された、堅牢なクラウド統合サービスです。

Getting Started

Oracle Roving Edge Deviceは、コスト効率が高く柔軟な構成と、コンピュート、ストレージおよびGPU集約型のシェイプをサポートする機能を備えており、高セキュリティ、低レイテンシのデータ処理、およびスケーラブルな環境をエッジですぐに探しているすべての人にとって理想的なインフラストラクチャです。REDについて詳しく学び、現在必要なエッジを組織に提供します。