HeatWave GenAIの一般提供の発表 (2024/06/26)

https://blogs.oracle.com/mysql/post/announcing-the-general-availability-of-heatwave-genai

投稿者：Nipun Agarwal | Senior Vice President, MySQL HeatWave

HeatWaveにより、組織は単一のフルマネージド・クラウド・サービス内でトランザクション処理、データウェアハウスとデータレイク間の分析、機械学習を実行できます。そのスケールアウト設計により、企業は構造化データおよび半構造化データを処理するために比類のないパフォーマンスと価格性能を実現できます。

本日は、データベース内大型言語モデル(LLM)を使用したHeatWave GenAIの一般提供、自動化されたデータベース内ベクトル・ストア、スケールアウト・ベクトル処理、および自然言語での状況に応じた会話を行う機能について発表します。

HeatWave GenAIを使用すると、組織は独自の非構造化ドキュメントをオブジェクト・ストレージで簡単に処理および分析できます。彼らは、強化されたパフォーマンスとエンタープライズグレードのデータセキュリティを備えたターンキーAI搭載アプリケーションを開発することができます。

HeatWave GenAIは、LLMをシームレスに統合し、世代、ベクトル・ストアおよび多言語チャット機能をデータベース内に組み込み、統合された自動化された低コストのGenerative AIパイプラインを提供して、企業が自社のデータを使用してLLMとセマンティック検索の機能を活用できるようにします。

HeatWave GenAIのユースケース

HeatWave GenAIを使用すると、企業はアプリケーションの新しいクラスを構築できます。

お客様は、HeatWave GenAI機能を、機械学習などの他の組み込みHeatWave機能と簡単に組み合わせることができます。たとえば、製造会社は、HeatWave AutoMLを使用して異常な生産ログのフィルタされたリストを生成し、HeatWave GenAIを使用して、HeatWave Vector Storeを介してLLMからアクセス可能なログ・ナレッジ・ベースに基づいて問題の根本原因を迅速に判断できます。その後、LLMは拡張プロンプトに基づいてレポートを生成できます。生成AIと他のHeatWave機能を組み合わせることで、コストを削減しながら精度とパフォーマンスを向上させることができます。

GenAIと先ほど検討した機械学習を組み合わせる機会以外にも、いくつかの例があります。

コンテンツ生成

HeatWave GenAIを使用すると、企業は、ソーシャル・メディアの投稿、ブログ記事、Eメール・キャンペーンなどの多様なニーズに対応して、複数の言語でコンテンツを作成できます。既存のコンテンツも改善できます。HeatWave GenAIを使用してコンテンツ生成を自動化することで、企業は市場投入までの時間を短縮しながら時間とリソースを節約できます。

コンテンツの要約

HeatWave GenAIを使用すると、重要な情報を保持しながら、ドキュメント、レポートおよびログの簡潔で正確なサマリーを迅速かつ容易に生成できます。たとえば、この機能をeコマースのWebサイトで使用して、製品の正と負の両方の側面を強調する簡潔な要約を生成できます。これは、顧客が多数のレビューを読む必要がないため、時間と労力を節約するのに役立ちます。HeatWave GenAIを使用して、任意のドキュメントをアップロードし、即時かつ効率的な要約を確認できます。

検索拡張生成(RAG)

データベース内LLMは、公開されているデータについてトレーニングされます。ただし、企業では、HeatWave GenAIを利用して、独自のデータに基づいてコンテンツを生成できます。これを実現するために、HeatWaveは独自データを埋込みに変換し、それらをHeatWaveベクトル・ストアに格納できます。これらの埋め込みを使用すると、RAG手法を使用してLLMのエンタープライズ固有のコンテキストを提供できます。HeatWave GenAIでのRAGサポートにより、より正確でコンテキストに関連する回答を取得し、非構造化データに対してセマンティック検索を実行できます。たとえば、チャットボットはRAGを使用して、社内のポリシーに関する従業員の質問に回答できます。

自然言語の相互作用

HeatWave GenAIを使用すると、自然言語を使用して非構造化ドキュメントを操作できます。コンテキストは保持され、フォローアップ質問による人間のような会話が可能になります。

HeatWave GenAIで生成AIを簡素化

HeatWave GenAIは、生成AIのためのセキュアで統合された環境を提供します。この環境では、生成AIパイプラインのすべてのステップがHeatWave内で行われます。HeatWave GenAIは、機械学習や分析などの他の組込みHeatWave機能ともシームレスに連携します。

自動化されたデータベース内ベクトル・ストア

HeatWaveベクトル・ストアは、ベクトル・ストアの作成を自動化する、高速でセキュアなエンドツーエンドの完全に統合されたパイプラインを提供します。自動化には、オブジェクト・ストア内のPDF、HTML、TXT、PPTまたはDOCXドキュメント形式の非構造化データの読取り、ドキュメント内のテキストの解析、より小さな段落へのテキストのパーティション化、段落のエンコード、およびHeatWave内の標準のSQL表へのエンコーディングの格納が含まれます。

これは、豊富なセマンティック検索機能を提供するように設計されています。ドキュメントの場所、ドキュメント作成者、作成日など、ドキュメントに埋め込まれたメタデータが抽出され、ベクトル・ストアに格納されます。これにより、LLMのRAGユースケースに関する追加のコンテキストが提供され、顧客はより正確でコンテキストに即した関連性の高い回答を得ることができます。

ワンステップ作成プロセス

ベクトル・ストアの作成は、使い慣れたSQLインタフェースを使用した単純な1ステップ・プロセスです。使用する適切な埋め込みモデルを決定したり、取り込みパイプラインを調整したりするために、AIの専門知識は必要ありません。また、オブジェクト・ストアのデータ変更は、ベクトル・ストアに増分的に更新されます。これにより、ベクター・ストアの作成および更新ロジックをアプリケーションから移動することで、アプリケーションの複雑さが軽減されます。

ベクトル・ストア作成のパフォーマンス

作成プロセスでは、HeatWaveの高度に並列化されたアーキテクチャを利用し、作成サブタスクをノード間およびHeatWaveクラスタのノード内でインターリーブすることで、パフォーマンスとスケーラビリティが向上します。

Amazon Bedrockと比較して、HeatWave GenAIは最大23倍高速で、100,000ファイルの埋め込みの作成と保存にかかるコストは4分の1です。

データベース内LLM

HeatWave GenAIは、Oracle Cloud Infrastructure (OCI)Generative AIなどの外部サービスからデータベース内のLLMまたはLLMを使用するオプションを提供します。

Mistral-7B-InstructやLlama-3-8B-Instructなどのデータベース内LLMは、パラメータ・セットが小さく、データベース操作と同じコンピュート・リソースで実行される量子化されたLLMです。データ、問合せおよびLLMレスポンスはHeatWave内にとどまるため、データベース内LLMは強化されたセキュリティを提供します。

すべてのOCIリージョンおよびクラウドで利用可能

組み込みのLLMは、すべてのOCIリージョン、OCI専用リージョン、およびクラウドで実行されます。デプロイメント全体で予測可能なパフォーマンスで一貫した結果を提供します。さまざまなデータセンターでのLLMの可用性について心配する必要はありません。

コストの削減

組込みLLMは、クラウド内のコモディティ・サーバーで実行するように設計されたHeatWaveクラスタ内で実行されます。これにより、GPUをプロビジョニングする必要がなくなり、外部サービスを介してLLMを呼び出すために支払う必要がなくなり、コストが削減されます。

スケールアウト・ベクトル処理

HeatWave GenAIでのスケールアウト・ベクトル処理(類似性検索など)により、開発者は非構造化コンテンツに対するセマンティック検索を使用してアプリケーションを構築できます。これを表のデータや他のSQL演算子と組み合わせることで、開発者はデータレイク、データベース、ベクターストアにまたがる強力でインテリジェントな検索アプリケーションを構築できます。

類似検索のパフォーマンス

ベクトル埋込みはHeatWaveにネイティブに格納され、ベクトルおよび類似性検索は、HeatWave内でメモリー内で処理されます。これにより、HeatWaveは、単一ノードによるニア・メモリー帯域幅での非常に優れた類似性検索パフォーマンスと、複数のノードにわたる高いスケーラビリティを提供します。

サードパーティのベンチマークで示されているように、HeatWave GenAIはSnowflakeより30倍高速で、Databricksより25%、Databricksより15倍高速で、Google BigQueryより18倍高速で、コストは60%削減されます。

予測可能で正確な回答

HeatWaveのハイブリッド列インメモリー・エンジンの利点の1つは、問合せ処理で高いパフォーマンスを実現するために索引に依存しないことです。ベクトルストアと類似性検索についても同様です。HeatWaveは正確な検索を実行し、各問合せに最も類似したベクトルを予測して検索します。Aurora PostgreSQLなどの他のソリューションでは、問合せのパフォーマンスを向上させるために索引が必要です。その結果、検索結果が正確でない可能性があり、特に複雑な問合せでは索引が適用されない可能性があるため、パフォーマンスを予測できない場合があります。

HeatWaveチャット

HeatWave GenAIは、企業が独自のAI搭載チャットボットを迅速に構築できるようにする直感的なチャット機能のセットを提供します。チャット機能を統合し、HeatWaveにすぐに使えるチャットボットを提供しました。すべてのチャット処理および履歴は、HeatWave内に保持されます。また、自動ベクトルストア検出もサポートされており、ユーザーは簡単にドキュメントを読み込んで、すぐに質問を開始できます。

チャット・プロンプトと履歴

ユーザーは、SQLに加えて自然言語を使用してHeatWave GenAIと対話できます。チャット履歴などのコンテキストは保持され、フォローアップ質問との会話が可能になります。LLMの選択、ベクター・ストア・スコープ、翻訳などのオプションにより、ユーザーはプリファレンスに基づいてチャットを調整できるため、ユーザー・エクスペリエンスが向上します。

Microsoft VS Codeとの統合

HeatWave Chatは、VS CodeのMySQL Shellと統合されています。これは、開発者がHeatWave GenAIを利用したアプリケーションの構築を支援する統合開発環境を提供します。

HeatWave GenAIで生成AIアプリケーションを迅速に構築

ジェネレーティブAIは私たちの世界を再構築していますが、実装が複雑になる可能性があります。HeatWave GenAIを使用すると、組織はAIの専門知識やデータの移動、追加コストなしで生成AIを利用できます。業界初の自動化されたデータベース内ベクター・ストアとデータベース内LLMに加えて、スケールアウト・ベクター処理と、自然言語でコンテキストに即した会話を行う機能があります。

詳細を確認して試してみる: https://www.oracle.com/heatwave/genai