データ・ロードの新しい機能: AI以上 (2024/04/25)

https://blogs.oracle.com/datawarehousing/post/data-loading-new-capabilities-ai-and-beyond

投稿者： Alexey Filanovskiy | Product Manager

Data Studioの最新の更新を、データを簡単に管理し、より多くのインサイトを得るための重要な変更とともにご覧ください。このブログでは、いくつかの簡単な手順を使用して、Autonomous Database Data Studioで実行できるすべてのクールな新しいことを紹介します。より直感的に使用できるようになり、エラーの処理方法が改善され、データを最新の状態に保つための新しい方法が追加されました。また、AWS Glue Catalogを統合し、データのロードを強化し、データからのインサイトを提供するインテリジェントなAI機能も備えています。

直感的なユーザー・エクスペリエンス

Oracle Database Actionsは、様々なデータ・ツールを1つの統合インタフェースに統合するAutonomous Database用の組込みアプリケーションです。データベースを管理し、SQL編集、機械学習モデルの実行、データ・ロードなどのタスクをUIから直接実行できます。統合されたData Studioにより、シームレスで統一されたツールセットを通じて、データ管理タスクを簡素化し、生産性を向上させることができます。詳細は、このブログをお読みください。

数百人のユーザーからのフィードバックや多くのユーザーとの詳細な会話を反映して、Data Studioインターフェイスを強化し、より直感的な体験を実現しました。これで、データのロードや、データベース外部のデータセット(オブジェクト・ストアなど)にリンクする外部表の定義をより簡単かつ柔軟に行えるようになりました。Data Studioをステップ実行しましょう。

1. オブジェクト・ストア・ブラウザ: プロセスは、外部ソースに接続できるOCIネイティブ資格証明を設定することで開始されます(このブログでは、資格証明の作成を自動化するためのガイドを提供しています)。この設定後、OCIオブジェクト・ストア・ブラウザにアクセスすると、確立された資格証明に基づいて使用可能なすべてのOCIバケットおよびフォルダが表示されます(データが他のクラウドのオブジェクト・ストレージに格納されている場合、プロセスは同じです)。

2. データ・ロード・ダッシュボード: データ・ロードが開始されると、データ・ロード・ダッシュボードにデータ・ロード履歴と基本統計が表示され、ロード履歴も表別に編成されます。この組織では、更新内容を簡単に確認できます。

3. エラー処理: すべてのデータ・ロード・ジョブが毎回スムーズに実行されるわけではありません。エラーが発生した場合、データ・ロード・インタフェースは、タスクを正常に完了するのに役立つ可能性のある修正を提案します。次の例では、不一致のデータ型エラーが捕捉され、データ・ロード・ツールによって提案された修正が示されています。修正に同意して受け入れる場合は、数回のクリックでデータをリロードできます。

4. ライブ・フィード・オプション: 継続的なデータ・ロードが必要な場合、ライブ・フィード機能では、ユーザー定義のルールに基づいて新しいデータセットがバケットに自動的にロードされます。このインタフェースにより、データ・パイプラインの設定が容易になります。次の例では、定期的なデータ・ロードのデータ・ソース、パターン、ターゲットおよびスケジュールを定義する方法を示します。

AWS Glueカタログのサポート

Oracle Autonomous Database(ADB)はAWS Glueと統合されているため、さまざまなクラウド間でデータを効率的に管理できます。AWSにメタデータを格納するための一般的な選択肢であるAWS Glueは、Data Studioを介してADBのメタストア・ソースとして簡単に接続できます。この統合により、AWS Glueに保存されているデータセットに外部テーブルを作成して、データにシームレスにアクセスしながら、データの整合性と管理性を維持することができます。この統合により、データが様々なクラウド環境に分散している場合に、データ戦略と運用全体をさらに強化できます。

新しいAI機能

最新のデータ・ロードUIは、今日のエンタープライズ設定における人工知能の重要な役割を考慮して、高度なAI機能を備えています。これには、Oracle Autonomous Databaseを大規模言語モデル(LLM)に接続することが含まれます。これにより、強力なAI主導のツールを使用してデータを統合および強化できます。

a.AI駆動型データ・ロード: この新機能を使用すると、対話型AI技術を使用して直感的かつ効率的にデータをロードできます。たとえば、データ・セットを拡張して、公開ソースからの情報(過去20年間のオスカー賞を受賞した映画のリストなど)を含めるとします。LLMを使用して、自然言語の質問を通して情報を取得できます。まず、AIモデルと自然言語で対話する前に、そのAIプロバイダの資格証明を設定する必要があります。設定すると、自然言語プロンプトはLLMと対話して構造化テーブルを生成し、そのテーブルに自然言語リクエストの結果を移入します。

b. データ・ガバナンスとPII: 新しいUIでは、個人識別情報(PII)を含む列が自動的に識別されるようになり、データ・ガバナンス・プロセスの管理に役立ちます。次の例では、Data Studioがユーザーの電子メールを含むデータを自動的に識別しています。これは機密であり、保護が必要な場合があります。

c. センチメント分析: 自動センチメント分析によって、製品に対する顧客のセンチメントの理解を深めることができます。レビュー、コメント、フリーフォーム・レスポンスなどのテキストの各行は、LMによって分析され、そのセンチメントを識別して分類し、新しい列として追加されます。この機能は、様々な形式の顧客コミュニケーションで微妙なフィードバックを解釈するために特に役立ちます。

d。エンティティ抽出: この機能では、非構造化テキストを分析して、主要なテーマ(「cars」や「travel」など)を特定します。キー・フレーズ抽出は、テキストを取得し、重要なフレーズを抽出して、データ表内の新しい列に配置することによって実行します。これにより、データの問合せおよび分析が容易になり、レビュー、コメントまたはその他の自由形式コンテンツからのテキストの主な主題に関する新しいインサイトが提供されます。

次の例は、Data Studioが2つの新しい列をテーブルに追加した方法を示しています。1つはセンチメント用、もう1つはエンティティ抽出用です。

データがロードされると、結果を表形式で確認できます。

より少ないコーディングでスクリプトを作成

PL/SQLを使用してタスクをスクリプト化および自動化する場合は、データ・ロードUIにプログラム・パイプラインを作成するためのコード・スニペットが用意されているため、より簡単に実行できます。これにより、自動化作業の時間と労力を節約できます。

まとめ

Autonomous Database Data Studioは継続的に進化しています。新しいデータ・ロード機能を含む、最新のデータ管理のための包括的なツール・スイートを提供します。私たちは、データロードとリンクを可能な限りシームレスかつ効率的にユーザーに提供することを目指しています。よりエキサイティングな機能に注目してください!