Oracle AI WorldでOCIとAgoraでAIの動向を体験 (2026/10/19)

https://blogs.oracle.com/cloud-infrastructure/swing-smarter-oci-agora-ai-world

投稿者：Jason Yan | Senior Cloud Engineer

 Maulik Modi | Enterprise Cloud Architect

 Harold Chen  | Solutions Architect, Agora

カメラの前に立ち、ゴルフスイングをすると、AIゴルフプロが次のスイングの前にアドバイスをくれる様子を想像してみてください。「テンポは安定していましたが、フィニッシュが少し不安定でした。」といった具合です。途中、ちょっとしたフレンドリーなやり取りもあるかもしれません。「青いウェアがよく似合っていますね。スイングもそれに合わせているか見てみましょう。」そして、「まず何に集中すればいいですか？」と質問したり、AIコーチとスイングの結果について話し合ったりすることもできます。

Oracle AI Worldでは、 Oracle Cloud Infrastructure（OCI）上での動作分析とAgoraによるライブ音声対話を通じて、 Swing Smarterデモでこの体験をリアルに再現しました。Agoraと提携し、パーソナライズされた音声解説と対話型AIコーチを組み合わせることで、参加者はまるで実際のキャディやプロゴルファーと戦略について話し合っているかのように、自分の結果を分析することができます。

図1. Swing Smarterは、Agoraのメディア伝送と音声会話をOCI上のアプリケーションサービスおよびモーション分析に接続します。

カメラ映像から動きの分析まで

この体験は、カメラが参加者のスイングを捉えることから始まります。姿勢推定によって、肩、肘、手首、腰、膝などの身体のキーポイントが特定されます。これらのポイントをフレーム間で追跡することで、アプリケーションはゴルファーの動きを記述することができます。

ゴルフ特有のロジックに基づいて、テンポ、腕の伸展、フォロースルー、フィニッシュバランスなどの指標が計算されます。これらの指標はスコアに反映され、参加者は自身のスイングの具体的な側面を分析することができます。

この分析は、カメラで観測された動きに焦点を当てています。カメラの位置と視界は推定値に影響を与え、ボールの速度やスピンなどの測定には追加の計測機器が必要となります。

参加者は、自分の結果を確認したり、挑戦の様子を再生したり、QRコードやメールを通して体験を共有したりすることができます。

分析を会話に変える

参加者がそのスコアの意味を尋ねることができる場合、スコアはより有用になる。

このアプリケーションは、OCI Generative AIを使用して、カメラ認識に基づくコメントからスイング後の分析まで、観察結果や発見事項をパーソナライズされた解説に変換します。Agoraの会話型AIエンジンを通じて、生成されたテキストは音声フィードバックとしてブラウザに配信されます。

参加者は「コーチと話す」を選択して、ライブ音声会話を開始できます。アプリケーションは、選択されたスイングの保存済み指標と分析結果をコンテキストとして提供し、エージェントがその試みについて議論できるようにします。

質問例：

• 「私のテンポスコアは何を意味するのですか？」
• 「スイングのどの部分に重点を置くべきでしょうか？」
• 「最終収支結果について説明していただけますか？」

Agoraは、設定済みのプロバイダーを通じて、音声認識、応答生成、音声合成を連携させます。リアルタイム通信サービスが音声を伝送し、ライブ字幕とエージェントのステータス更新によって、参加者はやり取りを把握しやすくなります。

この会話では、保存された結果が参照点として使用されます。これにより、AIコーチは指標の説明や練習の焦点に関する議論を行うための明確な基準を得ることができ、不足している情報を認識し、測定値を捏造しないように指示されます。

その結果、参加者が自然に関与できるフィードバックサイクルが生まれる。つまり、意見を聞き、説明を求め、焦点を絞ってから再び意見を述べる、というサイクルだ。

OCI 上でのエクスペリエンスの背後にあるアーキテクチャ

このデモは3つの部分を接続します。

• 参加者の体験：ブラウザがカメラのキャプチャを処理し、ポーズオーバーレイと結果を表示し、再生、共有、音声会話へのアクセスを提供します。
• OCIアプリケーションと分析のワークフロー：OCI Compute上のアプリケーションサービスがセッションを調整し、ポーズ処理とスコアリングを実行し、結果を管理し、OCI Generative AIを使用して解説を作成します。Autonomous Databaseにはユーザー、イベント、結果が保存され、OCI Object Storageにはスイングビデオとリプレイファイルが格納されます。
• Agoraの対話型AIとリアルタイムメディアレイヤー： Agora RTCはカメラ映像をOCIにストリーミングして分析を行い、ブラウザとAIコーチ間で音声を伝送します。Agoraの対話型AIエンジンは、音声認識、AI応答、音声合成を調整し、参加者が結果を自然に議論できるようにし、必要に応じて割り込みで追加の質問をすることもできます。Agoraシグナリングは、字幕とエージェントのステータス更新を提供します。アプリケーションは、解説テキストと関連する結果コンテキストをAgoraに送信し、音声体験とスイング分析を連携させます。

姿勢モデルと展開方法の選択肢に関する背景情報については、OCI の「The Anatomy of Motion: Human Pose Estimation Architectures」を参照してください。

ゴルフは出発点となる。同じアプローチは、新しい動きを習得したり、スキルを練習したり、インタラクティブな体験に取り組んだりする際にも役立つだろう。いずれの場合も、会話を通してフィードバックを理解しやすくし、それに基づいて行動しやすくする。

ゴルフ以外

スポーツとフィットネス。アプリケーションは、スクワット、テニスのサーブ、練習ドリルなどを、活動固有の基準に基づいて評価できます。音声フィードバックは、反復動作の合間に観察事項を強調表示し、参加者が詳細を求めた際には音声エージェントが説明します。コーチは、活動に適した測定基準を定義し、検証します。

職場における人間工学。ビデオ分析は、専門家が作業中の繰り返しの腕の伸ばし、屈伸、姿勢の変化などをレビューするのに役立ちます。対話型インターフェースを使用すれば、これらの観察結果をワークステーションの詳細やその他のコンテキストと併せて簡単に確認でき、レビュー担当者がより注意を払うべき場面を特定するのに役立ちます。

身体技能訓練。指導者は、動作シーケンスにおける観察可能なチェックポイントを定義できます。アプリケーションは、学習者の試みがこれらのチェックポイントと異なる箇所を強調表示し、音声対話を通じて関連する手順を説明します。道具の使用や細かい手の動きを伴うタスクには、追加の検出モデルが必要になる場合があります。

インタラクティブな体験。博物館、ゲーム、イベントなどのアクティビティは、ジェスチャーや課題の完了に応じて、パーソナライズされたナレーションで反応します。来場者はアクティビティの仕組みを質問したり、体を動かして参加したり、後で結果について話し合ったりすることができます。

これらの例を通して、データ収集、分析、対話の各要素は再利用可能な基盤を提供します。ただし、フィードバックを有効なものにするためには、各分野ごとに独自の指標、専門家の意見、検証が必要です。

Oracle AI Worldに挑戦してみよう

当社のゴルフデモでは、OCIモーション分析とAgora音声対話機能を組み合わせ、実践的な体験を提供します。あなたの動きが結果にどのように反映されるかを確認し、パーソナライズされた解説を聞き、コーチにあなたのプレーについて質問することができます。

オラクルAIワールドの弊社ブースにお越しいただき、OCIとAgoraによるよりスマートなスイング体験をお楽しみください。ブランコとご質問をお持ちください。

Oracle AI Worldを探索して、訪問計画を立てましょう。