特許ウォッチ

公開番号2025160239
公報種別公開特許公報(A)
公開日2025-10-22
出願番号2025117140,2023188535
出願日2025-07-11,2019-07-19
発明の名称マシン相互作用
出願人ソウルマシーンズリミティド
代理人弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
主分類G06F 3/04815 20220101AFI20251015BHJP(計算;計数)
要約【課題】人・マシン相互作用(人・コンピュータ相互作用)を改善すること、または少なくとも公衆または産業界に有用な選択肢を提供する。
【解決手段】コンピュータとの相互作用は自律的仮想具現化エージェントを介して提供される。コンピュータは、デジタル・データの形で存在し、ユーザに表現可能な任意のコンテンツを含むデジタルコンテンツを出力する。デジタルコンテンツのサブセット、またはすべてが、ユーザおよびエージェントの両方に表現可能な共有デジタルコンテンツとして構成される。
【選択図】図1
特許請求の範囲【請求項１】
エンドユーザディスプレイデバイス上で人工エージェントおよびデジタルコンテンツと対話するための方法であって、
エージェント仮想空間における人工エージェントをシミュレートすること、
エンドユーザディスプレイデバイス前のエンドユーザに、前記人工エージェントおよび前記エージェント仮想空間を表示すること；
カメラからの前記エンドユーザの画像を受信すること；
前記エンドユーザからの、言語入力、聴覚入力またはテキスト入力、タッチスクリーン入力、マウスの動き、前記エンドユーザの注視に対応する視覚入力、前記エンドユーザのジェスチャに対応する視覚入力、および前記エンドユーザの顔の表情に対応する視覚入力の群から選択される１つ以上のキューを用いて、１つ以上のキュー顕著性マップを生成すること：
前記デジタルコンテンツを表現するオブジェクト顕著性マップを生成すること、および、
前記オブジェクト顕著性マップと、１つ以上の前記キュー顕著性マップとの重みづけの和を用いて、前記人工エージェントの注視を誘導することを含む、
方法。
続きを表示（約 1,300 文字）【請求項２】
前記エンドユーザとの相互作用をシミュレートするための具現化されたエージェントシミュレータは、前記カメラから前記ユーザの空間の画像を受信するようにさらにプログラミングされる、請求項１に記載の方法。
【請求項３】
前記エージェント仮想空間内の前記デジタルコンテンツをシミュレートすることによって、前記人工エージェントによって知覚可能であるデジタルコンテンツを表すことをさらに含む方法であって、前記デジタルコンテンツは前記エンドユーザにとって可視である、請求項１または２に記載の方法。
【請求項４】
前記エンドユーザのジェスチャに対応する視覚入力は、前記エンドユーザの眼球運動を追跡すること、および前記ディスプレイ上で前記エンドユーザの眼球運動を追跡することによって、前記エンドユーザの注視を追跡する、請求項１～３のいずれか１項に記載の方法。
【請求項５】
前記人工エージェントと前記エンドユーザが共に注意を払うオブジェクトは、前記オブジェクト顕著性マップにおける顕著性が増加する、請求項１～４の何れか１項に記載の方法。
【請求項６】
前記顕著性因子は、前記エンドユーザおよび前記人工エージェントの顕著性注視マップに基づく重み付け顕著性注視因子を含む、請求項５に記載の方法。
【請求項７】
前記注意モデルは、前記エンドユーザの眼球運動、前記エンドユーザのアクション、前記エンドユーザの環境内のオブジェクト、および前記エンドユーザの環境内のアクションにも適用される、請求項１～６のいずれか１項に記載の方法。
【請求項８】
前記注意モデルは、エンドユーザ入力にも適用される、請求項１から７のいずれか１項に記載の方法。
【請求項９】
前記ジェスチャは、腕、手、または指のうちの１つの動きを含む、請求項８に記載の方法。
【請求項１０】
電子計算装置上に実装されたエンドユーザとの相互作用をシミュレートするための具現化されたエージェントシミュレータであって、
エージェント仮想空間内の前記具現化された人工エージェントをシミュレートし、エンドユーザディスプレイ前のエンドユーザに、前記人工エージェントおよび具現化エージェント仮想空間を表示し；
カメラから前記エンドユーザの画像を受信し；
前記エンドユーザからの、言語入力、聴覚入力またはテキスト入力、タッチスクリーン入力、マウスの動き、前記エンドユーザの注視に対応する視覚入力、前記エンドユーザのジェスチャに対応する視覚入力、および前記エンドユーザの顔の表情に対応する視覚入力の群から選択される１つ以上のキューを用いて、１つ以上のキュー顕著性マップを生成し；
前記デジタルコンテンツを表現するオブジェクト顕著性マップを生成し、および；
前記オブジェクト顕著性マップと、１つ以上の前記キュー顕著性マップとの重みづけの和を用いて、前記人工エージェントの注視を誘導する、
具現化されたエージェントシミュレータ。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
コンピュータサイエンス技術は人とマシンとの間の相互作用を容易にするために使用され、排他的ではないが、より詳細には、人とコンピュータとの相互作用を容易にするために具現化されたエージェントを使用する。
続きを表示（約 3,400 文字）【背景技術】
【０００２】
ＨＣＩ（Ｈｕｍａｎ－ＣｏｍｐｕｔｅｒＩｎｔｅｒａｃｔｉｏｎ）は、コンピュータグラフィックス、オペレーティングシステム、ソフトウェアプログラミング、および認知科学からの技術を使用して、人とコンピュータとの間の相互作用を改善することを目的とするコンピュータサイエンスの分野である。自律エージェントは、人間のユーザがコンピュータを操作するのを支援することによって、人とコンピュータの相互作用を改善することができる。自律エージェントは環境（仮想または現実であってもよい）において柔軟かつ／または自律動作が可能であるので、自律インターフェースエージェントはセンサおよびエフェクターがコンピュータインターフェースの入力および出力能力と相互作用するロボットと見なすことができる。自律インターフェースエージェントは、ユーザ指示やコラボレーションの有無にかかわらず、ユーザと並列にコンピュータインターフェースと相互作用することができる。
【０００３】
「Method for managing mixed-initiative human-machine dialogues based on interactive speech”（相互対話に基づく混合主導人―マシン相互作用の管理方法）」と題するＥＰ１４４４６８７Ｂ１は、音声相互作用型に基づく混合主導人―マシン対話の管理方法を開示しており、「System and method for online user assistance（オンラインユーザ支援のためのシステムと方法）」と題したＥＰ２６１０７２４Ａ１は、オンラインユーザ支援のための仮想アニメーションキャラクターの表示を開示している。
【０００４】
自律インターフェースエージェントは、人工知能技術を用いて情報をインテリジェントに処理し、より人間的な方法で相互作用し、エージェント自体を提示することが望ましい場合がある。人間のユーザにとっては、ボディランゲージ及びボーカルトーンを含む人間らしいコミュニケーション方法を使用してコンピュータと相互作用することが、より容易であり、より迅速であり、及び／又はより関心があることを見出せる。第２に、エージェントの行動と対応の現実性を高めることは、不思議な谷間効果のような知覚される技術障壁を減らすかもしれない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、人・マシン相互作用（人・コンピュータ相互作用）を改善すること、または少なくとも公衆または産業界に有用な選択肢を提供することである。
【課題を解決するための手段】
【０００６】
一態様では、仮想環境座標を有するエージェント仮想環境を作成するステップと、エージェント仮想環境内のデジタルコンテンツをシミュレートするステップと、エージェント仮想環境内の具現化された人工エージェントをシミュレートするステップと、具現化された人工エージェントがシミュレートされたデジタルコンテンツと相互作用することを可能にするステップと、具現化された人工エージェントとデジタルコンテンツとの間の相互作用をエンドユーザディスプレイデバイス上に表示するステップとを含む、電子計算装置のエンドユーザディスプレイデバイス上に具現化された人工エージェントとデジタルコンテンツとの間の相互作用を表示する方法が提供される。
【０００７】
別の態様では、具現化された人工エージェントを介して電子計算装置上のデジタルコンテンツと相互作用するための方法が提供される。前記方法は、電子計算装置上のユーザインターフェース上にデジタルコンテンツをユーザに表示するステップと、仮想環境座標を有するエージェント仮想環境を作成するステップと、エージェント仮想環境内のデジタルコンテンツをシミュレートするステップと、エージェント仮想環境内の具現化された人工エージェントをシミュレートするステップと、具現化された人工エージェントがシミュレートされたデジタルコンテンツと相互作用することを可能にするステップと、相互作用をユーザインターフェース上のデジタルコンテンツの作動または操作に変換するステップと、具現化された人工エージェントをデジタルコンテンツ上にオーバーレイし、デジタルコンテンツおよびオーバーレイされた具現化された人工エージェントをユーザインターフェース上に表示することによって相互作用を表示するステップとを含む。
【０００８】
別の態様では、電子計算装置との相互作用を促進するためのシステムが提供され、このシステムは少なくとも１つのプロセッサ装置と、前記少なくとも１つのプロセッサと通信する少なくとも１つのメモリ装置と、前記プロセッサによって実行可能な、前記具現化されるエージェントをシミュレートするように構成されたエージェントシミュレータモジュールと、前記デジタルコンテンツを前記具現化されるエージェントによって知覚可能な概念オブジェクトに変換し、前記具現化されるエージェントが前記デジタルコンテンツと相互作用することを可能にするように配置された前記プロセッサによって実行可能な相互作用モジュールと、前記デジタルコンテンツ、前記具現化されるエージェント、および前記具現化されるエージェントと前記デジタルコンテンツとの相互作用をレンダリングするように構成された前記プロセッサによって実行可能なレンダリングモジュールと、を含む。
【０００９】
別の態様では、電子計算装置上に作成された仮想環境内に位置する実施エージェントが提供され、実施エージェントは実世界環境から入力を受信し、仮想環境から入力を受信し、実世界環境および仮想環境からの入力に応じて動作するようにプログラムされ、実世界環境および仮想環境から受信された入力は実世界環境および仮想環境の両方から連続フィードバックループを介して受信される。
【図面の簡単な説明】
【００１０】
共有相互作用環境でのユーザ・エージェント間の相互作用を示す。
エージェントの視点からのユーザ・エージェント間の相互作用を示す。
人―コンピュータ相互作用の概略図を示す。
エージェントの背後にあるデジタルコンテンツとのユーザー・エージェントの相互作用を示している
人とコンピュータとの相互作用のためのシステム図を示す
人とコンピュータとの相互作用のためのプロセス図を示す
エージェントと環境との間のフィードバックループのフロー図を示す
仮想現実文脈におけるユーザ相互作用を示す。
仮想現実文脈における人とコンピュータとの相互作用のためのシステムの概略図を示す
拡張現実文脈におけるユーザ相互作用を示す。
モバイルアプリケーションを使った人とコンピュータとの相互作用のためのシステムの概略図を示す。
エージェントを介した人とコンピュータとの相互作用のスクリーンショットを示す。
エージェントを介した人とコンピュータとの相互作用のスクリーンショットを示す。
エージェントを介した人とコンピュータとの相互作用のスクリーンショットを示す。
エージェントを介した人とコンピュータとの相互作用のスクリーンショットを示す。
エージェントを介した人とコンピュータとの相互作用のスクリーンショットを示す。
エージェントのコンピュータビジョンシステムを使用するデジタルコンテンツとの相互作用の概略図を示す。
埋め込まれたアクションおよび／またはエージェントが認識可能なロケータに関連するデジタルコンテンツを示している。
カメラによってキャプチャされたユーザ表現がエンドユーザディスプレイ上にどのように表示されるかの例を示す。
ターンテイキングの実施例を示す。
顕著性の値を設定するためのユーザインターフェースを示す。
複数の視覚的供給のための注意システムを示す。
ユーザ・エージェント相互作用の実施例のクラスダイアグラムを示す。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許