特許ウォッチ

公開番号2024116742
公報種別公開特許公報(A)
公開日2024-08-28
出願番号2023022531
出願日2023-02-16
発明の名称情報処理システム
出願人キヤノン株式会社
代理人弁理士法人秀和特許事務所
主分類G06F 3/01 20060101AFI20240821BHJP(計算;計数)
要約【課題】ユーザーの手の動きに対応して動くCGオブジェクトの操作性をより向上するための技術を提供する。
【解決手段】ユーザーの頭部に装着する第1デバイスは、ユーザーの手の動きに対応して動くCGオブジェクトを表示可能な表示部と、ユーザーの手を検知するための第1センサとを有する。ユーザーの手に装着する第2デバイスは、第2デバイスの姿勢を検知するための第2センサを有する。処理ユニットは、第1センサによりユーザーの手が検知できる場合には、第1センサによる検知結果からユーザーの手の姿勢を推定し、推定した手の姿勢に基づいてCGオブジェクトの向きを決定し、第1センサによりユーザーの手が検知できない場合には、第2センサにより検知された第2デバイスの姿勢に基づいてCGオブジェクトの向きを決定する。
【選択図】図3
特許請求の範囲【請求項１】
ユーザーの頭部に装着する第１デバイスと、
前記ユーザーの手に装着する第２デバイスと、
処理ユニットと、を備え、
前記第１デバイスは、前記ユーザーの前記手の動きに対応して動くコンピュータグラフィクス（ＣＧ）オブジェクトを表示可能な表示部と、前記ユーザーの前記手を検知するために利用可能な第１センサとを有し、
前記第２デバイスは、前記第２デバイスの姿勢を検知するための第２センサを有し、
前記処理ユニットは、
前記第１センサにより前記ユーザーの前記手が検知できる場合には、前記第１センサによる検知結果から前記ユーザーの前記手の姿勢を推定し、前記推定した前記手の姿勢に基づいて前記ＣＧオブジェクトの向きを決定し、
前記第１センサにより前記ユーザーの前記手が検知できない場合には、前記第２センサにより検知された前記第２デバイスの姿勢に基づいて前記ＣＧオブジェクトの向きを決定する、
情報処理システム。
続きを表示（約 1,200 文字）【請求項２】
前記処理ユニットは、
前記第１センサにより前記ユーザーの前記手が検知できる場合には、前記第１センサによる検知結果から前記ユーザーの前記手の位置を推定し、前記推定した前記手の位置に基づいて前記ＣＧオブジェクトの位置を決定する、
請求項１に記載の情報処理システム。
【請求項３】
前記第２デバイスは、前記第２デバイスの位置を検知するための第３センサを有し、
前記処理ユニットは、
前記第１センサにより前記ユーザーの前記手が検知できない場合には、前記第３センサにより検知された前記第２デバイスの位置に基づいて前記ＣＧオブジェクトの位置を決定する、
請求項１に記載の情報処理システム。
【請求項４】
前記処理ユニットは、
前記第１センサにより前記ユーザーの前記手が検知できない場合には、所定の基準位置に基づいて前記ＣＧオブジェクトの位置を決定する、
請求項１に記載の情報処理システム。
【請求項５】
前記所定の基準位置は、前記第１センサにより前記ユーザーの前記手が最後に検知できた位置である、
請求項４に記載の情報処理システム。
【請求項６】
前記所定の基準位置は、前記ユーザーの前記手が右手である場合と左手である場合とで異なる、
請求項４に記載の情報処理システム。
【請求項７】
前記ユーザーの前記手が右手である場合の前記所定の基準位置は、前記表示部の右下端であり、
前記ユーザーの前記手が左手である場合の前記所定の基準位置は、前記表示部の左下端である、
請求項６に記載の情報処理システム。
【請求項８】
前記処理ユニットは、
前記ユーザーの前記手が前記第１センサにより検知できたときの検知結果から、前記ユーザーの前記手が右手であるか左手であるかを判定し、
右手か左手かの判定結果に応じて前記所定の基準位置を切り替える、
請求項６に記載の情報処理システム。
【請求項９】
前記ＣＧオブジェクトは、前記表示部に表示されているオブジェクトの中から前記ユーザーが操作の対象とするターゲットオブジェクトを指定するために使用されるユーザーインターフェースである、
請求項１～８のいずれかに記載の情報処理システム。
【請求項１０】
前記処理ユニットは、
前記第１センサにより前記ユーザーの前記手が検知できない場合で、且つ、前記ユーザーが前記ＣＧオブジェクトを用いて指定した前記ターゲットオブジェクトを操作中である場合は、前記ＣＧオブジェクトの表示を更新しない、
請求項９に記載の情報処理システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理システムに関し、特にクロスリアリティで利用される情報処理システムに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
現実世界と仮想世界を融合したエクスペリエンスを提供する技術として、クロスリアリティ（ＸＲ）が注目されている。ＸＲのシステムでは、一般に、ユーザーの頭部に装着するヘッドマウントディスプレイ（ＨＭＤ）が利用される。ＨＭＤの表示画面を操作するためのユーザーインターフェース（ＵＩ）の一つに、ユーザーの手の動きに対応して動くコンピュータグラフィクス（ＣＧ）オブジェクトを利用する方法がある。この種のＣＧオブジェクトは「ポインタ」や「カーソル」などと呼ばれ、中でもユーザーの手から光線状（直線状）に伸びるポインタは「レイ」とも呼ばれる。
【０００３】
ユーザーは、ポインタを利用して、ＨＭＤに表示されるＸＲ空間上の任意の位置やオブジェクトを指し示すことができる。さらに、ユーザーは、ハンドコントローラのボタン押下やハンドジェスチャーによるピンチなどの選択操作と組み合わせて、ＸＲ空間上のボタンを押す、スライダーを動かす、遠くにあるオブジェクトを引き寄せる、などの操作を行うことができる。
【０００４】
例えば、特許文献１では、ＨＭＤに搭載したカメラで、ユーザーの手を撮影し、機械学習モデル等を用いて、手を撮影した画像を解析し、手の位置・姿勢を推定することで、レイの始点や方向を決める入力装置が提案されている。
【先行技術文献】
【特許文献】
【０００５】
国際公開第２０２１／０５５９３０号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献１に開示された従来技術では、ユーザーの手が、ＨＭＤに搭載したカメラで撮影できる範囲の外に移動すると、手の位置・姿勢が推定できなくなる。そうすると、レイの始点や方向が決められずレイが投影できなくなり、ユーザーはレイで操作できなくなるという課題がある。
【０００７】
そこで、本発明は、ユーザーの手の動きに対応して動くＣＧオブジェクトの操作性をより向上するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、ユーザーの頭部に装着する第１デバイスと、前記ユーザーの手に装着する第２デバイスと、処理ユニットと、を備え、前記第１デバイスは、前記ユーザーの前記手の動きに対応して動くコンピュータグラフィクス（ＣＧ）オブジェクトを表示可能な表示部と、前記ユーザーの前記手を検知するために利用可能な第１センサとを有し、前記第２デバイスは、前記第２デバイスの姿勢を検知するための第２センサを有し、前記処理ユニットは、前記第１センサにより前記ユーザーの前記手が検知できる場合には、前記第１センサによる検知結果から前記ユーザーの前記手の姿勢を推定し、前記推定した前記手の姿勢に基づいて前記ＣＧオブジェクトの向きを決定し、前記第１センサにより前記ユーザーの前記手が検知できない場合には、前記第２センサにより検知された前記第２デバイスの姿
勢に基づいて前記ＣＧオブジェクトの向きを決定する、情報処理システムを含む。
【発明の効果】
【０００９】
本発明によれば、ユーザーの手の動きに対応して動くＣＧオブジェクトの操作性をより向上することができる。
【図面の簡単な説明】
【００１０】
図１は情報処理システムの全体構成を示す図である。
図２は情報処理システムの内部構成を示す図である。
図３はレイの表示処理のフローチャートである。
図４Ａ、図４Ｂは撮像部の画角を示す図である。
図５はＨＭＤの表示画面の例を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許