特許ウォッチ

公開番号2025015134
公報種別公開特許公報(A)
公開日2025-01-30
出願番号2023118312
出願日2023-07-20
発明の名称情報処理装置、情報処理装置の制御方法、およびプログラム
出願人キヤノン株式会社
代理人個人
主分類G06T 7/20 20170101AFI20250123BHJP(計算;計数)
要約【課題】XR(クロスリアリティ)での操作に使用される入力装置の活用を促進することができる情報処理装置、情報処理装置の制御方法、およびプログラムを提供することを目的とする。
【解決手段】情報処理装置101は、XRでの操作が片手で可能な入力装置102をユーザが保持した際において、入力装置102を保持する手である保持手をユーザが替えるときの動作を持ち替え動作として検出する持ち替え検出部301と、持ち替え検出部301で検出された持ち替え動作に基づいて保持手を判別する保持手判別部302と、を備える。
【選択図】図3
特許請求の範囲【請求項１】
ＸＲ（クロスリアリティ）での操作が片手で可能な入力装置をユーザが保持した際において、前記入力装置を保持する手である保持手をユーザが替えるときの動作を持ち替え動作として検出する検出手段と、
前記検出手段で検出された前記持ち替え動作に基づいて前記保持手を判別する第１判別手段と、を備えることを特徴とする情報処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記検出手段および前記第１判別手段は、ユーザ視点または第三者視点の現実映像を用いた画像認識で追跡する前記入力装置の位置およびユーザの手の位置に基づいて、前記持ち替え動作の検出および前記保持手の判別を行うことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記検出手段および前記第１判別手段は、前記入力装置からユーザの手までの距離と閾値とを比較することによって、前記持ち替え動作の検出および前記保持手の判別を行うことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記第１判別手段は、ユーザの両手が前記保持手であると判別することが可能な場合、前記入力装置からの距離がより短い方の手が前記保持手であると判別することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記検出手段および前記第１判別手段は、前記画像認識で追跡するユーザの手の位置として、ユーザの手の重心の位置またはユーザの手の関節の位置を用いることを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記検出手段および前記第１判別手段は、前記画像認識を赤外線で行うことを特徴とする請求項２に記載の情報処理装置。
【請求項７】
前記検出手段および前記第１判別手段は、前記入力装置の加速度または速度の取得結果に基づいて、前記持ち替え動作の検出および前記保持手の判別を行うことを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記検出手段および前記第１判別手段は、前記入力装置がユーザの手の平または指に衝突するときの前記入力装置の加速度または速度の変化の特徴を前記入力装置の加速度または速度の取得結果から検出することによって、前記持ち替え動作の検出および前記保持手の判別を行うことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記検出手段および前記第１判別手段は、前記入力装置がユーザの手の平または指に衝突するときの前記入力装置の加速度または速度の変化の特徴を機械学習または深層学習を用いて検出することを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記検出手段および前記第１判別手段は、ユーザによる前記入力装置の保持終了における前記入力装置の加速度または速度の変化を、前記入力装置がユーザの手の平または指に衝突するときの前記入力装置の加速度または速度の特徴として扱うことを特徴とする請求項８に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理装置の制御方法、およびプログラムに関する。
続きを表示（約 3,400 文字）【背景技術】
【０００２】
近年、「ＸＲ（クロスリアリティ）」の発展が目覚ましい。ＸＲとは、現実世界と仮想世界の融合を実現する技術であって、「ＶＲ（仮想現実）」、「ＡＲ（拡張現実）」、および「ＭＲ（複合現実）」の総称である。ユーザは、ＸＲでの操作には、主として専用のコントローラ（以下、「ＸＲコントローラ」という）を使用する。ＸＲコントローラの形状は、例えば、ユーザに把持される棒状で汎用的なタイプ（以下、「把持タイプ」という）や、腕時計・腕輪・指輪といったユーザが装着可能なタイプ（以下、「装着タイプ」という）など、多岐にわたる。また、ＸＲコントローラは、加速度センサや、ジャイロセンサ、地磁気センサによって、ＸＲコントローラの位置姿勢を追跡する機能を有するのが一般的である。さらに、ＸＲコントローラには、一対でユーザが両手に一つずつ把持・装着して使用するタイプのもの（以下、「両手コントローラ」という）や、単一でユーザが片手に把持・装着して使用するタイプのもの（以下、「片手コントローラ」という）が存在する。
【０００３】
ユーザは、片手コントローラを使用する場合、片手コントローラを把持・装着していない手が自由になるため、その自由な手によって、ハンドジェスチャ操作をしたり、現実世界のオブジェクトに触ったりすることができるなどのメリットがある。一方、片手コントローラには、両手コントローラと比較して、ボタンなどの物理的な入力機構がおおよそ半減するなどのデメリットがある。ＸＲでは、空間的な制約が少なく、ＸＲコントローラの利用場面も幅広い。そのため、ＸＲコントローラのうち、片手コントローラについては、従来のマウスなどユーザが利き手で操作する非ＸＲ用途のコントローラとは異なり、ユーザが把持・装着（以下、「保持」という）する手を替えて使用するケースが考えられる。このように、片手コントローラは、ユーザが右手で使用したり左手で使用したりすることが想定されているので、天地があり、左右対称のデザインである。
【０００４】
なお、以下の説明からは、ユーザが片手コントローラを保持する手を替えることを、「持ち替え」と表記する。また、ユーザが片手コントローラを保持する手を、「保持手」と表記する。ところで、持ち替えのケースにおいては、例えば、持ち替えのタイミングで、保持手または利き手に応じた入力機能を、片手コントローラの入力機構に割り当てることができれば、片手コントローラの活用の促進に繋がることになる。そのためには、少なくとも、保持手の判別を自動的に行うことが求められる。この点、特許文献１には、タッチパネルを操作するユーザの指の移動方向等に基づいて、携帯情報端末を把持しているユーザの手を判別する技術が記載されている。ＸＲコントローラには、入力機構として、タッチパッドを有するタイプが存在する。従って、特許文献１に記載の技術は、タッチパッドを有する一部のＸＲコントローラにも適用可能である。
【先行技術文献】
【特許文献】
【０００５】
特開２０１１‐７６５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術で、持ち替えのタイミングに保持手の判別を行うためには、持ち替えのタイミングの通知や、保持手の判別のための特定の操作を、ユーザが行う必要がある。従って、特許文献１に記載の技術では、持ち替えのタイミングで保持手の判別を自動的に行うことは困難であり、片手コントローラの活用の促進に繋がらないという問題があった。
【０００７】
本発明は、上記の課題に鑑みてなされたものである。本発明は、ＸＲでの操作に使用される入力装置の活用を促進することができる情報処理装置、情報処理装置の制御方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の情報処理装置は、ＸＲ（クロスリアリティ）での操作が片手で可能な入力装置をユーザが保持した際において、前記入力装置を保持する手である保持手をユーザが替えるときの動作を持ち替え動作として検出する検出手段と、前記検出手段で検出された前記持ち替え動作に基づいて前記保持手を判別する第１判別手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ＸＲでの操作に使用される入力装置の活用を促進することができる。
【図面の簡単な説明】
【００１０】
各実施形態での情報処理システムの構成例を示した図である。
各実施形態において、情報処理システムがユーザにＸＲを提供する際の、情報処理装置、入力装置、および表示撮影装置の関係を示す図である。
第１～第３実施形態での情報処理装置の機能構成を示すブロック図である。
第１～第３実施形態での情報処理装置の処理の流れを示すフローチャートである。
第１実施形態での持ち替え動作の検出処理の流れを示すフローチャートである。
第１実施形態での保持手の判別処理の流れを示すフローチャートである。
第１実施形態において、把持タイプの片手コントローラに関し、画像認識による追跡によって持ち替え動作の検出と保持手の判別が行われる際のイメージの一例を示す図である。
第１実施形態において、装着タイプの片手コントローラに関し、画像認識による追跡によって持ち替え動作の検出と保持手の判別が行われる際のイメージの一例を示す図である。
第２実施形態での持ち替え動作の検出処理の流れを示すフローチャートである。
第２実施形態での保持手の判別処理の流れを示すフローチャートである。
第２実施形態において、把持タイプの片手コントローラに関し、加速度センサからの情報を用いて持ち替え動作の検出と保持手の判別が行われる際のイメージの一例を示す図である。
第２実施形態において、装着タイプの片手コントローラに関し、加速度センサからの情報を用いて持ち替え動作の検出と保持手の判別が行われる際のイメージの一例を示す図である。
第２実施形態において、持ち替えの際の片手コントローラの加速度の変化の一例を示すグラフである。
第２実施形態において、持ち替えの際の片手コントローラの速度の変化の一例を示すグラフである。
第３実施形態での持ち替え動作の検出処理の流れを示すフローチャートである。
第３実施形態での保持手の判別処理の流れを示すフローチャートである。
第３実施形態において、把持タイプの片手コントローラに関し、ジャイロセンサからの情報を用いて持ち替え動作の検出と保持手の判別が行われる際のイメージの一例を示す図である。
第３実施形態において、装着タイプの片手コントローラに関し、ジャイロセンサからの情報を用いて持ち替え動作の検出と保持手の判別が行われる際のイメージの一例を示す図である。
第３実施形態において、持ち替えの際の片手コントローラの角速度の変化の一例を示すグラフである。
第３実施形態において、持ち替えの際の片手コントローラの角度の変化の一例を示すグラフである。
第３実施形態における片手コントローラの右回転のイメージを示す図である。
第４実施形態において、仮想空間でプレゼンテーションが行われる際のイメージの事例を示す図である。
第４～第５実施形態での情報処理装置の機能構成を示すブロック図である。
第４～第５実施形態での情報処理装置の処理の流れを示すフローチャートである。
第４実施形態でのポインティング機能セットおよびサポート機能セットの一例を示す図である。
第５実施形態での利き手機能セットおよび非利き手機能セットの一例を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許