特許ウォッチ

公開番号2023129717
公報種別公開特許公報(A)
公開日2023-09-14
出願番号2023124295,2021525503
出願日2023-07-31,2019-06-13
発明の名称ヘッドマウント情報処理装置およびその制御方法
出願人マクセル株式会社
代理人弁理士法人筒井国際特許事務所
主分類G06F 3/01 20060101AFI20230907BHJP(計算;計数)
要約【課題】ユーザの利便性を向上させることが可能なヘッドマウント情報処理装置およびその制御方法を提供する。
【解決手段】ユーザの頭部に装着された状態で使用される本体デバイス2と、ユーザの手首または手に装着された状態で使用され、本体デバイスを制御するコントローラと、を有する。例えば、本体デバイス2において、方向検出部91は、コントローラの位置・姿勢センサの検出結果に基づき、コントローラの方向を演算によって検出する。回転検出部92は、コントローラの位置・姿勢センサの検出結果に基づき、コントローラの方向を回転軸とするコントローラの回転を演算によって検出する。操作命令変換部87は、方向検出部91の検出結果および回転検出部92の検出結果を、本体デバイス2に対する命令に変換する。
【選択図】図6B
特許請求の範囲【請求項１】
ユーザの頭部に装着された状態で使用される本体デバイスと、前記本体デバイスを制御するコントローラと、を有するヘッドマウント情報処理装置であって、
前記コントローラは、
前記本体デバイスと通信を行う近接通信インタフェースと、
第１のセンサと、
を有し、
前記本体デバイスは、
前記コントローラと通信を行う近接通信インタフェースと、
所定の画像を表示するディスプレイと、
を有し、
前記コントローラは、
前記第１のセンサの検出結果に基づき、前記コントローラの方向を検出する方向検出部と、
前記第１のセンサの検出結果に基づき、前記コントローラの方向を回転軸とする前記コントローラの回転を検出する回転検出部と、
を有し、
前記コントローラまたは前記本体デバイスは、
前記方向検出部の検出結果および前記回転検出部の検出結果を、前記本体デバイスに対する命令に変換する操作命令変換部を有し、
前記操作命令変換部は、
前記方向検出部によって検出された前記コントローラの方向を移動命令に変換し、
前記回転検出部によって検出された前記コントローラの回転をトリガ命令に変換し、
前記本体デバイスは、
ポインティングビームまたはカーソルの２次元空間上での指し位置を前記ディスプレイに表示し、前記２次元空間上での指し位置を前記移動命令に基づいて制御し、前記２次元空間上での指し位置が指すオブジェクトを前記トリガ命令に基づいて選択する表示制御部を有する、
ヘッドマウント情報処理装置。
続きを表示（約 2,500 文字）【請求項２】
請求項１記載のヘッドマウント情報処理装置において、
前記操作命令変換部は、
前記回転検出部によって検出された前記コントローラの回転の回転量が予め定めた回転閾値を超えた場合に前記トリガ命令を発行し、
前記回転閾値よりも小さい値である回転開始閾値を超えた場合に回転開始通知を発行し、
前記表示制御部は、
前記回転開始通知を受けた時点で、前記２次元空間上での指し位置が指す前記オブジェクトを仮選択状態にし、その後、前記トリガ命令を受けた場合に、前記トリガ命令を受けた時点での前記２次元空間上での指し位置が前記仮選択状態の前記オブジェクトを指しているか否かに関わらず前記仮選択状態の前記オブジェクトを選択状態に変更する、
ヘッドマウント情報処理装置。
【請求項３】
請求項１記載のヘッドマウント情報処理装置において、
前記操作命令変換部は、
前記コントローラを回転させた状態が維持された場合に、ドラッグ＆ドロップの開始命令を発行し、前記回転させた状態が元に戻された場合に、前記ドラッグ＆ドロップの終了命令を発行し、
前記表示制御部は、
前記ドラッグ＆ドロップの開始命令から前記ドラッグ＆ドロップの終了命令までの期間で発行された前記移動命令に応じて、前記２次元空間上での指し位置が指すオブジェクトの位置を移動する、
ヘッドマウント情報処理装置。
【請求項４】
請求項１記載のヘッドマウント情報処理装置において、
前記コントローラまたは前記本体デバイスは、
さらに、前記第１のセンサの検出結果に基づき、前記回転軸の方向に向けた前記コントローラの移動を演算によって検出する突出検出部を有し、
前記操作命令変換部は、
さらに、前記突出検出部によって検出された前記コントローラの移動を、前記本体デバイスに対する別のトリガ命令に変換する、
ヘッドマウント情報処理装置。
【請求項５】
請求項１記載のヘッドマウント情報処理装置において、
前記本体デバイスは、
前記操作命令変換部からの前記トリガ命令が一定期間発行されなかった場合、前記コントローラからの入力を無効にする、
ヘッドマウント情報処理装置。
【請求項６】
請求項１記載のヘッドマウント情報処理装置において、
前記コントローラは、
前記第１のセンサの一つである３軸角速度センサと、
前記ユーザの手を撮像するカメラと、
を備え、
前記方向検出部は、
前記第１のセンサの検出結果に基づいて検出される前記コントローラの方向に、前記カメラの撮像画像に基づいて検出される手の方向を加えた方向を、前記操作命令変換部へ出力する、
ヘッドマウント情報処理装置。
【請求項７】
請求項１記載のヘッドマウント情報処理装置において、
前記コントローラは、ウォッチ型の携帯情報端末である、
ヘッドマウント情報処理装置。
【請求項８】
請求項１記載のヘッドマウント情報処理装置において、
前記本体デバイスは、
前記第１のセンサの検出結果に基づき前記ポインティングビームまたはカーソルの２次元空間上での指し位置を調整する表示調整部と、
第２のセンサと、
前記第２のセンサの検出結果に基づき、前記本体デバイスの回転を検出する本体デバイス回転検出部と、
を有し、
前記本体デバイス回転検出部が、前記本体デバイスの回転を検知した場合、
前記表示調整部は、
前記ポインティングビームまたはカーソルの２次元空間上での指し位置を、前記本体デバイスの回転方向とは逆方向に移動した位置に表示する、
ヘッドマウント情報処理装置。
【請求項９】
ユーザの頭部に装着された状態で使用される本体デバイスと、前記本体デバイスを制御するコントローラと、を有するヘッドマウント情報処理装置の制御方法であって、
前記コントローラは、前記本体デバイスと通信を行う近接通信インタフェースと、第１のセンサと、を有し、
前記本体デバイスは、前記コントローラと通信を行う近接通信インタフェースと、所定の画像を表示するディスプレイと、を有し、
前記第１のセンサの検出結果に基づき、前記コントローラの方向を検出し、
前記第１のセンサの検出結果に基づき、前記コントローラの方向を回転軸とする前記コントローラの回転を検出し、
検出された前記コントローラの方向を移動命令に変換し、
検出された前記コントローラの回転をトリガ命令に変換し、
ポインティングビームまたはカーソルの２次元空間上での指し位置を前記ディスプレイに表示し、前記２次元空間上での指し位置を前記移動命令に基づいて制御し、前記２次元空間上での指し位置が指すオブジェクトを前記トリガ命令に基づいて選択する、
ヘッドマウント情報処理装置の制御方法。
【請求項１０】
請求項９記載のヘッドマウント情報処理装置の制御方法において、
検出された前記コントローラの回転の回転量が予め定めた回転閾値を超えた場合に前記トリガ命令を発行し、
前記回転閾値よりも小さい値である回転開始閾値を超えた場合に回転開始通知を発行し、
前記回転開始通知を受けた時点で、前記２次元空間上での指し位置が指す前記オブジェクトを仮選択状態にし、その後、前記トリガ命令を受けた場合に、前記トリガ命令を受けた時点での前記２次元空間上での指し位置が前記仮選択状態の前記オブジェクトを指しているか否かに関わらず前記仮選択状態の前記オブジェクトを選択状態に変更する、
ヘッドマウント情報処理装置の制御方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、ヘッドマウント情報処理装置およびその制御方法に関し、コントローラによってヘッドマウント情報処理装置を制御する技術に関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
特許文献１には、両手首の回りに着用される各ウェアラブルデバイスにそれぞれカメラを設置し、左手および右手のカメラでそれぞれ右手および左手の画像データを取得することで、両手のジェスチャを認識する方式が示される。また、取得した画像データが手の位置を示さないと判断される際に、各ウェアラブルデバイスに設置された慣性センサを用いてウェアラブルデバイスの位置を決定する方式が示される。
【先行技術文献】
【特許文献】
【０００３】
特表２０１７－５１６１８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ヘッドマウント情報処理装置は、ＨＭＤ（Head Mounted Display）とも呼ばれ、ユーザの頭部に装着された状態で使用され、ディスプレイに拡張現実（ＡＲ）の情報や仮想現実（ＶＲ）の情報等を表示することができる。このようなヘッドマウント情報処理装置（以降、ＨＭＤと略す場合有り）では、ユーザは、ＨＭＤ附属のコントローラを手に所持した状態で、コントローラを介してＨＭＤの制御を行う場合がある。しかし、この場合、ユーザの手がコントローラによって塞がってしまい、手を自由に使うことが困難になり得る。その結果、ユーザの利便性が低下する恐れがある。
【０００５】
本発明は、このようなことに鑑みてなされたものであり、その目的の一つは、ユーザの利便性を向上させることが可能なヘッドマウント情報処理装置およびその制御方法を提供することにある。
【０００６】
本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【０００７】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
【０００８】
代表的なヘッドマウント情報処理装置は、ユーザの頭部に装着された状態で使用される本体デバイスと、ユーザの手首または手に装着された状態で使用され、本体デバイスを制御するコントローラと、を有する。コントローラは、本体デバイスと通信を行う近接通信インタフェースと、コントローラの位置・姿勢を検出する位置・姿勢センサと、を有する。本体デバイスは、コントローラと通信を行う近接通信インタフェースと、所定の画像を表示するディスプレイと、を有する。コントローラまたは本体デバイスは、方向検出部と、回転検出部と、操作命令変換部と、を有する。方向検出部は、位置・姿勢センサの検出結果に基づき、コントローラの方向を演算によって検出する。回転検出部は、位置・姿勢センサの検出結果に基づき、コントローラの方向を回転軸とするコントローラの回転を演算によって検出する。操作命令変換部は、方向検出部の検出結果および回転検出部の検出結果を、本体デバイスに対する命令に変換する。
【発明の効果】
【０００９】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、ヘッドマウント情報処理装置において、ユーザの利便性を向上させることが可能になる。
【図面の簡単な説明】
【００１０】
本発明の実施の形態１によるヘッドマウント情報処理装置の外形例を示す概略図である。
（ａ）および（ｂ）は、図１におけるコントローラのそれぞれ異なる外形例を示す概略図である。
図１において、本体デバイスのディスプレイに表示される画像の一例を示す図である。
図１において、ユーザによるコントローラの操作方法の一例を説明する図である。
図１のヘッドマウント情報処理装置の概略構成例を示す回路ブロック図である。
図５のコントローラにおけるＣＰＵ周りの主要部の構成例を示すブロック図である。
図５の本体デバイスにおけるＣＰＵ周りの主要部の構成例を示すブロック図である。
図５のヘッドマウント情報処理装置における概略的な制御方法の一例を示すフロー図である。
図６Ａのコントローラに紐付けされるコントローラ座標系の一例を示す図である。
図６Ａのコントローラに紐付けされるコントローラ座標系の一例を示す図である。
図７において、コントローラ方向の検出とビーム位置の更新に伴う処理内容の一例を説明する図である。
図６Ｂの本体デバイスに紐付けされるユーザ座標系の一例を示す図である。
図６Ｂの表示制御部によってディスプレイに表示されるポインティングビームの表示態様の一例を示す図である。
図６Ｂの操作命令変換部において、トリガ命令の判別方法の一例を示す図である。
図６Ｂの操作命令変換部において、トリガ命令の判別方法の他の一例を示す図である。
図６Ｂの操作命令変換部および表示制御部において、オブジェクトの選択に伴う処理内容の一例を説明する図である。
図６Ｂの操作命令変換部および表示制御部において、オブジェクトの選択に伴う他の処理内容の一例を説明する図である。
図６Ｂの操作命令変換部において、オブジェクトの選択に伴う処理内容の一例を説明する図である。
図１において、本体デバイスのディスプレイに表示される図３とは異なる画像の一例を示す図である。
本発明の実施の形態２によるヘッドマウント情報処理装置において、図６Ｂの操作命令変換部によるトリガ命令の判別方法の一例を示す図である。
図１６Ａに応じた、図６Ｂの表示制御部の処理内容の一例を説明する図である。
本発明の実施の形態２によるヘッドマウント情報処理装置において、図６Ｂの本体デバイスの変形例を示すブロック図である。
図１７に応じた、ユーザによるコントローラの操作方法の一例を説明する図である。
図１７の操作命令変換部において、トリガ命令の判別方法の一例を示す図である。
本発明の実施の形態３によるヘッドマウント情報処理装置において、図６Ａおよび図６Ｂの構成例を利用したその他の制御方法の一例を説明する図である。
本発明の実施の形態４によるヘッドマウント情報処理装置において、コントローラの装着箇所の変形例を示す図である。
図２１のヘッドマウント情報処理装置において、ディスプレイに表示される画像の一例を示す図である。
本発明の実施の形態４によるヘッドマウント情報処理装置において、ユーザ座標系の変形例を示す図である。
本発明の比較例となるヘッドマウント情報処理装置において、コントローラの外形例を示す概略図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許