特許ウォッチ

公開番号2025015685
公報種別公開特許公報(A)
公開日2025-01-30
出願番号2024199571,2022105685
出願日2024-11-15,2022-06-30
発明の名称頭部装着型表示装置、状態判断装置、頭部装着型表示装置の制御方法、状態判断装置の制御方法、およびプログラム
出願人キヤノン株式会社
代理人弁理士法人秀和特許事務所
主分類H04N 13/366 20180101AFI20250123BHJP(電気通信技術)
要約【課題】頭部装着型表示装置の位置と姿勢の少なくとも一方を高精度に推定(判断)することのできる技術を提供する。
【解決手段】本発明の頭部装着型表示装置は、第1撮像手段と、前記第1撮像手段の撮像範囲にパターン画像を投影する投影手段と、前記パターン画像の投影範囲に重ならない範囲を撮像する第2撮像手段と、前記第1撮像手段によって撮像された第1画像に基づいて、前記頭部装着型表示装置の位置と姿勢の少なくとも一方を含んだ状態に関する第1情報を取得する第1取得手段と、前記第2撮像手段によって撮像された第2画像に基づいて、前記頭部装着型表示装置の前記状態に関する第2情報を取得する第2取得手段と、前記第1情報と前記第2情報に基づいて、前記頭部装着型表示装置の前記状態を判断する判断手段とを有することを特徴とする。
【選択図】図1
特許請求の範囲【請求項１】
頭部装着型表示装置であって、
第１撮像手段と、
前記第１撮像手段の撮像範囲にパターン画像を投影する投影手段と、
前記パターン画像の投影範囲に重ならない範囲を撮像する第２撮像手段と、
前記第１撮像手段によって撮像された第１画像に基づいて、前記頭部装着型表示装置の位置と姿勢の少なくとも一方を含んだ状態に関する第１情報を取得する第１取得手段と、
前記第２撮像手段によって撮像された第２画像に基づいて、前記頭部装着型表示装置の前記状態に関する第２情報を取得する第２取得手段と、
前記第１情報と前記第２情報に基づいて、前記頭部装着型表示装置の前記状態を判断する判断手段と
を有することを特徴とする頭部装着型表示装置。
続きを表示（約 1,200 文字）【請求項２】
前記第１取得手段は、前記第１画像に基づいて、前記頭部装着型表示装置の前記状態を推定することによって、推定した前記状態を示す前記第１情報を取得する
ことを特徴とする請求項１に記載の頭部装着型表示装置。
【請求項３】
前記第２取得手段は、前記第２画像に基づいて、所定時間あたりの前記頭部装着型表示装置の前記状態の変化を推定することによって、推定した前記変化を示す前記第２情報を取得する
ことを特徴とする請求項２に記載の頭部装着型表示装置。
【請求項４】
前記第２取得手段は、前記第２画像に基づいて、前記第２撮像手段による前回の撮像からの前記頭部装着型表示装置の前記状態の変化を推定することによって、推定した前記変化を示す前記第２情報を取得する
ことを特徴とする請求項３に記載の頭部装着型表示装置。
【請求項５】
前記判断手段は、現在から前記所定時間前のタイミングで得られた前記第１情報が示す前記状態に、現在の前記第２情報が示す前記変化を加えることによって、現在の前記状態を判断する
ことを特徴とする請求項３または４に記載の頭部装着型表示装置。
【請求項６】
前記判断手段は、現在から前記所定時間前のタイミングで得られた前記第１情報が示す前記状態に、現在の前記第２情報が示す前記変化と、前記所定時間前の前記タイミングから現在までの期間における前記第１情報が示す前記状態の変化とを重みづけ合成した変化を加えることによって、現在の前記状態を判断する
ことを特徴とする請求項３または４に記載の頭部装着型表示装置。
【請求項７】
前記判断手段は、前記重みづけ合成において、前記第１画像から検出される特徴点の数と、前記第２画像から検出される特徴点の数とに基づく重みを使用する
ことを特徴とする請求項６に記載の頭部装着型表示装置。
【請求項８】
前記判断手段は、前記第１画像から検出される特徴点の数が閾値よりも多い場合には、前記第１情報が示す前記状態を、前記頭部装着型表示装置の前記状態として判断する
ことを特徴とする請求項２に記載の頭部装着型表示装置。
【請求項９】
前記判断手段は、前記第１画像から検出される特徴点の数が閾値よりも少ない場合に、前記第１情報と前記第２情報に基づいて、前記頭部装着型表示装置の前記状態を判断することを特徴とする請求項２に記載の頭部装着型表示装置。
【請求項１０】
前記第１取得手段は、前記第１画像に対応する距離情報に基づいて、前記頭部装着型表示装置の前記状態を推定する
ことを特徴とする請求項２に記載の頭部装着型表示装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、頭部装着型表示装置、状態判断装置、頭部装着型表示装置の制御方法、状態判断装置の制御方法、およびプログラムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
頭部装着型表示装置（例えばＨＭＤ（ヘッドマウントディスプレイ））として、カメラによって撮像された画像（撮像画像）に基づいて自身の位置と姿勢を推定可能な表示装置が提案されている。そのような頭部装着型表示装置に関する技術は、例えば、特許文献１に開示されている。推定した位置と姿勢を用いることによって、ユーザーに対して画像を好適に表示できるようになる。例えば、現実空間に対して仮想空間または仮想物体の画像を違和感なく合成できるようになる。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－００９５５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の頭部装着型表示装置では、頭部装着型表示装置の位置と姿勢を高精度に推定できないことがある。例えば、頭部装着型表示装置を装着したユーザーが頭部を素早く動かした場合に、カメラで追跡する現実空間の特徴点が当該カメラの撮像範囲の外に出たり、撮像画像に特徴点の動きボケが発生したりする。その結果、特徴点が追跡できなくなり、頭部装着型表示装置の位置と姿勢が高精度に推定できなくなる。
【０００５】
本発明は、頭部装着型表示装置の位置と姿勢の少なくとも一方を高精度に推定（判断）することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１態様は、頭部装着型表示装置であって、第１撮像手段と、前記第１撮像手段の撮像範囲にパターン画像を投影する投影手段と、前記パターン画像の投影範囲に重ならない範囲を撮像する第２撮像手段と、前記第１撮像手段によって撮像された第１画像に基づいて、前記頭部装着型表示装置の位置と姿勢の少なくとも一方を含んだ状態に関する第１情報を取得する第１取得手段と、前記第２撮像手段によって撮像された第２画像に基づいて、前記頭部装着型表示装置の前記状態に関する第２情報を取得する第２取得手段と、前記第１情報と前記第２情報に基づいて、前記頭部装着型表示装置の前記状態を判断する判断手段とを有することを特徴とする頭部装着型表示装置である。
【０００７】
本発明の第２態様は、第１撮像手段と第２撮像手段を有する頭部装着型表示装置と共に使用可能な状態判断装置であって、前記第１撮像手段によって撮像された第１画像に基づいて、前記頭部装着型表示装置の位置と姿勢の少なくとも一方を含んだ状態を推定する第１推定手段と、前記第２撮像手段によって撮像された第２画像に基づいて、所定時間あたりの前記頭部装着型表示装置の前記状態の変化を推定する第２推定手段と、前記第１推定手段の推定結果と前記第２推定手段の推定結果とに基づいて、前記頭部装着型表示装置の前記状態を判断する判断手段とを有することを特徴とする状態判断装置である。
【０００８】
本発明の第３態様は、前記第１撮像手段と、前記第２撮像手段と、上述した状態判断装
置とを有することを特徴とする頭部装着型表示装置である。
【０００９】
本発明の第４態様は、第１撮像手段と、前記第１撮像手段の撮像範囲にパターン画像を投影する投影手段と、前記パターン画像の投影範囲に重ならない範囲を撮像する第２撮像手段とを有する頭部装着型表示装置の制御方法であって、前記第１撮像手段によって撮像された第１画像に基づいて、前記頭部装着型表示装置の位置と姿勢の少なくとも一方を含んだ状態に関する第１情報を取得する第１取得ステップと、前記第２撮像手段によって撮像された第２画像に基づいて、前記頭部装着型表示装置の前記状態に関する第２情報を取得する第２取得ステップと、前記第１情報と前記第２情報に基づいて、前記頭部装着型表示装置の前記状態を判断する判断ステップとを有することを特徴とする制御方法である。
【００１０】
本発明の第５態様は、第１撮像手段と第２撮像手段を有する頭部装着型表示装置と共に使用可能な状態判断装置の制御方法であって、前記第１撮像手段によって撮像された第１画像に基づいて、前記頭部装着型表示装置の位置と姿勢の少なくとも一方を含んだ状態を推定する第１推定ステップと、前記第２撮像手段によって撮像された第２画像に基づいて、所定時間あたりの前記頭部装着型表示装置の前記状態の変化を推定する第２推定ステップと、前記第１推定ステップの推定結果と前記第２推定ステップの推定結果とに基づいて、前記頭部装着型表示装置の前記状態を判断する判断ステップとを有することを特徴とする制御方法である。
（【００１１】以降は省略されています）

関連特許