TOP特許意匠商標
特許ウォッチ DM通知 Twitter
公開番号2021078073
公報種別公開特許公報(A)
公開日20210520
出願番号2019205442
出願日20191113
発明の名称表示装置
出願人キヤノン株式会社
代理人特許業務法人秀和特許事務所
主分類H04N 5/232 20060101AFI20210423BHJP(電気通信技術)
要約【課題】観察範囲の意図せぬ変化を抑制することができると共に、肉眼での観察に近い感覚(違和感のない又は少ない感覚)をユーザに与えることのできる技術を提供する。
【解決手段】本発明の表示装置は、撮像手段と、前記撮像手段によって撮像された画像を表示する表示手段と、前記表示装置の姿勢を検出する姿勢検出手段と、前記表示手段に対するユーザの視線を検出する視線検出手段と、前記姿勢検出手段で検出された前記姿勢の変化量が所定量よりも小さい場合に、前記視線検出手段で検出された前記視線に基づいて前記撮像手段の撮像方向を制御することはせず、前記姿勢の変化量が前記所定量よりも大きい場合に、前記視線に基づいて前記撮像方向を制御する制御手段と、を有することを特徴とする。
【選択図】図1
特許請求の範囲【請求項1】
表示装置であって、
撮像手段と、
前記撮像手段によって撮像された画像を表示する表示手段と、
前記表示装置の姿勢を検出する姿勢検出手段と、
前記表示手段に対するユーザの視線を検出する視線検出手段と、
前記姿勢検出手段で検出された前記姿勢の変化量が所定量よりも小さい場合に、前記視線検出手段で検出された前記視線に基づいて前記撮像手段の撮像方向を制御することはせず、前記姿勢の変化量が前記所定量よりも大きい場合に、前記視線に基づいて前記撮像方向を制御する制御手段と、
を有することを特徴とする表示装置。
続きを表示(約 1,300 文字)【請求項2】
前記制御手段は、前記姿勢の変化量が前記所定量よりも大きい場合に、前記姿勢の変化方向と逆方向の前記視線の変化があったならば、前記姿勢の変化による前記撮像方向の変化が小さくなるように、前記撮像方向を制御する
ことを特徴とする請求項1に記載の表示装置。
【請求項3】
前記制御手段は、前記姿勢の変化量が前記所定量よりも大きい場合に、前記姿勢の変化方向と同方向の前記視線の変化があったならば、前記姿勢の変化による前記撮像方向の変化が大きくなるように、前記撮像方向を制御する
ことを特徴とする請求項1または2に記載の表示装置。
【請求項4】
前記制御手段は、前記姿勢の変化量が前記所定量よりも大きい場合に、前記視線の方向に前記撮像方向を合わせる
ことを特徴とする請求項1〜3のいずれか1項に記載の表示装置。
【請求項5】
前記撮像手段の焦点距離は変更可能であり、
前記制御手段は、前記焦点距離が所定距離よりも短い場合に、前記姿勢検出手段の検出結果と前記視線検出手段の検出結果とに基づいて前記撮像方向を制御することはしない、ことを特徴とする請求項1〜4のいずれか1項に記載の表示装置。
【請求項6】
前記撮像手段は、さらに、被写体距離を検出し、
前記制御手段は、さらに、検出された被写体距離に基づいて前記撮像方向を制御する
ことを特徴とする請求項1〜5のいずれか1項に記載の表示装置。
【請求項7】
前記制御手段は、さらに、前記表示装置の揺れに基づいて前記撮像方向を制御する
ことを特徴とする請求項1〜6のいずれか1項に記載の表示装置。
【請求項8】
前記撮像方向は、パン方向とチルト方向に個別に変更可能である
ことを特徴とする請求項1〜7のいずれか1項に記載の表示装置。
【請求項9】
前記パン方向へ前記撮像方向を変更する制御方法は、前記チルト方向へ前記撮像方向を変更する制御方法と異なる
ことを特徴とする請求項8に記載の表示装置。
【請求項10】
前記表示装置は、前記ユーザの頭部に固定される
ことを特徴とする請求項1〜9のいずれか1項に記載の表示装置。
【請求項11】
撮像手段と、前記撮像手段によって撮像された画像を表示する表示手段とを有する表示
装置の制御方法であって、
前記表示装置の姿勢を検出する姿勢検出ステップと、
前記表示手段に対するユーザの視線を検出する視線検出ステップと、
前記姿勢検出ステップで検出された前記姿勢の変化量が所定量よりも小さい場合に、前記視線検出ステップで検出された前記視線に基づいて前記撮像手段の撮像方向を制御することはせず、前記姿勢の変化量が前記所定量よりも大きい場合に、前記視線に基づいて前記撮像方向を制御する制御ステップと、
を有することを特徴とする制御方法。
【請求項12】
コンピュータを、請求項1〜10のいずれか1項に記載の表示装置の各手段として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【0001】
本発明は、表示装置に関し、特に電子双眼鏡に関する。
続きを表示(約 6,900 文字)【背景技術】
【0002】
電子双眼鏡は、カメラと、使用時にユーザの目の前に配置されるディスプレイとを備え、カメラで撮影した映像をディスプレイ上にリアルタイムに表示する表示装置である。ユーザは、電子双眼鏡のディスプレイに表示された映像(望遠映像)を見ることで、双眼鏡を覗いたように遠くを観察することができる。電子双眼鏡には、ヘッドマウントディスプレイのように頭部に対して着脱可能(ウェアラブル)に構成されたものがある。
【0003】
特許文献1には、ユーザの視線位置を検出し、視線位置が撮影範囲の中心位置となるように撮影範囲を制御する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
特開2015−149552号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
電子双眼鏡の使用時には、肉眼での観察と同じように視界がユーザに提供されることが望ましい。肉眼での観察の場合は、頭部の動きや顔の向き(方向)とは関係なく、視線の向きに視界が広がる。しかし、一般的な電子双眼鏡の場合は、視線の向きとは関係なく、頭部の動きによって視界(ディスプレイ上に表示される映像の被写体範囲(画角);観察範囲)が変化する。頭部の意図せぬ動きによって観察範囲が変化するため、ユーザは違和感をもち、観察に没入しづらくなる。特に望遠倍率の高い映像を表示する場合には、頭部のわずかな振れによって、観察範囲が大きく変化する。
【0006】
また、撮影範囲が観察範囲となるような表示を行うように特許文献1に開示の技術を用いると、視線位置が撮影範囲の中心位置となるため、ユーザが所望の観察範囲の中で全体を見渡したいときでも視線によって観察範囲が変わってしまう。
【0007】
このように、従来技術では、観察範囲の意図せぬ変化が発生したり、肉眼での観察とはほど遠い感覚(違和感)をユーザに与えたりしてしまう。このような課題は、ウェアラブルな電子双眼鏡の場合でも、ウェアラブルでない電子双眼鏡の場合でも生じる。
【0008】
本発明は、観察範囲の意図せぬ変化を抑制することができると共に、肉眼での観察に近い感覚(違和感のない又は少ない感覚)をユーザに与えることのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の第1の態様は、
表示装置であって、
撮像手段と、
前記撮像手段によって撮像された画像を表示する表示手段と、
前記表示装置の姿勢を検出する姿勢検出手段と、
前記表示手段に対するユーザの視線を検出する視線検出手段と、
前記姿勢検出手段で検出された前記姿勢の変化量が所定量よりも小さい場合に、前記視
線検出手段で検出された前記視線に基づいて前記撮像手段の撮像方向を制御することはせず、前記姿勢の変化量が前記所定量よりも大きい場合に、前記視線に基づいて前記撮像方向を制御する制御手段と、
を有することを特徴とする表示装置である。
【0010】
本発明の第2の態様は、
撮像手段と、前記撮像手段によって撮像された画像を表示する表示手段とを有する表示装置の制御方法であって、
前記表示装置の姿勢を検出する姿勢検出ステップと、
前記表示手段に対するユーザの視線を検出する視線検出ステップと、
前記姿勢検出ステップで検出された前記姿勢の変化量が所定量よりも小さい場合に、前記視線検出ステップで検出された前記視線に基づいて前記撮像手段の撮像方向を制御することはせず、前記姿勢の変化量が前記所定量よりも大きい場合に、前記視線に基づいて前記撮像方向を制御する制御ステップと、
を有することを特徴とする制御方法である。
【0011】
本発明の第3の態様は、コンピュータを上述した表示装置の各手段として機能させるためのプログラムである。
【発明の効果】
【0012】
本発明によれば、観察範囲の意図せぬ変化を抑制することができると共に、ユーザに肉眼での観察に近い感覚(違和感のない又は少ない感覚)を与えることができる。
【図面の簡単な説明】
【0013】
実施例1に係る処理フローを示すフローチャートである。
実施例1,2に係る電子双眼鏡の外観図である。
実施例1,2に係る電子双眼鏡のブロック図である。
実施例1,2に係る表示装置とユーザの状態を示す模式図である。
実施例1,2に係る被写体距離と回動量の関係を示す模式図である。
実施例2に係る処理フローを示すフローチャートである。
【発明を実施するための形態】
【0014】
<実施例1>
以下、本発明の実施例1について説明する。なお、ヘッドマウントディスプレイのように頭部に対して着脱可能(ウェアラブル)な電子双眼鏡に本発明を適用した例を説明するが、本発明が適用可能な表示装置はウェアラブルな電子双眼鏡に限られない。例えば、ウェアラブルでない電子双眼鏡に本発明を適用してもよいし、頭部に対して着脱可能な他のウェアラブルデバイス(例えば、VRゴーグル、ARグラス、MRグラス、スマートグラスなどのヘッドマウントディスプレイ)に本発明を適用してもよい。ユーザが周囲を肉眼で見ることができない(ユーザが両目で画像を見ることができる)ように両目を覆う表示装置(VRゴーグルなど)に、本発明を適用してもよい。ユーザが一方の目で画像を見ることができ、他方の目で周囲を肉眼で見ることができるように一方の目のみを覆う表示装置に、本発明を適用してもよい。詳細は後述するが、本発明によれば、ユーザが周囲を肉眼で見ることができない状況でも好適な観察が可能となるため、本発明は、両目を覆う表示装置に対して好適に適用できる。
【0015】
図2(A),2(B)は、実施例1に係る電子双眼鏡10のハードウェア構成を示す外観図である。図2(A)は電子双眼鏡10を前方側から見た前面斜視図であり、図2(B)は電子双眼鏡10を後方向から見た背面斜視図である。電子双眼鏡10は、眼鏡型の電子双眼鏡であり、頭部に対して着脱可能である。具体的には、電子双眼鏡10の左右のテ
ンプル100で頭部を挟むことで、電子双眼鏡10が頭部に固定(装着)される。電子双眼鏡10は、テンプル100の他に、カメラ101、ディスプレイ102,103、パンニング部104、チルト部105、ジャイロセンサ106、視線検出部107、及び、操作部材108を有する。
【0016】
カメラ101は撮像部であり、図2(A)に矢印で示すように、パン方向とチルト方向に個別に回動可能である。つまり、カメラ101の撮像方向は、パン方向とチルト方向に個別に変更可能である。パンニング部104は、パンニング部104に内蔵されたアクチュエータを駆動することにより、カメラ101をパン方向(電子双眼鏡10に対してカメラ101を左右に傾ける方向)に回動させる。チルト部105は、チルト部105に内蔵されたアクチュエータを駆動することにより、カメラ101をチルト方向(電子双眼鏡10に対してカメラ101を上下に傾ける方向)に回動させる。なお、撮像方向を変更する変更方向やメカニズムなどは特に限定されない。
【0017】
また、カメラ101は、その焦点距離を変更可能に構成されている。実施例1では、カメラ101の焦点距離が、電子双眼鏡10に対してユーザが行った操作(ユーザ操作)に応じて、100mmと400mm(いずれも35mmフルサイズ換算での焦点距離)の2段階で切り替えられるとする。操作部材108は、ユーザ操作を受け付ける部材(ボタンやスイッチなど)であり、例えばカメラ101の焦点距離の変更(切り替え)や、電子双眼鏡10の電源ON/OFFなどを指示するユーザ操作を受け付ける。なお、設定可能な焦点距離の数や範囲などは特に限定されない。焦点距離が所定の範囲内でシームレスに変更可能であってもよい。
【0018】
さらに、カメラ101は、オートフォーカス機能を有し、撮像範囲に含まれる被写体に対して自動的に合焦するように構成されている。ピント調整(オートフォーカス)において駆動する不図示のフォーカシングレンズの停止位置によって、ピントが合う(合焦する)被写体距離は一意に決まる。このため、フォーカシングレンズの停止位置と被写体距離との関係を示す情報(テーブルや関数)を予め電子双眼鏡10に格納することで、電子双眼鏡10において、当該情報を用いて、フォーカシングレンズの停止位置から、被写体距離を検出できるようになる。カメラ101は、このような方法で被写体距離を検出する機能も有する。なお、被写体距離の検出方法は特に限定されない。
【0019】
ディスプレイ102,103は、カメラ101によって撮像された画像を表示する表示部である。電子双眼鏡10をユーザが装着することで、ディスプレイ102はユーザの右目の前に配置され、ディスプレイ103はユーザの左目の前に配置される。このため、ユーザは、ディスプレイ102に表示された画像を右目で、ディスプレイ103に表示された画像を左目で見ることになる。
【0020】
ジャイロセンサ106は、電子双眼鏡10の姿勢を検出する姿勢検出部であり、電子双眼鏡10の姿勢の変化(変化の有無や方向、大きさ等)を検出することもできる。電子双眼鏡10をユーザが装着している場合には、電子双眼鏡10の姿勢はユーザの頭部の姿勢に対応する。このため、ジャイロセンサ106は、頭部の姿勢や動き(振れ)を検出できる。
【0021】
視線検出部(視線検出センサ)107は、ディスプレイ102,103に対するユーザの(相対的な)視線を検出する。視線検出部107は、視線の変化(変化の有無や方向、大きさ等)を検出することもできる。
【0022】
図3は、電子双眼鏡10の構成を示すブロック図である。CPU201は、電子双眼鏡10の各部を制御する。CPU201は、カメラ101、ディスプレイ102,103、
ジャイロセンサ106、視線検出部107、操作部材108、カメラ回動部202などに接続されている。CPU201は、電子双眼鏡10の各部からの情報を処理したり、処理結果に応じて各部の動作を制御したりする。カメラ回動部202は、パンニング部104とチルト部105を含み、CPU201からの指示に応じて、カメラ101をパン方向やチルト方向に回動させる。
【0023】
図1は、実施例1に係る処理フロー(電子双眼鏡10の処理フロー)を示すフローチャートである。図1の処理フローは、例えば、CPU201が不図示のROMに格納されているプログラムを不図示のRAMに展開して実行することにより実現される。電子双眼鏡10の電源ONを指示するユーザ操作が行われると、電子双眼鏡10が起動し、カメラ101で撮像された画像をディスプレイ(ディスプレイ102,103)上にリアルタイムに表示する処理が開始される。これにより、ユーザは、カメラ101によって撮像されてディスプレイに表示された画像を見て、被写体の観察を始めることができる。そして、図1の処理フローが開始する。カメラ101の焦点距離の初期値(電源ON直後の焦点距離)は特に限定されないが、ユーザが観察対象を見つけやすいように、広角の焦点距離であることが好ましい。実施例1では、電源ON直後に焦点距離が100mmに制御されるとする。図1では示されていないが、焦点距離の変更(切り替え)を指示するユーザ操作が図1の処理フロー中に行われる度に、焦点距離は、100mmと400mmの一方から他方へ切り替えられる。
【0024】
図4(A)は、カメラ101の撮像方向の初期方向(電源ON直後の撮像方向;基準方向)を示す。図4(A)に示すように、基準方向は、カメラ101の光軸が電子双眼鏡10の正面方向(電子双眼鏡10を装着したユーザの顔が向いている方向)と平行になる方向である。図4(A)は、撮像方向のパン方向成分が分かるように、ユーザの頭上を見る視点で描かれているが、撮像方向のチルト方向成分も同様である。なお、以下ではパン方向へ撮像方向を変更する制御のみを説明するが、撮像方向は、パン方向へ撮像方向を変更する制御方法と同様の制御方法で、チルト方向へも変更される。
【0025】
図3のS101では、カメラ101は、撮像した画像に基づいて、オートフォーカス(AF)制御や自動露出(AE)制御を行う。
【0026】
S102では、カメラ101は、S101のAF制御の結果から、被写体距離Lを検出(取得)し、CPU201は、検出された被写体距離Lに基づいてカメラ101の回動量A1を決定(算出)する。
【0027】
図5は、被写体距離Lと回動量A1の関係を示す。図5の星印は、ユーザの正面に存在する観察対象を示す。通常、肉眼での観察では、ユーザは、被写体に顔を向け、被写体を視界の中央にとらえる。ここで、カメラ101の撮像方向が基準方向である場合を考える。この場合に、カメラ101の取り付け位置に依って、肉眼でユーザの視界の中央にとらえられる観察対象が、ディスプレイの中央に表示されず、ユーザが違和感を覚えてしまうことがある。S102で決定される回動量A1は、このような違和感を低減するための回動量である。ここで、左に向かう回動方向を正方向とし、右に向かう回動方向を負方向とする。図5では、頭部の中心から右側に距離aだけずれた位置にカメラ101が取り付けられている。このため、回動量A1=φ1=arctan(a/L1)でカメラ101を回動させることで、被写体距離L1に存在する観察対象(ユーザの正面に存在する観察対象)をディスプレイの中央に表示できる。同様に、回動量A1=φ2=arctan(a/L2)でカメラ101を回動させることで、被写体距離L2に存在する観察対象(ユーザの正面に存在する観察対象)をディスプレイの中央に表示できる。このように、S102では、被写体距離が短いほど大きい回転量A1が、被写体距離Lから、関係式「A1=arctan(a/L)」に基づいて決定される。なお、この関係式によれば、被写体距
離Lが比較的長い場合に、回転量A1は略0(ゼロ)になる。このため、遠距離の被写体のみの観察を前提とする場合や、被写体距離Lが所定距離よりも長い場合に、回転量A1=0としてもよい。
【0028】
図1のS103では、CPU201は、カメラ101の焦点距離が閾値(所定距離)よりも長いが否かを判断する。焦点距離が閾値よりも長い場合はS104へ処理が進められ、焦点距離が閾値以下の場合はS109へ処理が進められる。焦点距離が閾値以上の場合にS104へ処理が進められ、焦点距離が閾値未満の場合にS109へ処理が進められてもよい。実施例1では、設定可能な焦点距離が100mmと400mmであるため、S103では、焦点距離が400mmか否かが判断され、400mmの場合にS104へ処理が進められ、100mmの場合にS109へ処理が進められる。
【0029】
S104では、CPU201は、ジャイロセンサ106を用いて電子双眼鏡10(頭部)の姿勢を検出し、閾値(所定量)よりも大きい変化量で電子双眼鏡10(頭部)の姿勢が変化したか否かを判断する。閾値よりも大きい変化量で姿勢が変化した場合はS105へ処理が進められ、姿勢の変化量が閾値以下の場合はS109へ処理が進められる。閾値以上の変化量で姿勢が変化した場合にS105へ処理が進められ、姿勢の変化量が閾値未満の場合にS109へ処理が進められてもよい。
【0030】
S105では、CPU201は、電子双眼鏡10(頭部)の姿勢が変化している期間のユーザの視線を視線検出部107を用いて検出し、当該視線に基づいてカメラ101の撮像方向が制御されるように処理を切り替える。
(【0031】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

キヤノン株式会社
金型
キヤノン株式会社
トナー
キヤノン株式会社
包装箱
キヤノン株式会社
梱包体
キヤノン株式会社
トナー
キヤノン株式会社
トナー
キヤノン株式会社
複合機
キヤノン株式会社
トナー
キヤノン株式会社
トナー
キヤノン株式会社
トナー
キヤノン株式会社
トナー
キヤノン株式会社
トナー
キヤノン株式会社
トナー
キヤノン株式会社
トナー
キヤノン株式会社
トナー
キヤノン株式会社
トナー
キヤノン株式会社
トナー
キヤノン株式会社
トナー
キヤノン株式会社
トナー
キヤノン株式会社
トナー
キヤノン株式会社
トナー
キヤノン株式会社
システム
キヤノン株式会社
撮像装置
キヤノン株式会社
記録装置
キヤノン株式会社
現像装置
キヤノン株式会社
現像装置
キヤノン株式会社
分光装置
キヤノン株式会社
印刷装置
キヤノン株式会社
撮像装置
キヤノン株式会社
現像装置
キヤノン株式会社
記録装置
キヤノン株式会社
撮像装置
キヤノン株式会社
撮像装置
キヤノン株式会社
記録装置
キヤノン株式会社
撮影装置
キヤノン株式会社
電子機器
続きを見る