特許ウォッチ

公開番号2024053967
公報種別公開特許公報(A)
公開日2024-04-16
出願番号2022160515
出願日2022-10-04
発明の名称視線検出装置、撮像装置、視線検出方法、およびプログラム
出願人キヤノン株式会社
代理人個人,個人,個人
主分類H04N 23/60 20230101AFI20240409BHJP(電気通信技術)
要約【課題】ユーザの負担を軽減しつつ高精度な補正を行うことが可能な視線検出装置を提供する。
【解決手段】視線検出装置(3)は、眼球用撮像素子(17)から取得されたユーザの眼球画像に基づいて、表示素子(10)上におけるユーザの推定注視点位置を取得する推定手段(3a)と、推定注視点位置とユーザの実際の注視点位置との差を低減するように、推定注視点位置のキャリブレーションを実施する補正手段(3b)と、補正手段がキャリブレーションを実施した際のユーザの第1瞳孔径と、推定手段が推定注視点位置を取得した際のユーザの第2瞳孔径との差分に基づいて、キャリブレーションを再実施するか否かを判定する判定手段(3c)とを有する。
【選択図】図10
特許請求の範囲【請求項１】
眼球用撮像素子から取得されたユーザの眼球画像に基づいて、表示素子上におけるユーザの推定注視点位置を取得する推定手段と、
前記推定注視点位置とユーザの実際の注視点位置との差を低減するように、前記推定注視点位置のキャリブレーションを実施する補正手段と、
前記補正手段が前記キャリブレーションを実施した際のユーザの第１瞳孔径と、前記推定手段が前記推定注視点位置を取得した際のユーザの第２瞳孔径との差分に基づいて、前記キャリブレーションを再実施するか否かを判定する判定手段と、を有することを特徴とする視線検出装置。
続きを表示（約 1,100 文字）【請求項２】
前記判定手段が前記キャリブレーションを再実施すると判定した場合、前記キャリブレーションの再実施に関する情報をユーザへ報知する報知手段を更に有することを特徴とする請求項１に記載の視線検出装置。
【請求項３】
前記補正手段は、前記報知手段により報知された前記情報に応じて、ユーザにより前記キャリブレーションの再実施が指示されたと判定した場合、前記キャリブレーションを再実施することを特徴とする請求項２に記載の視線検出装置。
【請求項４】
前記判定手段は、前記差分の絶対値が所定値よりも大きいと判定した場合、前記キャリブレーションを再実施すると判定することを特徴とする請求項１に記載の視線検出装置。
【請求項５】
前記判定手段は、前記第１瞳孔径または前記第２瞳孔径の少なくとも一方に基づいて、前記所定値を変更することを特徴とする請求項４に記載の視線検出装置。
【請求項６】
瞳孔径ごとに異なる複数の値を記憶する記憶手段を更に有し、
前記判定手段は、前記第１瞳孔径または前記第２瞳孔径の少なくとも一方に基づいて、前記記憶手段に記憶されている前記複数の値から前記所定値を選択することを特徴とする請求項４に記載の視線検出装置。
【請求項７】
前記キャリブレーションにより算出された複数の瞳孔径と複数のキャリブレーション情報とをそれぞれ関連付けて記憶する記憶手段を更に有し、
前記判定手段は、前記第２瞳孔径に基づいて、前記記憶手段に記憶されている前記複数の瞳孔径から前記第１瞳孔径を選択することを特徴とする請求項１に記載の視線検出装置。
【請求項８】
前記判定手段が前記キャリブレーションを再実施すると判定した場合、前記キャリブレーションの再実施に関する情報をユーザへ報知する報知手段を更に有し、
前記記憶手段は、前記キャリブレーションの実施が推奨される複数の推奨瞳孔径を予め記憶しており、
前記報知手段は、前記記憶手段に記憶されている前記複数の推奨瞳孔径のうち、前記キャリブレーションが実施されていない推奨瞳孔径に関する情報を報知することを特徴とする請求項７に記載の視線検出装置。
【請求項９】
前記推奨瞳孔径に関する情報は、前記推奨瞳孔径を想起させる情報であることを特徴とする請求項８に記載の視線検出装置。
【請求項１０】
前記判定手段は、前記表示素子の明るさを変更して前記第２瞳孔径を調節することを特徴とする請求項１に記載の視線検出装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、視線検出装置、撮像装置、視線検出方法、およびプログラムに関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
特許文献１には、ファインダを覗くユーザの視線位置の情報に基づいてユーザが意図する被写体を認識し、焦点制御を行うことを可能とするカメラ制御装置が開示されている。また特許文献１には、カメラがユーザの視線位置を検出する際に、ユーザの意図した視線位置とカメラが認識するユーザの視線位置の間にズレが生じ、ユーザの意図する被写体に焦点を合わせることができない場合がある。撮影前にファインダ内に指標を表示し、ユーザにその指標を注視するよう指示を出し、その注視状態において、ユーザの視線位置を検出し、該指標位置とのずれ量を検出する作業を行う。その検出されたずれ量だけ、撮影時にカメラが認識するユーザの視線検出位置を補正することで、よりユーザの意図どおりの視線位置を検出することを可能とするキャリブレーション技術が開示されている。
【０００３】
特許文献１には、ユーザの視線位置を検出する際に、ユーザが意図する視線位置とカメラが検出する視線位置との間にずれがある場合、カメラが検出する視線位置を補正する撮像装置が開示されている。特許文献２には、表示された注視点位置を示す指標の位置をユーザが手動で変更することが可能な撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開２００４－８３２３号公報
特開２０２０－１０６５５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、接眼した際のユーザの瞳孔径によってカメラが検出する注視点位置が変化することが知られている。特許文献１に開示された構成では、瞳孔径に応じたキャリブレーションを実施できているとは限らない。また、ユーザがキャリブレーション時の瞳孔径を自覚しておき、撮影時に改めてキャリブレーションをすべきか否かを判断することは難しい。特許文献２に開示された撮像装置では、キャリブレーション時の注視位置を変更すると、補正精度を高めることが難しい。
【０００６】
そこで本発明は、ユーザの負担を軽減しつつ高精度な補正を行うことが可能な視線検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面としての視線検出装置は、眼球用撮像素子から取得されたユーザの眼球画像に基づいて、表示素子上におけるユーザの推定注視点位置を取得する推定手段と、前記推定注視点位置とユーザの実際の注視点位置との差を低減するように、前記推定注視点位置のキャリブレーションを実施する補正手段と、前記補正手段が前記キャリブレーションを実施した際のユーザの第１瞳孔径と、前記推定手段が前記推定注視点位置を取得した際のユーザの第２瞳孔径との差分に基づいて、前記キャリブレーションを再実施するか否かを判定する判定手段とを有する。
【０００８】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【０００９】
本発明によれば、ユーザの負担を軽減しつつ高精度な補正を行うことが可能な視線検出装置を提供することができる。
【図面の簡単な説明】
【００１０】
第１実施形態における撮像装置の外観図である。
第１実施形態における撮像装置の内部構成図である。
第１実施形態における撮像装置のブロック図である。
第１実施形態におけるファインダ内視野の説明図である。
第１実施形態における視線検出原理の説明図である。
第１実施形態における眼球用撮像素子に投影される眼球画像および眼球用撮像素子の出力強度の説明図である。
第１実施形態における視線検出処理を示すフローチャートである。
第１実施形態における瞳孔径に対応した複数の所定値のルックアップテーブルである。
第１実施形態におけるファインダ内視野の説明図である。
第１、第２実施形態におけるキャリブレーションの再実施要否を報知する処理を示すフローチャートである。
第２、第３実施形態における瞳孔径に対応する複数のキャリブレーション情報のルックアップテーブルである。
第３実施形態における報知画面の説明図である。
第３実施形態におけるキャリブレーションの再実施要否を報知する処理を示すフローチャートである。
第４実施形態における瞳孔径の調整処理を示すフローチャートである。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許