特許ウォッチ

公開番号2024120464
公報種別公開特許公報(A)
公開日2024-09-05
出願番号2023027277
出願日2023-02-24
発明の名称瞳孔検出装置及び瞳孔検出方法
出願人国立大学法人静岡大学
代理人個人,個人
主分類A61B 3/113 20060101AFI20240829BHJP(医学または獣医学;衛生学)
要約【課題】装置の小型化を容易に実現すること。
【解決手段】瞳孔検出装置1は、カメラ10_Lと、カメラ10_Lに並んで配置されたカメラ10_Rと、カメラ10_Lに設けられた光源13_Lと、カメラ10_Rに設けられた光源13_Rと、光源の点灯のタイミングを制御し、画像データを処理する本体部20と、を備え、本体部20は、光源13_L及び光源13_Rのそれぞれを点灯させた連続したタイミングで、カメラ10_Lから第1の明瞳孔画像を、カメラ10_Rから第2の明瞳孔画像を取得し、光源13_R及び光源13_Lのそれぞれを点灯させた連続したタイミングで、カメラ10_Lから第1の暗瞳孔画像を、カメラ10_Rから第2の暗瞳孔画像を取得し、第1の明瞳孔画像と第1の暗瞳孔画像との演算画像を基にカメラ10_Lの画像上の対象者の瞳孔位置を検出し、第2の明瞳孔画像と第2の暗瞳孔画像との演算画像を基にカメラ10_Rの眼画像上の対象者の瞳孔位置を検出する。
【選択図】図1
特許請求の範囲【請求項１】
対象者の眼を撮像することにより眼画像を取得する第１のカメラと、
前記第１のカメラに並んで配置され、前記眼画像を取得する第２のカメラと、
前記第１のカメラの開口部の外側周辺に設けられた第１の光源と、
前記第２のカメラの開口部の外側周辺に設けられた第２の光源と、
前記第１の光源及び前記第２の光源の点灯のタイミングを制御する制御部、及び、前記第１のカメラによって取得された前記眼画像及び前記第２のカメラによって取得された眼画像を処理して、前記眼画像上の前記対象者の瞳孔位置を検出する算出部を含む制御装置と、を備え、
前記算出部は、
前記制御部により前記第１の光源を点灯させた第１の明瞳孔取得タイミングで、前記第１のカメラによって取得された前記眼画像である第１の明瞳孔画像を取得し、
前記制御部により前記第２の光源を点灯させた、前記第１の明瞳孔取得タイミングに対して連続したタイミングである第２の明瞳孔取得タイミングで、前記第２のカメラによって取得された前記眼画像である第２の明瞳孔画像を取得し、
前記制御部により前記第２の光源を点灯させた第１の暗瞳孔取得タイミングで、前記第１のカメラによって取得された前記眼画像である第１の暗瞳孔画像を取得し、
前記制御部により前記第１の光源を点灯させた、前記第１の暗瞳孔取得タイミングに対して連続した第２の暗瞳孔取得タイミングで、前記第２のカメラによって取得された前記眼画像である第２の暗瞳孔画像を取得し、
前記第１の明瞳孔画像と第１の暗瞳孔画像とを演算した演算画像を基に前記第１のカメラの前記眼画像上の前記対象者の瞳孔位置を検出し、前記第２の明瞳孔画像と第２の暗瞳孔画像とを演算した演算画像を基に前記第２のカメラの前記眼画像上の前記対象者の瞳孔位置を検出する、
瞳孔検出装置。
続きを表示（約 1,600 文字）【請求項２】
前記制御部は、第１の明瞳孔取得タイミングで前記第２の光源を点灯させ、第２の明瞳孔取得タイミングで前記第１の光源を点灯させ、
前記算出部は、前記第１の明瞳孔取得タイミングで得られた第１の明瞳孔画像、及び前記第２の明瞳孔取得タイミングで得られた第２の明瞳孔画像を基に、前記対象者の角膜反射像の位置を検出する、
請求項１記載の瞳孔検出装置。
【請求項３】
算出部は、第１の明瞳孔画像上における角膜反射像の推定位置を計算し、前記推定位置を、前記第１の明瞳孔取得タイミングにおける第１の光源の光量及び第２の光源の光量を基に補正することによって、前記第１の明瞳孔画像上の前記角膜反射像の位置を検出し、第２の明瞳孔画像上における角膜反射像の推定位置を計算し、前記推定位置を、前記第２の明瞳孔取得タイミングにおける第２の光源の光量及び第１の光源の光量を基に補正することによって、前記第２の明瞳孔画像上の前記角膜反射像の位置を検出する、
請求項２記載の瞳孔検出装置。
【請求項４】
前記算出部は、前記第１のカメラの前記眼画像上で検出した前記瞳孔位置及び前記角膜反射像の位置を基に前記対象者の第１の視線を検出し、前記第２のカメラの前記眼画像上で検出した前記瞳孔位置及び前記角膜反射像の位置を基に前記対象者の第２の視線を検出する、請求項２又は３に記載の瞳孔検出装置。
【請求項５】
前記算出部は、前記第１の視線に基づいた注視点と前記第２の視線に基づいた注視点の平均を計算することにより前記対象者の注視点を取得する、
請求項４に記載の瞳孔検出装置。
【請求項６】
前記第１の光源と前記第２の光源は、中心波長が同一の光源である、
請求項１～３のいずれか１項に記載の瞳孔検出装置。
【請求項７】
前記第１のカメラと前記第２のカメラとの中間位置に設けられた第３の光源をさらに備え、
前記制御部は、前記第１の明瞳孔取得タイミング及び前記第２の明瞳孔取得タイミングにおいて前記第３の光源を点灯させる、
請求項１～３のいずれか１項に記載の瞳孔検出装置。
【請求項８】
対象者の眼を撮像することにより眼画像を取得する第１のカメラと、前記第１のカメラに並んで配置され、前記眼画像を取得する第２のカメラと、前記第１のカメラの開口部の外側周辺に設けられた第１の光源と、前記第２のカメラの開口部の外側周辺に設けられた第２の光源と、前記第１の光源及び前記第２の光源の点灯のタイミングの制御、及び、前記第１のカメラによって取得された前記眼画像及び前記第２のカメラによって取得された眼画像を基にした前記眼画像上の前記対象者の瞳孔位置の検出処理を実行する制御装置と、を用いた瞳孔検出方法であって、
前記第１の光源を点灯させた第１の明瞳孔取得タイミングで、前記第１のカメラによって取得された前記眼画像である第１の明瞳孔画像を取得し、
前記第２の光源を点灯させた、前記第１の明瞳孔取得タイミングに対して連続したタイミングである第２の明瞳孔取得タイミングで、前記第２のカメラによって取得された前記眼画像である第２の明瞳孔画像を取得し、
前記第２の光源を点灯させた第１の暗瞳孔取得タイミングで、前記第１のカメラによって取得された前記眼画像である第１の暗瞳孔画像を取得し、
前記第１の光源を点灯させた、前記第１の暗瞳孔取得タイミングに対して連続した第２の暗瞳孔取得タイミングで、前記第２のカメラによって取得された前記眼画像である第２の暗瞳孔画像を取得し、
前記第１の明瞳孔画像と第１の暗瞳孔画像とを演算した演算画像を基に前記第１のカメラの前記眼画像上の前記対象者の瞳孔位置を検出し、前記第２の明瞳孔画像と第２の暗瞳孔画像とを演算した演算画像を基に前記第２のカメラの前記眼画像上の前記対象者の瞳孔位置を検出する、
瞳孔検出方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、人の画像から瞳孔を検出する瞳孔検出装置及び瞳孔検出方法に関する。
続きを表示（約 3,400 文字）【背景技術】
【０００２】
近年、視線検出等を目的として、近赤外光源等の光源とビデオカメラを使用して得られた画像から人の瞳孔の位置を検出する装置が普及しつつある（下記特許文献１）。この装置は、２台の光学系を有し、それぞれの光学系に、近赤外に感度を有するカメラと、カメラの開口部周りに配置された比較的短波長の近赤外波長の光源と、カメラの開口部から離れた位置に配置された比較的長波長の近赤外波長の光源とを備えている。そして、短波長の光源から光を対象者の顔に照射して画像（明瞳孔画像）を取得し、長波長の光源から光を対象者の顔に照射して画像（暗瞳孔画像）を取得する。その後、それらの画像を利用して差分画像を算出することにより、対象者の瞳孔の位置を検出する。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－１３１３４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したような従来の装置では、光学系が大掛かりな構成を有するため、装置の小型化が難しい場合があった。特に、瞳孔位置の検出機能をスマートフォン、タブレット端末等の小型端末に具備させることには限界がある。
【０００５】
本発明は、上記課題に鑑みて為されたものであり、装置の小型化を容易に実現することが可能な瞳孔検出装置及び瞳孔検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の一形態にかかる瞳孔検出装置は、対象者の眼を撮像することにより眼画像を取得する第１のカメラと、第１のカメラに並んで配置され、眼画像を取得する第２のカメラと、第１のカメラの開口部の外側周辺に設けられた第１の光源と、第２のカメラの開口部の外側周辺に設けられた第２の光源と、第１の光源及び第２の光源の点灯のタイミングを制御する制御部、及び、第１のカメラによって取得された眼画像及び第２のカメラによって取得された眼画像を処理して、眼画像上の対象者の瞳孔位置を検出する算出部を含む制御装置と、を備え、算出部は、制御部により第１の光源を点灯させた第１の明瞳孔取得タイミングで、第１のカメラによって取得された眼画像である第１の明瞳孔画像を取得し、制御部により第２の光源を点灯させた、第１の明瞳孔取得タイミングに対して連続したタイミングである第２の明瞳孔取得タイミングで、第２のカメラによって取得された眼画像である第２の明瞳孔画像を取得し、制御部により第２の光源を点灯させた第１の暗瞳孔取得タイミングで、第１のカメラによって取得された眼画像である第１の暗瞳孔画像を取得し、制御部により第１の光源を点灯させた、第１の暗瞳孔取得タイミングに対して連続した第２の暗瞳孔取得タイミングで、第２のカメラによって取得された眼画像である第２の暗瞳孔画像を取得し、第１の明瞳孔画像と第１の暗瞳孔画像とを演算した演算画像を基に第１のカメラの眼画像上の対象者の瞳孔位置を検出し、第２の明瞳孔画像と第２の暗瞳孔画像とを演算した演算画像を基に第２のカメラの眼画像上の対象者の瞳孔位置を検出する。
【０００７】
あるいは、本発明の他の形態にかかる瞳孔検出方法は、対象者の眼を撮像することにより眼画像を取得する第１のカメラと、第１のカメラに並んで配置され、眼画像を取得する第２のカメラと、第１のカメラの開口部の外側周辺に設けられた第１の光源と、第２のカメラの開口部の外側周辺に設けられた第２の光源と、第１の光源及び第２の光源の点灯のタイミングの制御、及び、第１のカメラによって取得された眼画像及び第２のカメラによって取得された眼画像を基にした眼画像上の対象者の瞳孔位置の検出処理を実行する制御装置と、を用いた瞳孔検出方法であって、第１の光源を点灯させた第１の明瞳孔取得タイミングで、第１のカメラによって取得された眼画像である第１の明瞳孔画像を取得し、第２の光源を点灯させた、第１の明瞳孔取得タイミングに対して連続したタイミングである第２の明瞳孔取得タイミングで、第２のカメラによって取得された眼画像である第２の明瞳孔画像を取得し、第２の光源を点灯させた第１の暗瞳孔取得タイミングで、第１のカメラによって取得された眼画像である第１の暗瞳孔画像を取得し、第１の光源を点灯させた、第１の暗瞳孔取得タイミングに対して連続した第２の暗瞳孔取得タイミングで、第２のカメラによって取得された眼画像である第２の暗瞳孔画像を取得し、第１の明瞳孔画像と第１の暗瞳孔画像とを演算した演算画像を基に第１のカメラの眼画像上の対象者の瞳孔位置を検出し、第２の明瞳孔画像と第２の暗瞳孔画像とを演算した演算画像を基に第２のカメラの眼画像上の対象者の瞳孔位置を検出する。
【０００８】
上記形態の瞳孔検出装置あるいは瞳孔検出方法によれば、第１のカメラの開口部及び第２のカメラの開口部の外側周辺にそれぞれ配置された第１の光源及び第２の光源が互いに連続して点灯され、これらの点灯タイミングに合わせて第１のカメラ及び第２のカメラで眼画像が取得されることにより、瞳孔が相対的に明るく写った第１の明瞳孔画像及び第２の明瞳孔画像が連続して得られる。加えて、第２の光源及び第１の光源が互いに連続して点灯され、これらの点灯タイミングに合わせて第１のカメラ及び第２のカメラで眼画像が取得されることにより、瞳孔が相対的に暗く写った第１の暗瞳孔画像及び第２の暗瞳孔画像が連続して得られる。このようにして取得された第１の明瞳孔画像と第１の暗瞳孔画像とを基に演算画像が演算されることによって第１のカメラの眼画像上の対象者の瞳孔位置が検出され、取得された第２の明瞳孔画像と第２の暗瞳孔画像とを基に演算画像が演算されることによって第２のカメラの眼画像上の対象者の瞳孔位置が検出される。このような構成により、カメラの周辺に配置される光源の構成を単純化することができ、装置全体の小型化を容易に実現することができる。また、２つのカメラ間で連続して取得された画像を基にした演算画像を演算することによって、２つの眼画像上で検出される瞳孔位置の検出タイミングを揃えることができ、対象者の瞳孔の三次元位置を安定して検出することができる。
【０００９】
ここで、制御部は、第１の明瞳孔取得タイミングで第２の光源を点灯させ、第２の明瞳孔取得タイミングで第１の光源を点灯させ、算出部は、第１の明瞳孔取得タイミングで得られた第１の明瞳孔画像、及び第２の明瞳孔取得タイミングで得られた第２の明瞳孔画像を基に、対象者の角膜反射像の位置を検出する、こととしてもよい。例えば、周辺環境が暗く、対象者の瞳孔面積が大きくなった場合等において、瞳孔輝度を調整するために第１のカメラで明瞳孔画像を得る際に第１の光源の光量を下げるように調整される場合がある。このような場合であっても、第１の光源に加えて第２の光源を点灯させることにより、対象者の顔全体の輝度を保つことができる。その結果、演算画像を基にして、瞳孔の位置の変化を安定して検出することができるとともに、明瞳孔画像を基にした角膜反射像の位置も安定して検出することができる。
【００１０】
また、算出部は、第１の明瞳孔画像上における角膜反射像の推定位置を計算し、推定位置を、第１の明瞳孔取得タイミングにおける第１の光源の光量及び第２の光源の光量を基に補正することによって、第１の明瞳孔画像上の角膜反射像の位置を検出し、第２の明瞳孔画像上における角膜反射像の推定位置を計算し、推定位置を、第２の明瞳孔取得タイミングにおける第２の光源の光量及び第１の光源の光量を基に補正することによって、第２の明瞳孔画像上の角膜反射像の位置を検出する、こととしてもよい。明瞳孔取得時に２つの光源を点灯させた場合には、眼画像上で現れる角膜反射像が広がってしまい、２つの光源の光量の関係によっては角膜反射像の推定位置も変動する。この場合に、角膜反射像の推定位置を２つの光源の光量を基に補正することによって、明瞳孔画像上の角膜反射像の位置を、光源の光量によってぶれることなしに安定して検出することができる。
（【００１１】以降は省略されています）

関連特許