特許ウォッチ

公開番号2024162514
公報種別公開特許公報(A)
公開日2024-11-21
出願番号2023078078
出願日2023-05-10
発明の名称開閉眼推定装置、開閉眼推定方法及びプログラム
出願人トヨタ自動車株式会社,株式会社アイシン
代理人個人,個人,個人,個人,個人,個人
主分類G06T 7/00 20170101AFI20241114BHJP(計算;計数)
要約【課題】開閉眼推定対象者が伏目状態のときであっても開閉眼推定対象者が開眼状態であるか否かを適切に判定する。
【解決手段】開閉眼推定装置10は、開閉眼推定対象者の顔を含む画像から切り出された開閉眼推定対象者の目領域の画像に基づいて開閉眼推定対象者が開眼状態であるか否かを判定する開閉眼判定部234と、開閉眼判定部234の判定結果の信頼度を算出する信頼度算出部235と、信頼度が閾値以下である場合に開閉眼推定対象者の瞼動作を検出する瞼動作検出部236と、瞼動作検出部236の検出結果に基づいて判定結果を補正する補正部237とを備える。
【選択図】図4
特許請求の範囲【請求項１】
開閉眼推定対象者の顔を含む画像から切り出された前記開閉眼推定対象者の目領域の画像に基づいて前記開閉眼推定対象者が開眼状態であるか否かを判定する開閉眼判定部と、
前記開閉眼判定部の判定結果の信頼度を算出する信頼度算出部と、
前記信頼度が閾値以下である場合に前記開閉眼推定対象者の瞼動作を検出する瞼動作検出部と、
前記瞼動作検出部の検出結果に基づいて前記判定結果を補正する補正部とを備える開閉眼推定装置。
続きを表示（約 1,600 文字）【請求項２】
前記補正部は、
前記開閉眼判定部によって前記開閉眼推定対象者が閉眼状態であると判定され、かつ、前記前記瞼動作検出部によって前記開閉眼推定対象者の瞼動作が検出された場合に、
前記開閉眼推定対象者が閉眼状態であることを示す前記判定結果を前記開閉眼推定対象者が開眼状態であることを示す前記判定結果に補正する、請求項１に記載の開閉眼推定装置。
【請求項３】
前記補正部は、
前記開閉眼判定部によって前記開閉眼推定対象者が開眼状態であると判定され、かつ、前記前記瞼動作検出部によって前記開閉眼推定対象者の瞼動作が検出されなかった場合に、
前記開閉眼推定対象者が開眼状態であることを示す前記判定結果を前記開閉眼推定対象者が閉眼状態であることを示す前記判定結果に補正する、請求項１又は２に記載の開閉眼推定装置。
【請求項４】
前記開閉眼推定対象者の顔を含む画像から前記開閉眼推定対象者の顔特徴点を検出する顔特徴点検出部を備え、
前記信頼度算出部は、
前記顔特徴点検出部の検出結果を用いることによって前記開閉眼推定対象者の顔向きを算出し、
前記開閉眼推定対象者の顔向きが下向きであるほど、前記信頼度として低い値を算出する、請求項１又は２に記載の開閉眼推定装置。
【請求項５】
前記信頼度算出部は、予め学習された機械学習モデルを用いることによって前記信頼度を算出し、
前記機械学習モデルの学習は、所定の画像を用いて行われ、
前記信頼度算出部は、
前記所定の画像に対する前記開閉眼判定部の判定対象の画像の類似度を算出し、
前記所定の画像に対する前記開閉眼判定部の判定対象の画像の類似度が高いほど、前記信頼度として低い値を算出する、請求項１又は２に記載の開閉眼推定装置。
【請求項６】
前記瞼動作検出部は、前記開閉眼推定対象者の顔を含む動画像の一部を構成する第１フレーム画像と、前記第１フレーム画像とは異なる第２フレーム画像との差分画像を用いて前記開閉眼推定対象者の瞼動作を検出する、請求項１又は２に記載の開閉眼推定装置。
【請求項７】
前記瞼動作検出部は、前記開閉眼推定対象者の顔を含む画像のオプティカルフローを算出し、前記オプティカルフローを用いて前記開閉眼推定対象者の瞼動作を検出する、請求項１又は２に記載の開閉眼推定装置。
【請求項８】
前記瞼動作検出部は、時系列データとしての前記開閉眼推定対象者の顔を含む動画像から、時系列モデルを用いて前記開閉眼推定対象者の瞼動作を検出する、請求項１又は２に記載の開閉眼推定装置。
【請求項９】
開閉眼推定装置が、開閉眼推定対象者の顔を含む画像から切り出された前記開閉眼推定対象者の目領域の画像に基づいて前記開閉眼推定対象者が開眼状態であるか否かを判定する開閉眼判定ステップと、
前記開閉眼判定ステップの判定結果の信頼度を算出する信頼度算出ステップと、
前記信頼度が閾値以下である場合に前記開閉眼推定対象者の瞼動作を検出する瞼動作検出ステップと、
前記瞼動作検出ステップの検出結果に基づいて前記判定結果を補正する補正ステップとを備える開閉眼推定方法。
【請求項１０】
プロセッサに、
開閉眼推定対象者の顔を含む画像から切り出された前記開閉眼推定対象者の目領域の画像に基づいて前記開閉眼推定対象者が開眼状態であるか否かを判定する開閉眼判定ステップと、
前記開閉眼判定ステップの判定結果の信頼度を算出する信頼度算出ステップと、
前記信頼度が閾値以下である場合に前記開閉眼推定対象者の瞼動作を検出する瞼動作検出ステップと、
前記瞼動作検出ステップの検出結果に基づいて前記判定結果を補正する補正ステップとを実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、開閉眼推定装置、開閉眼推定方法及びプログラムに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
特許文献１には、閉眼開眼判定部により開眼度に基づく開眼状態及び閉眼状態が検知される眠気度推定装置について記載されている。特許文献１に記載された技術では、画像センサがドライバーの顔の画像を撮影し、顔特徴点検出部がドライバーの顔画像の中からドライバー（測定対象者）の顔の特徴点を検出し、開眼度算出部が、特徴点に基づいて複数の曲線をエッジ画像上に投影し、その曲線状のエッジの強度から上下瞼位置を検出し、上下瞼位置のＹ座標の差から測定対象者の開眼度を算出し、閉眼・開眼判定部が開眼度の閾値処理をおこなって開眼状態・閉眼状態を判定する。
【先行技術文献】
【特許文献】
【０００３】
特開２０１１－２２９７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、開閉眼推定対象者が開眼状態かつ伏目状態（正面を向いている開閉眼推定対象者がまつ毛のエクステンションをつけおり、開閉眼推定対象者の目の一部がドライバモニタカメラから見えない状態を含む）のときには、開閉眼推定対象者があたかも閉眼状態であるかのように見える。そのため、開閉眼推定対象者が開眼状態かつ伏目状態であるのか、あるいは、開閉眼推定対象者が閉眼状態であるかの区別がつきづらい。
【０００５】
一方、特許文献１には、開閉眼推定対象者が開眼状態かつ伏目状態のときに開閉眼推定対象者が開眼状態であると適切に判定するために必要な処理について記載されていない。そのため、特許文献１に記載された技術によっては、開閉眼推定対象者が開眼状態かつ伏目状態のときに開閉眼推定対象者が開眼状態であると適切に判定できないおそれがある。
【０００６】
上述した点に鑑み、本発明は、開閉眼推定対象者が伏目状態のときであっても開閉眼推定対象者が開眼状態であるか否かを適切に判定することができる開閉眼推定装置、開閉眼推定方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
（１）本発明の一態様は、開閉眼推定対象者の顔を含む画像から切り出された前記開閉眼推定対象者の目領域の画像に基づいて前記開閉眼推定対象者が開眼状態であるか否かを判定する開閉眼判定部と、前記開閉眼判定部の判定結果の信頼度を算出する信頼度算出部と、前記信頼度が閾値以下である場合に前記開閉眼推定対象者の瞼動作を検出する瞼動作検出部と、前記瞼動作検出部の検出結果に基づいて前記判定結果を補正する補正部とを備える開閉眼推定装置である。
【０００８】
（２）（１）の開閉眼推定装置では、前記補正部は、前記開閉眼判定部によって前記開閉眼推定対象者が閉眼状態であると判定され、かつ、前記前記瞼動作検出部によって前記開閉眼推定対象者の瞼動作が検出された場合に、前記開閉眼推定対象者が閉眼状態であることを示す前記判定結果を前記開閉眼推定対象者が開眼状態であることを示す前記判定結果に補正してもよい。
【０００９】
（３）（１）又は（２）の開閉眼推定装置では、前記補正部は、前記開閉眼判定部によって前記開閉眼推定対象者が開眼状態であると判定され、かつ、前記前記瞼動作検出部によって前記開閉眼推定対象者の瞼動作が検出されなかった場合に、前記開閉眼推定対象者が開眼状態であることを示す前記判定結果を前記開閉眼推定対象者が閉眼状態であることを示す前記判定結果に補正してもよい。
【００１０】
（４）（１）～（３）のいずれかの開閉眼推定装置は、前記開閉眼推定対象者の顔を含む画像から前記開閉眼推定対象者の顔特徴点を検出する顔特徴点検出部を備え、前記信頼度算出部は、前記顔特徴点検出部の検出結果を用いることによって前記開閉眼推定対象者の顔向きを算出し、前記開閉眼推定対象者の顔向きが下向きであるほど、前記信頼度として低い値を算出してもよい。
（【００１１】以降は省略されています）

関連特許