特許ウォッチ

公開番号2024147927
公報種別公開特許公報(A)
公開日2024-10-17
出願番号2023060681
出願日2023-04-04
発明の名称運転者監視装置、運転者監視方法及びプログラム
出願人トヨタ自動車株式会社,株式会社デンソー,株式会社アイシン
代理人個人,個人,個人,個人,個人,個人
主分類B60W 40/08 20120101AFI20241009BHJP(車両一般)
要約【課題】車両の運転者が電子機器を使用中の場合と居眠り状態又は強い眠気状態にある場合とを判別する。
【解決手段】運転者監視装置12は、車両10の自動運転制御を実行する車両制御部232Aと、車両10の運転者が居眠り状態又は強い眠気状態にある可能性があるか否かの第1判定を実行する第1判定部232Eと、運転者が電子機器を使用中であるか否かの第2判定を実行する第2判定部232Fとを備え、第2判定部232Fは、ドライバモニタカメラ7によって撮影された運転者の顔を含む画像と、運転者が居眠り状態又は強い眠気状態にあるときの運転者の行動特徴と運転者が電子機器を使用するときの運転者の行動特徴との違いを示す行動特徴情報とに基づいて、第2判定を実行する。
【選択図】図4
特許請求の範囲【請求項１】
車両の自動運転制御を実行する車両制御部と、
前記車両の運転者が居眠り状態又は強い眠気状態にある可能性があるか否かの第１判定を実行する第１判定部と、
前記運転者が電子機器を使用中であるか否かの第２判定を実行する第２判定部とを備え、
前記第２判定部は、ドライバモニタカメラによって撮影された前記運転者の顔を含む画像と、前記運転者が居眠り状態又は強い眠気状態にあるときの前記運転者の行動特徴と前記運転者が前記電子機器を使用するときの前記運転者の行動特徴との違いを示す行動特徴情報とに基づいて、前記第２判定を実行する、運転者監視装置。
続きを表示（約 1,700 文字）【請求項２】
前記第２判定部は、
前記運転者が前記電子機器を使用可能なレベルの前記自動運転制御を前記車両制御部が実行中に、
前記第２判定を実行する、請求項１に記載の運転者監視装置。
【請求項３】
前記第２判定部は、前記運転者が居眠り状態又は強い眠気状態にある可能性があると前記第１判定部が判定した場合に、前記第２判定を実行する、請求項１又は２に記載の運転者監視装置。
【請求項４】
前記第２判定部は、前記運転者が居眠り状態又は強い眠気状態にある可能性があると前記第１判定部が判定した場合に、前記第１判定部が前記第１判定にかけた時間より長い時間をかけて前記第２判定を実行する、請求項１又は２に記載の運転者監視装置。
【請求項５】
前記運転者が居眠り状態又は強い眠気状態にあるときの前記運転者の行動特徴には、前記運転者の頭が後ろに倒れること、前記運転者が眠気との葛藤で頭を大きく速く振ること、前記運転者が深呼吸すること、前記運転者の動作がマイクロスリープイベントに該当すること及び前記運転者の表情筋が緩むことの少なくともいずれかが含まれ、
前記運転者が前記電子機器を使用するときの前記運転者の行動特徴には、前記運転者が前記電子機器の画面に表示されたテキストを目で追う時に前記運転者の上瞼が上下に動くこと、前記運転者が前記電子機器の画面に表示されたテキストを目で追う時に前記運転者の首が左右に動くこと、前記運転者が右手及び左手の一方により前記電子機器を保持しかつ前記運転者の右手及び左手の他方により前記電子機器を操作する時に前記運転者の右肩及び左肩の一方のみが左右に動くこと、前記運転者の発話に伴って前記運転者の口が動くこと及び前記運転者の顔表情が変化することの少なくともいずれかが含まれる、請求項１又は２に記載の運転者監視装置。
【請求項６】
前記第２判定部は、
前記画像中の前記運転者の眉毛と上瞼との距離の変化を検知する機能を有し、
前記画像中の前記運転者の眉毛と上瞼との距離が変化する場合に、前記画像中の前記運転者の眉毛と上瞼との距離が変化しない場合よりも、前記運転者が前記電子機器を使用中であると判定しやすくなる、請求項１又は２に記載の運転者監視装置。
【請求項７】
前記第２判定部は、
前記画像中の前記運転者の顔向きの横方向の移動の繰り返しを検知する機能を有し、
前記画像中の前記運転者の顔向きの横方向の移動が繰り返される場合に、前記画像中の前記運転者の顔向きの横方向の移動の繰り返しが無い場合よりも、前記運転者が前記電子機器を使用中であると判定しやすくなる、請求項１又は２に記載の運転者監視装置。
【請求項８】
前記第２判定部は、
前記画像中の前記運転者の右肩及び左肩の位置及び動きの左右非対称を検知する機能を有し、
前記画像中の前記運転者の右肩及び左肩の位置及び動きが左右非対称である場合に、前記画像中の前記運転者の右肩及び左肩の位置及び動きが左右非対称でない場合よりも、前記運転者が前記電子機器を使用中であると判定しやすくなる、請求項１又は２に記載の運転者監視装置。
【請求項９】
前記第２判定部は、
前記運転者の顔を含む前記画像から前記運転者の口元の動きを解析する読唇解析機能を有し、
前記運転者が発話中であると解析する場合に、前記運転者が発話中でないと解析する場合よりも、前記運転者が前記電子機器を使用中であると判定しやすくなる、請求項１又は２に記載の運転者監視装置。
【請求項１０】
前記第２判定部は、
顔面動作符号化システム（ＦＡＣＳ）を用いて顔表情検知を行う機能を有し、
前記顔面動作符号化システムを用いて前記運転者の顔表情の変化を検知した場合に、前記運転者の顔表情の変化を検知しない場合よりも、前記運転者が前記電子機器を使用中であると判定しやすくなる、請求項１又は２に記載の運転者監視装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、運転者監視装置、運転者監視方法及びプログラムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
特許文献１には、対象人物の眠気を検出する眠気検出装置について記載されている。特許文献１に記載された技術では、対象人物の目が眠り目であるか否かが判断され、対象人物のまぶたの動きが生じた直後に顔向き角度の変化が生じたか否かが判断される。また、特許文献１には、眠り目が所定時間以上半眼状態又は閉眼状態にある目である旨、運転者のまぶたの動きが生じた直後に顔向き角度の変化が生じたと判断された場合に運転者の目が眠り目ではない（下方視等である）と判断される旨等が記載されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１１－０４８５３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、運転者が車両内で電子機器を使用するときにドライバモニタカメラによって撮影される運転者の顔の画像は、運転者が居眠り状態又は強い眠気状態にあるときにドライバモニタカメラによって撮影される運転者の顔の画像と同様の画像になる。
一方、特許文献１に記載された技術では、運転者が電子機器を使用中であるか否かの判定が行われない。そのため、特許文献１に記載された技術では、運転者が電子機器を使用中に、運転者が居眠り状態又は強い眠気状態にあると誤判定されてしまうおそれがある。
【０００５】
上述した点に鑑み、本開示は、車両の運転者が電子機器を使用中の場合と居眠り状態又は強い眠気状態にある場合とを判別することができる運転者監視装置、運転者監視方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
（１）本開示の一態様は、車両の自動運転制御を実行する車両制御部と、前記車両の運転者が居眠り状態又は強い眠気状態にある可能性があるか否かの第１判定を実行する第１判定部と、前記運転者が電子機器を使用中であるか否かの第２判定を実行する第２判定部とを備え、前記第２判定部は、ドライバモニタカメラによって撮影された前記運転者の顔を含む画像と、前記運転者が居眠り状態又は強い眠気状態にあるときの前記運転者の行動特徴と前記運転者が前記電子機器を使用するときの前記運転者の行動特徴との違いを示す行動特徴情報とに基づいて、前記第２判定を実行する、運転者監視装置である。
【０００７】
（２）（１）の運転者監視装置では、前記第２判定部は、前記運転者が前記電子機器を使用可能なレベルの前記自動運転制御を前記車両制御部が実行中に、前記第２判定を実行してもよい。
【０００８】
（３）（１）又は（２）の運転者監視装置では、前記第２判定部は、前記運転者が居眠り状態又は強い眠気状態にある可能性があると前記第１判定部が判定した場合に、前記第２判定を実行してもよい。
【０００９】
（４）（１）～（３）のいずれかの運転者監視装置では、前記第２判定部は、前記運転者が居眠り状態又は強い眠気状態にある可能性があると前記第１判定部が判定した場合に、前記第１判定部が前記第１判定にかけた時間より長い時間をかけて前記第２判定を実行してもよい。
【００１０】
（５）（１）～（４）のいずれかの運転者監視装置では、前記運転者が居眠り状態又は強い眠気状態にあるときの前記運転者の行動特徴には、前記運転者の頭が後ろに倒れること、前記運転者が眠気との葛藤で頭を大きく速く振ること、前記運転者が深呼吸すること、前記運転者の動作がマイクロスリープイベントに該当すること及び前記運転者の表情筋が緩むことの少なくともいずれかが含まれ、前記運転者が前記電子機器を使用するときの前記運転者の行動特徴には、前記運転者が前記電子機器の画面に表示されたテキストを目で追う時に前記運転者の上瞼が上下に動くこと、前記運転者が前記電子機器の画面に表示されたテキストを目で追う時に前記運転者の首が左右に動くこと、前記運転者が右手及び左手の一方により前記電子機器を保持しかつ前記運転者の右手及び左手の他方により前記電子機器を操作する時に前記運転者の右肩及び左肩の一方のみが左右に動くこと、前記運転者の発話に伴って前記運転者の口が動くこと及び前記運転者の顔表情が変化することの少なくともいずれかが含まれてもよい。
（【００１１】以降は省略されています）

関連特許