特許ウォッチ

公開番号2024112560
公報種別公開特許公報(A)
公開日2024-08-21
出願番号2023017684
出願日2023-02-08
発明の名称運転手用の行動評価装置及び方法
出願人株式会社デンソーテン
代理人弁理士法人佐野特許事務所
主分類G06V 20/59 20220101AFI20240814BHJP(計算;計数)
要約【課題】車外に対する運転手の目視行動(確認行動)を適正に評価する。
【解決手段】車両(1)の運転手における両目の虹彩の撮影結果を含む車内画像データ(IN)、及び、車外の撮影結果を含む車外画像データ(OUT)を取得する。車内画像データ及び車外画像データに基づき運転手の車外に対する目視行動を評価する。
【選択図】図1
特許請求の範囲【請求項１】
車両の運転手における両目の虹彩の撮影結果を含む車内画像データ、及び、車外の撮影結果を含む車外画像データを取得するインターフェースと、
前記車内画像データ及び前記車外画像データに基づき前記運転手の車外に対する目視行動を評価する処理部と、を備えた
、運転手用の行動評価装置。
続きを表示（約 2,800 文字）【請求項２】
前記車内画像データは、前記運転手における右目の虹彩の撮影画像である右虹彩画像の画像データ、及び、前記運転手における左目の虹彩の撮影画像である左虹彩画像の画像データを含み、
前記車外画像データが前記車外に位置する対象物体の画像データを含む場合、前記処理部は、前記車内画像データ及び前記車外画像データに基づき、前記右虹彩画像及び前記左虹彩画像の夫々に前記対象物体の像が含まれるかを検出することにより、前記運転手が前記対象物体の存在位置を含む対象領域を目視しているかを判断する
、請求項１に記載の運転手用の行動評価装置。
【請求項３】
前記車外画像データが前記対象物体の画像データを含む場合において、前記右虹彩画像及び前記左虹彩画像の夫々に前記対象物体の像が含まれると検出したとき、前記処理部は、前記運転手が前記対象物体の存在位置を含む前記対象領域を目視していると判断する
、請求項２に記載の運転手用の行動評価装置。
【請求項４】
前記処理部は、前記車内画像データに基づき前記運転手の顔の向きを検出し、
前記顔の向きの検出結果と、前記車内画像データ及び前記車外画像データと、に基づき、前記運転手の車外に対する目視行動を評価する
、請求項１～３の何れかに記載の運転手用の行動評価装置。
【請求項５】
前記処理部は、前記車内画像データに基づき前記運転手の顔の向きが前記車両の進行方向に対して右向き又は左向きであるかを検出し、
前記車外画像データは、前記車両の進行方向に対して右側の車外領域の撮影結果を示す右側画像データ及び前記車両の進行方向に対して左側の車外領域の撮影結果を示す左側画像データを含み、
前記処理部は、前記運転手の顔の向きが前記右向きであると検出した場合には、前記車内画像データと前記右側画像データとに基づき前記運転手が前記右側の車外領域を目視しているかを判断し、前記運転手の顔の向きが前記左向きであると検出した場合には、前記車内画像データと前記左側画像データとに基づき前記運転手が前記左側の車外領域を目視しているかを判断する
、請求項１～３の何れかに記載の運転手用の行動評価装置。
【請求項６】
前記処理部は、前記車内画像データに基づき前記運転手の顔の向きが前記車両の進行方向に対して右向き又は左向きであるかを検出し、
前記車外画像データは、前記車両の進行方向に対して右側の車外領域の撮影結果を示す右側画像データ及び前記車両の進行方向に対して左側の車外領域の撮影結果を示す左側画像データを含み、
前記運転手の顔の向きが前記右向きであると検出され且つ前記右側画像データが前記右側の車外領域に位置する第１対象物体の画像データを含む場合、前記処理部は、前記車内画像データ及び前記右側画像データに基づき、前記右虹彩画像及び前記左虹彩画像の夫々に前記第１対象物体の像が含まれるかを検出することにより、前記運転手が前記右側の車外領域を目視しているかを判断し、
前記運転手の顔の向きが前記左向きであると検出され且つ前記左側画像データが前記左側の車外領域に位置する第２対象物体の画像データを含む場合、前記処理部は、前記車内画像データ及び前記左側画像データに基づき、前記右虹彩画像及び前記左虹彩画像の夫々に前記第２対象物体の像が含まれるかを検出することにより、前記運転手が前記左側の車外領域を目視しているかを判断する
、請求項２に記載の運転手用の行動評価装置。
【請求項７】
前記運転手の顔の向きが前記右向きであると検出され且つ前記右側画像データが前記第１対象物体の画像データを含む場合において、前記右虹彩画像及び前記左虹彩画像の夫々に前記第１対象物体の像が含まれると検出したとき、前記処理部は、前記運転手が前記右側の車外領域を目視していると判断し、
前記運転手の顔の向きが前記左向きであると検出され且つ前記左側画像データが前記第２対象物体の画像データを含む場合において、前記右虹彩画像及び前記左虹彩画像の夫々に前記第２対象物体の像が含まれると検出したとき、前記処理部は、前記運転手が前記左側の車外領域を目視していると判断する
、請求項６に記載の運転手用の行動評価装置。
【請求項８】
前記処理部は、前記右虹彩画像上における物体の像の特徴点を抽出する右虹彩用の抽出処理と、前記左虹彩画像上における物体の像の特徴点を抽出する左虹彩用の抽出処理と、を実行し、
前記右側画像データにより右車外画像が表され、前記左側画像データにより左車外画像が表され、
前記運転手の顔の向きが前記右向きであると検出され且つ前記右側画像データが前記第１対象物体の画像データを含む場合、前記処理部は、前記右車外画像上における前記第１対象物体の像の特徴点を抽出する右車外用の抽出処理を実行して、前記右車外用の抽出処理の結果と、前記右虹彩用の抽出処理の結果と、前記左虹彩用の抽出処理の結果とに基づき、前記運転手が前記右側の車外領域を目視しているかを判断し、
前記運転手の顔の向きが前記左向きであると検出され且つ前記左側画像データが前記第２対象物体の画像データを含む場合、前記処理部は、前記左車外画像上における前記第２対象物体の像の特徴点を抽出する左車外用の抽出処理を実行して、前記左車外用の抽出処理の結果と、前記右虹彩用の抽出処理の結果と、前記左虹彩用の抽出処理の結果とに基づき、前記運転手が前記左側の車外領域を目視しているかを判断する
、請求項６又は７に記載の運転手用の行動評価装置。
【請求項９】
前記運転手の顔の向きが前記右向きであると検出され且つ前記右側画像データが前記第１対象物体の画像データを含む場合、前記処理部は、前記右車外用の抽出処理にて抽出された特徴点の群に対応する特徴点の群が前記右虹彩画像及び前記左虹彩画像の夫々に存在するかを検出することで、前記運転手が前記右側の車外領域を目視しているかを判断し、
前記運転手の顔の向きが前記左向きであると検出され且つ前記左側画像データが前記第２対象物体の画像データを含む場合、前記処理部は、前記左車外用の抽出処理にて抽出された特徴点の群に対応する特徴点の群が前記右虹彩画像及び前記左虹彩画像の夫々に存在するかを検出することで、前記運転手が前記左側の車外領域を目視しているかを判断する
、請求項８に記載の運転手用の行動評価装置。
【請求項１０】
車両の運転手における両目の虹彩の撮影結果を含む車内画像データ、及び、車外の撮影結果を含む車外画像データに基づき、前記運転手の車外に対する目視行動を評価する
、運転手用の行動評価方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、運転手用の行動評価装置及び方法に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
車両の運転手は車両周辺の様子を目で確認しながら運転操作を行う。
【０００３】
尚、画像処理装置において、瞳画像に基づき人物のうつり込みが発生してるかを判定する方法が提案されている（下記特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－６９９１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
運転手は、一時停止場所から車両を再発進させるとき、又は、車両を右折又は左折させるときなどにおいて、左右確認行動をとることが要求される。左右確認行動において、運転手は、顔を左に向ける顔振り運動を伴いながら左側の車外領域を目視する、又は、顔を右に向ける顔振り運動を伴いながら右側の車外領域を目視することが求められる。
【０００６】
ドライブレコーダの撮影画像から運転手の視線、顔の向き又は顔の移動量を検出し、検出結果に基づき左右への目視行動（左右確認行動）の実施有無を判断する参考方法が検討される。参考方法では、左右への目視行動（左右確認行動）を行ったときに生じる顔の移動量等の平均値を予め設定しておき、設定した平均値を実際の検出値と比較することで必要な行動の実施有無を評価する。しかしながら、左右への目視行動（左右確認行動）における顔の振り幅等には個人差があるため、参考方法では誤った評価がなされる場合がある。また、顔を振る行動があったとしても、実際には見るべき対象を運転手が見ていないケースもあるので、参考方法では当該ケースにおいても誤った評価がなされ得る。
【０００７】
本発明は、車外に対する運転手の目視行動を適正に評価し得る運転手用の行動評価装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る運転手用の行動評価装置は、車両の運転手における両目の虹彩の撮影結果を含む車内画像データ、及び、車外の撮影結果を含む車外画像データを取得するインターフェースと、前記車内画像データ及び前記車外画像データに基づき前記運転手の車外に対する目視行動を評価する処理部と、を備える。
【発明の効果】
【０００９】
本発明によれば、車外に対する運転手の目視行動を適正に評価し得る運転手用の行動評価装置及び方法を提供することが可能となる。
【図面の簡単な説明】
【００１０】
本発明の実施形態に係る車両システムの概略的な構成図である。
本発明の実施形態に係り、車両情報の構成図である。
本発明の実施形態に係り、車両との関係において、前後左右と幾つかの領域を定義するための図である。
本発明の実施形態に係り、車外画像データの構成及び車外用カメラの構成を示す図である。
本発明の実施形態に係り、演算処理部の機能ブロック図である。
本発明の実施形態に係り、車内カメラ画像の例を示す図である。
本発明の実施形態に係り、運転手の顔が右向きであるときにおいて顔向き検出処理の中で抽出される特徴点群を示す図（ａ）と、運転手の顔が左向きであるときにおいて顔向き検出処理の中で抽出される特徴点群を示す図（ｂ）である。
本発明の実施形態に係り、右目視ケースにおける車両、運転手の視線及び被写体の関係と、右目視ケースにおける運転手の両目の状態を示す図である。
本発明の実施形態に係り、左目視ケースにおける車両、運転手の視線及び被写体の関係と、左目視ケースにおける運転手の両目の状態を示す図である。
本発明の実施形態に係り、車外カメラ画像を示す図（ａ）と、車外カメラ画像に内包される右車外画像及び左車外画像を示す図（ｂ）と、右車外画像及び左車外画像の夫々から抽出される領域及び特徴点情報を示す図（ｃ）である。
本発明の実施形態に係り、右目視ケースにおいて右虹彩画像及び左虹彩画像の夫々から特徴点情報が抽出されることを説明するための図である。
本発明の実施形態に係り、左目視ケースにおいて右虹彩画像及び左虹彩画像の夫々から特徴点情報が抽出されることを説明するための図である。
本発明の実施形態に属する第１実施例に係り、車載装置の動作フローチャートである。
本発明の実施形態に属する第１実施例に係り、図１３の一部処理の詳細フローチャートである。
本発明の実施形態に属する第１実施例に係り、図１３の一部処理の詳細フローチャートである。
本発明の実施形態に属する第１実施例に係り、右目視ケースにおいて右車外画像、右虹彩画像及び左虹彩画像から抽出される３つの特徴点情報を示す図である。
本発明の実施形態に属する第１実施例に係り、左目視ケースにおいて左車外画像、右虹彩画像及び左虹彩画像から抽出される３つの特徴点情報を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許