特許ウォッチ

公開番号2025041123
公報種別公開特許公報(A)
公開日2025-03-26
出願番号2023148219
出願日2023-09-13
発明の名称ドライバ監視システム
出願人トヨタ自動車株式会社
代理人個人,個人,個人,個人
主分類G08G 1/16 20060101AFI20250318BHJP(信号)
要約【課題】車両のドライバの顔認識の精度を向上させる。
【解決手段】車両のドライバの顔画像からドライバの顔認識を行うドライバ監視システムであって、赤外線発光部及び赤外線受光部によりドライバの顔の赤外線画像を撮像する赤外線画像撮像部と、可視光受光部によりドライバの顔の可視光画像を撮像する可視光画像撮像部と、可視光画像に基づいて、ドライバの顔の色を認識する色認識部と、ドライバの顔の色と赤外線画像とに基づいて、ドライバの顔認識を行う顔認識部と、を備える。
【選択図】図3
特許請求の範囲【請求項１】
車両のドライバの顔画像から前記ドライバの顔認識を行うドライバ監視システムであって、
赤外線発光部及び赤外線受光部により前記ドライバの顔の赤外線画像を撮像する赤外線画像撮像部と、
可視光受光部により前記ドライバの顔の可視光画像を撮像する可視光画像撮像部と、
前記可視光画像に基づいて、前記ドライバの顔の色を認識する色認識部と、
前記ドライバの顔の色と前記赤外線画像とに基づいて、前記ドライバの顔認識を行う顔認識部と、
を備える、ドライバ監視システム。
続きを表示（約 1,400 文字）【請求項２】
前記ドライバの顔の色には、前記ドライバの眼の色が含まれ、
前記顔認識部は、前記ドライバの眼の色に応じて前記赤外線画像における前記ドライバの顔認識ロジックを変更する、請求項１に記載のドライバ監視システム。
【請求項３】
前記ドライバの眼の色が黒色の場合には、黒眼用顔認識ロジックを用いて前記赤外線画像から前記ドライバの顔認識を行い、前記ドライバの眼の色が青色の場合には、青眼用顔認識ロジックを用いて前記赤外線画像から前記ドライバの顔認識を行う、請求項２に記載のドライバ監視システム。
【請求項４】
前記可視光画像撮像部は、前記車両の運転席に対する前記ドライバの着席時又は前記車両のエンジン始動時に、前記ドライバの可視光画像を撮像する、請求項２に記載のドライバ監視システム。
【請求項５】
前記顔認識部は、機械学習モデルである顔認識モデルを用いて前記ドライバの顔画像から前記ドライバの顔認識を行い、
前記ドライバの眼の色に応じて予め設けられた複数の前記顔認識モデルの中から一つの前記顔認識モデルを選択し、選択した顔認識モデルを用いて前記赤外線画像における前記ドライバの顔認識を行う、請求項２に記載のドライバ監視システム。
【請求項６】
前記ドライバの顔の色に含まれる前記ドライバの眼の周りの肌の色と前記赤外線画像とに基づいて、前記ドライバの眼の開閉判定を行う開閉判定部を更に備え、
前記開閉判定部は、前記ドライバの眼の周りの肌の色に応じて前記赤外線画像における前記ドライバの眼の開閉判定ロジックを変更する、請求項１に記載のドライバ監視システム。
【請求項７】
前記ドライバの顔の色には、前記ドライバの眼の色が含まれ、
前記開閉判定部は、前記ドライバの眼の色と前記ドライバの眼の周りの肌の色とに応じて前記赤外線画像における前記ドライバの眼の開閉判定ロジックを変更する、請求項６に記載のドライバ監視システム。
【請求項８】
前記開閉判定部は、機械学習モデルである開閉判定モデルを用いて前記ドライバの顔画像から前記ドライバの眼の開閉判定を行い、
前記ドライバの眼の周りの肌の色に応じて予め設けられた複数の前記開閉判定モデルの中から一つの前記開閉判定モデルを選択し、選択した前記開閉判定モデルを用いて前記赤外線画像における前記ドライバの眼の開閉判定を行う、請求項６に記載のドライバ監視システム。
【請求項９】
前記ドライバの唇の色を含む前記ドライバの顔の色と前記赤外線画像とに基づいて、前記ドライバの口の開口度を算出する開口度算出部を更に備え、
前記開口度算出部は、前記赤外線画像から前記ドライバの口の特徴点を抽出し、前記可視光画像から前記ドライバの唇の色の部分と前記顔の肌の色の部分との境目に基づいて前記口の特徴点を補正し、補正した前記口の特徴点に基づいて前記ドライバの口の開口度を算出する、請求項１に記載のドライバ監視システム。
【請求項１０】
前記開口度算出部は、前記ドライバの唇の色が前記顔の肌の色から推定される非メイク範囲内であるか否かを判定し、前記ドライバの唇の色が前記非メイク範囲内である場合に前記開口度の算出を行い、前記ドライバの唇の色が前記非メイク範囲内ではない場合には前記開口度の算出を行わない、請求項９に記載のドライバ監視システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ドライバ監視システムに関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
従来、ドライバ監視システムに関する技術文献として、特開２００６－０９５００８号公報が知られている。この公報には、眼又は顔を照射する赤外線光源と、眼又は顔を撮影するカメラと、該カメラの撮影画像データを処理して視線ベクトルを算出する計算機とを備え、撮影画像データから真の輝点及び瞳孔の中心を検出して視線ベクトルを算出する視線ベクトル検出システムが示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２００６－０９５００８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、車両のドライバの顔の色によって赤外線の反射率が変わることが知られている。また、アイシャドウなどのメイクによっても赤外線の反射率は変化する。その結果、赤外線画像によるドライバの顔認識の精度低下が生じるおそれがあるという問題があった。
【課題を解決するための手段】
【０００５】
本発明の一態様は、車両のドライバの顔画像からドライバの顔認識を行うドライバ監視システムであって、赤外線発光部及び赤外線受光部によりドライバの顔の赤外線画像を撮像する赤外線画像撮像部と、可視光受光部によりドライバの顔の可視光画像を撮像する可視光画像撮像部と、可視光画像に基づいて、ドライバの顔の色を認識する色認識部と、ドライバの顔の色と赤外線画像とに基づいて、ドライバの顔認識を行う顔認識部と、を備える。
【０００６】
本発明の一態様に係るドライバ監視システムによれば、可視光画像に基づいて認識したドライバの顔の色と赤外線画像からドライバの顔認識を行うので、日光や車内照明などの影響を受けにくい赤外線画像と具体的な色情報を提供する可視光画像を組み合わせることで、ドライバの顔認識の精度を向上させることができる。
【０００７】
本発明の一態様に係るドライバ監視システムにおいて、ドライバの顔の色には、ドライバの眼の色が含まれ、顔認識部は、ドライバの眼の色に応じて赤外線画像におけるドライバの顔認識ロジックを変更してもよい。
このドライバ監視システムによれば、ドライバの可視光画像を撮像してドライバの眼の色を認識し、ドライバの眼の色を踏まえて赤外線画像によるドライバの顔認識ロジックを変更するので、ドライバの眼の色を考慮せずに赤外線画像からドライバの顔認識を行う場合と比べて、顔認識の精度を向上させることができる。
【０００８】
本発明の一態様に係るドライバ監視システムにおいて、ドライバの眼の色が黒色の場合には、黒眼用顔認識ロジックを用いて赤外線画像からドライバの顔認識を行い、ドライバの眼の色が青色の場合には、青眼用顔認識ロジックを用いて赤外線画像からドライバの顔認識を行ってもよい。
このドライバ監視システムによれば、ドライバの眼の色が黒色の場合には黒眼用顔認識ロジックを用いて赤外線画像からドライバの顔認識を行い、ドライバの眼の色が青色の場合には青眼用顔認識ロジックを用いて赤外線画像からドライバの顔認識を行うので、眼の色に関わらず同じ顔認識ロジックを用いる場合と比べて、顔認識の精度を向上させることができる。
【０００９】
本発明の一態様に係るドライバ監視システムにおいて、可視光画像撮像部は、車両の運転席に対するドライバの着席時又は車両のエンジン始動時に、ドライバの可視光画像を撮像してもよい。
このドライバ監視システムによれば、夜間であってもドライバ着席時やエンジン始動時にドライバの可視光画像を撮像することで、ドライバの眼の色を適切に認識することができる。
【００１０】
本発明の一態様に係るドライバ監視システムにおいて、顔認識部は、機械学習モデルである顔認識モデルを用いてドライバの顔画像からドライバの顔認識を行い、ドライバの眼の色に応じて予め設けられた複数の顔認識モデルの中から一つの顔認識モデルを選択し、選択した顔認識モデルを用いて赤外線画像におけるドライバの顔認識を行ってもよい。
このドライバ監視システムによれば、ドライバの可視光画像を撮像してドライバの眼の色を認識し、ドライバの眼の色を踏まえて赤外線画像によるドライバの顔認識モデルを変更するので、ドライバの眼の色を考慮せずに赤外線画像からドライバの顔認識を行う場合と比べて、顔認識の精度を向上させることができる。
（【００１１】以降は省略されています）

関連特許