特許ウォッチ

公開番号2025131459
公報種別公開特許公報(A)
公開日2025-09-09
出願番号2024029231
出願日2024-02-28
発明の名称車両の車室内カメラ画像に於ける運転者の顔を検出するシステム及び方法
出願人トヨタ自動車株式会社
代理人個人,個人
主分類G06T 7/00 20170101AFI20250902BHJP(計算;計数)
要約【課題】車室内の連続的に撮影された画像に於いて検出される顔の像の動きから正確に運転者の顔を検出する。
【解決手段】車両10の車室内を撮像した画像に於ける運転者の顔の像の検出に於いて、カメラ12で車室内を複数回に亙って撮像し、その複数回に亙って撮像された車室内の画像の各々に於いて人の顔の像を検出し、各画像に於ける検出された各顔の像の存在領域に於ける代表点を抽出し、画像に設定された座標空間に於ける、各画像にて抽出された各顔の像の代表点の位置座標に基づいて顔の像の代表点をクラスタに分類するクラスタリング処理を実施し、座標空間に於けるクラスタの存在領域の座標範囲に基づいて車両の運転席に着座している人の顔の像の代表点のクラスタと判断されるクラスタを運転者クラスタとして特定し、その運転者クラスタの存在領域に在る人の顔の像を運転者の顔の像として検出する。
【選択図】図3
特許請求の範囲【請求項１】
車両の車室内を撮像した画像に於いて運転者の顔の像を検出するシステムであって、
車室内を複数回に亙って撮像する撮像手段と、
前記撮像手段による複数回に亙る撮像により得られた複数の前記車室内の画像の各々に於いて人の顔の像を検出する顔検出手段と、
前記画像の各々に於ける前記検出された前記人の顔の像の存在領域の各々に於ける所定の点を顔の像の代表点として抽出する顔像代表点抽出手段と
前記画像に設定された座標空間に於ける、前記画像の各々にて抽出された前記顔の像の代表点の各々の位置座標に基づいて前記顔の像の代表点をクラスタに分類するクラスタリング処理を実施するクラスタリング処理手段と、
前記座標空間に於ける前記クラスタの存在領域の座標範囲に基づいて前記車両の運転席に着座している人の顔の像の代表点のクラスタと判断されるクラスタを運転者クラスタとして特定し、その運転者クラスタの存在領域に在る人の顔の像を前記運転者の顔の像として検出する運転者像検出手段と
を含むシステム。
続きを表示（約 830 文字）【請求項２】
請求項１のシステムであって、前記クラスタリング処理手段により複数のクラスタが検出されている場合に、前記運転者像検出手段が、前記画像の前記座標空間に於いて前記車両の運転席の存在領域の座標に最も近い領域に位置しているクラスタを前記運転者クラスタとして特定するよう構成されているシステム。
【請求項３】
請求項１のシステムであって、前記運転者像検出手段が、前記画像の前記座標空間に於ける所定の範囲に存在するクラスタを前記運転者クラスタとして特定するよう構成されているシステム。
【請求項４】
車両の車室内を撮像した画像に於いて運転者の顔の像を検出する方法であって、
撮像手段により車室内を複数回に亙って撮像するステップと、
前記複数回に亙って撮像された前記車室内の画像の各々に於いて人の顔の像を検出するステップと、
前記画像の各々に於ける前記検出された前記人の顔の像の存在領域の各々に於ける所定の点を顔の像の代表点として抽出するステップと
前記画像に設定された座標空間に於ける、前記画像の各々にて抽出された前記顔の像の代表点の各々の位置座標に基づいて前記顔の像の代表点をクラスタに分類するクラスタリング処理を実施するステップと、
前記座標空間に於ける前記クラスタの存在領域の座標範囲に基づいて前記車両の運転席に着座している人の顔の像の代表点のクラスタと判断されるクラスタを運転者クラスタとして特定し、その運転者クラスタの存在領域に在る人の顔の像を前記運転者の顔の像として検出するステップと
を含む方法。
【請求項５】
請求項４の方法であって、前記クラスタリング処理により複数のクラスタが検出されている場合に、前記画像の前記座標空間に於いて前記車両の運転席の存在領域の座標に最も近い領域に位置しているクラスタが前記運転者クラスタとして特定される方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、車両の車内カメラ画像により車室内のモニタリングするためのシステム及び方法に係り、より詳細には、車内カメラ画像に於いて、運転者の顔を自動的に検出するシステム及び方法に係る。
続きを表示（約 3,600 文字）【背景技術】
【０００２】
自動車等の車両に於いて、乗員、特に、運転者の状態を監視するために、車室内を撮像するカメラの画像に於いて、運転者の顔を検出する技術が種々提案されている。例えば、特許文献１では、車両を降りた運転者が同乗者の動向を把握するためのシステムに於いて、車室内を撮影するカメラの画像に於ける予め設定された範囲内にて検出された人物を運転者であると判定することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－７２５５９
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像に於ける人の顔を検出し認識する技術は、既に一般的に実用化され、カメラで撮影された車室内の画像に於いて、乗員のそれぞれの顔の検出と認識は容易に達成され、それぞれの位置も特定できるので、顔の検出位置から、画像内のいずれの顔の像が運転者のものであるかを特定することが可能である。しかしながら、顔の像の位置や向きは時々刻々と変化するので、或る瞬間の画像だけを参照して、そこで検出された顔の像だけから運転者の顔の像を正確に特定できるとは限らない。即ち、車室内の画像に於いて、正確に運転者の顔を特定するためには、適当な期間に亙って撮影された画像（動画又は適宜設定されたタイミングで撮影された複数の静止画像）に於いて逐次的に顔の像を検出し、その動きを追って、いずれの像が運転者の顔のものであるかを判定する必要がある。
【０００５】
上記の事情を鑑み、本発明の主な課題は、車室内の複数回に亙って連続的に又は間歇的に撮影された画像に於いて検出される顔の像の動きを追って正確に運転者の顔を検出する技術を提供することである。
【課題を解決するための手段】
【０００６】
本発明の一つの態様によれば、上記の課題は、車両の車室内を撮像した画像に於いて運転者の顔の像を検出するシステムであって、
車室内を複数回に亙って撮像する撮像手段と、
前記撮像手段による複数回に亙る撮像により得られた複数の前記車室内の画像の各々に於いて人の顔の像を検出する顔検出手段と、
前記画像の各々に於ける前記検出された前記人の顔の像の存在領域の各々に於ける所定の点を顔の像の代表点として抽出する顔像代表点抽出手段と
前記画像に設定された座標空間に於ける、前記画像の各々にて抽出された前記顔の像の代表点の各々の位置座標に基づいて前記顔の像の代表点をクラスタに分類するクラスタリング処理を実施するクラスタリング処理手段と、
前記座標空間に於ける前記クラスタの存在領域の座標範囲に基づいて前記車両の運転席に着座している人の顔の像の代表点のクラスタと判断されるクラスタを運転者クラスタとして特定し、その運転者クラスタの存在領域に在る人の顔の像を前記運転者の顔の像として検出する運転者像検出手段と
を含むシステムによって達成される。
【０００７】
上記の構成に於いて、「撮像手段」は、車室内を撮像するために通常使用されるカメラであってよい。複数回に亙って撮像する撮像手段は、車室内を動画（連続画像）で撮像してもよく、適宜設定されるタイミングにて間歇的に静止画で撮像するように構成されていてもよい。車室内の画像の各々に於いて人の顔の像を検出する「顔検出手段」は、任意のアルゴリズムにて、画像内の人の顔の像を検出する処理を実行する手段であってよい。かかる人の顔の検出に於いては、典型的には、画像に於いて、人の顔の像を囲む領域（バウンディング・ボックス（Bounding Box）が画定される。「顔像代表点抽出手段」は、顔検出手段にて各画像に於いて検出された人の顔の像の存在領域（バウンディング・ボックスの領域であってよい。）に於ける所定の点を顔の像の代表点として抽出するところ、所定の点とは、存在領域に於いて任意に設定された位置であってよく、例えば、存在領域の中心位置、右上端、左上端、重心位置などであってよい。「クラスタリング処理手段」では、顔像代表点抽出手段により抽出された複数の撮像画像に於ける顔の像の代表点が車室内で撮像される画像の座標空間に点在する状態（一つの顔の像についても時々刻々に位置が変化するので、同一の顔の像の代表点は、画像毎に異なる位置に存在する。）に於いて、各代表点が、それらの座標位置に基づいて、任意のアルゴリズムを用いて、クラスタに分類される。かかる分類に於いては、概して述べれば、画像の座標空間に於いて、使用されるアルゴリズムに従って、互いに近い位置に存在する代表点が同じクラスタに属するよう分類されることとなる（車室内の乗員が一人であるときには、通常、全ての代表点が一つのクラスタに分類され、そのような場合も本発明の範囲に属する。）。「運転者像検出手段」に於いては、上記のクラスタリング処理にて生成された代表点のクラスタに於いて、画像の座標空間に於ける各クラスタの存在領域の座標範囲に基づいて車両の運転席に着座している人の顔の像の代表点のクラスタと判断されるクラスタが運転者クラスタとして特定される。「車両の運転席に着座している人の顔の像の代表点のクラスタ」とは、人が車両の運転席に着座しているときに、かかる人の顔の像の存在領域の代表点の存在し得る範囲にあるクラスタであってよい。そして、運転者クラスタとして特定されたクラスタに属する代表点に対応する顔の像が運転者の顔の像として検出されることとなる。なお、「顔検出手段」、「顔像代表点抽出手段」、「クラスタリング処理手段」及び「運転者像検出手段」は、プログラムに従ったコンピュータ装置の作動により実現される。コンピュータ装置は、車外のクラウドシステムのものであってもよく、車載のものであってもよい。
【０００８】
上記の本発明のシステムに於いては、車室内を複数回に亙って撮影して得られた一連の画像に写っている一の運転者の顔の像の検出が可能となる。かかる構成によれば、運転席に運転者が着座しているにもかかわらず、或る瞬間にて撮像された一の画像に於いて運転者の顔の位置や向きによって、その一の画像で運転者の顔の像が検出できない場合でも、運転者の顔の像が検出できることとなる。
【０００９】
上記の構成に於ける運転者像検出手段に於いて、画像の座標空間に於けるクラスタの存在領域の座標範囲に基づいて車両の運転席に着座している人の顔の像の代表点のクラスタと判断されるクラスタを運転者クラスタとして特定することは、いくつかの態様にて達成されてよい。具体的には、一つの態様に於いては、クラスタリング処理手段により複数のクラスタが検出されている場合には、運転者像検出手段は、画像の前記座標空間に於いて車両の運転席の存在領域の座標に最も近い領域に位置しているクラスタを運転者クラスタとして特定するよう構成されていてよい。また別の態様に於いては、運転者像検出手段は、画像の座標空間に於ける所定の範囲に存在するクラスタを運転者クラスタとして特定するよう構成されていてよい。ここで「所定の範囲」とは、車両の運転席の近傍にて適宜設定されてよい。
【００１０】
上記の本発明のシステムによれば、車室内の連続的に撮影された画像に於いて検出される顔の像の動きを追って正確に運転者の顔を検出する新規な方法が達成される。かくして、本発明のもう一つの態様によれば、上記の課題は、車両の車室内を撮像した画像に於いて運転者の顔の像を検出する方法であって、
撮像手段により車室内を複数回に亙って撮像するステップと、
前記複数回に亙って撮像された前記車室内の画像の各々に於いて人の顔の像を検出するステップと、
前記画像の各々に於ける前記検出された前記人の顔の像の存在領域の各々に於ける所定の点を顔の像の代表点として抽出するステップと
前記画像に設定された座標空間に於ける、前記画像の各々にて抽出された前記顔の像の代表点の各々の位置座標に基づいて前記顔の像の代表点をクラスタに分類するクラスタリング処理を実施するステップと、
前記座標空間に於ける前記クラスタの存在領域の座標範囲に基づいて前記車両の運転席に着座している人の顔の像の代表点のクラスタと判断されるクラスタを運転者クラスタとして特定し、その運転者クラスタの存在領域に在る人の顔の像を前記運転者の顔の像として検出するステップと
を含む方法によって達成される。
（【００１１】以降は省略されています）

関連特許