特許ウォッチ

公開番号2024130649
公報種別公開特許公報(A)
公開日2024-09-30
出願番号2023040498
出願日2023-03-15
発明の名称画像処理装置、画像処理方法およびプログラム
出願人株式会社デンソーテン
代理人弁理士法人酒井国際特許事務所
主分類G06V 10/56 20220101AFI20240920BHJP(計算;計数)
要約【課題】信号機の灯火色の検出精度を向上させること。
【解決手段】実施形態に係る画像処理装置は、カメラ画像から信号機の灯火色を判定するコントローラを有する。コントローラは、上記信号機が有する各灯火器の配置に対応する上記信号機の各灯火状態における色成分の配置パターンを、上記色成分を検出する検出部間の間隔が異なる複数種類のパターンフィルタとして設定し、上記カメラ画像に対する画像認識によって上記信号機が存在する信号領域を抽出し、上記信号領域から上記複数種類のパターンフィルタを介して上記色成分ごとの上記配置パターンに対する特徴量を示す複数の特徴マップを生成し、上記複数の特徴マップに基づいて上記信号機の灯火色を判定する。
【選択図】図6
特許請求の範囲【請求項１】
カメラ画像から信号機の灯火色を判定するコントローラを有し、
前記コントローラは、
前記信号機が有する各灯火器の配置に対応する前記信号機の各灯火状態における色成分の配置パターンを、前記色成分を検出する検出部間の間隔が異なる複数種類のパターンフィルタとして設定し、
前記カメラ画像に対する画像認識によって前記信号機が存在する信号領域を抽出し、
前記信号領域から前記複数種類のパターンフィルタを介して前記色成分ごとの前記配置パターンに対する特徴量を示す複数の特徴マップを生成し、
前記複数の特徴マップに基づいて前記信号機の灯火色を判定する、
画像処理装置。
続きを表示（約 2,200 文字）【請求項２】
前記パターンフィルタは、
前記信号領域において前記信号機の青色灯火器の位置に対応する前記色成分を検出する前記検出部である第１検出部と、
前記信号領域において前記信号機の黄色灯火器の位置に対応する前記色成分を検出する前記検出部である第２検出部と、
前記信号領域において前記信号機の赤色灯火器の位置に対応する前記色成分を検出する前記検出部である第３検出部と、
を有し、
前記コントローラは、
前記第１検出部、前記第２検出部および前記第３検出部が、前記第１検出部と前記第２検出部との間、および、前記第２検出部と前記第３検出部との間に予め決められた前記間隔を空けて前記信号機の長手方向に沿って並ぶように前記パターンフィルタを設定する、
請求項１に記載の画像処理装置。
【請求項３】
前記パターンフィルタは、
前記信号機の青色灯火時、黄色灯火時、赤色灯火時および無灯火時である前記各灯火状態にそれぞれ対応する４種類と、該４種類それぞれについてＳスケール、ＭスケールおよびＬスケールの３種類の前記間隔を有する計１２種類が設定され、
前記コントローラは、
１２種類の前記パターンフィルタによって１２の前記特徴マップを生成する、
請求項２に記載の画像処理装置。
【請求項４】
前記コントローラは、
生成した１２の前記特徴マップのうち、前記間隔の異なる前記パターンフィルタによる前記特徴マップを重ね合わせて１つの前記特徴マップとし、前記各灯火状態にそれぞれ対応する４つの前記特徴マップに基づいて前記信号機の灯火色を判定する、
請求項３に記載の画像処理装置。
【請求項５】
前記特徴量は、
前記配置パターンに該当する前記色成分の抽出量であって、
前記コントローラは、
前記特徴マップにおける青色成分、黄色成分および赤色成分の抽出量のいずれかが予め決められた値以上である場合に、前記青色成分、前記黄色成分および前記赤色成分のうち抽出量が最大の前記色成分に対応する色を前記信号機の灯火色と判定する、
請求項４に記載の画像処理装置。
【請求項６】
前記コントローラは、
前記青色成分、前記黄色成分および前記赤色成分の抽出量のいずれもが予め決められた値未満である場合に、前記特徴マップにおける無灯火色成分の抽出量が予め決められた値以上であるならば、前記信号機が無灯火であると判定する、
請求項５に記載の画像処理装置。
【請求項７】
前記コントローラは、
前記信号領域を２５×２５画素分の領域として抽出し、
前記第１検出部、前記第２検出部および前記第３検出部がそれぞれ、３×３画素分の領域の前記色成分を検出するように前記パターンフィルタを設定し、
前記Ｓスケールの前記間隔が１画素分となり、前記Ｍスケールの前記間隔が３画素分となり、前記Ｌスケールの前記間隔が５画素分となるように前記パターンフィルタを設定する、
請求項３に記載の画像処理装置。
【請求項８】
カメラ画像から信号機の灯火色を判定する画像処理装置が実行する画像処理方法であって、
前記信号機が有する各灯火器の配置に対応する前記信号機の各灯火状態における色成分の配置パターンを、前記色成分を検出する検出部間の間隔が異なる複数種類のパターンフィルタとして設定することと、
前記カメラ画像に対する画像認識によって前記信号機が存在する信号領域を抽出することと、
前記信号領域から前記複数種類のパターンフィルタを介して前記色成分ごとの前記配置パターンに対する特徴量を示す複数の特徴マップを生成することと、
前記複数の特徴マップに基づいて前記信号機の灯火色を判定することと、
を含む、画像処理方法。
【請求項９】
前記パターンフィルタは、
前記信号領域において前記信号機の青色灯火器の位置に対応する前記色成分を検出する前記検出部である第１検出部と、
前記信号領域において前記信号機の黄色灯火器の位置に対応する前記色成分を検出する前記検出部である第２検出部と、
前記信号領域において前記信号機の赤色灯火器の位置に対応する前記色成分を検出する前記検出部である第３検出部と、
を有し、
前記第１検出部、前記第２検出部および前記第３検出部が、前記第１検出部と前記第２検出部との間、および、前記第２検出部と前記第３検出部との間に予め決められた間隔を空けて前記信号機の長手方向に沿って並ぶように前記パターンフィルタを設定すること、
をさらに含む、請求項８に記載の画像処理方法。
【請求項１０】
前記パターンフィルタは、
前記信号機の青色灯火時、黄色灯火時、赤色灯火時および無灯火時である前記各灯火状態にそれぞれ対応する４種類と、該４種類それぞれについてＳスケール、ＭスケールおよびＬスケールの３種類の前記間隔を有する計１２種類が設定され、
１２種類の前記パターンフィルタによって１２の前記特徴マップを生成すること、
をさらに含む、請求項９に記載の画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
開示の実施形態は、画像処理装置、画像処理方法およびプログラムに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
従来、車両からのカメラ画像に対するテンプレートマッチングにより、信号機および信号機の灯火色を検出する技術が提案されている（例えば、特許文献１参照）。
【０００３】
この技術では、地図データベースから抽出した車両前方にある信号機との距離に基づき、テンプレートの大きさを調整しつつカメラ画像から信号機を検出する。また、この技術では、検出した信号機における３つの円状の領域のうち、最も輝度レベルが高い領域に対応する灯火器の色を灯火色として検出する。
【先行技術文献】
【特許文献】
【０００４】
特開２００７－００４２５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術では、灯火色を判定するに際して上述の３つの円状の領域の輝度レベルのみを比較している。このため、上述した従来技術を用いた場合、強い日差しや、信号機の周囲にある照明や強反射物、外乱等の影響で、灯火していない灯火器に対応する領域が最も輝度レベルが高いと判定された場合、信号機の灯火色を誤検出してしまうおそれがある。
【０００６】
実施形態の一態様は、上記に鑑みてなされたものであって、信号機の灯火色の検出精度を向上させることができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
実施形態の一態様に係る画像処理装置は、カメラ画像から信号機の灯火色を判定するコントローラを有する。前記コントローラは、前記信号機が有する各灯火器の配置に対応する前記信号機の各灯火状態における色成分の配置パターンを、前記色成分を検出する検出部間の間隔が異なる複数種類のパターンフィルタとして設定し、前記カメラ画像に対する画像認識によって前記信号機が存在する信号領域を抽出し、前記信号領域から前記複数種類のパターンフィルタを介して前記色成分ごとの前記配置パターンに対する特徴量を示す複数の特徴マップを生成し、前記複数の特徴マップに基づいて前記信号機の灯火色を判定する。
【発明の効果】
【０００８】
実施形態の一態様によれば、信号機の灯火色の検出精度を向上させることができる。
【図面の簡単な説明】
【０００９】
図１は、実施形態に係る画像処理方法の概要説明図（その１）である。
図２は、実施形態に係る灯火色パターンフィルタの構成例を示す図である。
図３は、実施形態に係る画像処理方法の概要説明図（その２）である。
図４は、灯火色パターンフィルタにおける各検出部の間隔によって灯火色が誤判定されるおそれがある場合の説明図である。
図５は、スケール別の灯火色パターンフィルタの構成例を示す図である。
図６は、実施形態に係る画像処理方法の概要説明図（その３）である。
図７は、実施形態に係る画像処理装置の構成例を示す図である。
図８は、変形例に係る画像処理装置の構成例を示す図である。
図９は、実施形態に係る画像処理装置が実行する処理手順を示すフローチャート（その１）である。
図１０は、実施形態に係る画像処理装置が実行する処理手順を示すフローチャート（その２）である。
図１１は、実施形態に係る画像処理装置が実行する処理手順を示すフローチャート（その３）である。
図１２は、特徴マップ生成処理の説明図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本願の開示する画像処理装置、画像処理方法およびプログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
（【００１１】以降は省略されています）

関連特許