特許ウォッチ

公開番号2024089320
公報種別公開特許公報(A)
公開日2024-07-03
出願番号2022204607
出願日2022-12-21
発明の名称画像処理装置
出願人株式会社SUBARU
代理人個人
主分類G06T 7/00 20170101AFI20240626BHJP(計算;計数)
要約【課題】演算処理の負荷を軽減し、横断体の追跡におけるリアルタイム性を向上させる。
【解決手段】車両前方の複数の撮影画像における横断体との距離に応じた画素値を有する距離画像を撮像する撮像部100において撮像された距離画像の距離情報を横画角毎に圧縮し、1次元の距離情報としての距離ヒストグラムを生成する距離ヒストグラム生成部211と、生成された距離ヒストグラムごとに、エッジヒストグラム情報を演算する演算部212と、過去に演算されたエッジヒストグラム情報の中から演算されたエッジヒストグラム情報とマッチングするエッジヒストグラム情報を抽出する抽出部213と、抽出された過去に演算されたエッジヒストグラム情報と演算されたエッジヒストグラム情報との差分値から、横断体の車両車幅方向の移動量を算出する移動量算出部214と、を備える。
【選択図】図2
特許請求の範囲【請求項１】
車両に搭載され、車両前方の複数の撮影画像における横断体との距離に応じた画素値を有する距離画像を撮像する撮像部において撮像された前記距離画像の距離情報を前記撮像部の横画角毎に圧縮し、１次元の距離情報としての距離ヒストグラムを生成する距離ヒストグラム生成部と、
該生成された前記距離ヒストグラムごとに、エッジヒストグラム情報を演算する演算部と、
少なくとも、前記距離ヒストグラム生成部において生成された前記距離ヒストグラムと前記演算部において演算されたエッジヒストグラム情報とを紐付けて記憶するメモリと、
過去に演算された前記エッジヒストグラム情報の中から演算された前記エッジヒストグラム情報とマッチングする前記エッジヒストグラム情報を抽出する抽出部と、
該抽出された前記過去に演算された前記エッジヒストグラム情報と前記演算された前記エッジヒストグラム情報との差分値から、前記横断体の車両車幅方向の移動量を算出する移動量算出部と、
画像処理制御を実行する画像処理制御部と、
を備えたことを特徴とする画像処理装置。
続きを表示（約 1,500 文字）【請求項２】
前記演算部は、前記画像処理制御部により前記距離画像を表示する画面上のサイズに対応した前記エッジヒストグラム情報を演算する領域として設定された矩形状の演算領域において、前記エッジヒストグラム情報を演算することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記演算部は、前記画面上の路面から所定の高さまで、前記矩形状の演算領域を順次オーバラップさせながら、前記エッジヒストグラム情報を演算することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記演算部は、前記距離ヒストグラムに前記距離情報が存在する高さ情報を含まない演算領域については、演算処理を実行しないことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記演算部は、前記エッジヒストグラム情報として輝度勾配を演算し、前記距離ヒストグラムごとのエッジ分布を求めることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記抽出部は、前記画像処理制御部において設定された検索範囲に含まれ、前記距離ヒストグラム生成部により生成された前記距離ヒストグラムと高さとの差が第１の閾値以内である前記過去に演算された前記エッジヒストグラム情報をマッチング対象とすることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記抽出部は、前記画像処理制御部において設定された検索範囲に含まれ、前記距離ヒストグラム生成部により生成された前記距離ヒストグラムに対する速度変動が第２の閾値以内である前記過去に演算された前記エッジヒストグラム情報をマッチング対象とすることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記抽出部は、前記演算された前記エッジヒストグラム情報と前記マッチング対象の前記エッジヒストグラム情報との近似度を判定して、前記演算部において演算されたエッジヒストグラム情報とマッチングさせるエッジヒストグラム情報を抽出することを特徴とする請求項６または７のいずれか１項に記載の画像処理装置。
【請求項９】
１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサに通信可能に接続される１つまたは複数のメモリと、を備え、
前記１つまたは複数のプロセッサは、
車両に搭載され、車両前方の複数の撮影画像における横断体との距離に応じた画素値を有する距離画像を撮像する撮像部において撮像された前記距離画像の距離情報を前記撮像部の横画角毎に圧縮し、１次元の距離情報としての距離ヒストグラムを生成する距離ヒストグラム生成部と、
該生成された前記距離ヒストグラムごとに、エッジヒストグラム情報を演算する演算部と、
過去に演算された前記エッジヒストグラム情報の中から演算された前記エッジヒストグラム情報とマッチングする前記エッジヒストグラム情報を抽出する抽出部と、
該抽出された前記過去に演算された前記エッジヒストグラム情報と前記演算された前記エッジヒストグラム情報との差分値から、前記横断体の車両車幅方向の移動量を算出する移動量算出部と、
画像処理制御を実行させる画像処理制御部と、
を備え、
前記１つまたは複数のメモリは、少なくとも、前記距離ヒストグラム生成部において生成された前記距離ヒストグラムと前記演算部において演算されたエッジヒストグラム情報とを紐付けて記憶することを特徴とする画像処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
一般に、車両に搭載されたステレオカメラの撮影画像に基づいて車両周辺の横断体までの距離を検出する技術が知られている。
このような技術は、近年の情報処理技術、画像処理技術の発達に伴って、高速に人や車両等を検出する技術に進化を遂げている。
また、こうした技術を応用して、人や動物、他車両等に自車両が衝突する前に、自動的にブレーキをかけるよう制御することによって、自車両と人や動物、他車両等との衝突を未然に防ぐという機能を搭載した車両も知られている。
【０００３】
上記の機能を実現するための要素として、ステレオカメラの画像を用いた測定において、あるフレームの視差画像（過去の画像）で、自車両よりも前方にある車両等の横断体を検出した後、それ以降のフレームの視差画像（現在の画像）において、当該横断体をトラッキング（追跡）する技術がある。
このようなトラッキング技術によって、横断体の移動のベクトルが分かるため、横断体に対する危険度を正しく判定することができる。
【０００４】
上記のようなトラッキング方法としては、例えば、オプティカルフローによる追跡方法等が開示されている（例えば、特許文献１参照）。
オプティカルフローによる追跡方法は、フレーム画像上の横断体等の輝度モードが横断体の運動に従って変化しないという原理に基づいて、横断体を追跡するものである。
そのため、前後のフレーム画像について、オプティカルフロー分析を行うことによって、横断体の検知及び追跡を実行することができる。
また、オプティカルフローによる追跡方法は、横断体のフレーム画像間の運動範囲に対する制限が少なく、横断体がフレーム画像の間に大きく転移する場合であっても、実行可能であるという特徴を有する。
【先行技術文献】
【特許文献】
【０００５】
特開２００７－２３５９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、オプティカルフローによる追跡方法は、横断体に対する複数のサイズ変更を加味した手法であるために、画角の横方向だけでなく、前後方向の移動も予測する必要がある。
そのため、オプティカルフローによる追跡方法では、例えば、現在の画像と過去の画像との位置合わせ処理（マッチング処理）における演算量を全体の演算量が膨大となり、リアルタイム性に乏しいという課題があった。
【０００７】
そこで、本発明は上述の課題に鑑みてなされたものであり、演算処理の負荷を軽減し、横断体の追跡におけるリアルタイム性を向上させる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
形態１；本発明の１またはそれ以上の実施形態は、車両に搭載され、車両前方の複数の撮影画像における横断体との距離に応じた画素値を有する距離画像を撮像する撮像部において撮像された前記距離画像の距離情報を前記撮像部の横画角毎に圧縮し、１次元の距離情報としての距離ヒストグラムを生成する距離ヒストグラム生成部と、該生成された前記距離ヒストグラムごとに、エッジヒストグラム情報を演算する演算部と、少なくとも、前記距離ヒストグラム生成部において生成された前記距離ヒストグラムと前記演算部において演算されたエッジヒストグラム情報とを紐付けて記憶するメモリと、過去に演算された前記エッジヒストグラム情報の中から演算された前記エッジヒストグラム情報とマッチングする前記エッジヒストグラム情報を抽出する抽出部と、該抽出された前記過去に演算された前記エッジヒストグラム情報と前記演算された前記エッジヒストグラム情報との差分値から、前記横断体の車両車幅方向の移動量を算出する移動量算出部と、画像処理制御を実行する画像処理制御部と、を備えたことを特徴とする画像処理装置を提案している。
【０００９】
形態２；本発明の１またはそれ以上の実施形態は、前記演算部は、前記画像処理制御部により前記距離画像を表示する画面上のサイズに対応した前記エッジヒストグラム情報を演算する領域として設定された矩形状の演算領域において、前記エッジヒストグラム情報を演算することを特徴とする画像処理装置を提案している。
【００１０】
形態３；本発明の１またはそれ以上の実施形態は、前記演算部は、前記画面上の路面から所定の高さまで、前記矩形状の演算領域を順次オーバラップさせながら、前記エッジヒストグラム情報を演算することを特徴とする画像処理装置を提案している。
（【００１１】以降は省略されています）

関連特許