特許ウォッチ

公開番号2025115095
公報種別公開特許公報(A)
公開日2025-08-06
出願番号2024009440
出願日2024-01-25
発明の名称画像処理装置
出願人Astemo株式会社
代理人弁理士法人平木国際特許事務所
主分類G06T 7/00 20170101AFI20250730BHJP(計算;計数)
要約【課題】ステレオマッチングで生成された視差の信頼度が低下した場合に、プロセッサの処理量と消費電力を減らしつつニューラルネットワークにより高信頼な視差をリアルタイムに生成する。
【解決手段】本発明の画像処理装置(10)は、車両に搭載された複数のカメラ(21)により撮像された視差を有する一組の画像を取得する画像取得部(20)と、一方の前記画像の一部の画素ブロックがマッチングする領域を他方の前記画像の中から探索することで、前記一組の画像の第一の視差を求める第一視差生成部(30)と、一方または一組の前記画像の一部の領域である特定領域の画像に関する信頼度に基づいて、処理範囲を指定する画像範囲指定部(40)と、前記画像範囲指定部により指定された処理範囲に対してニューラルネットワーク処理により前記一組の画像の第二の視差を求める第二視差生成部(50)と、を備える。
【選択図】図2
特許請求の範囲【請求項１】
車両に搭載された複数のカメラにより撮像された視差を有する一組の画像を取得する画像取得部と、
一方の前記画像の一部の画素ブロックがマッチングする領域を他方の前記画像の中から探索することで、前記一組の画像の第一の視差を求める第一視差生成部と、
一方または一組の前記画像の一部の領域である特定領域の画像に関する信頼度に基づいて、処理範囲を指定する画像範囲指定部と、
前記画像範囲指定部により指定された処理範囲に対してニューラルネットワーク処理により一組の前記画像の第二の視差を求める第二視差生成部と、
を備える画像処理装置。
続きを表示（約 1,200 文字）【請求項２】
請求項１に記載された画像処理装置において、
前記第一視差生成部により生成された前記第一の視差または前記第二視差生成部により生成された前記第二の視差の少なくとも一方に基づいて、外界環境を認識する認識処理部を備える、画像処理装置。
【請求項３】
請求項２に記載された画像処理装置において、
前記第一の視差および前記第二の視差を合成することで合成視差画像を生成する視差合成部を備え、
前記認識処理部は、前記視差合成部により生成された合成視差画像に基づいて、外界環境を認識する、画像処理装置。
【請求項４】
請求項２に記載された画像処理装置において、
前記画像範囲指定部は、前記認識処理部における認識処理の対象物に応じて前記特定領域を決定する、画像処理装置。
【請求項５】
請求項２に記載された画像処理装置において、
前記画像範囲指定部は、
一方または一組の前記画像をエッジ画像に変換し、
前記エッジ画像において前記特定領域に対応する座標に位置する前記エッジ画像のエッジ数、前記エッジ画像のエッジ強度または前記画像の輝度の平均値の少なくとも一つに基づいて、前記特定領域の画像に関する信頼度を求める、画像処理装置。
【請求項６】
請求項２に記載された画像処理装置において、
前記画像範囲指定部は、前記特定領域の画像に関する信頼度が閾値を下回る場合、前記第二視差生成部に前記第二の視差を生成させる、画像処理装置。
【請求項７】
請求項２に記載された画像処理装置において、
前記画像範囲指定部は、前記特定領域の画像に関する信頼度が閾値を上回る場合、前記第二視差生成部に前記第二の視差を生成させない、画像処理装置。
【請求項８】
請求項１に記載された画像処理装置において、
前記画像範囲指定部は、前記一組の画像を撮像するカメラの撮像視野に対して予め設定された特定領域の画像に関する信頼度に基づいて、前記処理範囲を指定する、画像処理装置。
【請求項９】
請求項８に記載された画像処理装置において、
前記画像範囲指定部は、前記車両の走行環境、走行時間帯、天候、前記カメラの前記車両への設置位置、前記カメラの劣化状態の少なくとも一つに基づいて、前記一組の画像を撮像する前記カメラの撮像視野における特定領域の位置を決定する、画像処理装置。
【請求項１０】
請求項１に記載された画像処理装置において、
前記画像範囲指定部は、前記第一視差生成部により生成された視差に基づいて、前記処理範囲の内での視差の探索幅を決定し、
前記第二視差生成部は、前記画像範囲指定部により決定された視差の探索幅に基づいて、前記第二の視差を求める、画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、複数のカメラを用いて車外の障害物の認識を行うステレオカメラなどの画像処理装置に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
車両の走行安全性を向上させるために、車両に搭載したカメラで前方の障害物を検知して、その障害物に衝突する可能性がある場合は、ドライバへの警報や自動ブレーキを行うシステムが研究されている。
【０００３】
カメラの種類としては、単眼カメラや複数のカメラを使用したステレオカメラ等がある。ステレオカメラは、所定の間隔を空けて車両に配置された２つのカメラで撮影された画像の重複領域の視差を利用して、撮影された物体までの距離を計測することができる。このため、物体までの衝突危険度を的確に把握することができる。
【０００４】
前述の通り、ステレオカメラは、２つのカメラで撮影された画像の視差を求め、その視差を距離に変換する。しかしながら、画像の状況によっては視差を正確に算出できないことがある。そこで、ステレオマッチング処理方式で算出された視差の信頼度を算出して信頼度が低い視差を他の方式で算出した疑似視差と合成するという方式が特許文献１に提案されている。
【先行技術文献】
【特許文献】
【０００５】
特開２０１２－２５３６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１の技術では、ステレオマッチング方式の視差の信頼度が低下した画素を他の視差演算方式でカバーするため画像全体の視差の信頼度は向上するが、画像全体に対してステレオマッチング処理と他の方式を組み合わせた複数方式の視差演算を行うので、プロセッサの処理量が増加し消費電力が増加する。車載カメラ等の組み込み機器では、リアルタイム処理が必須でありながらプロセッサの処理量を減らして消費電力を低減することが要求される。したがって、プロセッサの処理量と消費電力を減らしてリアルタイム処理を行いつつ高信頼な視差を生成する必要がある。
【課題を解決するための手段】
【０００７】
上記課題を解決するため本発明は、車両に搭載された複数のカメラにより撮像された視差を有する一組の画像を取得する画像取得部と、一方の前記画像の一部の画素ブロックがマッチングする領域を他方の前記画像の中から探索することで、前記一組の画像の第一の視差を求める第一視差生成部と、一方または一組の前記画像の一部の領域である特定領域の画像に関する信頼度に基づいて、処理範囲を指定する画像範囲指定部と、前記画像範囲指定部により指定された処理範囲に対してニューラルネットワーク処理により前記一組の画像の第二の視差を求める第二視差生成部と、を備える。
【発明の効果】
【０００８】
本発明によれば、ステレオマッチング方式で算出した視差の中で、認識処理に必要とされる領域の信頼度が低下すると判断される場合は、前記領域についてニューラルネットワーク処理により視差を生成するので、プロセッサの処理量と消費電力を減らしてリアルタイム処理を行いつつ必要な領域の高信頼な視差が生成できる効果がある。
【０００９】
本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１０】
画像処理装置を含む車両制御システムのハードウェア構成図。
画像処理装置の機能ブロック図。
ステレオマッチング方式による視差生成処理を示す図。
注目エリアの設定例を示す図。
画像範囲指定部４０の機能ブロック図。
画像処理装置１０の処理フローチャート。
視差の信頼度評価の処理フローチャート。
第二視差生成部５０に対する視差の探索範囲の決定処理のフローチャート。
画像の左端の部分に注目エリアを設定した例を示す図。
第三の実施例に係る情報処理装置のハードウェア構成図。
第二視差生成部５０に適した学習を行うための画像の選択を行うフローチャート。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許