特許ウォッチ

公開番号2025012103
公報種別公開特許公報(A)
公開日2025-01-24
出願番号2023114686
出願日2023-07-12
発明の名称画像処理装置
出願人日立Astemo株式会社
代理人弁理士法人平木国際特許事務所
主分類G06T 7/593 20170101AFI20250117BHJP(計算;計数)
要約【課題】ステレオ測距の精度が低下する場合に、測距精度の低下を抑制できる画像処理装置を提供する。
【解決手段】複数の画像のうち少なくとも二つの撮像装置の視野が重複するステレオ処理領域において視差を求めることで物体との距離を測定可能な第二の測距部(ステレオ領域視差算出部)200と、物体検知部301による検知結果、第一の測距部302による測距結果および複数の撮像装置の幾何関係に基づいて、複数の撮像装置が共通して撮像可能な物体の領域である物体共通撮像領域を判定する物体共通撮像領域判定部(物体共通撮像領域算出部)500と、物体共通撮像領域に応じて、第一の測距部302又は第二の測距部200のいずれかの測距結果を車両から物体までの距離として出力する距離出力部(距離選択部)600と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
車両に搭載された複数の撮像装置により撮像された複数の画像のうち少なくとも一つの画像に基づいて、当該車両から前記画像に含まれる物体までの距離を求める画像処理装置であって、
それぞれの撮像装置の視野に含まれる物体を検知する物体検知部と、
それぞれの撮像装置から前記物体までの距離を測定する第一の測距部と、
複数の前記画像のうち少なくとも二つの前記撮像装置の視野が重複するステレオ処理領域において視差を求めることで前記物体との距離を測定可能な第二の測距部と、
前記物体検知部による検知結果、前記第一の測距部による測距結果および複数の前記撮像装置の幾何関係に基づいて、複数の前記撮像装置が共通して撮像可能な前記物体の領域である物体共通撮像領域を判定する物体共通撮像領域判定部と、
前記物体共通撮像領域に応じて、前記第一の測距部又は前記第二の測距部のいずれかの測距結果を前記車両から前記物体までの距離として出力する距離出力部と、を備える、画像処理装置。
続きを表示（約 1,000 文字）【請求項２】
請求項１に記載された画像処理装置であって、
前記物体共通撮像領域判定部は、前記物体を囲う３次元のバウンディングボックスを求め、当該バウンディングボックスを構成する複数の面のうち少なくとも一つの面において、複数の前記撮像装置が共通して撮像可能な物体共通撮像領域を判定する、画像処理装置。
【請求項３】
請求項１に記載された画像処理装置であって、
前記距離出力部は、前記物体共通撮像領域の大きさが所定値を上回る場合、前記第二の測距部による測距結果を前記車両から前記物体までの距離として出力する、画像処理装置。
【請求項４】
請求項１に記載された画像処理装置であって、
前記第二の測距部による測距結果を記憶するステレオ測距結果記憶部をさらに備え、
前記第一の測距部は、前記物体に対する測距結果が前記ステレオ測距結果記憶部に記憶されている場合、前記ステレオ測距結果記憶部に記憶された前記物体に対する測距結果に基づいて、それぞれの前記撮像装置から前記物体までの距離を測定する、画像処理装置。
【請求項５】
請求項１に記載された画像処理装置であって、
前記物体検知部は、それぞれの撮像装置により撮像された画像に基づいて、複数の前記画像毎に前記物体を検知し、
前記第一の測距部は、それぞれの撮像装置により撮像された画像に基づいて、複数の前記画像毎に前記物体までの距離を測定する、画像処理装置。
【請求項６】
請求項１に記載された画像処理装置であって、
前記物体検知部は、前記車両に搭載された測距センサによる測距結果に基づいて、それぞれの前記撮像装置の視野に含まれる物体を検知し、
前記第一の測距部は、前記測距センサによる測距結果に基づいて、それぞれの前記撮像装置から前記物体までの距離を測定する、画像処理装置。
【請求項７】
請求項１に記載された画像処理装置であって、
前記第一の測距部による測距結果は、それぞれの撮像装置により撮像された画像情報のみを使用して算出した前記物体の３次元モデルであり、
前記距離出力部は、前記物体共通撮像領域の視差値から算出した物体形状と前記３次元モデルが最も重なるような補正パラメータを算出し、算出した前記補正パラメータで前記第一の測距部による測距結果を補正して前記第二の測距部による測距結果として出力する、画像処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、複数の撮像装置の共通撮像領域で検知対象までの距離を測定する画像処理装置に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
近年、自動運転や運転支援技術などでは、移動体に複数の撮像装置（カメラ）を設置するマルチカメラシステムが開発されている。マルチカメラシステムにおいて、視野を共有するカメラ間ではステレオ視による測距を実現でき、物体までの正確な距離情報を推定できる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－１４９６７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ステレオ測距では、視野を共有する２台のカメラ（右カメラと左カメラ）で、同一物体が撮像される位置の差である視差を求める。視差は奥行きごとに異なるため、求めた視差から検知した物体までの距離を算出することができる。
【０００５】
同一物体が撮像される位置を探索する処理は、ステレオマッチングと呼ばれる。ステレオマッチングは、図１３、図１４で示すステレオ処理領域において実施される。図１３に示すように、ステレオ処理領域は、左右カメラ間の共通視野を含むように、画像端から所定の角度（θ[deg]）で設定される。以降では、右画像を基準として右画像に対する視差画像を算出する処理を例に記載するが、左画像基準でも同様の処理となる。図１４に示すように、ステレオマッチングは、右画像でステレオ処理領域に設定された領域から所定のサイズのテンプレートを切り出し、左画像の同じ行で類似するテクスチャを探索し、最も類似度が高い位置をマッチング位置として算出する。最終的に、右画像からテンプレートを切り出した位置と、マッチング位置の差が視差となる。
【０００６】
図１４では、ステレオマッチングにおいて、テンプレートとの類似度からマッチング位置を求める手法を説明したが、CNN（Convolutional Neural Network）に代表される機械学習ベースの手法を用いても良いし、その他、任意の視差算出手法を用いても良い。
【０００７】
次に、図１５（ａ）～（ｄ）を用いて、ステレオマッチングにおいて視差算出の精度が低下するシーンについて説明する。図１５（ａ）は、図１３で示したステレオ処理領域を俯瞰図で示したものである。右画像の画像端から所定の角度（θ[deg]）で設定されたステレオ処理領域を示している。図１５（ｂ）は、左右カメラで視野が重複する共通撮像領域を示す。
【０００８】
ステレオマッチングでは、左右画像で同一の領域が撮像されている場合に正しく視差を算出できるが、図１５（ａ）、図１５（ｂ）より、ステレオ処理領域と共通撮像領域が異なることが分かる。図１５（ｃ）にステレオ処理領域に含まれるが共通撮像領域に含まれない領域を示す（視差不信頼領域）。この領域に存在する物体は、ステレオ処理の対象ではあるが実際には右画像にしか撮像されないため、正しく視差を算出できない。そのため、この領域で検知した物体までの距離をステレオ測距で算出する場合、距離を誤る可能性がある。
【０００９】
また、図１５（ｄ）に遮蔽領域を示す。遮蔽領域は、カメラの設置位置の違いから片方のカメラの死角に入ってしまう領域である。遮蔽領域に対してステレオマッチング処理が実施された場合、実際には片方のカメラでしか撮像されないため、正しく視差を算出できない。
【００１０】
ステレオマッチングで正しく視差を算出するためには、左右のカメラで同一領域が撮像されている必要がある。特許文献１に開示されるような従来技術では、同一の被写体が左右のカメラで撮影されている場合に、視差を用いた距離測定を実施するという記載がある。
（【００１１】以降は省略されています）

関連特許