特許ウォッチ

公開番号2025162008
公報種別公開特許公報(A)
公開日2025-10-27
出願番号2024065069
出願日2024-04-15
発明の名称画像処理装置及び画像処理方法
出願人Astemo株式会社
代理人弁理士法人平木国際特許事務所
主分類G06T 7/593 20170101AFI20251020BHJP(計算;計数)
要約【課題】視差精度と画像のサイズを両立するべく、元の画像の解像度を可能な限り維持しつつ、最も省メモリな平行化画像を生成する画像処理装置及び画像処理方法を提供する。
【解決手段】画像処理装置(10)は、第一の撮像画像P1及び第二の撮像画像P2を取得する画像取得部(101)と、第一の撮像画像及び第二の撮像画像に撮像された同一像の垂直座標が少なくとも第一の撮像画像及び前記第二の撮像画像内の任意の点で一致するように平行化して第一の平行化画像及び第二の平行化画像を生成する平行化処理部(104)と、複数の平行化画像に基づいて視差を生成する視差画像生成部(106)と、視差に基づいて、物体を認識する立体物認識部(107)と、を備える。平行化処理部(104)は、垂直軸を含む平面における所定の画角範囲で基線方向の単位画素当たりの解像度が上回るように、第一の撮像画像及び第二の撮像画像を平行化する。
【選択図】図1
特許請求の範囲【請求項１】
複数の撮像部により各々撮像された第一の撮像画像及び第二の撮像画像を取得する画像取得部と、
前記複数の撮像部により規定される基線方向および前記複数の撮像部の光軸方向に対して垂直な方向を垂直軸として、前記第一の撮像画像及び前記第二の撮像画像に撮像された同一像の垂直座標が少なくとも前記第一の撮像画像及び前記第二の撮像画像内の任意の点で一致するように、前記第一の撮像画像及び前記第二の撮像画像を平行化して第一の平行化画像及び第二の平行化画像を生成する平行化処理部と、
複数の前記平行化画像に基づいて、視差を生成する視差画像生成部と、
前記視差に基づいて、物体を認識する物体認識部と、を備え、
前記平行化処理部は、前記第一の撮像画像及び前記第二の撮像画像に対して、前記垂直軸を含む平面における所定の画角範囲で前記基線方向の単位画素当たりの解像度が上回るように、前記第一の撮像画像及び前記第二の撮像画像を平行化する、
ことを特徴とする画像処理装置。
続きを表示（約 1,600 文字）【請求項２】
請求項１に記載された画像処理装置であって、
前記複数の撮像部の並ぶ方向に対して垂直な方向に対して、所定の垂直画角αとしたとき、
前記複数の撮像部の並ぶ方向に対して垂直な方向に対して、前記垂直画角α以下の領域では、前記第一の平行化画像及び前記第二の平行化画像は、前記第一の撮像画像及び前記第二の撮像画像に対して、少なくとも前記複数の撮像部の並ぶ方向の単位画角当たりの画素数が多く、
前記複数の撮像部の並ぶ方向に対して垂直な方向に対して、前記垂直画角αよりも大きい領域では、前記第一の平行化画像及び前記第二の平行化画像は、前記第一の撮像画像及び前記第二の撮像画像に対して、少なくとも前記複数の撮像部の並ぶ方向の単位画角当たりの画素数が少ない、
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載された画像処理装置であって、
前記平行化処理部は、
下記の数式（４）で示される平行化関数を用いて前記平行化を行う、
ことを特徴とする画像処理装置。
TIFF
2025162008000011.tif
11
158
（但し、ｆは焦点距離、θ′は被写体と前記複数の撮像部の並ぶ方向を含む平面におけるヨー角）
【請求項４】
請求項１に記載された画像処理装置であって、
前記平行化処理部は、前記複数の撮像部の画角範囲に応じて異なる、前記複数の撮像部の並ぶ方向の像高を出力する平行化関数に基づいて、前記撮像画像を平行化する、
ことを特徴とする画像処理装置。
【請求項５】
請求項２に記載された画像処理装置であって、
前記複数の撮像部の地面からの配置高さをｈ、対応する測距距離をＬ１としたとき、
前記垂直画角αをtan
-1
(h/L1)以上とする、
ことを特徴とする画像処理装置。
【請求項６】
請求項１に記載された画像処理装置であって、
前記複数の撮像部のエピポーラ線は、前記第一の平行化画像及び第二の平行化画像において前記複数の撮像部の並ぶ方向に対して平行である、
ことを特徴とする画像処理装置。
【請求項７】
請求項１に記載された画像処理装置であって、
前記複数の撮像部に搭載されたレンズの半径方向歪みに対する変換情報が格納されている変換情報記憶部を有し、
前記平行化処理部では、前記変換情報に基づいて、前記第一の平行化画像及び第二の平行化画像の縦軸及び横軸の平行化倍率が前記レンズの半径方向歪みに従う前記レンズの光学歪によって定まるように前記第一の撮像画像及び前記第二の撮像画像を平行化する、
ことを特徴とする画像処理装置。
【請求項８】
請求項１に記載された画像処理装置であって、
前記平行化処理部は、
前記第一の撮像画像及び前記第二の撮像画像のエピポーラ線が長さを維持したまま平行直線となるように前記第一の撮像画像及び前記第二の撮像画像を展開させ、
前記撮像画像の画像全体での解像度を一定にするエピポーラ線を基準線として選択し、
該基準線に合わせて前記第一の撮像画像及び前記第二の撮像画像を平行化させる、
ことを特徴とする画像処理装置。
【請求項９】
請求項８に記載された画像処理装置であって、
前記平行化処理部は、
前記撮像画像に写る所定の垂直画角に応じて前記エピポーラ線を選択することを特徴とする画像処理装置。
【請求項１０】
請求項９に記載された画像処理装置であって、
前記平行化処理部は、
前記垂直画角が最も広角のエピポーラ線を選択することを特徴とする画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
ステレオカメラは、複数のカメラ、例えば、２つのカメラで立体物を撮像する。ステレオカメラの画像処理装置は、各カメラにより撮像された画像に映る立体物の視差を計算し、三角測量の原理で当該立体物の奥行き距離を測ることで、立体物を３次元に認識することができる。それゆえ、ステレオカメラは、車の衝突防止機能、ロボットのセンサ及び監視カメラ、セキュリティ等の広い範囲で応用されている。例えば、ステレオカメラは、自動車などに搭載され、周囲の自動車や、歩行者、自転車、バイク、その他の立体物等の位置を検出し、その情報を基に、自動緊急ブレーキ等の自車両の自動制御を行う。
【０００３】
なお、ステレオカメラは、応用される様々なケースに対応するために、より広画角、かつより遠方の立体物の測距が求められる。特に広画角の立体物を測距する場合、しばしば魚眼レンズを採用した極端な広角カメラが使用される。魚眼レンズは、画像に大幅な歪をもたらすことで、１枚の画像に広角部の被写体まで収めることを可能にしている。
【０００４】
ステレオカメラでは、左右カメラに写る同一像の視差（相対位置）を計算するステレオマッチング処理が最も計算コストの高い処理であり、特に車載などでは、リアルタイム性が求められるため、可能な限り計算コストを削減する必要がある。そこで、ステレオマッチング処理を行う前に、ステレオカメラでは、左右画像の平行化処理が行われる。平行化を行うことで、同一像を探索する範囲を同一平行線上に限定することができ、大きく計算コストを削減することができる。一般的に、平行化後の画像は、透視投影画像（無歪画像）に変換されることで行われるが、魚眼レンズにより撮影された広角な画像の透視投影画像は、画像サイズが大きくなってしまうことが課題である。
【０００５】
特許文献１には、「修正された投影を有する修正画像を生成するために前記第１広角画像にマッピングを適用するマッパーであって」、「前記透視投影から前記修正された投影の修正された垂直投影への非線形垂直マッピングに一致する垂直マッピング関数と、前記第１投影から前記透視投影へのマッピングとそれに続く前記透視投影から前記修正された投影の修正された水平投影への非線形水平マッピングに一致する水平マッピング関数とを提供する、マッパー」を備えると記載されている。
【先行技術文献】
【特許文献】
【０００６】
特表２０２２－５０６１０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述のように、左右の撮像装置が撮像した画像に対して、透視投影に代えて、非線形マッピング関数を適用することで、従来より圧縮された平行化画像の生成を提案している。しかし、特許文献１に記載の技術においては、具体的な圧縮関数に関して記載がなく、少なくとも透視投影に対して何らかの圧縮を行うという限定しかしていない。大きく圧縮を行えば、それだけ画像を圧縮することはできるが、画像の解像度が劣化するまで圧縮してしまえば、視差計算精度の劣化につながる。また、逆に拡大することとなっても、あくまで補完処理によって拡大するだけなので、元の画像の解像度を本質的に上回ることはできない。以上をまとめると、元の画像の解像度を劣化させてしまうほどの圧縮は、視差精度も劣化させることとなり、拡大は、無意味にメモリの容量を増やすだけとなる。
【０００８】
視差精度と画像のサイズを両立するべく、元の画像の解像度を維持しつつ、最も省メモリな平行化画像の生成が課題となっている。
【０００９】
本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、複数のカメラにおいて撮像された画像から平行化画像への変換で、解像度を維持することで、省メモリ化と測距精度を両立することができる画像処理装置を提供することである。
【課題を解決するための手段】
【００１０】
上記課題を解決する本発明の画像処理装置は、
複数の撮像部により各々撮像された第一の撮像画像及び第二の撮像画像を取得する画像取得部と、
前記複数の撮像部により規定される基線方向および前記複数の撮像部の光軸方向に対して垂直な方向を垂直軸として、前記第一の撮像画像及び前記第二の撮像画像に撮像された同一像の垂直座標が少なくとも前記第一の撮像画像及び前記第二の撮像画像内の任意の点で一致するように、前記第一の撮像画像及び前記第二の撮像画像を平行化して第一の平行化画像及び第二の平行化画像を生成する平行化処理部と、
複数の前記平行化画像に基づいて、視差を生成する視差画像生成部と、
前記視差に基づいて、物体を認識する物体認識部と、を備え、
前記平行化処理部は、前記第一の撮像画像及び前記第二の撮像画像に対して、前記垂直軸を含む平面における所定の画角範囲で前記基線方向の単位画素当たりの解像度が上回るように、前記第一の撮像画像及び前記第二の撮像画像を平行化する、
ことを特徴とする。
【発明の効果】
（【００１１】以降は省略されています）

関連特許