特許ウォッチ

公開番号2024179163
公報種別公開特許公報(A)
公開日2024-12-26
出願番号2023097774
出願日2023-06-14
発明の名称ステレオ画像処理装置およびステレオ画像処理方法
出願人株式会社日立製作所
代理人青稜弁理士法人
主分類H04N 23/60 20230101AFI20241219BHJP(電気通信技術)
要約【課題】経時変化などの要因による測距誤差を抑制する画像処理装置を提供する。
【解決手段】第1のカメラ50と第2のカメラ60により撮像された画像から視差を検出するステレオ画像処理装置10であって、第1のカメラで撮像した第1の画像から所定の天体を検出するとともに、第2のカメラで撮像した第2の画像から前記所定の天体を検出する天体位置検出部と、第1の画像中の前記所定の天体の位置と、第2の画像中の前記所定の天体の位置を比較する比較部と、第2の画像中の前記所定の天体の位置に対する、第1の画像中の前記所定の天体の位置ずれに基づいて、第2の画像中の前記所定の天体の位置に、第1の画像中の前記所定の天体の位置が近づくようにずれ情報を校正する校正部(変化量補間部)と、そのずれ情報(校正情報)を記録する変換情報記録部と、前記校正情報を用いて、第1のカメラにより撮像された画像を校正する画像変換部を備える。
【選択図】図1A
特許請求の範囲【請求項１】
第１のカメラと第２のカメラにより撮像された画像から視差を検出するステレオ画像処理装置であって、
前記第１のカメラで撮像した第１の画像から所定の天体を検出するとともに、前記第２のカメラで撮像した第２の画像から前記所定の天体を検出する天体位置検出部と、
前記第１の画像中の前記所定の天体の位置と、前記第２の画像中の前記所定の天体の位置を比較する比較部と、
前記第２の画像中の前記所定の天体の位置に対する、前記第１の画像中の前記所定の天体の位置ずれに基づいて、前記第２の画像中の前記所定の天体の位置に、前記第１の画像中の前記所定の天体の位置が近づくように校正する、前記第１の画像の校正情報を生成する校正部と、
前記校正情報を記録する変換情報記録部と、
前記校正情報を用いて、前記第１のカメラにより撮像された画像を校正する画像変換部を備える、
ステレオ画像処理装置。
続きを表示（約 2,500 文字）【請求項２】
前記校正部は、前記第２の画像中の前記所定の天体の位置に、前記第１の画像中の前記所定の天体の位置が近づくように、前記第１の画像全体の歪みを校正する前記校正情報を生成する変化量補間部である、
請求項１記載のステレオ画像処理装置。
【請求項３】
前記校正部は、前記第２の画像中の前記所定の天体の位置に、前記第１の画像中の前記所定の天体の位置が近づくように、前記第１の画像全体を回転およびシフトさせる前記校正情報を生成する位置・回転情報算出部である、
請求項１記載のステレオ画像処理装置。
【請求項４】
前記第１のカメラにより撮像された画像にアフィン処理を施して、前記第１の画像を生成する第１のアフィン処理部と、
前記第２のカメラにより撮像された画像にアフィン処理を施して、前記第２の画像を生成する第２のアフィン処理部を備える、
請求項１記載のステレオ画像処理装置。
【請求項５】
前記第２のカメラにより撮像された画像にアフィン処理を施した画像と、前記第１のカメラにより撮像された画像にアフィン処理を施した画像を前記画像変換部で校正した画像を用いて、ステレオ視差画像を生成するステレオ視差画像生成部を備える、
請求項４記載のステレオ画像処理装置。
【請求項６】
前記校正部は、前記第２の画像中の前記所定の天体の位置に、前記第１の画像中の前記所定の天体の位置が近づくように、前記第１の画像全体を回転およびシフトさせる前記校正情報を生成する位置・回転情報算出部であり、
前記校正情報を用いて、前記第１のアフィン処理部でアフィン処理を施された後の、前記第１のカメラにより撮像された画像を校正する第１の画像変換部と、
前記校正情報を用いて、前記第１のアフィン処理部でアフィン処理を施される前の、前記第１のカメラにより撮像された画像を校正する第２の画像変換部を備える、
請求項４記載のステレオ画像処理装置。
【請求項７】
前記第１のカメラで撮像した第１の画像から前記所定の天体を複数のタイミングで検出するとともに、前記第２のカメラで撮像した第２の画像から前記所定の天体を複数のタイミングで検出する前記天体位置検出部と、
前記第１の画像中の複数のタイミングでの前記所定の天体の位置と、前記第２の画像中の複数のタイミングでの前記所定の天体の位置を比較する前記比較部と、
前記第２の画像中の複数のタイミングでの前記所定の天体の位置に対する、前記第１の画像中の複数のタイミングでの前記所定の天体の位置ずれに基づいて、前記第１の画像の校正情報を生成する前記校正部と、を備える、
請求項１記載のステレオ画像処理装置。
【請求項８】
前記第１のカメラと前記第２のカメラが固定される台座を備え、前記台座を所定の軸で機械的に傾ける姿勢制御機構を備え、前記第１のカメラと前記第２のカメラの光軸方向を変更可能とし、
前記第１のカメラで撮像した第１の画像から前記所定の天体を複数の光軸方向で検出するとともに、前記第２のカメラで撮像した第２の画像から前記所定の天体を複数の光軸方向で検出する前記天体位置検出部と、
前記第１の画像中の複数の光軸方向での前記所定の天体の位置と、前記第２の画像中の複数の光軸方向での前記所定の天体の位置を比較する前記比較部と、
前記第２の画像中の複数の光軸方向での前記所定の天体の位置に対する、前記第１の画像中の複数の光軸方向での前記所定の天体の位置ずれに基づいて、前記第１の画像の校正情報を生成する前記校正部と、を備える、
請求項１記載のステレオ画像処理装置。
【請求項９】
第１のカメラと第２のカメラにより撮像された画像から視差を検出するステレオ画像処理装置であって、
前記第１のカメラで撮像した第１の画像から所定の天体を複数のタイミングで検出するとともに、前記第２のカメラで撮像した第２の画像から前記所定の天体を複数のタイミングで検出する天体位置検出部と、
前記第１の画像中の複数のタイミングでの前記所定の天体の位置と、前記第２の画像中の複数のタイミングでの前記所定の天体の位置を比較する比較部と、
前記第２の画像中の複数のタイミングでの前記所定の天体の位置と、前記第１の画像中の複数のタイミングでの前記所定の天体の位置ずれに基づいて、前記第２の画像中の複数のタイミングでの前記所定の天体の位置と、前記第１の画像中の複数のタイミングでの前記所定の天体の位置が近づくように校正する、校正情報を生成する校正部と、
前記校正情報を記録する変換情報記録部と、
前記校正情報を用いて、前記第１のカメラにより撮像された画像と前記第２のカメラにより撮像された画像が近づくように校正する画像変換部を備える、
ステレオ画像処理装置。
【請求項１０】
第１のカメラと第２のカメラにより撮像された画像から視差を検出するステレオ画像処理方法であって、
前記第１のカメラで撮像した第１の画像から所定の天体を検出するとともに、前記第２のカメラで撮像した第２の画像から前記所定の天体を検出する天体位置検出処理と、
前記第１の画像中の前記所定の天体の位置と、前記第２の画像中の前記所定の天体の位置を比較する比較処理と、
前記第２の画像中の前記所定の天体の位置に対する、前記第１の画像中の前記所定の天体の位置ずれに基づいて、前記第２の画像中の前記所定の天体の位置に、前記第１の画像中の前記所定の天体の位置が近づくように校正する、前記第１の画像の校正情報を生成する校正処理と、
前記校正情報を記録する変換情報記録処理と、
前記校正情報を用いて、前記第１のカメラにより撮像された画像を校正する画像変換処理を行う、
ステレオ画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、ステレオ画像を処理する技術に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
３次元物体認識技術としてステレオカメラ技術がある。ステレオカメラ技術は、異なる位置に配置した２台のカメラの画像の写り方の違いを利用して、三角法に基づき視差を検出し、その視差を用いて物体の奥行きや位置を検出する技術である。ステレオカメラ技術を用いることにより、対象物の位置を正確に検出することができる。このため、車載やロボットなどで３次元の物体を検出および認識するためにステレオカメラ技術が適用されている。
【０００３】
ステレオカメラの２つのカメラの画像は所定の射影（例えば、中心射影方式）に変換され、画像の差分を検出することで距離を測定する。高精度の距離検出を行う場合、２つの画像を所定の射影に高精度に合わせる必要がある。このため、経時変化などの要因でカメラ検出画像が変化するとそれに伴い測距誤差が発生する。例えば、広角視野に対応した魚眼レンズでは、広角視野での画像歪が大きいため、微小なずれでも広角視野の誤差が大きくなる。さらに、片方のカメラの姿勢がずれると検出画像がずれるため、正しい視差が検出できない。これらの要因により測距誤差が発生する。
【０００４】
検出画像の歪みに対し、下記特許文献１では、『ステレオカメラによる雲の画像から広範囲の雲底高度分布を短時間で計測し、時間差画像から雲の移動速度や風速を求める方法を提案する。』を課題として、『ステレオカメラ用の２台のカメラの設置位置の標高、経度および緯度が明らかで、そのカメラの画像について、撮影時刻、天頂位置、方位角および天頂角が解読できる設定であって、（１）カメラで同時刻に撮影された共通の被写体の雲の各カメラによる各画像から該被写体の方位角および天頂角を読み出し、（２）被写体の雲の高度を仮定して、（３）撮影した画像について、各カメラの設置位置と方位角および天頂角から雲の経度および緯度を求め、（４）雲の経度および緯度が、各カメラ画像について許容範囲での一致が確認されるまで、新たに高度を仮定して上記（３）の処理を行う。ここで用いるカメラは、撮影した星の座標を基に校正した方位角および天頂角を出力する。』という技術を記載している。
【０００５】
また、特許文献２は、画像のずれに対し、『複数のカメラの取り付け位置の自由度を高めることができ、距離計測のためのキャリブレーションを行う必要がない距離計測装置を提供する。』ことを課題として、『所定距離だけ離れた２台のカメラによって、距離を計測するべき対象物体の２枚の画像の画像データを取得する画像取得手段と、画像データ中の無限遠方の像が互いに重なり合うように２枚の画像データを重ね合わせる画像合成手段と、無限遠方の像が互いに重なり合った状態における対象物体像のずれ量を求め、該ずれ量に基づいて、対象物体までの距離を計測する距離算出手段とを備えた。』という技術を記載している。
【先行技術文献】
【特許文献】
【０００６】
特開２０１９－６０７５４号公報
特開２００９－６３３１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１記載の高度計測装置では、天頂角の異なる多数の星の位置から距離を導き出し、それぞれの星の天頂角との関係をプロットし、これに関数をフィッティングすることで距離と天頂角の関係を求めることができるとしており、これにより検出画像の歪を校正するとしている。この校正方法は、距離と天頂角の関係を求めていることから天頂に対して回転対象な歪であると想定される。
【０００８】
一方で、実際の経時変化は、回転対称な歪だけでなく非対称な歪が存在する。例えば、レンズの焦点距離をｆとして、レンズの射影が正射影（ｆｓｉｎθ）の場合、視差を得るために検出した画像の射影を透視射影（ｆｔａｎθ）に変換する（アフィン変換）。通常状態であれば、対応するセンサ面上の画素に応じてｆｓｉｎθからｆｔａｎθへの変換を行えば良い。このとき、画素に応じた変換値を２次元のテーブルとして処理することになる。しかしながら、例えば経時変化によりセンサがセンサ面に対して平行な方向にずれた場合、センサ上のｆｓｉｎθの画像と２次元テーブルの最適位置が一致しないため、天頂に対して非対称な画像歪が発生する。このため、特許文献１のような校正方法では、歪を補正することができない。
【０００９】
さらに、特許文献１の校正方法では、それぞれのカメラの検出画像の歪を校正する。このため、実際にはそれぞれのカメラに校正残差が発生する。この場合には、２つの検出画像の校正残差が重畳されるため、これに伴い測距誤差が大きくなる課題がある。
【００１０】
特許文献２では、２つの画像データの所定の校正の輝点像を利用してそのずれ量Ｄを求め、視差からずれ量Ｄの差分を演算することで正確な測距が行えるとしている。しかしながら、この校正方法では、視差演算方向に対して垂直方向の校正が課題となる。この垂直方向のずれがあると、間違った対象物の視差を検出してしまう。例えば検出画像内に斜め線があった場合、垂直方向のずれがあると立体的に検出されてしまう。さらに、実施例１における雲を検出する場合にも雲の形状が垂直方向に異なるため、間違った視差を検出し、測距誤差が発生する。
（【００１１】以降は省略されています）

関連特許