特許ウォッチ

公開番号2025101611
公報種別公開特許公報(A)
公開日2025-07-07
出願番号2023218574
出願日2023-12-25
発明の名称画像処理装置、画像処理方法、およびプログラム
出願人本田技研工業株式会社
代理人個人,個人,個人,個人
主分類G06T 7/00 20170101AFI20250630BHJP(計算;計数)
要約【課題】移動体に搭載された撮像装置により撮像された画像に対して、より適切な較正を行う画像処理装置、画像処理方法及びプログラムを提供する。
【解決手段】運転支援装置は、移動体に搭載された撮像装置から移動体の第1方向を撮像した第1画像と、第1方向と異なる第2方向を撮像した第2画像とを取得する取得部と、取得部により取得された第1画像と第2画像とから特徴点を抽出する抽出部と、第1画像に含まれる道路領域を検出する第1検出部と、第2画像に含まれる道路領域を検出する第2検出部と、抽出された特徴点のうち、第1検出部により検出された道路領域の特徴点を第1特徴点として抽出する第1特徴点抽出部と、抽出部により抽出された特徴点のうち、第2検出部により検出された道路領域の特徴点を第2特徴点として抽出する第2特徴点抽出部と、第1特徴点と第2特徴点とに基づいて第1画像と第2画像とを較正する較正部と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
移動体に搭載された撮像装置から前記移動体の第１方向を撮像した第１画像と、前記第１方向と異なる第２方向を撮像した第２画像とを取得する取得部と、
前記取得部により取得された前記第１画像と前記第２画像とから特徴点を抽出する抽出部と、
前記第１画像に含まれる道路領域を検出する第１検出部と、
前記第２画像に含まれる道路領域を検出する第２検出部と、
前記抽出部により抽出された特徴点のうち、前記第１検出部により検出された道路領域の特徴点を第１特徴点として抽出する第１特徴点抽出部と、
前記抽出部により抽出された特徴点のうち、前記第２検出部により検出された道路領域の特徴点を第２特徴点として抽出する第２特徴点抽出部と、
前記第１特徴点と前記第２特徴点とに基づいて、前記第１画像と前記第２画像とを較正する較正部と、
を備える画像処理装置。
続きを表示（約 1,700 文字）【請求項２】
前記撮像装置は、前記第１画像を撮像する第１撮像部と、前記第２画像を撮像する第２撮像部とを備え、
前記較正部は、前記第１画像および前記第２画像の較正結果に基づいて前記第１撮像部と前記第２撮像部との相対角度を導出する、
請求項１に記載の画像処理装置。
【請求項３】
前記較正部は、前記第１特徴点抽出部および前記第２特徴点抽出部のそれぞれで所定フレーム数以上連続して前記道路領域に含まれる特徴点を抽出した場合に、前記第１画像と前記第２画像とを較正する、
請求項１に記載の画像処理装置。
【請求項４】
前記較正部は、前記第１画像に含まれる道路領域の路面に対する法線ベクトルと、前記第２画像に含まれる道路領域の路面に対する法線ベクトルとに基づいて、前記相対角度を導出し、導出した相対角度に基づいて、前記第２画像の座標系を前記第１画像の座標系に変換して、前記第１画像および前記第２画像を較正する、
請求項２に記載の画像処理装置。
【請求項５】
前記第１特徴点抽出部は、前記取得部により所定時間ごとに取得される前記第１画像の画像フレームから前記移動体が移動する第１道路領域の特徴点と、前記第１道路領域と交差する第２道路領域の特徴点とを第１特徴点として抽出し、
前記第２特徴点抽出部は、前記取得部により所定時間ごとに取得される前記第２画像の画像フレームから前記第１道路領域の特徴点と、前記第２道路領域とを第２特徴点として抽出し、
前記較正部は、前記第１画像および前記第２画像から所定フレーム数以上連続して前記第１特徴点および前記第２特徴点が抽出された場合に、前記第１画像および前記第２画像を較正する、
請求項３に記載の画像処理装置。
【請求項６】
前記道路領域は、前記移動体が移動する第１道路領域と、前記第１道路領域に交差する第２道路領域とを含む、
請求項１に記載の画像処理装置。
【請求項７】
前記較正部は、
前記第１道路領域の特徴点に基づいて前記第１画像を撮像する第１撮像部と前記第２画像を撮像する第２撮像部とのピッチ角を較正し、
前記第２道路領域の特徴点に基づいて前記第１撮像部と前記第２撮像部とのロール角を較正する、
請求項６に記載の画像処理装置。
【請求項８】
コンピュータが、
移動体に搭載された撮像装置から前記移動体の第１方向を撮像した第１画像と、前記第１方向と異なる第２方向を撮像した第２画像とを取得し、
取得した前記第１画像と前記第２画像とから特徴点を抽出し、
前記第１画像に含まれる道路領域を検出し、
前記第２画像に含まれる道路領域を検出し、
抽出した前記特徴点のうち、検出した前記第１画像に含まれる道路領域の特徴点を第１特徴点として抽出し、
抽出した前記特徴点のうち、検出した前記第２画像に含まれる道路領域の特徴点を第２特徴点として抽出し、
前記第１特徴点と前記第２特徴点とに基づいて、前記第１画像と前記第２画像とを較正する、
画像処理方法。
【請求項９】
コンピュータに、
移動体に搭載された撮像装置から前記移動体の第１方向を撮像した第１画像と、前記第１方向と異なる第２方向を撮像した第２画像とを取得させ、
取得された前記第１画像と前記第２画像とから特徴点を抽出させ、
前記第１画像に含まれる道路領域を検出させ、
前記第２画像に含まれる道路領域を検出させ、
抽出された前記特徴点のうち、検出した前記第１画像に含まれる道路領域の特徴点を第１特徴点として抽出させ、
抽出された前記特徴点のうち、検出した前記第２画像に含まれる道路領域の特徴点を第２特徴点として抽出させ、
前記第１特徴点と前記第２特徴点とに基づいて、前記第１画像と前記第２画像とを較正させる、
プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
近年、交通参加者の中でも脆弱な立場にある人々にも配慮した持続可能な輸送システムへのアクセスを提供する取り組みが活発化している。この実現に向けて運転支援技術に関する研究開発を通して交通の安全性や利便性をより一層改善する研究開発に注力している。これに関連して、移動体に搭載されるカメラから撮影画像を取得し、取得した撮影画像のうちカメラの撮影方向における移動体の外部環境に基づいて設定または変更される抽出領域から特徴点を抽出し、抽出した特徴点からカメラの姿勢を推定する技術が知られている（例えば、特許文献１参照）。また、キャリブレーションを実行する車載カメラとは異なる他の車載カメラの画像に映る特徴点を利用して路面範囲を推定し、キャリブレーションを実行する車載カメラの画像に映る特徴点のうち、推定された路面範囲に存在する特徴点のみを使用してキャリブレーションを実行する技術が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－３３６０５号公報
特開２０１９－２８６６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、運転支援技術においては、移動体に搭載された撮像装置から複数の方向を撮像する画像に対して処理を行う場合に、移動体への撮像装置の取り付けのずれや撮像装置の製品上の性能のばらつき等の要因によって、撮像装置により撮像された画像に対して適切な較正ができない場合があるという課題があった。
【０００５】
本願は、上記課題の解決のため、移動体に搭載された撮像装置により撮像された画像に対して、より適切な較正を行うことができる画像処理装置、画像処理方法、およびプログラムを提供することを目的の一つとする。そして、延いては持続可能な輸送システムの発展に寄与するものである。
【課題を解決するための手段】
【０００６】
この発明に係る画像処理装置、画像処理方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る画像処理装置は、移動体に搭載された撮像装置から前記移動体の第１方向を撮像した第１画像と、前記第１方向と異なる第２方向を撮像した第２画像とを取得する取得部と、前記取得部により取得された前記第１画像と前記第２画像とから特徴点を抽出する抽出部と、前記第１画像に含まれる道路領域を検出する第１検出部と、前記第２画像に含まれる道路領域を検出する第２検出部と、前記抽出部により抽出された特徴点のうち、前記第１検出部により検出された道路領域の特徴点を第１特徴点として抽出する第１特徴点抽出部と、前記抽出部により抽出された特徴点のうち、前記第２検出部により検出された道路領域の特徴点を第２特徴点として抽出する第２特徴点抽出部と、前記第１特徴点と前記第２特徴点とに基づいて、前記第１画像と前記第２画像とを較正する較正部と、を備える画像処理装置である。
【０００７】
（２）：上記（１）の態様において、前記撮像装置は、前記第１画像を撮像する第１撮像部と、前記第２画像を撮像する第２撮像部とを備え、前記較正部は、前記第１画像および前記第２画像の較正結果に基づいて前記第１撮像部と前記第２撮像部との相対角度を導出するものである。
【０００８】
（３）：上記（１）の態様において、前記較正部は、前記第１特徴点抽出部および前記第２特徴点抽出部のそれぞれで所定フレーム数以上連続して前記道路領域に含まれる特徴点を抽出した場合に、前記第１画像と前記第２画像とを較正するものである。
【０００９】
（４）：上記（２）の態様において、前記較正部は、前記第１画像に含まれる道路領域の路面に対する法線ベクトルと、前記第２画像に含まれる道路領域の路面に対する法線ベクトルとに基づいて、前記相対角度を導出し、導出した相対角度に基づいて、前記第２画像の座標系を前記第１画像の座標系に変換して、前記第１画像および前記第２画像を較正するものである。
【００１０】
（５）：上記（３）の態様において、前記第１特徴点抽出部は、前記取得部により所定時間ごとに取得される前記第１画像の画像フレームから前記移動体が移動する第１道路領域の特徴点と、前記第１道路領域と交差する第２道路領域の特徴点とを第１特徴点として抽出し、前記第２特徴点抽出部は、前記取得部により所定時間ごとに取得される前記第２画像の画像フレームから前記第１道路領域の特徴点と、前記第２道路領域とを第２特徴点として抽出し、前記較正部は、前記第１画像および前記第２画像から所定フレーム数以上連続して前記第１特徴点および前記第２特徴点が抽出された場合に、前記第１画像および前記第２画像を較正するものである。
（【００１１】以降は省略されています）

関連特許