特許ウォッチ

公開番号2024166913
公報種別公開特許公報(A)
公開日2024-11-29
出願番号2023083343
出願日2023-05-19
発明の名称深度推定装置、キャリブレーション方法、キャリブレーションプログラム
出願人トヨタ自動車株式会社
代理人弁理士法人高田・高橋国際特許事務所
主分類G06T 7/80 20170101AFI20241122BHJP(計算;計数)
要約【課題】カメラによって撮像される画像における深度を推定する技術に関して、人手による作業や追加の装置を必要とすることなく、高精度な深度の推定を実現することを可能とする技術を提供する。
【解決手段】本開示に係る深度推定装置は、画像における深度を推定する処理と、カメラの水平面又は鉛直面に対する設置位置を取得する処理と、画像において水平面又は鉛直面が映る平面領域を特定する処理と、画像に複数の部分領域を設定する処理と、各部分領域に対して、平面領域において推定された深度に基づいて回帰平面を算出する処理と、回帰平面に対するカメラの位置とカメラの水平面又は鉛直面に対する設置位置とを比較することにより各部分領域に対してキャリブレーション値を算出する処理と、各部分領域において、対応するキャリブレーション値に基づいてキャリブレーションを実施する処理と、を実行する。
【選択図】図6
特許請求の範囲【請求項１】
カメラによって撮像される画像を解析して前記画像における深度を推定する１又は複数のプロセッサと、
前記カメラの水平面又は鉛直面に対する設置位置の情報を格納する記憶装置と、
を備え、
前記１又は複数のプロセッサは、さらに、
推定された深度に関するキャリブレーション値を算出する第１処理と、
前記キャリブレーション値に基づいて前記推定された深度のキャリブレーションを実施する第２処理と、
を実行するように構成され、
前記第１処理は、
前記画像において前記水平面又は鉛直面が映る平面領域を特定することと、
前記画像に複数の部分領域を設定することと、
前記複数の部分領域の各部分領域に対して、前記各部分領域に含まれる前記平面領域の前記推定された深度に基づいて、前記水平面又は鉛直面を表す回帰平面を算出することと、
前記回帰平面に対する前記カメラの位置と前記設置位置とを比較することにより前記各部分領域に対して前記キャリブレーション値を算出することと、
を含み、
前記第２処理は、前記各部分領域において、対応する前記キャリブレーション値に基づいて前記推定された深度のキャリブレーションを実施する
深度推定装置。
続きを表示（約 1,000 文字）【請求項２】
請求項１に記載の深度推定装置であって、
前記各部分領域は、曲率を有する辺で囲まれる領域であり、
前記曲率は、前記画像の中心から遠い部分領域ほど大きい
深度推定装置。
【請求項３】
請求項１又は請求項２に記載の深度推定装置であって、
前記各部分領域のサイズは、前記画像の中心から遠い部分領域ほど小さい。
【請求項４】
カメラによって撮像される画像において推定された深度のキャリブレーションをコンピュータにより実行するキャリブレーション方法であって、
前記カメラの水平面又は鉛直面に対する設置位置の情報を取得する処理と、
前記画像において前記水平面又は鉛直面が映る平面領域を特定する処理と、
前記画像に複数の部分領域を設定する処理と、
前記複数の部分領域の各部分領域に対して、前記各部分領域に含まれる前記平面領域の前記推定された深度に基づいて、前記水平面又は鉛直面を表す回帰平面を算出する処理と、
前記回帰平面に対する前記カメラの位置と前記設置位置とを比較することにより前記各部分領域に対するキャリブレーション値を算出する処理と、
前記各部分領域において、対応する前記キャリブレーション値に基づいて前記推定された深度のキャリブレーションを実施する処理と、
を前記コンピュータにより実行する
キャリブレーション方法。
【請求項５】
カメラによって撮像される画像において推定された深度のキャリブレーションをコンピュータに実行させるキャリブレーションプログラムであって、
前記カメラの水平面又は鉛直面に対する設置位置の情報を取得する処理と、
前記画像において前記水平面又は鉛直面が映る平面領域を特定する処理と、
前記画像に複数の部分領域を設定する処理と、
前記複数の部分領域の各部分領域に対して、前記各部分領域に含まれる前記平面領域の前記推定された深度に基づいて、前記水平面又は鉛直面を表す回帰平面を算出する処理と、
前記回帰平面に対する前記カメラの位置と前記設置位置とを比較することにより前記各部分領域に対するキャリブレーション値を算出する処理と、
前記各部分領域において、対応する前記キャリブレーション値に基づいて前記推定された深度のキャリブレーションを実施する処理と、
を前記コンピュータに実行させる
キャリブレーションプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、カメラによって撮像される画像を解析して画像における深度を推定する技術に関する。
続きを表示（約 1,100 文字）【背景技術】
【０００２】
特許文献１には、撮像系を複数備える測距装置において、各撮像系の特性を表すカメラパラメータを推定するキャリブレーション方法が開示されている。特許文献１に開示されるキャリブレーション方法では、測距装置と所定の位置関係となるように配置された基準チャートを撮像することにより取得される情報を用いてカメラパラメータを推定する。
【０００３】
その他、本技術分野の技術レベルを示す文献として以下の特許文献２及び特許文献３がある。
【先行技術文献】
【特許文献】
【０００４】
国際公開第２００９／１４１９９８号
特開２０２１－１１７１３０号公報
特開２０１３－１８７８２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示される技術は、複数の画像間の視差を検出することにより画像における深度を認識する装置（例えば、ステレオカメラを用いた装置）に適用される。
【０００６】
一方で、単眼カメラ等により撮像された１つの画像を解析することにより画像における深度を推定する技術も考えられている。このような技術は、必要な機器が少ないため、低コストや省スペースといった利点がある。また他の目的で用いられているカメラに適用することも可能という利点がある。特に近年では、学習済みの機械学習モデルを用いて画像の解析を行うことが考えられている。
【０００７】
ところで、解析対象となる画像の写りは、撮像するカメラの特性に応じて変化する。このため、推定精度を確保するためには、画像の写りやカメラの特性に応じたキャリブレーションを実施することが求められる。
【０００８】
しかしながら、従来、キャリブレーションを実施するためには、人手による作業や追加の装置を必要とし、少なくない手間やコストが生じていた。例えば、学習済みの機械学習モデルを用いて画像の解析を行う場合、パラメータの再学習を行うことでキャリブレーションを実施するといったことが挙げられる。
【０００９】
本開示の１つの目的は、画像を解析して画像における深度を推定する技術に関して、人手による作業や追加の装置を必要とすることなく、高精度な深度の推定を実現することを可能とする技術を提供することにある。
【課題を解決するための手段】
【００１０】
本開示の第１の観点は、深度推定装置に関する。
（【００１１】以降は省略されています）

関連特許