特許ウォッチ

公開番号2025169796
公報種別公開特許公報(A)
公開日2025-11-14
出願番号2024074919
出願日2024-05-02
発明の名称距離情報処理装置、撮像装置、距離情報処理方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G01S 17/86 20200101AFI20251107BHJP(測定;試験)
要約【課題】距離マップにおける欠損領域の原因が視差であるか否かに応じて異なる方法で欠損領域の距離値を補間する技術を提供する。
【解決手段】第1の視点において1以上の被写体の距離を測定する測距手段により取得された距離情報に基づいて生成された第2の視点の距離マップにおいて、距離値の密度が閾値未満である欠損領域を検出する検出手段と、前記欠損領域の原因が前記第1の視点と前記第2の視点との間の視差であるか否かに応じて、異なる方法で前記欠損領域の距離値を補間する補間手段と、を備えることを特徴とする距離情報処理装置を提供する。
【選択図】図2
特許請求の範囲【請求項１】
第１の視点において１以上の被写体の距離を測定する測距手段により取得された距離情報に基づいて生成された第２の視点の距離マップにおいて、距離値の密度が閾値未満である欠損領域を検出する検出手段と、
前記欠損領域の原因が前記第１の視点と前記第２の視点との間の視差であるか否かに応じて、異なる方法で前記欠損領域の距離値を補間する補間手段と、
を備えることを特徴とする距離情報処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記欠損領域の原因が前記視差であるか否かを判定する判定手段を更に備える、
ことを特徴とする請求項１に記載の距離情報処理装置。
【請求項３】
前記測距手段は、光、電磁波、及び音波のうちの少なくとも１つを用いて前記距離情報を取得し、
前記欠損領域は、前記視差、又は、前記欠損領域に対応する被写体の反射率が低いことが原因で発生する、
ことを特徴とする請求項１に記載の距離情報処理装置。
【請求項４】
前記補間手段は、
前記欠損領域の原因が前記視差であるか否かに応じて異なる方法で、前記欠損領域内の処理対象画素を含む周辺領域を設定し、
前記周辺領域に含まれる距離値に基づいて、前記処理対象画素の距離値を補間する、
ことを特徴とする請求項１に記載の距離情報処理装置。
【請求項５】
前記欠損領域の原因が前記視差である場合、前記補間手段は、前記視差の方向における前記周辺領域のサイズが前記視差の方向とは異なる方向における前記周辺領域のサイズより大きくなるように、前記周辺領域を設定する、
ことを特徴とする請求項４に記載の距離情報処理装置。
【請求項６】
前記欠損領域の原因が前記視差である場合、前記補間手段は、前記周辺領域が、前記処理対象画素の位置から、前記第１の視点から前記第２の視点へ向かう方向へ伸びるように、前記周辺領域を設定する、
ことを特徴とする請求項５に記載の距離情報処理装置。
【請求項７】
前記欠損領域の原因が前記視差である場合、前記補間手段は、前記周辺領域に含まれる複数の距離値のうち、相対的に遠い距離に対応する距離値に基づいて、前記処理対象画素の距離値を補間する、
ことを特徴とする請求項４に記載の距離情報処理装置。
【請求項８】
前記欠損領域の原因が前記視差でない場合、前記補間手段は、前記周辺領域が、前記欠損領域内の距離値を持つ１以上の画素を含むように、前記周辺領域を設定する、
ことを特徴とする請求項４に記載の距離情報処理装置。
【請求項９】
前記欠損領域の原因が前記視差でない場合、前記補間手段は、前記周辺領域に含まれる複数の距離値のうち、相対的に近い距離に対応する距離値に基づいて、前記処理対象画素の距離値を補間する、
ことを特徴とする請求項４に記載の距離情報処理装置。
【請求項１０】
前記補間手段は、前記第２の視点における撮像画像の画素値、前記撮像画像における被写体検出結果、又は前記撮像画像のセグメンテーション結果に基づいて、前記周辺領域を設定する、
ことを特徴とする請求項４に記載の距離情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、距離情報処理装置、撮像装置、距離情報処理方法、及びプログラムに関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
近年、自動運転における地図生成、ロボットの物体認識、映像制作、及びゲーム制作などのために、高精度な３次元情報（距離情報）の重要性が高まっている。高精度な３次元情報を取得するために、ＬｉＤＡＲセンサをはじめとする３次元測距装置が一般的に使用される。ＬｉＤＡＲセンサは、レーザー光を出力して対象物から反射光が返ってくるまでの時間を用いて被写体までの距離情報を取得する。そのため、反射率が低い被写体や非常に遠方にある被写体に対しては、距離情報が取得できない場合がある。
【０００３】
また、距離情報の高密度化又はレンダリングのため、別途カメラで画像を撮影し、画像と距離情報とを合わせて処理する機会が増えている。このような場合、カメラとＬｉＤＡＲセンサの視点が異なると、被写体の遮蔽関係が異なるため、オクルージョンによる距離情報の欠損が発生する。
【０００４】
特許文献１は、距離情報の欠損に対処する技術を開示している。この技術は、各画素に距離値に対応する値が格納されたデプスマップにおいて、カメラの撮像画像の画素値、及び、値が欠損している欠損画素と周囲の画素の画素間距離に基づいて、周囲の距離値に対応する値を重みづけして欠損画素の値を補間する。
【先行技術文献】
【特許文献】
【０００５】
特開２０００－２３０８０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１は、距離情報を取得する視点と画像を撮影する視点とが異なる場合に視点変換を行うことは開示しているが、視点変換（視点間の視差）を原因とする距離情報の欠損は考慮していない。そのため、特許文献１の技術では、欠損の原因によっては距離値の補間精度が低下する可能性がある。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、距離マップにおける欠損領域の原因が視差であるか否かに応じて異なる方法で欠損領域の距離値を補間する技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、第１の視点において１以上の被写体の距離を測定する測距手段により取得された距離情報に基づいて生成された第２の視点の距離マップにおいて、距離値の密度が閾値未満である欠損領域を検出する検出手段と、前記欠損領域の原因が前記第１の視点と前記第２の視点との間の視差であるか否かに応じて、異なる方法で前記欠損領域の距離値を補間する補間手段と、を備えることを特徴とする距離情報処理装置を提供する。
【発明の効果】
【０００９】
本発明によれば、距離マップにおける欠損領域の原因が視差であるか否かに応じて異なる方法で欠損領域の距離値を補間することが可能となる。
【００１０】
なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許