特許ウォッチ

公開番号2025088176
公報種別公開特許公報(A)
公開日2025-06-11
出願番号2023202707
出願日2023-11-30
発明の名称画像生成装置、プログラム、および測距システム
出願人株式会社リコー
代理人個人,個人
主分類G01S 17/89 20200101AFI20250604BHJP(測定;試験)
要約【課題】より高い精度で高密度化処理を行うことができるようにすること。
【解決手段】画像生成装置は、第1の解像度の輝度画像と、第1の解像度より低い第2の解像度の第1の距離画像と、を取得する取得部と、第1の距離画像を、輝度画像に対応するスパース距離画像に変換する変換部と、スパース距離画像における第1の画素の距離値に対して、第1の画素の周囲の所定の領域内に含まれる距離値に基づくフィルタ処理を行うフィルタ処理部と、フィルタ処理後のスパース距離画像に対し、所定の高密度化処理を行うことにより、第2の解像度よりも高い第3の解像度の第2の距離画像を生成する高密度化部とを備える。
【選択図】図1
特許請求の範囲【請求項１】
第１の解像度の輝度画像と、前記第１の解像度より低い第２の解像度の第１の距離画像と、を取得する取得部と、
前記第１の距離画像を、前記輝度画像に対応するスパース距離画像に変換する変換部と、
前記スパース距離画像における第１の画素の距離値に対して、前記第１の画素の周囲の所定の領域内に含まれる距離値に基づくフィルタ処理を行うフィルタ処理部と、
前記フィルタ処理後の前記スパース距離画像に対し、所定の高密度化処理を行うことにより、前記第２の解像度よりも高い第３の解像度の第２の距離画像を生成する高密度化部と
を備える画像生成装置。
続きを表示（約 1,300 文字）【請求項２】
前記フィルタ処理部は、前記所定の領域内に含まれる複数の０より大きい画素値を用いて、前記第１の画素の距離値を更新する
請求項１に記載の画像生成装置。
【請求項３】
前記フィルタ処理は、メディアンフィルタ処理又はジョイントバイラテラルフィルタ処理である
請求項１に記載の画像生成装置。
【請求項４】
前記第１の距離画像は、複数の距離画像を含み、該複数の距離画像は、互いに重複する重複領域をそれぞれ有する
請求項１乃至３のいずれか一項に記載の画像生成装置。
【請求項５】
前記フィルタ処理部は、結合された前記複数の距離画像に対して前記フィルタ処理を行う
請求項４に記載の画像生成装置。
【請求項６】
前記フィルタ処理が行われる前に、前記輝度画像からエッジ部を検出し、前記スパース距離画像の該エッジ部に対応する画素の距離値を削除する削除部を備える
請求項１乃至３のいずれか一項に記載の画像生成装置。
【請求項７】
前記削除部は、前記輝度画像から検出された輝度エッジに対応する画素の周囲の所定の領域内に含まれる距離値の最大値と最小値の差が一定以上の画素を前記エッジ部として検出する
請求項６に記載の画像生成装置。
【請求項８】
コンピュータを
第１の解像度の輝度画像と、前記第１の解像度より低い第２の解像度の第１の距離画像と、を取得する取得部、
前記第１の距離画像を、前記輝度画像に対応するスパース距離画像に変換する変換部、
前記スパース距離画像における第１の画素の距離値に対して、前記第１の画素の周囲の所定の領域内に含まれる距離値に基づくフィルタ処理を行うフィルタ処理部、および、
前記フィルタ処理後の前記スパース距離画像に対し、所定の高密度化処理を行うことにより、前記第２の解像度よりも高い第３の解像度の第２の距離画像を生成する高密度化部
として機能させるプログラム。
【請求項９】
照射光を出射する投光部と、
第１の解像度の輝度画像を出力する第１受光部と、
対象物で反射された前記照射光の反射光を受光し、前記第１の解像度より低い第２の解像度の第１の距離画像を出力する第２受光部と、
画像生成部と
を備え、
前記画像生成部は、
前記輝度画像と、前記第１の距離画像と、を取得する取得部と、
前記第１の距離画像を、前記輝度画像に対応するスパース距離画像に変換する変換部と、
前記スパース距離画像における第１の画素の距離値に対して、前記第１の画素の周囲の所定の領域内に含まれる距離値に基づくフィルタ処理を行うフィルタ処理部と、
前記フィルタ処理後の前記スパース距離画像に対し、所定の高密度化処理を行うことにより、前記第２の解像度よりも高い第３の解像度の第２の距離画像を生成する高密度化部と
を有する測距システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像生成装置、プログラム、および測距システムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
従来、ＴｏＦ（Time of Flight）方式を用いて、撮像装置から対象物までの距離を測距する測距装置が知られている。このような測距装置は、所定の照射パターンにより強度変調された赤外光による測距光を被写体に向けて照射した後、対象物によって反射された測距光を赤外線用の撮像素子で受光し、照射パターンによる照射から受光までの時間差を画素ごとに検出することで、距離を算出する。そして、測距装置は、算出された距離値を、画素ごとにビットマップ状に集めて、"距離画像"として保存する。
【０００３】
ＴｏＦ方式では、色情報を取得できないためＲＧＢカメラを併用する場合が多いが、ＴｏＦの受光センサは、ＲＧＢの受光センサに比べて低解像度である。このため、色情報と距離情報を組み合わせて画像処理等に利用するためには、距離情報をＲＧＢ座標系に投影する必要があるが、上記のとおり解像度の違いがあるため、ＲＧＢ画像上で数画素～数十画素おきに距離が得られているような画像となるため、何らかの高解像度化処理が必要になる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、ＴｏＦセンサの１画素が、対応するＲＧＢ撮像素子の１画素に係る物体上の位置までの距離をピンポイントに測距するものと想定して、アップサンプリングを行っている（下記特許文献１参照）。
【０００５】
しかしながら、従来技術では、より高い精度で高密度化処理を行うことができない。
【０００６】
本発明は、上述した従来技術の課題を解決するため、より高い精度で高密度化処理を行うことを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、一実施形態に係る画像生成装置は、第１の解像度の輝度画像と、第１の解像度より低い第２の解像度の第１の距離画像と、を取得する取得部と、第１の距離画像を、輝度画像に対応するスパース距離画像に変換する変換部と、スパース距離画像における第１の画素の距離値に対して、第１の画素の周囲の所定の領域内に含まれる距離値に基づくフィルタ処理を行うフィルタ処理部と、フィルタ処理後のスパース距離画像に対し、所定の高密度化処理を行うことにより、第２の解像度よりも高い第３の解像度の第２の距離画像を生成する高密度化部とを備える。
【発明の効果】
【０００８】
一実施形態に係る画像生成装置によれば、より高い精度で高密度化処理を行うことができる。
【図面の簡単な説明】
【０００９】
一実施形態に係る測距装置の機能構成を示す図
一実施形態に係る測距装置のハードウェア構成を示す図
一実施形態に係る測距装置による測距原理を説明するためのタイミングチャート
一実施形態に係るスパースデプス作成部によるスパースデプス画像の作成方法の第１例を説明するための図
一実施形態に係るスパースデプス作成部によるスパースデプス画像の作成方法の第２例を説明するための図
一実施形態に係るスパースフィルタ処理部によるフィルタ処理の手順の一例を示すフローチャート
一実施形態に係るスパースフィルタ処理部によるフィルタ処理の具体例を示す図
一実施形態に係るスパースフィルタ処理部によるフィルタ処理の効果を説明するための図
一実施形態に係る高密度化部による高密度化処理の効果の比較例を示す図
一実施形態に係る測距装置におけるオクルージョンの発生原理を示す図
一実施形態に係る測距装置におけるオクルージョンの距離画像への影響を説明するための図
一実施形態に係る削除部による削除処理の概要を説明するための図
一実施形態に係る削除部による削除処理の手順の一例を示すフローチャート
一実施形態に係る削除部による距離差エッジの検出処理の概要を説明するための図
一実施形態に係る削除部による距離差エッジの検出処理の手順の一例を示すフローチャート
一実施形態に係る測距装置が備える投光部、輝度受光部、およびＴｏＦ受光部の構成の一変形例を示す図
一実施形態に係る測距制御部の機能構成の一変形例を示す図
本開示の別の一実施形態に係る測距システムを携帯情報端末に適用した例を示す図
本開示の別の一実施形態に係る測距システムを移動体の自律走行システムに適用した例を示す図
【発明を実施するための形態】
【００１０】
以下、図面を参照して、一実施形態について説明する。
（【００１１】以降は省略されています）

関連特許