特許ウォッチ

公開番号2025091997
公報種別公開特許公報(A)
公開日2025-06-19
出願番号2023207606
出願日2023-12-08
発明の名称画像処理装置、画像処理方法
出願人株式会社JVCケンウッド
代理人個人
主分類G06T 7/20 20170101AFI20250612BHJP(計算;計数)
要約【課題】距離画像の補間画像を、処理負荷を抑えつつ高精度に生成する。
【解決手段】カラー画像取得部21は、測距センサ部12から第1のフレームレートで距離画像を取得する。距離画像取得部22は、EVS部13から第1のフレームレートより高速の第2のフレームレートで、輝度変化画像を取得する。補間画像生成部25は、時間的に隣接する2つの距離画像間の補間距離画像を、同時間帯の輝度変化画像から得られる動き情報をもとに生成する。
【選択図】図1
特許請求の範囲【請求項１】
測距センサ部から第１のフレームレートで距離画像を取得する第１取得部と、
イベントビジョンセンサ部から前記第１のフレームレートより高速の第２のフレームレートで、輝度変化画像を取得する第２取得部と、
時間的に隣接する２つの距離画像間の補間距離画像を、同時間帯の前記輝度変化画像から得られる動き情報をもとに生成する補間画像生成部と、
を備える画像処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記輝度変化画像内の動体に検出枠を設定する検出枠設定部をさらに備え、
前記補間画像生成部は、
前記２つの距離画像の一方の距離画像と同時刻の前記輝度変化画像に設定された検出枠と、前記補間距離画像と同時刻の前記輝度変化画像に設定された検出枠をもとに、前記検出枠の動きベクトル、及び前記検出枠のサイズの変化率または前記検出枠の角度の変化率の少なくとも一方を特定し、
前記検出枠の動きベクトル、及び前記検出枠のサイズの変化率または前記検出枠の角度の変化率の少なくとも一方と、前記一方の距離画像内の前記動体の検出枠に対応する領域のデプス値をもとに、前記補間距離画像内の前記動体の検出枠に対応する領域のデプス値を生成する、
請求項１に記載の画像処理装置。
【請求項３】
前記輝度変化画像内の動体に検出枠を設定する検出枠設定部をさらに備え、
前記補間画像生成部は、
前記２つの距離画像のそれぞれの距離画像と同時刻の２つの前記輝度変化画像に設定された検出枠と、前記補間距離画像と同時刻の前記輝度変化画像に設定された検出枠をもとに、前記検出枠の動きベクトル、前記検出枠のサイズの変化率、前記検出枠の角度の変化率を特定し、
前記検出枠のサイズの変化率と前記検出枠の角度の変化率をもとに、前記２つの距離画像内の前記検出枠に対応する領域のサイズと向きを対応させ、
サイズと向きを対応させた、前記２つの距離画像内の前記動体の検出枠に対応する領域のデプス値を平均化し、
平均化された前記動体の検出枠に対応する領域のデプス値を、前記補間距離画像と同時刻の前記輝度変化画像に設定された検出枠のサイズと向きに合わせて補正し、
補正された前記動体の検出枠に対応する領域のデプス値と、前記検出枠の動きベクトルをもとに、前記補間距離画像内の前記動体の検出枠に対応する領域のデプス値を生成する、
請求項１に記載の画像処理装置。
【請求項４】
可視光撮像部から前記第２のフレームレートで、カラー画像を取得する第３取得部をさらに備え、
前記補間画像生成部は、
前記２つの距離画像の一方の距離画像と同時刻の前記カラー画像内の複数の特徴点と、前記補間距離画像と同時刻の前記カラー画像内の複数の特徴点の対応関係、及び前記一方の距離画像をもとに、前記補間距離画像を生成する、
請求項１に記載の画像処理装置。
【請求項５】
測距センサ部から第１のフレームレートで距離画像を取得するステップと、
イベントビジョンセンサ部から前記第１のフレームレートより高速の第２のフレームレートで、輝度変化画像を取得するステップと、
時間的に隣接する２つの距離画像間の補間距離画像を、同時間帯の前記輝度変化画像から得られる動き情報をもとに生成するステップと、
を有する画像処理方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、時間的に隣接する２つの距離画像間の補間距離画像を生成する画像処理装置、画像処理方法に関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
近年、ＴｏＦ（Time of Flight）センサ付きのＲＧＢカメラが普及してきている。ＴＯＦセンサ付きのカメラでは、ＴＯＦセンサから距離画像（デプスマップ）を取得し、ＲＧＢカメラからカラー画像を取得し、両者を組み合わせることで３Ｄモデルを生成することができる。ＴＯＦセンサから取得される距離画像のフレームレートは、一般的に３０ｆｐｓ程度である。ＲＧＢカメラから取得されるカラー画像のフレームは、６０ｆｐｓ以上が主流である。
【０００３】
カラー画像と距離画像を組み合わせて３Ｄデータを生成する際には、遅い方のフレームレートに合わせる必要があり、距離画像のフレームレートが、滑らかな動きの３Ｄデータを生成する上でネックとなっていた。これに対して、距離画像のフレーム間の時刻に撮像されたカラー画像を用いて、距離画像の補間画像を生成する方法が考えられる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
特開２０２３－１２７４５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画角に動く被写体が含まれている場合、カラー画像内において動く被写体の位置を高精度に特定する必要がある。カラー画像内において動く被写体の探索処理を継続すると負荷が大きくなる。特に解像度が高い画像では負荷が大きくなる。また、ノイズの影響で静止物を動体と誤判定することもある。
【０００６】
本実施形態はこうした状況に鑑みてなされたものであり、その目的は、距離画像の補間画像を、処理負荷を抑えつつ高精度に生成する技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本実施形態のある態様の画像処理装置は、測距センサ部から第１のフレームレートで距離画像を取得する第１取得部と、イベントビジョンセンサ部から前記第１のフレームレートより高速の第２のフレームレートで、輝度変化画像を取得する第２取得部と、時間的に隣接する２つの距離画像間の補間距離画像を、同時間帯の前記輝度変化画像から得られる動き情報をもとに生成する補間画像生成部と、を備える。
【０００８】
本発明の別の態様は、画像処理方法である。この方法は、測距センサ部から第１のフレームレートで距離画像を取得するステップと、イベントビジョンセンサ部から前記第１のフレームレートより高速の第２のフレームレートで、輝度変化画像を取得するステップと、時間的に隣接する２つの距離画像間の補間距離画像を、同時間帯の前記輝度変化画像から得られる動き情報をもとに生成するステップと、を有する。
【０００９】
なお、以上の構成要素の任意の組合せ、本実施形態の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本実施形態の態様として有効である。
【発明の効果】
【００１０】
本実施形態によれば、距離画像の補間画像を、処理負荷を抑えつつ高精度に生成することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許