特許ウォッチ

公開番号2024057741
公報種別公開特許公報(A)
公開日2024-04-25
出願番号2022164601
出願日2022-10-13
発明の名称移動量計測システム
出願人株式会社小野測器
代理人個人
主分類G06T 7/60 20170101AFI20240418BHJP(計算;計数)
要約【課題】対象体に対して相対的に移動するカメラで撮影した画像中の、先行する画像中の特定領域に類似する領域の探索を速やかに行う。
【解決手段】対象体を撮影した撮影画像の各行の画素データを行の並び順に順次出力する第1カメラ21を設ける。第1カメラ21の対象体に対する標準的な相対的移動方向と反対の方向を反相対的移動方向として、第1カメラ21は、個々の撮影画像について当該第1カメラ21が、より前に出力する行が表す対象体の部分が、対象体の、より反相対的移動方向側の部分となる向きで配置する。画像P中の被追尾領域Aと同じサイズの各領域は、当該領域内の画素データが第1カメラ21から出力されしだい相関算出領域CAに設定され、被追尾領域Aとの相関が算出され、算出した相関に基づいて被追尾領域Aに対応する領域が追尾結果領域Bとして算定される。
【選択図】図5
特許請求の範囲【請求項１】
画像の行の並び順に順次各行の画素データを出力するカメラで撮影した対象体の画像である撮影画像から、前記対象体に対する前記カメラの相対的移動量を計測する移動量計測システムであって、
前記カメラの対象体に対する標準的な相対的移動方向と反対の方向を反相対的移動方向として、前記カメラは、個々の前記撮影画像について、当該カメラが、より前に出力する行が表す対象体の部分が、対象体の、より反相対的移動方向側の部分となる向きで配置されており、
当該移動量計測システムは、
計測の各回において、今回の前記撮影画像中に、被追尾領域を設定する被追尾領域設定手段と、
計測の各回において、前回に前記被追尾領域設定手段が設定した被追尾領域である対象被追尾領域にマッチする今回の前記撮影画像中の領域を、追尾結果領域として探索する探索手段と、
計測の各回において、前記対象被追尾領域から今回、前記探索手段が探索した前記追尾結果領域への移動量である画像上移動量を算出する画像上移動量算定手段とを有し、
前記探索手段には、前記撮影画像の画素データが前記カメラからの出力順に入力され、当該探索手段は、前記対象被追尾領域と同じサイズの今回の撮影画像中の領域を、当該領域に含まれる全ての画素の画素データの入力が完了しだい、相関算出領域に設定して、当該相関算出領域と前記対象被追尾領域との相関の算出を行い、１以上の前記相関算出領域について算出した相関に基づいて前記追尾結果領域を算定することを特徴とする移動量計測システム。
続きを表示（約 1,800 文字）【請求項２】
請求項１記載の移動量計測システムであって、
前記被追尾領域設定手段は、計測の各回に、今回までに算出した前記画像上移動量に基づいて、次回に算出される画像上移動量を予測し、前記被追尾領域を、当該被追尾領域を予測した画像上移動量移動した領域が、前記撮影画像の前記カメラから最初に出力される行の近くの領域となるように設定することを特徴とする移動量計測システム。
【請求項３】
請求項２記載の移動量計測システムであって、
前記被追尾領域設定手段は、前記被追尾領域を、当該被追尾領域を前記予測した画像上移動量移動した領域が、前記撮影画像の前記カメラから最初に出力される列の近くの領域となるように設定することを特徴とする移動量計測システム。
【請求項４】
請求項１、２または３記載の移動量計測システムであって、
前記探索手段は、前記相関算出領域と前記対象被追尾領域の相互に対応する位置にある画素間の画素データの差分の絶対値の総和を前記相関として算出すると共に、前記相関算出領域の設定前に、当該相関算出領域の前記カメラから最後に出力される画素以外の当該相関算出領域内の画素と当該画素と相互に対応する位置にある前記対象被追尾領域の画素間の画素データの差分もしくは当該差分の絶対値を、当該相関算出領域内の画素の画素データが前記カメラから出力されたときに事前に算出しておくことを特徴とする移動量計測システム。
【請求項５】
請求項１、２または３記載の移動量計測システムであって、
前記探索手段は、前記相関算出領域と前記対象被追尾領域の相互に対応する位置にある行間の相関から、前記相関算出領域と前記対象被追尾領域の相関を算出すると共に、前記相関算出領域の設定前に、当該相関算出領域の前記カメラから最後に出力される行以外の当該相関算出領域内の行と当該行と相互に対応する位置にある前記対象被追尾領域の行間の相関を、当該相関算出領域内の行内の全ての画素データが前記カメラから出力されたときに事前に算出しておくことを特徴とする移動量計測システム。
【請求項６】
請求項１、２または３記載の移動量計測システムであって、
対象体の画像である第２撮影画像を撮影する、画像の行の並び順に順次各行の画素データを出力する第２カメラを有し、
前記第２カメラは、個々の第２撮影画像について、当該第２カメラが、より前に出力する行が表す対象体の部分が、対象体の、より標準的な相対的移動方向側の部分となる向きで配置されており、
当該移動量計測システムは、
計測の各回において、今回の第２撮影画像中に、第２被追尾領域を設定する第２被追尾領域設定手段と、
計測の各回において、前回に前記第２被追尾領域設定手段が設定した第２被追尾領域である第２対象被追尾領域にマッチする今回の第２撮影画像中の領域を、第２追尾結果領域として探索する第２探索手段と、
計測の各回において、前記第２対象被追尾領域から今回、第２探索手段が探索した第２追尾結果領域への移動量である第２画像上移動量を算出する第２画像上移動量算定手段と、
計測の各回において、前記画像上移動量算定手段が算定した前記画像上移動量と、前記第２画像上移動量算定手段が算定した前記第２画像上移動量の一方を選択的に用いて、前記対象体に対するカメラの相対的移動量を算定する移動量算定手段とを有し、
前記第２探索手段には、前記第２撮影画像の画素データが前記第２カメラからの出力順に入力され、当該第２探索手段は、前記第２対象被追尾領域と同じサイズの今回の第２撮影画像中の領域を、当該領域に含まれる全ての画素の画素データの入力が完了しだい、第２相関算出領域に設定して、当該第２相関算出領域と前記第２対象被追尾領域との相関の算出を行い、１以上の前記第２相関算出領域について算出した相関に基づいて前記第２追尾結果領域を算定することを特徴とする移動量計測システム。
【請求項７】
請求項１、２または３記載の移動量計測システムであって、
前記カメラは移動体に搭載され、当該移動体が走行する走行面を前記対象体として撮影することを特徴とする移動量計測システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、カメラで対象体を撮影した画像を用いて、カメラと対象体の間の相対的な移動量を測定する技術に関するものである。
続きを表示（約 3,000 文字）【背景技術】
【０００２】
カメラで対象体を撮影した画像を用いて、カメラと対象体の間の相対的な移動量を測定する技術としては、第１の時刻に撮影した第１の画像中の特定領域に類似する、第１の時刻より後の第２の時刻に撮影した第２の画像中の領域を探索し、探索した領域の特定領域からの移動量を実空間の移動量に換算して、カメラと対象体の間の相対的な移動量を算定する技術が知られている（たとえば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
特開２０２０-１９０４５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の技術によって、カメラと対象体の間の相対的な移動量を測定する場合、特定領域に類似する領域の探索は、少ない処理量で速やかに完了することが、移動量の測定の遅延の抑制や処理量の低減、トラッキングフィードバックの安定性の観点から好ましい。
そこで、本発明は、第１の時刻にカメラに対して相対的に移動する対象体を撮影した画像中の特定領域に類似する、第１の時刻より後の第２の時刻に当該対象体を撮影した画像中の領域の探索を、少ない処理量で速やかに行うことを課題とする。
【課題を解決するための手段】
【０００５】
前記課題達成のために、本発明は、画像の行の並び順に順次各行の画素データを出力するカメラで撮影した対象体の画像である撮影画像から、前記対象体に対する前記カメラの相対的移動量を計測する移動量計測システムにおいて、前記カメラの対象体に対する標準的な相対的移動方向と反対の方向を反相対的移動方向として、前記カメラは、個々の前記撮影画像について、当該カメラが、より前に出力する行が表す対象体の部分が、対象体の、より反相対的移動方向側の部分となる向きで配置したものである。また、当該移動量計測システムに、計測の各回において、今回の前記撮影画像中に、被追尾領域を設定する被追尾領域設定手段と、計測の各回において、前回に前記被追尾領域設定手段が設定した被追尾領域である対象被追尾領域にマッチする今回の前記撮影画像中の領域を、追尾結果領域として探索する探索手段と、計測の各回において、前記対象被追尾領域から今回、前記探索手段が探索した前記追尾結果領域への移動量である画像上移動量を算出する画像上移動量算定手段とを備えたものである。前記探索手段には、前記撮影画像の画素データが前記カメラからの出力順に入力される。また、前記探索手段は、前記対象被追尾領域と同じサイズの今回の撮影画像中の領域を、当該領域に含まれる全ての画素の画素データの入力が完了しだい、相関算出領域に設定して、当該相関算出領域と前記対象被追尾領域との相関の算出を行い、１以上の前記相関算出領域について算出した相関に基づいて前記追尾結果領域を算定する。
【０００６】
この移動量計測システムは、前記被追尾領域設定手段において、計測の各回に、今回までに算出した前記画像上移動量に基づいて、次回に算出される画像上移動量を予測し、前記被追尾領域を、当該被追尾領域を予測した画像上移動量移動した領域が、前記撮影画像の前記カメラから最初に出力される行の近くの領域となるように設定する構成も好ましい。
【０００７】
この場合、前記被追尾領域設定手段は、前記被追尾領域を、当該被追尾領域を予測した画像上移動量移動した領域が、前記撮影画像の前記カメラから最初に出力される列の近くの領域となるように設定してもよい。
また、本移動量計測システムは、前記探索手段において、相関算出領域と前記対象被追尾領域の対応する位置にある画素間の画素データの差分の総和を前記相関として算出すると共に、前記対象被追尾領域の設定前に、当該対象被追尾領域の前記カメラから最後に出力される画素以外の当該対象被追尾領域内の画素と当該画素と対応する位置にある前記対象被追尾領域の画素間の画素データの差分を、当該対象被追尾領域内の画素の画素データが前記カメラから出力された際に事前に算出しておくように構成してもよい。
【０００８】
または、移動量計測システムは、前記探索手段において、前記相関算出領域と前記対象被追尾領域の相互に対応する位置にある行間の相関から、前記相関算出領域と前記対象被追尾領域の相関を算出すると共に、前記相関算出領域の設定前に、当該相関算出領域の前記カメラから最後に出力される行以外の当該相関算出領域内の行と当該行と相互に対応する位置にある前記対象被追尾領域の行間の相関を、当該相関算出領域内の行内の全ての画素データが前記カメラから出力されたときに事前に算出してもよい。
【０００９】
また、移動量計測システムに、対象体の画像である第２撮影画像を撮影し、画像の行の並び順に順次各行の画素データを出力する第２カメラを設け、当該第２カメラを、個々の第２撮影画像について、当該第２カメラが、より前に出力する行が表す対象体の部分が、対象体の、より標準的な相対的移動方向側の部分となる向きに配置してよい。この場合、移動量計測システムに、計測の各回において、今回の第２撮影画像中に、第２被追尾領域を設定する第２被追尾領域設定手段と、計測の各回において、前回に前記第２被追尾領域設定手段が設定した第２被追尾領域である第２対象被追尾領域にマッチする今回の第２撮影画像中の領域を、第２追尾結果領域として探索する第２探索手段と、計測の各回において、前記第２対象被追尾領域から今回、第２探索手段が探索した第２追尾結果領域への移動量である第２画像上移動量を算出する第２画像上移動量算定手段と、計測の各回において、前記画像上移動量算定手段が算定した前記画像上移動量と、前記第２画像上移動量算定手段が算定した前記第２画像上移動量の一方を選択的に用いて、前記対象体に対するカメラの相対的移動量を算定する移動量算定手段とを設ける。そして、前記第２探索手段に、前記第２撮影画像の画素データが前記第２カメラからの出力順に入力し、当該第２探索手段は、前記第２対象被追尾領域と同じサイズの今回の第２撮影画像中の領域を、当該領域に含まれる全ての画素の画素データの入力が完了しだい、第２相関算出領域に設定して、当該第２相関算出領域と前記第２対象被追尾領域との相関の算出を行い、１以上の前記第２相関算出領域について算出した相関に基づいて前記第２追尾結果領域を算定する。
【００１０】
また、移動量計測システムにおいて、前記カメラは移動体に搭載され、当該移動体が走行する走行面を前記対象体として撮影するものでよい。
このような移動量計測システムによれば、撮影画像中の、より前に画素データが出力される領域ほど、より速やかに被追尾領域との相関を算出することができる。
また、カメラは、対象体に対してカメラが、標準的な相対移動方向に移動しているとき、対象体の像が、より後に画素データが出力される行から、より前に画素データが出力される行に向かって流れていく動画を撮影する向きで配置されているので、探索すべき追尾結果領域は、カメラの撮影画像の、最初に画素データが出力される行寄りにある蓋然性が大きい。
（【００１１】以降は省略されています）

関連特許