特許ウォッチ

公開番号2025014949
公報種別公開特許公報(A)
公開日2025-01-30
出願番号2023117940
出願日2023-07-20
発明の名称追跡システム、追跡方法、および、プログラム
出願人株式会社デンソー,トヨタ自動車株式会社,株式会社ミライズテクノロジーズ
代理人弁理士法人明成国際特許事務所
主分類G06T 7/277 20170101AFI20250123BHJP(計算;計数)
要約【課題】追跡する画像間のターゲットの対応付けの正確さを向上する。
【解決手段】追跡システム10は、現フレーム内の物体が存在する領域を表す物体領域情報と現フレーム内でターゲットが存在すると予測される領域を表す予測情報とを用いて、現フレーム内で検出されたターゲットと予測ターゲットとの対応付けの解を得る最適化処理を複数の異なる探索条件の下でJ回(Jは2以上の整数)実行し、J個の対応付けの解をコスト関数の評価値とともに出力する最適化処理部170と、コスト関数の評価値に基づいてJ個の対応付けの解からK(Kは2以上かつJ以下の整数)組を選択する選択部240と、(K-M)組(Mは0以上の整数)の対応付けの解と現フレームについての物体領域情報とを用いて、次フレーム内のターゲットが存在する領域を表す予測情報の生成に用いるための現フレームについての(K-M)組の対象領域情報を生成する生成部250と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
時系列で取得された複数のフレーム内のターゲットを追跡する追跡システム（１０）であって、
現フレームに基づいて前記現フレーム内の物体が存在する領域を表す物体領域情報（Ｄ１）を出力する検出部（２１０）と、
前フレーム内で検出されたターゲットが存在する領域を表す対象領域情報（Ｄ３）を用いて、前記現フレーム内で前記ターゲットが存在すると予測される領域を表す予測情報（Ｄ２）を出力する予測部（２２０）と、
前記物体領域情報と前記予測情報とを用いて、前記現フレーム内で検出された前記ターゲットと予測ターゲットとの対応付けの解を得る最適化処理を、複数の異なる探索条件の下でＪ回（Ｊは２以上の整数）実行し、Ｊ個の対応付けの解をそれぞれに対応するコスト関数の評価値とともに出力する最適化処理部（７０）と、
前記コスト関数の評価値に基づいて前記Ｊ個の対応付けの解から、Ｋ組（Ｋは２以上かつＪ以下の整数）の対応付けの解を選択する選択部（２４０）と、
（Ｋ－Ｍ）組（Ｍは０以上の整数）の対応付けの解と、前記現フレームについての前記物体領域情報とを用いて、次フレーム内の前記ターゲットが存在する領域を表す前記予測情報の生成に用いるための前記現フレームについての前記対象領域情報として、（Ｋ－Ｍ）組の前記対象領域情報を生成する生成部（２５０）と、
前記検出部と、前記予測部と、前記最適化処理部と、前記選択部と、前記生成部と、にそれぞれの処理を前記複数のフレームについて順次実行させる制御部（２６０）と、
を備える追跡システム。
続きを表示（約 2,000 文字）【請求項２】
請求項１に記載の追跡システムであって、
前記生成部は、前記Ｋ組の対応付けの解のうちの２組以上の対応付けの解が同じである場合、同じである前記２組以上の対応付けの解のうち１組だけを残すことにより、前記Ｋ組の対応付けの解を前記（Ｋ－Ｍ）組の対応付けの解に絞り込む、
追跡システム。
【請求項３】
請求項２に記載の追跡システムであって、
前記最適化処理部による前記最適化処理では、量子力学的な揺らぎを用いた状態探索のアルゴリズムが用いられる、
追跡システム。
【請求項４】
請求項３に記載の追跡システムであって、
前記異なる探索条件下とは、前記現フレーム内で検出された前記物体と、前記前フレーム内で検出された前記ターゲットと、の対応付けの組み合わせを探索する問題をイジングモデルで定式化した場合における制約項の重みと、変数として取り得る値を表す量子ビットの数と、前記量子ビットの初期値と、のうちの少なくともひとつが異なっていることである、
追跡システム。
【請求項５】
請求項４に記載の追跡システムであって、
前記生成部は、前記（Ｋ－Ｍ）組の対応付けの解のうちから、それぞれの対応付けの解についての評価値に基づいて選択した１つの対応付けの解を最適解として出力する、
追跡システム。
【請求項６】
時系列で取得された複数のフレーム内のターゲットを追跡する追跡方法であって、
第１コンピュータ（１００）が、現フレームに基づいて現フレーム内の物体が存在する領域を表す物体領域情報（Ｄ１）を出力する検出ステップと、
前記第１コンピュータが、前フレーム内で検出されたターゲットが存在する領域を表す対象領域情報（Ｄ３）を用いて、前記現フレーム内で前記ターゲットが存在すると予測される領域を表す予測情報（Ｄ２）を出力する予測ステップと、
量子インスパイアードマシン（１７０）が、前記物体領域情報と前記予測情報とを用いて、前記現フレーム内で検出された前記ターゲットと予測ターゲットとの対応付けの解を得る最適化処理を、複数の異なる探索条件の下でＪ回（Ｊは２以上の整数）実行し、Ｊ個の対応付けの解をそれぞれに対応するコスト関数の評価値とともに出力する最適化処理ステップと、
前記第１コンピュータが、前記コスト関数の評価値に基づいて前記Ｊ個の対応付けの解から、Ｋ組（Ｋは２以上かつＪ以下の整数）の対応付けの解を選択する選択ステップと、
前記第１コンピュータが、（Ｋ－Ｍ）組の対応付けの解と、前記現フレームについての前記物体領域情報とを用いて、次フレーム内の前記ターゲットが存在する領域を表す前記予測情報の生成に用いるための前記現フレームについての前記対象領域情報として、（Ｋ－Ｍ）組の前記対象領域情報を生成する生成ステップと、
前記複数のフレームに対して、前記検出ステップと、前記予測ステップと、前記最適化処理ステップと、前記選択ステップと、前記生成ステップと、を順次実行させるステップと、
を含む追跡方法。
【請求項７】
時系列で取得された複数のフレーム内のターゲットを追跡するコンピュータ（１００）が実行するプログラムであって、
前記コンピュータに、
現フレームに基づいて前記現フレーム内の物体が存在する領域を表す物体領域情報（Ｄ１）を出力する検出手順と、
前フレーム内で検出されたターゲットが存在する領域を表す対象領域情報（Ｄ３）を用いて、前記現フレーム内で前記ターゲットが存在すると予測される領域を表す予測情報（Ｄ２）を出力する予測手順と、
量子インスパイアードマシン（１７０）に対して、前記物体領域情報と前記予測情報とを用いて、前記現フレーム内で検出された前記ターゲットと予測ターゲットとの対応付けの解を得る最適化処理を、複数の異なる探索条件の下でＪ回（Ｊは２以上の整数）実行させ、Ｊ個の対応付けの解をそれぞれに対応するコスト関数の評価値とともに出力させる最適化処理手順と、
前記コスト関数の評価値に基づいて前記Ｊ個の対応付けの解から、Ｋ組（Ｋは２以上かつＪ以下の整数）の対応付けの解を選択する選択手順と、
前記（Ｋ－Ｍ）組（Ｍは０以上の整数）の対応付けの解と、前記現フレームについての前記物体領域情報とを用いて、次フレーム内の前記ターゲットが存在する領域を表す前記予測情報の生成に用いるための前記現フレームについての前記対象領域情報として、（Ｋ－Ｍ）組の前記対象領域情報を生成する生成手順と、
前記複数のフレームに対して、前記検出手順と、前記予測手順と、前記最適化処理手順と、前記選択手順と、前記生成手順と、を順次実行させる手順と、
を実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、追跡システム、追跡方法、および、プログラムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
特許文献１には、複数のフレーム画像を用いて移動する物体を追跡する技術について記載されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１１－１８１０１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
時系列で取得された画像を用いて、移動する２以上の物体を追跡する場合、追跡の対象の外観の類似度合い、および、追跡の対象の動きによっては、直前に取得された画像における物体と今回取得された画像における同じ物体とが正しく対応付けられないことがある。マッチングにミスが生じてしまうと、正確な追跡結果を得られなくなる。画像間の追跡の対象の対応付けの正確さを向上できる技術が求められていた。
【課題を解決するための手段】
【０００５】
本開示の一形態によれば、追跡システム（１０）が提供される。この追跡システムは、時系列で取得された複数のフレーム内のターゲットを追跡する。この追跡システムは、現フレームに基づいて前記現フレーム内の物体が存在する領域を表す物体領域情報（Ｄ１）を出力する検出部（２１０）と、前フレーム内で検出されたターゲットが存在する領域を表す対象領域情報（Ｄ３）を用いて、前記現フレーム内で前記ターゲットが存在すると予測される領域を表す予測情報（Ｄ２）を出力する予測部（２２０）と、前記物体領域情報と前記予測情報とを用いて、前記現フレーム内で検出された前記ターゲットと予測ターゲットとの対応付けの解を得る最適化処理を、複数の異なる探索条件の下でＪ回（Ｊは２以上の整数）実行し、Ｊ個の対応付けの解をそれぞれに対応するコスト関数の評価値とともに出力する最適化処理部（７０）と、前記コスト関数の評価値に基づいて前記Ｊ個の対応付けの解から、Ｋ組（Ｋは２以上かつＪ以下の整数）の対応付けの解を選択する選択部（２４０）と、（Ｋ－Ｍ）組（Ｍは０以上の整数）の対応付けの解と、前記現フレームについての前記物体領域情報とを用いて、次フレーム内の前記ターゲットが存在する領域を表す前記予測情報の生成に用いるための前記現フレームについての前記対象領域情報として、（Ｋ－Ｍ）組の前記対象領域情報を生成する生成部（２５０）と、前記検出部と、前記予測部と、前記最適化処理部と、前記選択部と、前記生成部と、にそれぞれの処理を前記複数のフレームについて順次実行させる制御部（２６０）と、
を備える追跡システム。
【０００６】
現フレーム内で検出されたターゲットと予測ターゲットとの対応付けについて、１つの解のみを求める態様では、その対応付けに誤りが生じた場合、以降のフレームにおけるターゲットの対応付けの処理で誤りを修正できない。しかしながら、上記の形態によれば、現フレーム内で検出されたターゲットと予測ターゲットとの対応付けの複数の対応付けの解に基づいて、次フレーム内のターゲットが存在する領域について複数のパターンを予測する。よって、ターゲットの対応付けに誤りが生じた場合でも、以降のフレームについての各部における処理により、対応付けの誤りの修正が可能である。したがって、フレーム間の追跡の対象の対応付けの正確さを向上できる。
【図面の簡単な説明】
【０００７】
物体追跡システムの概略構成を表すブロック図である。
ターゲットを追跡する処理のフローチャートである。
物体領域情報についての説明図である。
対象領域情報についての説明図である。
予測情報についての説明図である。
連続したフレームの例を示す図である。
【発明を実施するための形態】
【０００８】
Ａ．実施形態：
図１に示すように、物体追跡システム１０は、車両５００に備えられた画像センサにより時系列で取得された複数のフレーム内の対象物を追跡する。対象物は、四輪車、二輪車、自転車、電動カート、車椅子、歩行者等である。車両５００は、ＡＤＡＳ（Advanced Driving Assistant System: 先進運転システム）による走行が可能である。物体追跡システム１０を追跡システムともよぶ。
【０００９】
物体追跡システム１０は、カメラ５０と、追跡装置１００と、を備える。カメラ５０と、追跡装置１００とは、車両５００に搭載されている。
【００１０】
カメラ５０は車両５００に備えられた画像センサである。カメラ５０は、車両５００のフロントガラスの上端近傍に設置されている単眼カメラである。カメラ５０は、あらかじめ決められたフレームレートで車両５００の前方の決められた範囲を撮像する。撮像された個々のフレームは、ノンインタレース方式で表示可能な静止画像である。カメラ５０は、フレームのデータを追跡装置１００に出力する。
（【００１１】以降は省略されています）

関連特許