特許ウォッチ

公開番号2024166951
公報種別公開特許公報(A)
公開日2024-11-29
出願番号2023083396
出願日2023-05-19
発明の名称移動物体の追跡システム
出願人トヨタ自動車株式会社
代理人弁理士法人高田・高橋国際特許事務所
主分類G06T 7/20 20170101AFI20241122BHJP(計算;計数)
要約【課題】複数のカメラによって取得された各映像データに映り込んだ移動物体を追跡する場合において、この移動物体の外見が変化したときに追跡が途切れるのを抑える。
【解決手段】グラフを生成する処理と、グラフの参照により追跡対象を探索する処理と、が行われる。追跡対象を探索する処理では、追跡対象の画像から追跡対象の特徴量が抽出される。また、グラフを構成する少なくとも2点のノードによって表される少なくとも2つの移動物体の画像からそれぞれ抽出されるこれらの移動物体の特徴量のうちから、追跡対象の特徴量に最も類似する特徴量を有する移動物体が特定される。そして、特定された移動物体に付与された追跡識別番号を表すノードと、当該追跡識別番号を表すノードに少なくとも1本のエッジを介して結ばれた少なくとも1点のノードとを含むグラフを示す追跡対象グラフが特定される。
【選択図】図5
特許請求の範囲【請求項１】
少なくとも２台のカメラによって取得された各映像データが格納される記憶装置と、
プロセッサと、
を備え、
前記プロセッサは、
前記各映像データに基づいて、少なくとも２点のノードと、前記少なくとも２点のノードの関係性を示す少なくとも１本のエッジと、で構成されたグラフを生成する処理と、
追跡対象の画像を含むクエリを入力とする前記グラフの参照により前記追跡対象を探索する処理と、
を行うように構成され、
前記グラフにおいて、
前記少なくとも２台のカメラに含まれる単カメラを表すノードと、当該単カメラが取得した映像データに映り込んだ移動物体に対して付与される追跡識別番号を表すノードとが、少なくとも１本のエッジを介して結ばれ、
前記追跡識別番号は、前記単カメラが取得した映像データに映り込んだ同一移動物体に対して付与される共通追跡識別番号を含み、
少なくとも２台の前記単カメラの間の関係性を示す少なくとも１本のエッジを介して、これらの単カメラを表すノードの中で当該関係性を有するノード同士が結ばれ、
前記各映像データに映り込んだ少なくとも２つの移動物体が同一移動物体であることを示す少なくとも１本のエッジを介して、少なくとも２つの前記共通追跡識別番号を表すノードの中で同一移動物体であると認められたノード同士が結ばれ、
前記共通追跡識別番号を表すノードと、当該共通追跡識別番号が付与された前記同一移動物体の画像を表すノードとが、少なくとも１本のエッジを介して結ばれ、
前記プロセッサは、前記追跡対象を探索する処理において、
前記追跡対象の画像から前記追跡対象の特徴量を抽出し、
前記グラフを構成する少なくとも２点のノードによって表される少なくとも２つの移動物体の画像からそれぞれ抽出されるこれらの移動物体の特徴量のうちから、前記追跡対象の特徴量に最も類似する特徴量を有する移動物体を特定し、
特定された前記移動物体に付与された前記追跡識別番号を表すノードと、当該追跡識別番号を表すノードに少なくとも１本のエッジを介して結ばれた少なくとも１点のノードとを含むグラフを示す追跡対象グラフを特定する
ことを特徴とする移動物体の追跡システム。
続きを表示（約 1,200 文字）【請求項２】
前記プロセッサは、前記追跡対象を探索する処理において、
前記少なくとも２つの移動物体の画像からこれらの移動物体の特徴量をそれぞれ抽出する前に、前記グラフを構成する少なくとも２点のノードのうちから、所定の絞り込み条件に従って少なくとも２点のノードを選出し、
選出された前記少なくとも２点のノードによって表される少なくとも２つの移動物体の画像から、前記少なくとも２つの移動物体の特徴量がそれぞれ抽出される
ことを特徴とする請求項１に記載の移動物体の追跡システム。
【請求項３】
前記プロセッサは、前記グラフを生成する処理において、
前記少なくとも２つの移動物体が同一移動物体であるか否かを、これらの移動物体に対してそれぞれ付与される追跡識別番号を表すノードに少なくとも１本のエッジを介して結ばれたこれらの移動物体の画像からそれぞれ抽出されるこれらの移動物体の特徴量に基づいて判定し、
前記少なくとも２つの移動物体が類似すると判定された場合、これらの移動物体にそれぞれ付与された前記共通追跡識別番号を表すノード同士を、前記少なくとも２つの移動物体が同一移動物体であることを示す少なくとも１本のエッジを介して結ぶ
ことを特徴とする請求項１に記載の移動物体の追跡システム。
【請求項４】
前記プロセッサは、前記グラフを生成する処理において、更に、
前記少なくとも２つの移動物体の各特徴量に基づいた判定において、これらの移動物体が類似しないと判定された場合、前記少なくとも２つの移動物体についての所定の移動条件が満たされるか否かを判定し、
前記少なくとも２つの移動物体について前記移動条件が満たされると判定された場合、これらの移動物体にそれぞれ付与された前記共通追跡識別番号を表すノード同士を、前記少なくとも２つの移動物体が同一移動物体であることを示す少なくとも１本のエッジを介して結ぶ
ことを特徴とする請求項３に記載の移動物体の追跡システム。
【請求項５】
前記プロセッサは、更に、
前記グラフを生成する処理により生成された前記グラフを整理する処理を行うように構成され、
前記プロセッサは、前記グラフを整理する処理において、
前記少なくとも２つの移動物体にそれぞれ付与された前記共通追跡識別番号を表すノード同士の連結数が少なくとも３つのノード群を抽出し、
前記ノード群を構成するノードに少なくとも１本のエッジを介してそれぞれ結ばれた少なくとも３つの移動物体の画像についてのタイムスタンプデータに基づいて、前記ノード群を構成するノード同士を結ぶ少なくとも１本のエッジを結び替える
ことを特徴とする請求項３又は４に記載の移動物体の追跡システム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、複数のカメラによって取得された映像データを用いて、この映像データに映り込んだ移動物体を追跡するシステムに関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
国際公開第２０２２／１８５５２１号は、複数のカメラによって撮影された人物の移動経路を検索する技術を開示する。この従来の検索技術では、あるカメラによって取得された映像データに写っている人物が検出され、次いで、検出された人物の特徴量が抽出される。この特徴量の情報は、検出された人物が撮影された時刻と、検出された人物を撮影したカメラのＩＤ番号とを組み合わされてデータベースに登録される。
【０００３】
移動経路の検索に際しては、検索対象人物の特徴量に加えて、検索を行う範囲（地域と時刻）が設定される。この設定検索範囲において、検索対象人物の特徴量と、データベースに登録された人物の特徴量との類似度が計算される。そして、閾値以上の類似度を有する人物は、検索対象人物である可能性が高い人物である。移動経路の検索では、このような人物が撮影された時刻の情報と、この撮影を行ったカメラの位置の情報と、が検索結果として出力される。
【０００４】
従来の検索技術では、また、検索結果の少なくとも一部の要素が取り出されて時系列順に並べられて、移動経路の候補が生成される。従来の検索技術では、更に、複数のカメラの各位置と、これらのカメラの位置関係とを示したグラフから、カメラ間の移動コストが計算される。移動経路の検索では、この移動コストを用いて、移動経路の候補に対する評価が行われる。移動コストに見合う移動経路の候補が見つかった場合、この候補が検索対象人物の移動経路として決定される。
【０００５】
本開示に関連する技術分野の技術水準を示す文献としては、国際公開第２０２２／１８５５２１号の他に、国際公開第２０１４／１３２８４１号、及び国際公開第２０１４／０４５８４３号を例示することができる。
【先行技術文献】
【特許文献】
【０００６】
国際公開第２０２２／１８５５２１号
国際公開第２０１４／１３２８４１号
国際公開第２０１４／０４５８４３号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
複数のカメラによって取得された映像データを用いて、この映像データに映り込んだ移動物体（人物、ロボット、車両など）を追跡することを考える。国際公開第２０２２／１８５５２１号に記載の検索技術では、検索対象人物の特徴量との類似度の計算が、設定検索範囲の全ての人物に対して行われる。そのため、類似度の閾値が低い場合は、検索結果の出力数が多くなり移動経路の候補の生成が困難になる。この点、類似度の閾値が高くすれば検索結果の出力数を減らすことができる。しかしながら、この場合は、検索対象人物が上着を脱ぐ、帽子を取るといった検索対象人物の外見が変化した場合に、類似度が低いと判断される可能性がある。そうすると、検索対象人物の移動経路が途絶え、検索対象人物の追跡が困難になる。
【０００８】
本開示の１つの目的は、複数のカメラによって取得された各映像データに映り込んだ移動物体を追跡する場合において、この移動物体の外見が変化したときに追跡が途切れるのを抑える技術を提供することにある。
【課題を解決するための手段】
【０００９】
本開示は、移動物体の追跡システムであり、次の特徴を有する。
前記追跡システムは、記憶装置と、プロセッサとを備える。前記記憶装置には、少なくとも２台のカメラによって取得された各映像データが格納される。前記プロセッサは、前記各映像データに基づいて、少なくとも２点のノードと、前記少なくとも２点のノードの関係性を示す少なくとも１本のエッジと、で構成されたグラフを生成する処理と、追跡対象の画像を含むクエリを入力とする前記グラフの参照により前記追跡対象を探索する処理と、を行うように構成されている。
前記グラフにおいて、前記少なくとも２台のカメラに含まれる単カメラを表すノードと、当該単カメラが取得した映像データに映り込んだ移動物体に対して付与される追跡識別番号を表すノードとが、少なくとも１本のエッジを介して結ばれている。前記追跡識別番号は、前記単カメラが取得した映像データに映り込んだ同一移動物体に対して付与される共通追跡識別番号を含む。
前記グラフにおいて、少なくとも２台の前記単カメラの間の関係性を示す少なくとも１本のエッジを介して、これらの単カメラを表すノードの中で当該関係性を有するノード同士が結ばれている。
前記グラフにおいて、前記各映像データに映り込んだ少なくとも２つの移動物体が同一移動物体であることを示す少なくとも１本のエッジを介して、少なくとも２つの前記共通追跡識別番号を表すノードの中で同一移動物体であると認められたノード同士が結ばれている。
前記グラフにおいて、前記共通追跡識別番号を表すノードと、当該共通追跡識別番号が付与された前記同一移動物体の画像を表すノードとが、少なくとも１本のエッジを介して結ばれている。
前記プロセッサは、前記追跡対象を探索する処理において、
前記追跡対象の画像から前記追跡対象の特徴量を抽出し、
前記グラフを構成する少なくとも２点のノードによって表される少なくとも２つの移動物体の画像からそれぞれ抽出されるこれらの移動物体の特徴量のうちから、前記追跡対象の特徴量に最も類似する特徴量を有する移動物体を特定し、
特定された前記移動物体に付与された前記追跡識別番号を表すノードと、当該追跡識別番号を表すノードに少なくとも１本のエッジを介して結ばれた少なくとも１点のノードとを含むグラフを示す追跡対象グラフを特定する。
【発明の効果】
【００１０】
本開示によれば、少なくとも２点のノードと、前記少なくとも２点のノードの関係性を示す少なくとも１本のエッジと、で構成されたグラフを生成する処理が行われる。このグラフでは、単カメラを表すノードと、当該単カメラが取得した映像データに映り込んだ移動物体に対して付与される追跡識別番号を表すノードとが、少なくとも１本のエッジを介して結ばれている。また、この追跡識別番号は、単カメラが取得した映像データに映り込んだ同一移動物体に対して付与される共通追跡識別番号を含んでいる。
（【００１１】以降は省略されています）

関連特許