特許ウォッチ

公開番号2024166949
公報種別公開特許公報(A)
公開日2024-11-29
出願番号2023083394
出願日2023-05-19
発明の名称移動物体の追跡システム
出願人トヨタ自動車株式会社
代理人弁理士法人高田・高橋国際特許事務所
主分類G06T 7/20 20170101AFI20241122BHJP(計算;計数)
要約【課題】広範囲に配置された複数のカメラによって取得された映像データを用いて、この映像データに映り込んだ同一移動物体を追跡する。
【解決手段】移動物体の追跡システムは、グラフを有する。グラフでは、単カメラを表すノードと、当該単カメラが取得した映像データに映り込んだ移動物体に対して付与される共通追跡IDを表すノードとが、エッジを介して結ばれている。グラフでは、また、少なくとも2台の単カメラの間の関係性を示すエッジを介して、これらの単カメラを表すノードの中で当該関係性を有するノード同士が結ばれている。グラフでは、また、少なくとも2台の単カメラによって取得された各映像データに映り込んだ少なくとも2つの移動物体が同一移動物体であることを示すエッジを介して、少なくとも2つの共通追跡IDを表すノードの中で同一移動物体であると認められたノード同士が結ばれている。
【選択図】図3
特許請求の範囲【請求項１】
少なくとも２台のカメラによって取得された各映像データが格納される記憶装置と、
前記各映像データに基づいてデータ処理を行うように構成されたプロセッサと、
を備え、
前記プロセッサは、前記データ処理において、
少なくとも２点のノードと、前記少なくとも２点のノードの関係性を示す少なくとも１本のエッジと、で構成されたグラフを生成し、
前記グラフを前記記憶装置内のデータベースに格納し、
前記グラフにおいて、
前記少なくとも２台のカメラに含まれる単カメラを表すノードと、当該単カメラが取得した映像データに映り込んだ移動物体に対して付与される追跡識別番号を表すノードとが、少なくとも１本のエッジを介して結ばれ、
前記追跡識別番号は、前記単カメラが取得した映像データに映り込んだ同一移動物体に対して付与される共通追跡識別番号を含み、
少なくとも２台の前記単カメラの間の関係性を示す少なくとも１本のエッジを介して、これらの単カメラを表すノードの中で当該関係性を有するノード同士が結ばれ、
少なくとも２台の前記単カメラによって取得された各映像データに映り込んだ少なくとも２つの移動物体が同一移動物体であることを示す少なくとも１本のエッジを介して、少なくとも２つの前記共通追跡識別番号を表すノードの中で同一移動物体であると認められたノード同士が結ばれている
ことを特徴とする移動物体の追跡システム。
続きを表示（約 950 文字）【請求項２】
前記グラフにおいて、
前記共通追跡識別番号を表すノードと、前記共通追跡識別番号が付与された前記同一移動物体についての付加情報を表すノードとが、少なくとも１本のエッジを介して結ばれ、
前記付加情報が、前記共通追跡識別番号が付与された前記同一移動物体の画像、当該同一移動物体の外観特徴、当該同一移動物体の行動、及び、当該同一移動物体が人物である場合における当該人物の顔画像の少なくとも１つを含む
ことを特徴とする請求項１に記載の移動物体の追跡システム。
【請求項３】
前記プロセッサは、前記グラフの生成において、
前記少なくとも２つの移動物体が同一移動物体であるか否かを、当該少なくとも２つの移動物体の各特徴量に基づいて判定し、
前記少なくとも２つの移動物体が同一移動物体であると判定された場合、これらの移動物体にそれぞれ付与された前記共通追跡識別番号を結びつけ、
前記少なくとも２つの移動物体にそれぞれ付与された前記共通追跡識別番号が結びつけられた場合、前記グラフにおいて、前記少なくとも２つの移動物体が同一移動物体であることを示す少なくとも１本のエッジを介して、当該共通追跡識別番号を表すノード同士が結ばれる
ことを特徴とする請求項１又は２に記載の移動物体の追跡システム。
【請求項４】
前記プロセッサは、前記グラフの生成において、更に、
前記少なくとも２つの移動物体の各特徴量に基づいた判定を検証し、
前記判定に矛盾があると判定された場合、前記少なくとも２つの移動物体にそれぞれ付与された前記共通追跡識別番号を表すノード同士の結び付けを解除する
ことを特徴とする請求項３に記載の移動物体の追跡システム。
【請求項５】
前記プロセッサは、更に、
クエリを入力とする前記グラフの参照により追跡対象の追跡処理を行うように構成され、
前記クエリが、日時、場所、前記追跡対象の画像、及び、当該追跡対象が人物である場合における当該人物の顔画像の少なくとも１つを含む
ことを特徴とする請求項１又は２に記載の移動物体の追跡システム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、複数のカメラによって取得された映像データを用いて、この映像データに映り込んだ移動物体を追跡するシステムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
特開２０１７－０２１７５３号公報は、複数のカメラによって取得された映像データを用いて、この映像データに映り込んだ人物画像をグラフ化する技術を開示する。この従来技術では、映像データに含まれるフレーム（画像）のうちから、人物が検出されたフレームが抽出される。続いて、この抽出フレームから、検出人物を含む矩形領域（即ち、バウンディングボックス）がトリミングされる。人物が検出されたフレームの抽出と、バウンディングボックスのトリミングとは、撮影の時刻及び場所の少なくとも一方において異なる複数のフレームに対して行われる。そのため、抽出されるバウンディングボックスの数も複数となる。
【０００３】
上記公報に記載の技術では、続いて、抽出された複数のバウンディングボックスのうちから、５つのバウンディングボックスからなる画像シーケンスが、カメラ間のユークリッド距離を参照して抽出される。続いて、画像シーケンスに含まれる人物画像の特徴量に基づいて、これらの人物画像の類似度が計算される。この類似度は、５つのバウンディングボックスに含まれる人物画像が同一人物であるか否かを判定するために用いられる。
【０００４】
上記公報に記載の技術では、５つのバウンディングボックスに含まれる人物画像が同一人物であると判定された場合、５つのバウンディングボックスに対してグラフ（Graph）が生成される。このグラフは、グラフ理論におけるノード（頂点、節点）とエッジ（辺、枝）を用いて表現されるものである。上記公報の図７－９には、設置箇所の異なる複数のカメラによって取得された映像データに対するデータ処理により、同一人物であると判定された５つのバウンディングボックス（人物画像）をそれぞれノードとし、これらのバウンディングボックスがエッジで結ばれたグラフの例が示されている。
【０００５】
特開２０２２－０８６６５０号公報には、監視カメラの映像データを所定の時刻幅で区切り、区切られた時刻幅ごとの映像データからグラフを生成する技術が開示されている。この従来技術において、グラフは、ノード用のグラフと、エッジ用のグラフと、を含んでいる。ノード用のグラフは、監視カメラの映像データに映り込んだ監視対象の要素に対して付与されたユニークなノードＩＤと、このノードＩＤに紐付けられた当該要素の追跡情報及び属性情報と、を含んでいる。エッジ用のグラフは、監視対象の要素が複数の人物を含む場合におけるこれらの要素のインタラクション行動の情報や、監視対象の要素が人物と物体を含む場合におけるこれらの要素の関係性の情報を含んでいる。
【０００６】
上記公報に記載の技術では、また、生成されたグラフがデータベースに格納される。ノード用のグラフはノード用のデータベースに格納され、エッジ用のグラフはエッジ用のデータベースに格納される。つまり、生成されたノード用及びエッジ用のグラフは、別々のデータベースに格納される。
【先行技術文献】
【特許文献】
【０００７】
特開２０１７－０２１７５３号公報
特開２０２２－０８６６５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
複数のカメラによって取得された映像データを用いて、この映像データに映り込んだ移動物体（人物、ロボット、車両など）を追跡することを考える。特開２０１７－０２１７５３号公報に記載の技術によれば、映像データに映り込んだ同一人物についてグラフが生成される。そのため、このグラフを用いれば、映像データに映り込んだ同一移動物体を追跡できる可能性がある。しかしながら、この公報の技術では、ユークリッド距離に基づいて画像シーケンスが抽出されていることから、ユークリッド距離の大きいカメラ間ではこの抽出が行われない。従って、この公報の技術により生成されたグラフは、広い範囲を移動する移動物体の追跡に不向きである。
【０００９】
また、特開２０２２－０８６６５０号公報は、単一の監視カメラについてグラフを生成することを述べているが、複数の監視カメラについては述べていない。仮に、複数の監視カメラについてそれぞれグラフを作成したところで、これらのグラフの間の関係性が定義されることなく、監視カメラごとに生成されたノード用とエッジ用のグラフが、別々のデータベースに格納される可能性が高い。従って、この公報の技術では、複数のカメラによって取得された映像データに映り込んだ同一移動物体を追跡することはできない。
【００１０】
本開示の１つの目的は、広範囲に配置された複数のカメラによって取得された映像データを用いて、この映像データに映り込んだ同一移動物体を追跡することのできる技術を提供することにある。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許