特許ウォッチ

公開番号2025162527
公報種別公開特許公報(A)
公開日2025-10-27
出願番号2025063028
出願日2025-04-07
発明の名称ターゲット追跡のための方法、装置及び記憶媒体
出願人富士通株式会社
代理人弁理士法人ITOH
主分類G06T 7/292 20170101AFI20251020BHJP(計算;計数)
要約【課題】ターゲット追跡のための方法、装置及び記憶媒体を提供する。
【解決手段】方法は、複数のカメラによる現在時点の複数の現在フレームに基づいて、局所ターゲット識別子を有する複数の局所ターゲット軌跡を決定し、複数の局所ターゲット軌跡に基づいて、各局所ターゲット軌跡の直近サブ軌跡セグメントのサブ軌跡セグメント特徴を含む第1の特徴プール及び各局所ターゲット軌跡の早期サブ軌跡セグメントのサブ軌跡セグメント特徴を含む第2の特徴プールを更新し、現在時点が所定のクラスタリング周期についての時間要件を満たす場合、更新された第1の特徴プールと更新された第2の特徴プールとの和集合における特徴をクラスタリングすることによって、対応する現在クラスタ外観特徴を有する複数の現在アンカーポイントを決定し、複数の現在アンカーポイントに基づいて、複数の現在フレームにおける検出されたターゲットの大域ターゲット識別子を決定する。
【選択図】図1
特許請求の範囲【請求項１】
ターゲット追跡のための方法であって、
複数のカメラにより提供された現在時点の複数の現在フレームに基づいて、局所ターゲット識別子を有する複数の局所ターゲット軌跡を決定するステップと、
前記複数の局所ターゲット軌跡に基づいて、各局所ターゲット軌跡の直近サブ軌跡セグメントのサブ軌跡セグメント特徴を含む第１の特徴プール及び各局所ターゲット軌跡の早期サブ軌跡セグメントのサブ軌跡セグメント特徴を含む第２の特徴プールを更新するステップと、
前記現在時点が所定のクラスタリング周期についての時間要件を満たす場合、
更新された第１の特徴プールと更新された第２の特徴プールとの和集合における特徴をクラスタリングすることによって、対応する現在クラスタ外観特徴を有する複数の現在アンカーポイントを決定することと、
前記複数の現在アンカーポイントに基づいて、前記複数の現在フレームにおける検出されたターゲットの大域ターゲット識別子を決定することと、を実行するステップと、を含む、方法。
続きを表示（約 2,100 文字）【請求項２】
前記直近サブ軌跡セグメントの開始軌跡点は、外観特徴が前記早期サブ軌跡セグメントに対して突然変化が発生した軌跡点である、請求項１に記載の方法。
【請求項３】
前記時間要件は、前記現在時点と、前回に前記第１の特徴プールと前記第２の特徴プールとの和集合における特徴をクラスタリングして、対応する先行クラスタ外観特徴を有する複数の先行アンカーポイントを決定する直前時点との時間間隔が、前記所定のクラスタリング周期以上であることである、請求項１に記載の方法。
【請求項４】
前記複数の現在アンカーポイントに基づいて、前記複数の現在フレームにおける検出されたターゲットの大域ターゲット識別子を決定することは、
前記複数の現在アンカーポイントと複数の先行アンカーポイントとの対応関係に基づいて、対応する大域ターゲット識別子を前記複数の現在アンカーポイントに割り当てることによって、前記複数の現在アンカーポイントを大域アンカーポイントセットとして構成することと、
前記大域アンカーポイントセットに基づいて、前記複数の現在フレームにおける検出されたターゲットの大域ターゲット識別子を決定することと、を含む、請求項３に記載の方法。
【請求項５】
前記複数の局所ターゲット軌跡のうちの各局所ターゲット軌跡について、
前記直近サブ軌跡セグメントのサブ軌跡セグメント特徴は、該局所ターゲット軌跡の直近突然変化軌跡点から現在の軌跡点の直前の軌跡点までの外観特徴の平均特徴であり、
前記早期サブ軌跡セグメントのサブ軌跡セグメント特徴は、該局所ターゲット軌跡の早期突然変化軌跡点から該直近突然変化軌跡点の直前の軌跡点までの外観特徴の平均特徴であり、
前記直近突然変化軌跡点の外観特徴と前記早期サブ軌跡セグメントのサブ軌跡セグメント特徴との差は、所定のレベルよりも大きい、請求項１に記載の方法。
【請求項６】
前記第２の特徴プールにおけるサブ軌跡セグメント特徴の数が特徴数閾値よりも大きい場合、前記第１の特徴プールと前記第２の特徴プールとの和集合における特徴をクラスタリングした後に、前記第２の特徴プールにおける特徴の類似度が特徴類似度閾値以上である特徴のペアを併合する、請求項１に記載の方法。
【請求項７】
前記複数の現在アンカーポイントのうちの第１のアンカーポイント及び前記複数の先行アンカーポイントのうちの第２のアンカーポイントについて、第１の条件及び第２の条件のうちの何れか一方又は両方を満たす場合、前記第１のアンカーポイントが前記第２のアンカーポイントに対応すると決定し、
前記第１の条件は、前記第１のアンカーポイントと前記第２のアンカーポイントとのクラスタ外観特徴のペアのコサイン距離がコサイン距離閾値以下であることであり、
前記第２の条件は、前記第１のアンカーポイントに対応する前記更新された第２の特徴プールからの複数の特徴の集合と前記第２のアンカーポイントに対応する更新前の第２の特徴プールからの複数の特徴の集合との重複度が重複度閾値以上であることである、請求項４に記載の方法。
【請求項８】
前記第１の特徴プールと前記第２の特徴プールとの和集合における特徴の数が増加するにつれて、クラスタリングのためのクラスタリング閾値を基礎閾値から基礎閾値よりも大きい所定の上限閾値まで徐々に増加させる、請求項１に記載の方法。
【請求項９】
ターゲット追跡のための装置であって、
命令が記憶されたメモリと、
前記メモリに接続され、請求項１乃至８の何れかに記載の方法を実現するように前記命令を実行するように構成される少なくとも１つのプロセッサと、を含む、装置。
【請求項１０】
プログラムが記憶されたコンピュータ読み取り可能な非一時的な記憶媒体であって、前記プログラムがコンピュータにより実行される際に、前記コンピュータに、
複数のカメラにより提供された現在時点の複数の現在フレームに基づいて、局所ターゲット識別子を有する複数の局所ターゲット軌跡を決定するステップと、
前記複数の局所ターゲット軌跡に基づいて、各局所ターゲット軌跡の直近サブ軌跡セグメントのサブ軌跡セグメント特徴を含む第１の特徴プール及び各局所ターゲット軌跡の早期サブ軌跡セグメントのサブ軌跡セグメント特徴を含む第２の特徴プールを更新するステップと、
前記現在時点が所定のクラスタリング周期についての時間要件を満たす場合、
更新された第１の特徴プールと更新された第２の特徴プールとの和集合における特徴をクラスタリングすることによって、対応する現在クラスタ外観特徴を有する複数の現在アンカーポイントを決定することと、
前記複数の現在アンカーポイントに基づいて、前記複数の現在フレームにおける検出されたターゲットの大域ターゲット識別子を決定することと、を実行するステップと、を実行させる、記憶媒体。

発明の詳細な説明【技術分野】
【０００１】
本開示は、全体的には、画像処理に関し、具体的には、ターゲット追跡のための方法、ターゲット追跡のための装置、及びプログラムが記憶されたコンピュータ読み取り可能な非一時的な記憶媒体に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
コンピュータサイエンスの発展に伴い、有用な情報を得るためにコンピュータを使用して画像処理プログラムを実行することが益々一般的かつ効果的になっている。マルチターゲット追跡は、画像処理の重要な応用分野の１つである。
【０００３】
マルチターゲット追跡は、一般的に単にＭＴＴ（ＭｕｌｔｉｐｌｅＴａｒｇｅｔＴｒａｃｋｉｎｇ）（ＭＯＴ：ＭｕｌｔｉｐｌｅＯｂｊｅｃｔＴｒａｃｋｉｎｇと略称される場合もある）と称され、ビデオ内の歩行者、自動車及び／又は動物などの複数の関心のあるタイプのターゲットを検出し、その軌跡を決定して追跡を実現するための識別子（ＩＤ）を付与するために使用される。望ましい追跡結果として、マルチターゲット追跡の後に、正確な追跡、正確な検索などのタスクを実現するために、異なるターゲットに異なるＩＤを割り当てる。ＭＯＴは、コンピュータビジョン分野の重要な技術の１つであり、自動運転、知能監視、行動認識などの分野で広く応用されている。
【０００４】
マルチターゲット追跡は、シングルカメラ追跡とクロスカメラ追跡を含む。シングルカメラ追跡のための追跡装置（例えば、追跡を実現するアプリケーションプログラム）の入力ビデオは、１つのカメラからのみ取得される。
【０００５】
クロスカメラ追跡の入力ビデオは、複数のカメラから取得される。複数のカメラからの画像において同一のターゲットが同一の識別子として識別されるために、各単一のカメラの追跡により出力された局所追跡軌跡を関連付ける必要がある。例えば、関連処理により、第１のカメラによる局所軌跡Ｌ－Ｔｒ１と第２のカメラによる局所軌跡Ｌ－Ｔｒ２との対応するターゲットが同一の人物であると決定された場合、軌跡Ｌ－Ｔｒ１及びＬ－Ｔｒ２のターゲット識別子を共に一意の大域識別子「ＩＤＸＸＸＸ」として表記し、即ち、軌跡Ｌ－Ｔｒ１とＬ－Ｔｒ２とを関連付けてターゲット「ＩＤＸＸＸＸ」の大域軌跡ＧＴｒとする。大域軌跡ＧＴｒは、複数の局所軌跡を時系列に従って連結した軌跡であってもよい。ターゲット追跡により出力された軌跡は、複数の画像取得時点に対応する複数の軌跡点を含む。
【０００６】
文献１：Ｈｕａｎｇ，Ｈｓｉａｎｇ－Ｗｅｉ，ｅｔａｌ．「ＥｎｈａｎｃｉｎｇＭｕｌｔｉ－ＣａｍｅｒａＰｅｏｐｌｅＴｒａｃｋｉｎｇｗｉｔｈＡｎｃｈｏｒ－ＧｕｉｄｅｄＣｌｕｓｔｅｒｉｎｇａｎｄＳｐａｔｉｏ－ＴｅｍｐｏｒａｌＣｏｎｓｉｓｔｅｎｃｙＩＤＲｅ－Ａｓｓｉｇｎｍｅｎｔ．」ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥ／ＣＶＦＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，２０２３。
【０００７】
文献１には、アンカーポイントに基づくクロスカメラマルチターゲット追跡方法を提供し、該方法は、主に、（１）ダウンサンプリングされたフレームにおける外観特徴を用いて階層的クラスタリングによりクロスカメラのアンカーポイント（大域ＩＤ付き）を生成するステップ、（２）異なるカメラ間のアンカーポイントと各フレームの特徴との間のコスト行列を計算し、ハンガリアン法のアルゴリズムを用いて、単一のカメラ軌跡に、異なる大域ＩＤを割り当てるステップ、（３）最終的な軌跡をさらに最適化するために、スライドウィンドウを用いて多数決を行うステップを含む。
【０００８】
クロスカメラマルチターゲット追跡の分野では、オンライン追跡（即ち、リアルタイム追跡）を実現する要望がある。文献１に記載された方法は、オンライン追跡に適用できない。非オンライン追跡の場合（所定の期間の完全なビデオが取得された場合、例えば文献１）に比べて、オンライン追跡では、限られたデータの場合（現在時点の画像及び先行期間の軌跡情報のみを有する場合）、追跡の精度を確保し、より速い処理速度を確保してリアルタイム追跡を実現する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
以下は、本開示の態様を基本的に理解させるために、本開示の簡単な概要を説明する。なお、この簡単な概要は、本開示を網羅的な概要ではなく、本開示のポイント又は重要な部分を意図的に特定するものではなく、本開示の範囲を意図的に限定するものではなく、後述するより詳細的な説明の前文として、単なる概念を簡単な形で説明することを目的とする。
【００１０】
本発明の発明者は、クロスカメラマルチターゲットのオンライン追跡について研究及び試験を行い、クロスカメラマルチターゲットのオンライン追跡技術を提供し、精度の面で良好な効果を有する、本開示の技術を提案する。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許