特許ウォッチ

公開番号2025010520
公報種別公開特許公報(A)
公開日2025-01-21
出願番号2024108703
出願日2024-07-05
発明の名称シーンの1つまたは複数のオクルージョンされたエリアを検出するための方法および非一時的コンピュータ可読記憶媒体
出願人アクシスアーベー
代理人園田・小林弁理士法人
主分類G06T 7/60 20170101AFI20250110BHJP(計算;計数)
要約【課題】物体トラッキングシステムによって分析されるシーンの1つまたは複数のオクルージョンされたエリアを検出する方法を提供する。
【解決手段】方法は、シーン中の1つまたは複数のオクルージョンされたエリアのマップを構築すること(S506)を含む。マップを構築することは、失われた物体トラックを再開することを試みるために、ビデオシーケンス上で再識別アルゴリズムを動作させること(S510)を含む。物体トラックが成功裡に再開された場合、第1の物体トラックが失われたシーンのエリアと、第1の物体トラックが再開されたシーンのエリアとを決定する(S512)。マップが、シーンの第1のエリア中で失われた物体トラックがシーンの第2のエリア中で再開されたことを識別するように、マップにシーンの第1のエリアと第2のエリアとの間の接続を追加する(S514)。
【選択図】図5
特許請求の範囲【請求項１】
物体トラッキングシステムによって分析される１つまたは複数のビデオシーケンス中の１つまたは複数のオクルージョンされたエリアを検出するためのコンピュータ実装方法であって、前記方法は、
１つまたは複数のビデオシーケンスを提供することであって、前記１つまたは複数のビデオシーケンスが同じシーンを表しており、前記１つまたは複数のビデオシーケンスが複数の物体を含む、１つまたは複数のビデオシーケンスを提供することと、
前記１つまたは複数のビデオシーケンス中の複数の物体トラックを決定することと
を含み、
前記方法は、前記１つまたは複数のビデオシーケンス中の１つまたは複数のオクルージョンされたエリアのマップを構築することであって、前記マップを構築することが、
ａ）前記複数の物体トラックのうちの、前記複数の物体のうちの第１の物体に対応する第１の物体トラックが失われたと決定すると、前記第１の物体トラックを再開することを試みるために、前記１つまたは複数のビデオシーケンスのうちの少なくとも１つのビデオシーケンス上で再識別アルゴリズムを動作させることと、
ｂ）前記第１の物体トラックを成功裡に再開すると、
前記第１の物体トラックが失われた第１のエリアであって、前記第１のエリアが、前記１つまたは複数のビデオシーケンス中の複数のエリアのうちの前記１つまたは複数のビデオシーケンス中で決定される、第１のエリアと、前記第１の物体トラックが再開される第２のエリアであって、前記第２のエリアが、前記１つまたは複数のビデオシーケンス中の前記複数のエリアのうちの前記１つまたは複数のビデオシーケンス中で決定される、第２のエリアとを決定することであって、前記１つまたは複数のビデオシーケンス中の前記複数のエリアの各エリアが、前記１つまたは複数のビデオシーケンスによってキャプチャされた前記シーンの３Ｄエリアの２Ｄ表現のエリアを指し、前記１つまたは複数のビデオシーケンスが、各ビデオシーケンスの画像フレーム中に表された物体およびエリアが変換されるベース座標系に関連付けられる、第１のエリアと第２のエリアとを決定することと、
１つまたは複数のオクルージョンされたエリアの前記マップが、前記第１のエリア中で失われた物体トラックが前記第２のエリア中で再開されたことを識別するように、前記マップに、前記第１のエリアと前記第２のエリアとの間の接続を追加することと
を含む、マップを構築することを含むことを特徴とする、方法。
続きを表示（約 1,800 文字）【請求項２】
前記マップを構築することが、前記複数の物体トラックのうちの複数の失われた物体トラックに対してステップａ）およびｂ）を実施することを含む、請求項１に記載の方法。
【請求項３】
１つまたは複数のオクルージョンされたエリアの前記マップは、前記第１のエリア中で失われた物体トラックが前記第２のエリア中で再開される確率をさらに示す、請求項２に記載の方法。
【請求項４】
前記マップは、前記第１のエリア中で失われた物体トラックが前記１つまたは複数のビデオシーケンス中のエリアのサブセット中で再開されたことを示し、前記サブセットが、前記１つまたは複数のビデオシーケンス中の前記複数のエリアのうちの前記１つまたは複数のビデオシーケンス中の少なくとも２つのエリアを含み、前記マップは、前記サブセット中の各エリアについて、前記第１のエリア中で失われた物体トラックが前記サブセット中のそのエリア中で再開される確率をさらに示す、請求項３に記載の方法。
【請求項５】
前記シーンをキャプチャするセンサーデータを提供するステップと、
第２の物体トラックを決定するために、前記センサーデータ中で第２の物体をトラッキングするステップと、
前記第２の物体が前記センサーデータ中でトラッキング不可能であると決定すると、前記第２の物体トラックにおける前記第２の物体の最新の観測の前記センサーデータにおける位置を決定するステップと、前記第２の物体トラックにおける前記第２の物体の前記最新の観測の前記位置が前記第１のエリアからしきい値距離内にあると決定すると、
前記マップから、前記第１のエリア中で失われた物体トラックが再開された前記１つまたは複数のビデオシーケンス中のエリアを識別するステップ、および前記第１のエリアと識別された前記エリアとの間の距離を決定するステップと、
決定された前記距離に基づいて前記第２の物体トラックのためのコースティング期間を設定するステップであって、より大きい距離が、同等により長いコースティング期間をもたらす、前記第２の物体トラックのためのコースティング期間を設定するステップと
をさらに含む、請求項１に記載の方法。
【請求項６】
請求項４に従属するとき、前記マップから、前記第１のエリア中で失われた物体トラックが再開された前記１つまたは複数のビデオシーケンス中のエリアを識別する前記ステップが、
前記マップによって示される最も大きい確率を有する、前記サブセットからの前記１つまたは複数のビデオシーケンス中の前記エリアを選択すること
を含む、請求項５に記載の方法。
【請求項７】
前記コースティング期間を設定することは、
前記第２の物体トラックにおける前記第２の物体の前記最新の観測において前記第２の物体の速さを決定することと、
前記第２の物体の前記速さにさらに基づいて第２のトラックのための前記コースティング期間を設定することであって、より高い速さが、同等により短いコースティング期間をもたらす、前記第２のトラックのための前記コースティング期間を設定することと
を含む、請求項５に記載の方法。
【請求項８】
前記第２の物体が前記センサーデータ中でトラッキング不可能であると決定すると、
決定された前記速さに基づいて、前記センサーデータ中でトラッキング不可能である間に、前記第２の物体の位置を予測すること
請求項７に記載の方法。
【請求項９】
前記第２の物体が前記センサーデータ中でトラッキング不可能であると決定すると、
前記１つまたは複数のビデオシーケンス中の前記第１のエリアと前記識別されたエリアとの間の角度を決定することと、
前記角度にさらに基づいて、前記センサーデータ中でトラッキング不可能である間に、前記第２の物体の前記位置を予測することと
をさらに含む、請求項８に記載の方法。
【請求項１０】
センサーデータが、レーダーデータ、ライダーデータ、またはビデオデータのうちの１つである、請求項４に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、物体トラッキング（ｔｒａｃｋｉｎｇ）に関し、詳細には、物体トラッキングシステムによって分析されるシーンの１つまたは複数のオクルージョン（ｏｃｃｌｕｄｅ）されたエリアを検出するためのコンピュータ実装方法に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
物体トラッキングは、コンピュータビジョン内の、重要な、および広く研究されている分野である。物体トラッキングの目的は、シーンをキャプチャするセンサーデータ中の物体（または複数の物体）のトラックをたどる（ｋｅｅｐｔｒａｃｋｏｆ）ことである。
【０００３】
オクルージョン（ｏｃｃｌｕｓｉｏｎ）は、たとえば、トラッキング（ｔｒａｃｋ）される物体がシーン中の静的物体によって隠されるとき、物体トラッキングにおける重大な課題を提示する。たとえば、トラッキングアルゴリズムは、木または建築物の後ろで瞬間的に不明瞭にされた歩行者を失い得る。
【０００４】
物体トラック（ｔｒａｃｋ）が失われたとき、再び物体トラックを再開することを試みるために、コースティング（ｃｏａｓｔｉｎｇ）と呼ばれるプロセスが使用され得る。コースティングは、オクルージョンまたは信号喪失中になど、物体が一時的に検出されないとき、物体の前の移動に基づいて物体の位置を予測することを実践することを指す。コースティングは、物体の軌道を推定するために、線形外挿またはより複雑な動きモデルのような技法を利用する。コースティングは、喪失の期間中に物体の軌道を推定し続け、仮想トラックを維持する。新しい物体が仮想トラックの近くで検出されたとき、その物体は、失われたトラックの物体と同じであると見なされ得、そのトラックは、成功裡に再捕捉されたと見なされ得、トラッキングが再開する。しかしながら、コースティングは、特に、物体が、検出されない間にその速さまたは方向を変更する場合、時間とともに誤差を生じるリスクをもつ。この理由で、物体トラックのコースティングは、一般に、（コースティング期間と呼ばれる）ある時間期間の間のみ実施される。物体トラックがコースティング期間の終了の前に成功裡に再捕捉されなかった場合、コースティングは、失敗したと見なされ、物体トラックは、失われたと見なされ、削除される。
【０００５】
コースティングプロセスが失敗した場合、または、概して、物体トラックが失われたとき、失われたトラックを再開することを試みるために、再識別プロセスが使用され得る。再識別は、ビデオシーケンス中の物体を、そのビデオシーケンスの前の１つまたは複数のフレーム中でまたは別のビデオシーケンスのフレーム中で（たとえば、オクルージョンされる前に）前に検出された同じ物体として、識別するプロセスを指す。物体を再識別したとき、失われたトラックは続けられ得る。再識別は、検出された物体から有意味な特徴を抽出することによって機能する。（たとえば、物体がオクルージョンされたかまたは視野から離れた後に）物体が再識別される必要があるとき、シーン中のトラッキングされていない物体から特徴が抽出される。その場合新しい検出の特徴ベクトルを、失われたトラックにおいて物体のために前に抽出された特徴ベクトルと比較するために、（ユークリッド距離またはコサイン類似度のような）類似度測度が使用される。整合が検出された場合、失われたトラックが続けられ得る。
【０００６】
再識別は、一般に、かなりの計算リソースを必要とする。その上、再識別は、レーダーデバイスによってキャプチャされるデータ中で物体をトラッキングするシステムなど、すべての物体トラッキングシステムにおいて可能であるとは限らない。
【０００７】
監視されるシーンのオクルージョンされたエリアのマップを維持することが、コースティングプロセスおよび／または再識別プロセスを改善し得る。しかしながら、シーン中のオクルージョンされたエリアを正しく識別し、オクルージョンされている間に、これらを使用して物体挙動を予測することは、複雑であり得る。
【０００８】
したがって、このコンテキストにおける改善の必要がある。
【０００９】
マルチカメラサーベイランスシステムのための階層型データベース（ＪＡＭＥＳＢＬＡＣＫら、ＰＡＴＴＥＲＮＡＮＡＬＹＳＩＳＡＮＤＡＰＰＬＩＣＡＴＩＯＮＳ、ＳＰＲＩＮＧＥＲ－ＶＥＲＬＡＧ、ＬＯ、ｖｏｌ．７、ｎｏ．４、２００４年１２月１日、ＸＰ０１９３８１４７４）が、視覚サーベイランスアプリケーションのためのイベント検出およびビデオコンテンツ分析のためのフレームワークを提示する。
【００１０】
オクルージョンハンドリングを伴うリアルタイムトラフィック監視（ＦＥＲＮＡＮＤＥＺ－ＳＡＮＪＵＲＪＯＭＡＵＲＯら、ＴＯＰＩＣＳＩＮＣＲＹＰＴＯＬＯＧＹ－ＣＴ－ＲＳＡ２０２０、２０１９年９月２２日、ＸＰ０４７５２３４１９）が、オクルージョンに対してロバストでありながらリアルタイムで稼働することの要件を満たし得るやり方で検出とトラッキングとを組み合わせるトラフィック監視システムを提案する。
【先行技術文献】
【非特許文献】
（【００１１】以降は省略されています）

関連特許