特許ウォッチ

公開番号2025097792
公報種別公開特許公報(A)
公開日2025-07-01
出願番号2023214205
出願日2023-12-19
発明の名称物体追跡プログラム、装置および方法
出願人株式会社東芝
代理人弁理士法人鈴榮特許綜合事務所
主分類G06T 7/20 20170101AFI20250624BHJP(計算;計数)
要約【課題】物体の追跡精度を向上させること。
【解決手段】一実施形態に係る物体追跡プログラムは、コンピュータを、第1時刻の画像データから物体の位置と種類とを検出することによって、検出した物体の位置と種類とを対応付けた第1時刻の物体検出結果を生成する手段と、第1時刻よりも過去の第2時刻において確定した物体の位置と種類とを対応付けた第2時刻の物体追跡結果に基づいて、第1時刻における物体の位置を予測するための予測モデルを選択する手段と、選択された予測モデルと第2時刻の物体追跡結果を含む時系列の継続追跡結果とに基づいて予測した物体の位置と種類とを対応付けた第1時刻の位置予測結果を生成する手段と、第1時刻の物体検出結果と第1時刻の位置予測結果との間で対応付けを実行することによって対応付け結果を生成する手段と、対応付け結果に基づいて第1時刻の物体追跡結果を生成する手段として機能させる。
【選択図】図2

特許請求の範囲【請求項１】
コンピュータを、
第１時刻の画像データを取得する画像データ取得手段と、
前記第１時刻の画像データから物体の位置と種類とを検出することによって、検出した物体の位置と種類とを対応付けた前記第１時刻の物体検出結果を生成する物体検出手段と、
前記第１時刻よりも過去の第２時刻において確定した物体の位置と種類とを対応付けた前記第２時刻の物体追跡結果に基づいて、前記第１時刻における物体の位置を予測するための予測モデルを選択する予測モデル選択手段と、
選択された予測モデルと前記第２時刻の物体追跡結果を含む時系列の継続追跡結果とに基づいて前記第１時刻における物体の位置を予測することによって、予測した物体の位置と種類とを対応付けた前記第１時刻の位置予測結果を生成する物体予測手段と、
前記第１時刻の物体検出結果と前記第１時刻の位置予測結果との間で対応付けを実行することによって対応付け結果を生成する対応付け手段と、
前記対応付け結果に基づいて前記第１時刻の物体追跡結果を生成する追跡処理手段
として機能させるための物体追跡プログラム。
続きを表示（約 1,000 文字）【請求項２】
前記予測モデル選択手段は、前記第２時刻の物体追跡結果と、物体の種類、物体が存在している場所、および予測モデルとを対応付けたモデルデータベースとに基づいて前記予測モデルを選択する、
請求項１に記載の物体追跡プログラム。
【請求項３】
前記選択された予測モデルは、カルマンフィルタを用いた予測である、
請求項１に記載の物体追跡プログラム。
【請求項４】
前記選択された予測モデルが予測なしである場合、
前記物体予測手段は、前記第２時刻の物体追跡結果を前記第１時刻の位置予測結果として決定する、
請求項１に記載の物体追跡プログラム。
【請求項５】
前記対応付け手段は、前記第１時刻の物体検出結果と前記第１時刻の位置予測結果との全ての組み合わせで重なりを評価することで評価値を算出し、前記評価値を用いて前記物体検出結果と前記位置予測結果との割り当てを行い前記対応付け結果を生成する、
請求項１に記載の物体追跡プログラム。
【請求項６】
前記対応付け手段は、ＩｏＵ（ＩｎｔｅｒｓｅｃｔｉｏｎｏｖｅｒＵｎｉｏｎ）および画像特徴の類似度の少なくとも一方を用いて前記評価値を算出する、
請求項５に記載の物体追跡プログラム。
【請求項７】
前記対応付け手段は、ハンガリアンアルゴリズムを用いて前記割り当てを行い前記対応付け結果を生成する、
請求項５に記載の物体追跡プログラム。
【請求項８】
前記対応付け結果は、対応付けられた位置の組み合わせの情報と対応付けられていない位置の情報とを含む、
請求項１に記載の物体追跡プログラム。
【請求項９】
前記予測モデル選択手段は、前記第２時刻の物体追跡結果と、物体の種類、物体が存在している場所、近接物体、および予測モデルとを対応付けたモデルデータベースとに基づいて前記予測モデルを選択する、
請求項１に記載の物体追跡プログラム。
【請求項１０】
前記予測モデル選択手段は、前記第２時刻の物体追跡結果の物体に近接する前記近接物体が存在する場合、前記近接物体と同じ予測モデルを選択し、
前記物体予測手段は、前記近接物体に関して予測した位置を、前記第２時刻の物体追跡結果の物体に関して予測した位置とする、
請求項９に記載の物体追跡プログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、物体追跡プログラム、装置および方法に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
従来、撮影された動画像内の物体を追跡する物体追跡装置が知られている。物体追跡装置は、例えば、動画像から時刻毎に物体を検出し、時間的に連続する物体検出結果（例えば、物体を略内包する矩形領域）の重なりを評価することによって同一物体の対応付けを行い、物体を追跡する。
【０００３】
前述の物体追跡装置は、例えば、移動している追跡対象の物体が他の物体によって隠れる場合（オクルージョン（Ｏｃｃｌｕｓｉｏｎ）が発生した場合）に、追跡対象の物体が検出できず、物体の追跡が途切れてしまうことがある。このことに対して、物体を検出できない間は、それまでの移動軌跡から移動先の位置を線形予測し、検出位置の代わりに予測位置を用いて追跡を継続するという手法がある。この手法は、例えば、車両や歩行中の人物など一定速度で移動する物体については実際の検出位置と予測位置との誤差（予測誤差）が少ないため、未検出の時間が一定時間以内であれば比較的有効である。
【０００４】
しかし、前述の手法は、未検出の時間が長くなることにより予測誤差が累積的に蓄積されることから、物体の追跡精度が低下することがある。例えば、停止している追跡対象の物体が移動している他の物体によって隠れる場合に、未検出の時間において追跡対象の物体が移動していないにもかかわらず、予測誤差によって予測位置がずれていくことがある。よって、予測誤差の影響を考慮しつつ物体の追跡精度を向上する技術が求められている。
【先行技術文献】
【特許文献】
【０００５】
特開２０１６－１８３７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、物体の追跡精度を向上させることができる物体追跡プログラム、装置および方法を提供することである。
【課題を解決するための手段】
【０００７】
一実施形態に係る物体追跡プログラムは、コンピュータを、画像データ取得手段と、物体検出手段と、予測モデル選択手段と、物体予測手段と、対応付け手段と、追跡処理手段として機能させる。画像データ取得手段は、第１時刻の画像データを取得する。物体検出手段は、第１時刻の画像データから物体の位置と種類とを検出することによって、検出した物体の位置と種類とを対応付けた第１時刻の物体検出結果を生成する。予測モデル選択手段は、第１時刻よりも過去の第２時刻において確定した物体の位置と種類とを対応付けた第２時刻の物体追跡結果に基づいて、第１時刻における物体の位置を予測するための予測モデルを選択する。物体予測手段は、選択された予測モデルと第２時刻の物体追跡結果を含む時系列の継続追跡結果とに基づいて第１時刻における物体の位置を予測することによって、予測した物体の位置と種類とを対応付けた第１時刻の位置予測結果を生成する。対応付け手段は、第１時刻の物体検出結果と第１時刻の位置予測結果との間で対応付けを実行することによって対応付け結果を生成する。追跡処理手段は、対応付け結果に基づいて第１時刻の物体追跡結果を生成する
【図面の簡単な説明】
【０００８】
第１の実施形態に係る物体追跡装置を含む物体追跡システムの構成を例示するブロック図。
第１の実施形態に係る物体追跡装置の構成を例示するブロック図。
第１の実施形態に係る物体追跡装置の運用例を示す説明図。
第１の実施形態に係る物体追跡装置の動作例を示すフローチャート。
第１の実施形態における時刻ｔの画像データを例示する図。
第１の実施形態における時刻ｔの物体検出に関する説明図。
第１の実施形態における時刻ｔの物体検出結果を例示するテーブル。
第１の実施形態における時刻ｔ－１の物体確定位置に関する説明図。
第１の実施形態における時刻ｔ－１の物体追跡結果を例示するテーブル。
第１の実施形態におけるモデルデータベースを例示するテーブル。
第１の実施形態における時刻ｔ－１の移動軌跡に関する説明図。
第１の実施形態における時刻ｔの位置予測結果を例示するテーブル。
図４の対応付け処理の具体例を示すフローチャート。
第１の実施形態におけるＩｏＵに関する説明図。
第１の実施形態における対応付けられた位置の組み合わせの情報を例示するテーブル。
図４の継続追跡結果生成処理の具体例を示すフローチャート。
第１の実施形態における時刻ｔの物体追跡結果を例示するテーブル。
第２の実施形態におけるモデルデータベースを例示するテーブル。
第２の実施形態における運搬物に人物が近接する様子を例示する説明図。
一実施形態に係るコンピュータのハードウェア構成を例示するブロック図。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら、物体追跡装置の実施形態について詳細に説明する。
【００１０】
（第１の実施形態）
図１は、第１の実施形態に係る物体追跡装置１００を含む物体追跡システム１の構成を例示するブロック図である。物体追跡システム１は、物体追跡装置１００と、出力装置１１０と、撮影装置１２０とを備える。撮影装置１２０は、例えば、製造現場を撮影する。物体追跡装置１００は、例えば、撮影された製造現場の動画像を用いて製造途中の製品と作業者とを追跡する。出力装置１１０は、追跡した物体（製品および作業者）に関する情報を含む表示データを表示する。
（【００１１】以降は省略されています）

関連特許