特許ウォッチ

公開番号2024125917
公報種別公開特許公報(A)
公開日2024-09-19
出願番号2023034050
出願日2023-03-06
発明の名称ビデオ処理装置、ビデオ処理方法及びコンピュータプログラム
出願人富士通株式会社
代理人個人,個人,個人
主分類G06T 7/277 20170101AFI20240911BHJP(計算;計数)
要約【課題】本発明は、ビデオ処理装置、ビデオ処理方法及びマシン可読記憶媒体を提供する。
【解決手段】ビデオ処理装置は、ビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算するオプティカルフロー計算ユニット;及び、オプティカルフロー及び第一画像フレームに基づいて第二時刻の第一予測の特徴情報を推定する第一推定ユニットを含み、特徴情報は画像フレームにおける1つ又は複数の目標を検出するために用いられる。
【選択図】図2
特許請求の範囲【請求項１】
ビデオ処理装置であって、
ビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算するオプティカルフロー計算ユニット；及び
前記オプティカルフロー及び前記第一画像フレームに基づいて前記第二時刻の第一予測の特徴情報を推定する第一推定ユニットであって、前記特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられる、第一推定ユニットを含む、ビデオ処理装置。
続きを表示（約 1,300 文字）【請求項２】
請求項１に記載のビデオ処理装置であって、さらに、
前記第一予測の特徴情報の次元を変換する変換ユニット；及び
次元変換後の第一予測の特徴情報に基づいて、ニューラルネットワークにより、第二予測の特徴情報を得る第一計算ユニットを含む、ビデオ処理装置。
【請求項３】
請求項２に記載のビデオ処理装置であって、さらに、
前記第二画像フレームに基づいて前記第二時刻の特徴情報を計算する第二計算ユニット；及び
計算された前記第二時刻の特徴情報、前記第一予測の特徴情報、及び前記第二予測の特徴情報に基づいて、前記特徴情報に関する損失関数を計算する第三計算ユニットを含む、ビデオ処理装置。
【請求項４】
請求項３に記載のビデオ処理装置であって、さらに、
前記特徴情報に関する損失関数、目標枠に関する損失関数、及び目標標識特徴に関する損失関数に基づいて組み合わせ損失関数を得る組み合わせユニットであって、前記組み合わせ損失関数はニューラルネットワークを訓練するために用いられる、組み合わせユニットを含む、ビデオ処理装置。
【請求項５】
請求項４に記載のビデオ処理装置であって、
前記ビデオがテスト用のビデオである場合、前記ビデオ処理装置は、さらに、
前記オプティカルフロー、前記第一画像フレーム、及び前記第一画像フレームにおける各検出目標の信頼度に基づいて、前記第二時刻のテスト用の先験的特徴情報を推定する第二推定ユニットを含む、ビデオ処理装置。
【請求項６】
請求項５に記載のビデオ処理装置であって、
前記先験的特徴情報を推定するときに、前記第二推定ユニットは、前記第一画像フレームにおける各検出目標について、前記信頼度とスケーリング因子との乗積及び１のうちの比較的小さい値を新しい信頼度として使用する、ビデオ処理装置。
【請求項７】
請求項５又は６に記載のビデオ処理装置であって、
前記第二時刻のテスト用の先験的特徴情報は、前記第二時刻の第二画像フレームにおける１つ又は複数の目標を検出するために、訓練済みのニューラルネットワークに適用される、ビデオ処理装置。
【請求項８】
請求項７に記載のビデオ処理装置であって、
前記第二画像フレームにおいて検出された１つ又は複数の目標に対しての追跡結果は、前記第二時刻の後続時刻の画像フレームにおける１つ又は複数の目標の検出に用いられ、前記後続時刻は前記第二時刻プラス前記第二時刻と前記第一時刻との時間差に等しい、ビデオ処理装置。
【請求項９】
ビデオ処理方法であって、
ビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算し；及び
前記オプティカルフロー及び前記第一画像フレームに基づいて、前記第二時刻の第一予測の特徴情報を推定し、前記特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられることを含む、ビデオ処理方法。
【請求項１０】
コンピュータに、請求項９に記載のビデオ処理方法を実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ビデオ処理の技術分野に関し、特に、多目標追跡のためのビデオ処理装置、ビデオ処理方法及びマシン可読記憶媒体に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
多目標追跡（ＭＯＴ（ＭｕｌｔｉｐｌｅＯｂｊｅｃｔＴｒａｃｋｉｎｇ））はリアル世界で困難なタスクの１つであり、それは複数の目標（オブジェクト）が互いに相互作用したり、環境と相互作用したりするなどに関する。例えば、ＭＯＴは歩行者検出、ビヘイビア分析などにおいて幅広く応用されている。今のところ、ＭＯＴ技術は主に目標検出及び目標追跡の２つの段階を含む。最も一般的な追跡方法は主に、検出－追跡方法を採用して、検出された目標枠を追跡する、例えば、図１における（ａ）に示す構成である。また、図１における（ｂ）に示すように、オプティカルフローを使用する方法もあり、それはオプティカルフローを用いて検出結果における目標をマッチすることで目標標識（識別）番号を確定する。しかし、このような方法はオプティカルフロー情報を使用しているが、検出部分のパフォーマンスがそれによって向上しないので、このような場合、検出段階は追跡段階から恩恵を受けることがない。
【０００３】
一方、深層学習の発展に伴い、より正確な目標検出、代表的な特徴及び高度な追跡技術により、ＭＯＴのパフォーマンスが大幅に改善されている。しかし、検出器を開発するにつれて、訓練データ集合への様々な程度の過剰適合は依然として避けられない。例えば、画素の微小変化によって、同じ標識番号の境界枠の存在に関する信頼度が大幅に低下し、検出の欠失を招くことがある。これらの問題有りの検出も追跡のパフォーマンスに不利である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の問題に鑑み、本発明の目的は、少なくとも、多目標追跡のためのビデオ処理装置、ビデオ処理方法及びマシン可読記憶媒体を提供することにある。
【課題を解決するための手段】
【０００５】
本発明の一側面によれば、ビデオ処理装置が提供され、それは、
ビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算するオプティカルフロー計算ユニット；及び
オプティカルフロー及び第一画像フレームに基づいて第二時刻の第一予測の特徴情報を推定する第一推定ユニットであって、前記特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられる、第一推定ユニットを含む。
【０００６】
本発明のもう１つの側面によれば、ビデオ処理方法が提供され、それは、
ビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算し；及び
オプティカルフロー及び第一画像フレームに基づいて第二時刻の第一予測の特徴情報を推定し、前記特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられることを含む。
【０００７】
本発明のもう１つの側面によれば、マシン可読記憶媒体が提供され、その中にはマシン可読命令コードを記憶しているプログラムプロダクトがキャリー（ｃａｒｒｙ）されており、前記命令コードはコンピュータにより読み取られ実行されるときに、前記コンピュータに、本発明によるビデオ処理方法を実行させるができる。
【発明の効果】
【０００８】
本発明に係るビデオ処理装置、ビデオ処理方法及びマシン可読記憶媒体により、オプティカルフローを導入することで画像フレームにおける１つ又は複数の目標を検出するための特徴情報を更新及び強化することができるため、目標検出及び目標追跡のパフォーマンスをさらに向上させることができる。
【図面の簡単な説明】
【０００９】
従来技術の多目標追跡方法と本発明の多目標追跡方法との相違点を示す図である。
本発明の実施例におけるビデオ処理装置の構成を示すブロック図である。
本発明のもう１つの実施例におけるビデオ処理装置の構成を示すブロック図である。
本発明の実施例におけるビデオ処理装置の原理を示す図である。
本発明の実施例におけるビデオ処理装置の一部の原理を示す図である。
本発明の実施例におけるビデオ処理方法のフローチャートである。
本発明の実施例におけるもう１つのビデオ処理方法の訓練段階のフローチャートである。
本発明の実施例におけるもう１つのビデオ処理方法の推論段階のフローチャートである。
本発明の実施例におけるビデオ処理装置及び方法を実現し得る汎用パーソナルコンピュータの例示的な構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳細に説明する。なお、このような実施例は例示に過ぎず、本発明を限定するものではない。
（【００１１】以降は省略されています）

関連特許