特許ウォッチ

公開番号2024054904
公報種別公開特許公報(A)
公開日2024-04-18
出願番号2022161355
出願日2022-10-06
発明の名称画像処理装置、画像処理方法、及びプログラム
出願人日本電気株式会社
代理人弁理士法人ブライタス
主分類G06T 7/00 20170101AFI20240411BHJP(計算;計数)
要約【課題】動画データを入力とする画像処理において、認識精度を維持しつつ、処理速度の低下を抑制する。
【解決手段】画像処理装置10は、動画データを構成するフレームから、フレーム内において対象が存在する領域を示す領域情報を生成する、領域情報生成部11と、フレーム、及びフレームから生成された領域情報を、対象の画像上での特徴量を機械学習している学習モデルに適用する、モデル適用部12と、を備えている。
【選択図】図1
特許請求の範囲【請求項１】
動画データを構成するフレームから、前記フレーム内において対象が存在する領域を示す領域情報を生成する、領域情報生成部と、
前記フレームと、前記フレームから生成された前記領域情報とを、前記対象の画像上での特徴量を機械学習している学習モデルに適用する、モデル適用部と、
を備えている、ことを特徴とする画像処理装置。
続きを表示（約 1,300 文字）【請求項２】
前記領域情報生成部は、前記フレームが予め指定されたキーフレーム以外の非キーフレームである場合に、前記フレームから前記領域情報を生成し、更に、前記フレームの直近の前記キーフレームと前記フレームとの差分を示す差分情報を生成し、
前記モデル適用部が、前記フレームと、前記フレームから生成された前記領域情報と、前記フレームについて生成した前記差分情報とを、前記学習モデルに適用する、
請求項１に記載の画像処理装置。
【請求項３】
前記学習モデルがニューラルネットワークである場合に、前記ニューラルネットワークの中間層から中間特徴量を取得する、中間特徴量取得部を更に備え、
前記領域情報生成部が、前記フレームより前のフレームが前記学習モデルに適用された際の前記中間特徴量を用いて、前記領域情報及び前記差分情報を生成する、
請求項２に記載の画像処理装置。
【請求項４】
前記領域情報生成部が、フレーム間の差分と前記対象の特徴量との関係を機械学習している第２の学習モデルに、前記差分情報を適用することによって、前記領域情報を生成する、
請求項２または３に記載の画像処理装置。
【請求項５】
前記モデル適用部が、前記動画データを撮影するカメラの状態に応じて、前記フレームから生成された前記領域情報、及び前記フレームについて生成した前記差分情報のうちいずれか一方又は両方を、前記学習モデルに適用する、
請求項２または３に記載の画像処理装置。
【請求項６】
前記モデル適用部が、前記フレームから生成された前記領域情報と前記フレームについて生成した前記差分情報との論理積を算出し、論理積の算出結果を、前記学習モデルに適用する、
請求項２または３に記載の画像処理装置。
【請求項７】
前記第２の学習モデルが、前記学習モデルの出力結果を訓練データとする機械学習によって構築されている、
請求項４に記載の画像処理装置。
【請求項８】
前記モデル適用部が、複数の前記フレームそれぞれについて生成した前記差分情報それぞれから論理和を算出し、論理和の算出結果を、前記学習モデルに適用する、
請求項２または３に記載の画像処理装置。
【請求項９】
動画データを構成するフレームから、前記フレーム内において対象が存在する領域を示す領域情報を生成する、領域情報生成ステップと、
前記フレームと、前記フレームから生成された前記領域情報とを、前記対象の画像上での特徴量を機械学習している学習モデルに適用する、モデル適用ステップと、
を有する、ことを特徴とする画像処理方法。
【請求項１０】
コンピュータに、
動画データを構成するフレームから、前記フレーム内において対象が存在する領域を示す領域情報を生成する、領域情報生成ステップと、
前記フレームと、前記フレームから生成された前記領域情報とを、前記対象の画像上での特徴量を機械学習している学習モデルに適用する、モデル適用ステップと、
を実行させる、プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、画像処理を実行する、画像処理装置及び画像処理方法に関し、更には、これらを実現するためのプログラムに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
近年、カメラから出力された動画データからの物体の抽出、抽出した物体の行動の特定、更には、動画フレームにおける特定の状況の認識、といった処理をする技術が提案されている。このような技術は、種々の監視システムに利用されており、監視システムは施設等において不審者を自動的に検出することができる。
【０００３】
また、一般に、動画データからの物体抽出処理は、動画データを構成する各フレームを、抽出対象となる物体の特徴量を機械学習した機械学習モデルに入力することによって行われる。但し、全てのフレームを機械学習モデルに入力すると、処理負担が大きくなり、処理速度が低下してしまう。
【０００４】
処理速度の低下を抑制する手法としては、認識精度は高いが処理速度の高い第１機械学習モデルと、認識精度は低いが処理速度の速い第２機械学習モデルとを用いる手法がある。この手法では、設定間隔をおいてキーフレームが設定され、キーフレームについては、第１機械学習モデルに入力され、残りのフレームについては第２機械学習モデルに入力される。
【０００５】
更に、この手法では、設定間隔をおいてキーフレームを設定する代わりに、動きの速いフレームを第１機械学習モデルに入力し、動きの遅いフレームを第２機械学習モデルに入力することもできる。このように、上述の手法では、キーフレーム以外のフレームにおける処理負担が軽減されるので、結果、処理速度の低下が抑制される。
【０００６】
また、非特許文献１は、上述の方法よりも処理速度の低下をよりいっそう抑制可能な手法を提案している。非特許文献１に開示された手法では、キーフレームは、従来と同様に、機械学習モデルに入力されるが、それ以外のフレームについては、キーフレームの差分が抽出され、抽出された差分のみが機械学習モデルに入力される。その後、差分のみを入力した場合の出力結果は、キーフレームを入力した場合の出力結果と合成される。このように、非特許文献１に開示された手法では、キーフレーム以外のフレームにおける処理負担はよりいっそう軽減される。このため、処理速度の低下抑制の効果はより高められることになる。
【先行技術文献】
【非特許文献】
【０００７】
Mathias Parger, etc. “DeltaCNN: End-to-End CNN Inference of Sparse Frame Differences in Videos”, Graz University of Technology, Meta Reality Labs, 8th March 2022
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述の非特許文献１に開示された手法には、以下の問題点がある。まず、この手法では、認識精度を高めるためには、正確に差分を抽出する必要があり、カメラが微妙に動くと認識精度が低下するという問題がある。また、カメラのノイズが差分として抽出されるので、ノイズを除去するための処理が必要となり、結果、処理速度の向上が制限されるという問題もある。更に、ノイズを精度良く除去するためには、処理に用いるための閾値について、更新が必要かどうかをフレーム毎に判断する必要がある。この判断処理によっても、処理速度の向上は制限されてしまう。
【０００９】
本開示の目的の一例は、動画データを入力とする画像処理において、認識精度を維持しつつ、処理速度の低下を抑制し得ることにある。
【００１０】
上記目的を達成するため、本開示の一側面における画像処理装置は、
動画データを構成するフレームから、前記フレーム内において対象が存在する領域を示す領域情報を生成する、領域情報生成部と、
前記フレームと、前記フレームから生成された前記領域情報とを、前記対象の画像上での特徴量を機械学習している学習モデルに適用する、モデル適用部と、
を備えている、ことを特徴とする。
（【００１１】以降は省略されています）

関連特許