TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024054904
公報種別公開特許公報(A)
公開日2024-04-18
出願番号2022161355
出願日2022-10-06
発明の名称画像処理装置、画像処理方法、及びプログラム
出願人日本電気株式会社
代理人弁理士法人ブライタス
主分類G06T 7/00 20170101AFI20240411BHJP(計算;計数)
要約【課題】動画データを入力とする画像処理において、認識精度を維持しつつ、処理速度の低下を抑制する。
【解決手段】画像処理装置10は、動画データを構成するフレームから、フレーム内において対象が存在する領域を示す領域情報を生成する、領域情報生成部11と、フレーム、及びフレームから生成された領域情報を、対象の画像上での特徴量を機械学習している学習モデルに適用する、モデル適用部12と、を備えている。
【選択図】図1
特許請求の範囲【請求項1】
動画データを構成するフレームから、前記フレーム内において対象が存在する領域を示す領域情報を生成する、領域情報生成部と、
前記フレームと、前記フレームから生成された前記領域情報とを、前記対象の画像上での特徴量を機械学習している学習モデルに適用する、モデル適用部と、
を備えている、ことを特徴とする画像処理装置。
続きを表示(約 1,300 文字)【請求項2】
前記領域情報生成部は、前記フレームが予め指定されたキーフレーム以外の非キーフレームである場合に、前記フレームから前記領域情報を生成し、更に、前記フレームの直近の前記キーフレームと前記フレームとの差分を示す差分情報を生成し、
前記モデル適用部が、前記フレームと、前記フレームから生成された前記領域情報と、前記フレームについて生成した前記差分情報とを、前記学習モデルに適用する、
請求項1に記載の画像処理装置。
【請求項3】
前記学習モデルがニューラルネットワークである場合に、前記ニューラルネットワークの中間層から中間特徴量を取得する、中間特徴量取得部を更に備え、
前記領域情報生成部が、前記フレームより前のフレームが前記学習モデルに適用された際の前記中間特徴量を用いて、前記領域情報及び前記差分情報を生成する、
請求項2に記載の画像処理装置。
【請求項4】
前記領域情報生成部が、フレーム間の差分と前記対象の特徴量との関係を機械学習している第2の学習モデルに、前記差分情報を適用することによって、前記領域情報を生成する、
請求項2または3に記載の画像処理装置。
【請求項5】
前記モデル適用部が、前記動画データを撮影するカメラの状態に応じて、前記フレームから生成された前記領域情報、及び前記フレームについて生成した前記差分情報のうちいずれか一方又は両方を、前記学習モデルに適用する、
請求項2または3に記載の画像処理装置。
【請求項6】
前記モデル適用部が、前記フレームから生成された前記領域情報と前記フレームについて生成した前記差分情報との論理積を算出し、論理積の算出結果を、前記学習モデルに適用する、
請求項2または3に記載の画像処理装置。
【請求項7】
前記第2の学習モデルが、前記学習モデルの出力結果を訓練データとする機械学習によって構築されている、
請求項4に記載の画像処理装置。
【請求項8】
前記モデル適用部が、複数の前記フレームそれぞれについて生成した前記差分情報それぞれから論理和を算出し、論理和の算出結果を、前記学習モデルに適用する、
請求項2または3に記載の画像処理装置。
【請求項9】
動画データを構成するフレームから、前記フレーム内において対象が存在する領域を示す領域情報を生成する、領域情報生成ステップと、
前記フレームと、前記フレームから生成された前記領域情報とを、前記対象の画像上での特徴量を機械学習している学習モデルに適用する、モデル適用ステップと、
を有する、ことを特徴とする画像処理方法。
【請求項10】
コンピュータに、
動画データを構成するフレームから、前記フレーム内において対象が存在する領域を示す領域情報を生成する、領域情報生成ステップと、
前記フレームと、前記フレームから生成された前記領域情報とを、前記対象の画像上での特徴量を機械学習している学習モデルに適用する、モデル適用ステップと、
を実行させる、プログラム。

発明の詳細な説明【技術分野】
【0001】
本開示は、画像処理を実行する、画像処理装置及び画像処理方法に関し、更には、これらを実現するためのプログラムに関する。
続きを表示(約 1,700 文字)【背景技術】
【0002】
近年、カメラから出力された動画データからの物体の抽出、抽出した物体の行動の特定、更には、動画フレームにおける特定の状況の認識、といった処理をする技術が提案されている。このような技術は、種々の監視システムに利用されており、監視システムは施設等において不審者を自動的に検出することができる。
【0003】
また、一般に、動画データからの物体抽出処理は、動画データを構成する各フレームを、抽出対象となる物体の特徴量を機械学習した機械学習モデルに入力することによって行われる。但し、全てのフレームを機械学習モデルに入力すると、処理負担が大きくなり、処理速度が低下してしまう。
【0004】
処理速度の低下を抑制する手法としては、認識精度は高いが処理速度の高い第1機械学習モデルと、認識精度は低いが処理速度の速い第2機械学習モデルとを用いる手法がある。この手法では、設定間隔をおいてキーフレームが設定され、キーフレームについては、第1機械学習モデルに入力され、残りのフレームについては第2機械学習モデルに入力される。
【0005】
更に、この手法では、設定間隔をおいてキーフレームを設定する代わりに、動きの速いフレームを第1機械学習モデルに入力し、動きの遅いフレームを第2機械学習モデルに入力することもできる。このように、上述の手法では、キーフレーム以外のフレームにおける処理負担が軽減されるので、結果、処理速度の低下が抑制される。
【0006】
また、非特許文献1は、上述の方法よりも処理速度の低下をよりいっそう抑制可能な手法を提案している。非特許文献1に開示された手法では、キーフレームは、従来と同様に、機械学習モデルに入力されるが、それ以外のフレームについては、キーフレームの差分が抽出され、抽出された差分のみが機械学習モデルに入力される。その後、差分のみを入力した場合の出力結果は、キーフレームを入力した場合の出力結果と合成される。このように、非特許文献1に開示された手法では、キーフレーム以外のフレームにおける処理負担はよりいっそう軽減される。このため、処理速度の低下抑制の効果はより高められることになる。
【先行技術文献】
【非特許文献】
【0007】
Mathias Parger, etc. “DeltaCNN: End-to-End CNN Inference of Sparse Frame Differences in Videos”, Graz University of Technology, Meta Reality Labs, 8th March 2022
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、上述の非特許文献1に開示された手法には、以下の問題点がある。まず、この手法では、認識精度を高めるためには、正確に差分を抽出する必要があり、カメラが微妙に動くと認識精度が低下するという問題がある。また、カメラのノイズが差分として抽出されるので、ノイズを除去するための処理が必要となり、結果、処理速度の向上が制限されるという問題もある。更に、ノイズを精度良く除去するためには、処理に用いるための閾値について、更新が必要かどうかをフレーム毎に判断する必要がある。この判断処理によっても、処理速度の向上は制限されてしまう。
【0009】
本開示の目的の一例は、動画データを入力とする画像処理において、認識精度を維持しつつ、処理速度の低下を抑制し得ることにある。
【0010】
上記目的を達成するため、本開示の一側面における画像処理装置は、
動画データを構成するフレームから、前記フレーム内において対象が存在する領域を示す領域情報を生成する、領域情報生成部と、
前記フレームと、前記フレームから生成された前記領域情報とを、前記対象の画像上での特徴量を機械学習している学習モデルに適用する、モデル適用部と、
を備えている、ことを特徴とする。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

日本電気株式会社
検知装置
今日
日本電気株式会社
情報処理装置
26日前
日本電気株式会社
液浸冷却装置
20日前
日本電気株式会社
量子デバイス
22日前
日本電気株式会社
ディスプレイアンテナ
8日前
日本電気株式会社
電子装置及び光出力方法
20日前
日本電気株式会社
アンテナ装置及びレドーム
12日前
日本電気株式会社
異常検知のための装置及び方法
1日前
日本電気株式会社
無線通信装置及び無線通信方法
21日前
日本電気株式会社
学習装置、学習方法及び記憶媒体
22日前
日本電気株式会社
処理装置、処理方法、及びプログラム
12日前
日本電気株式会社
処理装置、処理方法、及びプログラム
20日前
日本電気株式会社
処理装置、処理方法、及びプログラム
20日前
日本電気株式会社
学習装置、学習方法、及び、プログラム
20日前
日本電気株式会社
要求案生成装置、方法およびプログラム
今日
日本電気株式会社
アンテナ装置およびディスプレイアンテナ
8日前
日本電気株式会社
光通信システム、光通信方法及びプログラム
今日
日本電気株式会社
通信装置、システム、方法、及びプログラム
1日前
日本電気株式会社
無線通信装置、方法、及び無線通信システム
9日前
日本電気株式会社
需要予測装置、需要予測方法、及びプログラム
12日前
日本電気株式会社
需要予測装置、需要予測方法、及びプログラム
12日前
日本電気株式会社
情報処理装置、情報処理方法、及びプログラム
20日前
日本電気株式会社
画像処理装置、画像処理方法、及び、記録媒体
8日前
日本電気株式会社
情報処理装置、情報処理方法、およびプログラム
14日前
日本電気株式会社
光空間通信装置および光空間通信装置の制御方法
20日前
日本電気株式会社
情報処理装置、情報処理方法、およびプログラム
9日前
日本電気株式会社
LDPC復号化システム及びLDPC復号化方法
19日前
日本電気株式会社
言語処理装置、言語処理方法、およびプログラム
16日前
日本電気株式会社
特徴量算出装置、特徴量算出方法及びプログラム
23日前
日本電気株式会社
顔認証支援装置、システム、方法及びプログラム
8日前
日本電気株式会社
情報処理装置、情報処理方法、およびプログラム
6日前
日本電気株式会社
情報処理装置、情報処理方法、およびプログラム
6日前
日本電気株式会社
質問生成装置、質問生成方法、およびプログラム
6日前
日本電気株式会社
質問生成装置、質問生成方法、およびプログラム
6日前
日本電気株式会社
広告枠管理装置、広告枠管理方法、及び、記録媒体
9日前
日本電気株式会社
取引支援システム、取引支援方法、及びプログラム
6日前
続きを見る