TOP
|
特許
|
意匠
|
商標
特許ウォッチ
Twitter
他の特許を見る
10個以上の画像は省略されています。
公開番号
2024054904
公報種別
公開特許公報(A)
公開日
2024-04-18
出願番号
2022161355
出願日
2022-10-06
発明の名称
画像処理装置、画像処理方法、及びプログラム
出願人
日本電気株式会社
代理人
弁理士法人ブライタス
主分類
G06T
7/00 20170101AFI20240411BHJP(計算;計数)
要約
【課題】動画データを入力とする画像処理において、認識精度を維持しつつ、処理速度の低下を抑制する。
【解決手段】画像処理装置10は、動画データを構成するフレームから、フレーム内において対象が存在する領域を示す領域情報を生成する、領域情報生成部11と、フレーム、及びフレームから生成された領域情報を、対象の画像上での特徴量を機械学習している学習モデルに適用する、モデル適用部12と、を備えている。
【選択図】図1
特許請求の範囲
【請求項1】
動画データを構成するフレームから、前記フレーム内において対象が存在する領域を示す領域情報を生成する、領域情報生成部と、
前記フレームと、前記フレームから生成された前記領域情報とを、前記対象の画像上での特徴量を機械学習している学習モデルに適用する、モデル適用部と、
を備えている、ことを特徴とする画像処理装置。
続きを表示(約 1,300 文字)
【請求項2】
前記領域情報生成部は、前記フレームが予め指定されたキーフレーム以外の非キーフレームである場合に、前記フレームから前記領域情報を生成し、更に、前記フレームの直近の前記キーフレームと前記フレームとの差分を示す差分情報を生成し、
前記モデル適用部が、前記フレームと、前記フレームから生成された前記領域情報と、前記フレームについて生成した前記差分情報とを、前記学習モデルに適用する、
請求項1に記載の画像処理装置。
【請求項3】
前記学習モデルがニューラルネットワークである場合に、前記ニューラルネットワークの中間層から中間特徴量を取得する、中間特徴量取得部を更に備え、
前記領域情報生成部が、前記フレームより前のフレームが前記学習モデルに適用された際の前記中間特徴量を用いて、前記領域情報及び前記差分情報を生成する、
請求項2に記載の画像処理装置。
【請求項4】
前記領域情報生成部が、フレーム間の差分と前記対象の特徴量との関係を機械学習している第2の学習モデルに、前記差分情報を適用することによって、前記領域情報を生成する、
請求項2または3に記載の画像処理装置。
【請求項5】
前記モデル適用部が、前記動画データを撮影するカメラの状態に応じて、前記フレームから生成された前記領域情報、及び前記フレームについて生成した前記差分情報のうちいずれか一方又は両方を、前記学習モデルに適用する、
請求項2または3に記載の画像処理装置。
【請求項6】
前記モデル適用部が、前記フレームから生成された前記領域情報と前記フレームについて生成した前記差分情報との論理積を算出し、論理積の算出結果を、前記学習モデルに適用する、
請求項2または3に記載の画像処理装置。
【請求項7】
前記第2の学習モデルが、前記学習モデルの出力結果を訓練データとする機械学習によって構築されている、
請求項4に記載の画像処理装置。
【請求項8】
前記モデル適用部が、複数の前記フレームそれぞれについて生成した前記差分情報それぞれから論理和を算出し、論理和の算出結果を、前記学習モデルに適用する、
請求項2または3に記載の画像処理装置。
【請求項9】
動画データを構成するフレームから、前記フレーム内において対象が存在する領域を示す領域情報を生成する、領域情報生成ステップと、
前記フレームと、前記フレームから生成された前記領域情報とを、前記対象の画像上での特徴量を機械学習している学習モデルに適用する、モデル適用ステップと、
を有する、ことを特徴とする画像処理方法。
【請求項10】
コンピュータに、
動画データを構成するフレームから、前記フレーム内において対象が存在する領域を示す領域情報を生成する、領域情報生成ステップと、
前記フレームと、前記フレームから生成された前記領域情報とを、前記対象の画像上での特徴量を機械学習している学習モデルに適用する、モデル適用ステップと、
を実行させる、プログラム。
発明の詳細な説明
【技術分野】
【0001】
本開示は、画像処理を実行する、画像処理装置及び画像処理方法に関し、更には、これらを実現するためのプログラムに関する。
続きを表示(約 1,700 文字)
【背景技術】
【0002】
近年、カメラから出力された動画データからの物体の抽出、抽出した物体の行動の特定、更には、動画フレームにおける特定の状況の認識、といった処理をする技術が提案されている。このような技術は、種々の監視システムに利用されており、監視システムは施設等において不審者を自動的に検出することができる。
【0003】
また、一般に、動画データからの物体抽出処理は、動画データを構成する各フレームを、抽出対象となる物体の特徴量を機械学習した機械学習モデルに入力することによって行われる。但し、全てのフレームを機械学習モデルに入力すると、処理負担が大きくなり、処理速度が低下してしまう。
【0004】
処理速度の低下を抑制する手法としては、認識精度は高いが処理速度の高い第1機械学習モデルと、認識精度は低いが処理速度の速い第2機械学習モデルとを用いる手法がある。この手法では、設定間隔をおいてキーフレームが設定され、キーフレームについては、第1機械学習モデルに入力され、残りのフレームについては第2機械学習モデルに入力される。
【0005】
更に、この手法では、設定間隔をおいてキーフレームを設定する代わりに、動きの速いフレームを第1機械学習モデルに入力し、動きの遅いフレームを第2機械学習モデルに入力することもできる。このように、上述の手法では、キーフレーム以外のフレームにおける処理負担が軽減されるので、結果、処理速度の低下が抑制される。
【0006】
また、非特許文献1は、上述の方法よりも処理速度の低下をよりいっそう抑制可能な手法を提案している。非特許文献1に開示された手法では、キーフレームは、従来と同様に、機械学習モデルに入力されるが、それ以外のフレームについては、キーフレームの差分が抽出され、抽出された差分のみが機械学習モデルに入力される。その後、差分のみを入力した場合の出力結果は、キーフレームを入力した場合の出力結果と合成される。このように、非特許文献1に開示された手法では、キーフレーム以外のフレームにおける処理負担はよりいっそう軽減される。このため、処理速度の低下抑制の効果はより高められることになる。
【先行技術文献】
【非特許文献】
【0007】
Mathias Parger, etc. “DeltaCNN: End-to-End CNN Inference of Sparse Frame Differences in Videos”, Graz University of Technology, Meta Reality Labs, 8th March 2022
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、上述の非特許文献1に開示された手法には、以下の問題点がある。まず、この手法では、認識精度を高めるためには、正確に差分を抽出する必要があり、カメラが微妙に動くと認識精度が低下するという問題がある。また、カメラのノイズが差分として抽出されるので、ノイズを除去するための処理が必要となり、結果、処理速度の向上が制限されるという問題もある。更に、ノイズを精度良く除去するためには、処理に用いるための閾値について、更新が必要かどうかをフレーム毎に判断する必要がある。この判断処理によっても、処理速度の向上は制限されてしまう。
【0009】
本開示の目的の一例は、動画データを入力とする画像処理において、認識精度を維持しつつ、処理速度の低下を抑制し得ることにある。
【0010】
上記目的を達成するため、本開示の一側面における画像処理装置は、
動画データを構成するフレームから、前記フレーム内において対象が存在する領域を示す領域情報を生成する、領域情報生成部と、
前記フレームと、前記フレームから生成された前記領域情報とを、前記対象の画像上での特徴量を機械学習している学習モデルに適用する、モデル適用部と、
を備えている、ことを特徴とする。
(【0011】以降は省略されています)
この特許をJ-PlatPatで参照する
関連特許
日本電気株式会社
動作データ生成装置、動作データ生成方法、およびプログラム
2日前
日本電気株式会社
外国語歌曲発音学習支援装置、方法、およびそのコンピュータプログラム
2日前
日本電気株式会社
搬送障害検出システム、搬送障害検出方法、及び、搬送障害検出プログラム
2日前
日本電気株式会社
歩容指標計算装置、歩容計測システム、歩容指標計算方法、およびプログラム
3日前
日本電気株式会社
通信システム、受信機、等化信号処理回路、等化信号処理方法、及びプログラム
2日前
個人
情報検索装置
1か月前
個人
ノートPC寝台
1か月前
個人
ドットパターン
1か月前
個人
防災情報システム
9日前
個人
電子文書の閲覧用電子機器
1か月前
個人
介護者指名システム
3日前
個人
家計支援システム2
1か月前
コクヨ株式会社
収納ケース
1か月前
個人
モノ造りプロトコルレイヤー
1か月前
ニデック株式会社
冷却装置
2か月前
個人
サービス提供システム
2か月前
有限会社マイコム
制御盤のAI見積
16日前
キヤノン電子株式会社
携帯情報端末
1か月前
個人
施術スタッフ育成システム
2か月前
株式会社Haul
採用支援方法
4日前
個人
施解錠制御システム
1か月前
中国電力株式会社
販売支援方法
25日前
エムケー精工株式会社
洗車場システム
5日前
個人
生活困窮者相談業務支援システム
27日前
キヤノン株式会社
情報処理装置
18日前
株式会社にしがき
会員権システム
10日前
個人
災害情報表示システム
13日前
株式会社Asuka
本人認証方法
6日前
株式会社アジラ
行動推定システム
1か月前
トヨタ自動車株式会社
表認識方法
10日前
大和製衡株式会社
組合せ計数装置
1か月前
有限会社カツミ工業
管理装置
1か月前
株式会社ゼロワン
ケア支援システム
1か月前
株式会社COLORS
表示制御装置
1か月前
株式会社広島銀行
本人確認システム
1か月前
トヨタ自動車株式会社
図面表示装置
1か月前
続きを見る
他の特許を見る