特許ウォッチ

公開番号2024126912
公報種別公開特許公報(A)
公開日2024-09-20
出願番号2023035664
出願日2023-03-08
発明の名称画像処理装置、画像処理方法、及びプログラム
出願人日本電気株式会社
代理人弁理士法人ブライタス
主分類G06V 10/82 20220101AFI20240912BHJP(計算;計数)
要約【課題】ニューラルネットワークの計算量を削減することにある。
【解決手段】画像処理装置は、第一のフレーム画像と第二のフレーム画像との差分、又は、第一のフレーム画像を処理する第一の畳み込みニューラルネットワークの第一層目の畳み込み層から出力された第一の出力特徴マップと第二のフレーム画像を処理する第二の畳み込みニューラルネットワークの第一層目の畳み込み層から出力された第二の出力特徴マップとの差分、に基づいて第一のマスクを生成する第一のマスク生成部と、第一のマスクと、第二の畳み込みニューラルネットワークの畳み込み層で利用する解像度それぞれとに基づいて、解像度ごとに第二のマスクを生成する第二のマスク生成部と、第二のマスクを、第二の畳み込みニューラルネットワークの畳み込み層で利用する解像度に基づいて、第二の畳み込みニューラルネットワークの畳み込み層に分配する第二のマスク分配部と、を有する。
【選択図】図1

特許請求の範囲【請求項１】
第一のフレーム画像と第二のフレーム画像との差分、又は、前記第一のフレーム画像を処理する第一の畳み込みニューラルネットワークの第一層目の畳み込み層から出力された第一の出力特徴マップと前記第二のフレーム画像を処理する第二の畳み込みニューラルネットワークの第一層目の畳み込み層から出力された第二の出力特徴マップとの差分、に基づいて第一のマスクを生成する第一のマスク生成手段と、
前記第一のマスクと、前記第二の畳み込みニューラルネットワークの畳み込み層で利用する解像度それぞれとに基づいて、前記解像度ごとに第二のマスクを生成する第二のマスク生成手段と、
前記第二のマスクを、前記第二の畳み込みニューラルネットワークの畳み込み層で利用する前記解像度に基づいて、前記第二の畳み込みニューラルネットワークの畳み込み層に分配する第二のマスク分配手段と、
を有する画像処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記第二のマスク生成手段は、前記第一のマスクに対してプーリング処理を実行し、前記第二のマスクを生成する、
請求項１に記載の画像処理装置。
【請求項３】
前記第二のマスク生成手段は、前記畳み込み層の解像度が変化するごとに、変化した解像度に基づいて前記第二のマスクを生成する、
請求項１に記載の画像処理装置。
【請求項４】
さらに、前記第一のフレーム画像と前記第二のフレーム画像、又は、前記第一の出力特徴マップと前記第二の出力特徴マップに対して、ぼかし処理を実行して、ノイズ除去をする前処理部手段を有する、
請求項１に記載の画像処理装置。
【請求項５】
コンピュータが、
第一のフレーム画像と第二のフレーム画像との差分、又は、前記第一のフレーム画像を処理する第一の畳み込みニューラルネットワークの第一層目の畳み込み層から出力された第一の出力特徴マップと前記第二のフレーム画像を処理する第二の畳み込みニューラルネットワークの第一層目の畳み込み層から出力された第二の出力特徴マップとの差分、に基づいて第一のマスクを生成する第一のマスク生成ステップと、
前記第一のマスクと、前記第二の畳み込みニューラルネットワークの畳み込み層で利用する解像度それぞれとに基づいて、前記解像度ごとに第二のマスクを生成する第二のマスク生成ステップと、
前記第二のマスクを、前記第二の畳み込みニューラルネットワークの畳み込み層で利用する前記解像度に基づいて、前記第二の畳み込みニューラルネットワークの畳み込み層に分配する第二のマスク分配ステップと、
を実行する画像処理方法。
【請求項６】
コンピュータに、
第一のフレーム画像と第二のフレーム画像との差分、又は、前記第一のフレーム画像を処理する第一の畳み込みニューラルネットワークの第一層目の畳み込み層から出力された第一の出力特徴マップと前記第二のフレーム画像を処理する第二の畳み込みニューラルネットワークの第一層目の畳み込み層から出力された第二の出力特徴マップとの差分、に基づいて第一のマスクを生成する第一のマスク生成ステップと、
前記第一のマスクと、前記第二の畳み込みニューラルネットワークの畳み込み層で利用する解像度それぞれとに基づいて、前記解像度ごとに第二のマスクを生成する第二のマスク生成ステップと、
前記第二のマスクを、前記第二の畳み込みニューラルネットワークの畳み込み層で利用する前記解像度に基づいて、前記第二の畳み込みニューラルネットワークの畳み込み層に分配する第二のマスク分配ステップと、
を実行させるプログラム。
【請求項７】
前記第二のマスク生成ステップは、前記第一のマスクに対してプーリング処理を実行し、前記第二のマスクを生成する、
請求項６に記載のプログラム。
【請求項８】
前記第二のマスク生成ステップは、前記畳み込み層の解像度が変化するごとに、変化した解像度に基づいて前記第二のマスクを生成する、
請求項６に記載のプログラム。
【請求項９】
前記コンピュータに、
さらに、前記第一のフレーム画像と前記第二のフレーム画像、又は、前記第一の出力特徴マップと前記第二の出力特徴マップに対して、ぼかし処理を実行して、ノイズ除去をする前処理ステップを実行させる、
請求項６に記載のプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、ニューラルネットワークを用いた画像処理装置、画像処理方法、及びプログラムに関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
動画から対象物の行動を認識するモデルには、例えば、物体認識、姿勢推定などの処理をするためにニューラルネットワーク（ＮＮ：Neural Network）が利用されている。ところがニューラルネットワークは膨大な計算を必要とするので、フレーム画像ごとに物体認識、姿勢推定などの処理を実行するのは非効率である。
【０００３】
そこで、ニューラルネットワークの計算量を削減する方法として、スパースニューラルネットワーク（Sparse Neural Networks）が提案されている。スパースニューラルネットワークでは、連続する二つのフレーム間の差分（差のある領域：重要領域）のみを対象として計算することで、畳み込み層の計算量を削減する。具体的には、スパースニューラルネットワークでは、畳み込み層において計算をするたびに、重要領域以外の領域（フレーム間に差がない領域：非重要領域）を隠すためのマスクを生成し、生成したマスクを用いて重要領域のみの計算をすることで計算量を削減している。
【０００４】
関連する技術して非特許文献１、２には、差分を利用したアクティベーションスパースニューラルネットワークが開示されている。非特許文献１には、入力特徴マップにマスクをするＤｅｌｔａＣＮＮ（Convolutional Neural Networks）が開示されている。また、非特許文献２には、出力特徴マップにマスクをするＳｋｉｐ―Ｃｏｎｖｏｌｕｔｉｏｎｓが開示されている。
【先行技術文献】
【非特許文献】
【０００５】
Mathias Parger, Chengcheng Tang, Christopher D. Twigg, Cem Keskin, Robert Wang, Markus Steinberger, “DeltaCNN: End-to-End CNN Inference of Sparse Frame Differences in Videos”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022, ［online］, Submitted on 8 Mar 2022, arXiv Computer Science > Computer Vision and Pattern Recognition, ［2023年02月06日検索］, インターネット＜URL：https://arxiv.org/abs/2203.03996＞
Amirhossein Habibian Davide Abati Taco S. Cohen Babak Ehteshami Bejnordi, “Skip-Convolutions for Efficient Video Processing”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021, ［online］, Submitted on 23 Apr 2021, arXiv Computer Science > Computer Vision and Pattern Recognition, ［2023年02月06日検索］, インターネット＜URL：https://arxiv.org/abs/2104.11487＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した技術では、畳み込み層ごとにマスクを生成するので、マスクの生成によるオーバーヘッドが生じる。すなわちマスクを再生成する場合、差分処理、閾値処理などを実行するので、実行速度が低下する。また、マスクを再生成するたびに、インデックス計算などが必要となる。さらに、畳み込み層ごとにマスクが異なるので、重要領域を集め直す処理が必要になる。
【０００７】
また、非特許文献１のＤｅｌｔａＣＮＮでは、層を重ねるごとに重要領域の影響が拡大するので、畳み込み処理の後に重要領域の再生成が必要となる。また、非特許文献２のＳｋｉｐ―Ｃｏｎｖｏｌｕｔｉｏｎｓでは、重要領域が単調増加しないが、マスクを再生成するので、オーバーヘッドが生じる。
【０００８】
本開示の目的の一例は、ニューラルネットワークの計算量を削減することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本開示の一側面における画像処理装置は、
第一のフレーム画像と第二のフレーム画像との差分、又は、前記第一のフレーム画像を処理する第一の畳み込みニューラルネットワークの第一層目の畳み込み層から出力された第一の出力特徴マップと前記第二のフレーム画像を処理する第二の畳み込みニューラルネットワークの第一層目の畳み込み層から出力された第二の出力特徴マップとの差分、に基づいて第一のマスクを生成する第一のマスク生成部と、
前記第一のマスクと、前記第二の畳み込みニューラルネットワークの畳み込み層で利用する解像度それぞれとに基づいて、前記解像度ごとに第二のマスクを生成する第二のマスク生成部と、
前記第二のマスクを、前記第二の畳み込みニューラルネットワークの畳み込み層で利用する前記解像度に基づいて、前記第二の畳み込みニューラルネットワークの畳み込み層に分配する第二のマスク分配部と、
を有することを特徴とする。
【００１０】
また、上記目的を達成するため、本開示の一側面における画像処理方法は、
コンピュータが、
第一のフレーム画像と第二のフレーム画像との差分、又は、前記第一のフレーム画像を処理する第一の畳み込みニューラルネットワークの第一層目の畳み込み層から出力された第一の出力特徴マップと前記第二のフレーム画像を処理する第二の畳み込みニューラルネットワークの第一層目の畳み込み層から出力された第二の出力特徴マップとの差分、に基づいて第一のマスクを生成し、
前記第一のマスクと、前記第二の畳み込みニューラルネットワークの畳み込み層で利用する解像度それぞれとに基づいて、前記解像度ごとに第二のマスクを生成し、
前記第二のマスクを、前記第二の畳み込みニューラルネットワークの畳み込み層で利用する前記解像度に基づいて、前記第二の畳み込みニューラルネットワークの畳み込み層に分配する、
ことを特徴とする。
（【００１１】以降は省略されています）

関連特許