特許ウォッチ

公開番号2025040144
公報種別公開特許公報(A)
公開日2025-03-24
出願番号2023146878
出願日2023-09-11
発明の名称画像処理装置、画像処理方法、プログラム、および、画像処理システム
出願人株式会社デンソーテン
代理人弁理士法人佐野特許事務所
主分類G06T 7/00 20170101AFI20250314BHJP(計算;計数)
要約【課題】画像処理の処理精度の低下を抑制するとともに、計算量を削減する画像処理装置、画像処理方法、プログラム及び画像処理システムを提供する。
【解決手段】ニューラルネットワーク221を用いて、画像200の画像処理を行う画像処理装置であって、ニューラルネットワークは、複数の畳み込み層2211を含む。畳み込み層は、入力画像の局所的な特徴を抽出する役割を担い、1層目の畳み込み層(第1畳み込み層)は、入力画像に対して畳み込み処理を行い特徴マップを得る。2層目(第2畳み込み層)以降の畳み込み層は、前層で得られた特徴マップを入力として畳み込み処理を行い、新たな特徴マップを得る。出力層2212は、複数回の畳み込み処理により得られた特徴量を利用した処理を実行して画像処理結果を出力する。特徴マップは、畳み込み演算によって出力されるテンソルデータであり、畳み込み演算で抽出した特徴量を含むデータである。
【選択図】図4
特許請求の範囲【請求項１】
ニューラルネットワークを用いて対象物体の画像処理を行う画像処理装置であって、
前記画像処理は、
入力データの縦方向および横方向の画素列を間引く第１の間引処理を行って、基本間引処理データを生成し、
前記入力データから間引かれた画素のデータに対して、前記対象物体の形状特性に応じて縦方向および横方向の画素列を間引く第２の間引処理を行って、前記基本間引処理データと縦横同サイズの追加間引処理データを生成し、
前記基本間引処理データと前記追加間引処理データに対して、フィルタを用いた畳み込み演算を行う、
画像処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記第１の間引処理または前記第２の間引処理は、縦方向および横方向の画素列を、一定列おきに間引く処理である、請求項１に記載の画像処理装置。
【請求項３】
前記追加間引処理データは、前記入力データにおいて前記基本間引処理データ部分に対して前記物体の形状特性に応じて定まる方向に並ぶデータである、請求項２に記載の画像処理装置。
【請求項４】
前記物体の形状特性が縦長形状の場合、前記物体の形状特性に応じて定まる方向は横方向である、請求項３に記載の画像処理装置。
【請求項５】
前記物体の形状特性が横長形状の場合、前記物体の形状特性に応じて定まる方向は縦方向である、請求項３に記載の画像処理装置。
【請求項６】
前記畳み込み演算は、ストライドが「１」の畳み込みである、請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像処理は、画像分類または物体検出である、請求項１から５のいずれか１項に記載の画像処理装置。
【請求項８】
ニューラルネットワークを用いて対象物体の画像処理を行う方法であって、
入力データの縦方向および横方向の画素列を間引く第１の間引処理を行って、基本間引処理データを生成し、
前記入力データから間引かれた画素のデータに対して、前記対象物体の形状特性に応じて縦方向および横方向の画素列を間引く第２の間引処理を行って、前記基本間引処理データと縦横同サイズの追加間引処理データを生成し、
前記基本間引処理データと前記追加間引処理データに対して、フィルタを用いた畳み込み演算を行う、
画像処理方法。
【請求項９】
ニューラルネットワークを用いて対象物体の画像処理を行う方法をコンピュータに実現させるプログラムであって、
前記コンピュータを、
入力データの縦方向および横方向の画素列を間引く第１の間引処理を行って、基本間引処理データを生成することと、
前記入力データから間引かれた画素のデータに対して、前記対象物体の形状特性に応じて縦方向および横方向の画素列を間引く第２の間引処理を行って、前記基本間引処理データと縦横同サイズの追加間引処理データを生成することと、
前記基本間引処理データと前記追加間引処理データに対して、フィルタを用いた畳み込み演算を行うことと、
を行う手段として機能させる、プログラム。
【請求項１０】
カメラと、
前記カメラで撮影された画像を入力され、ニューラルネットワークを用いて対象物体の画像処理を行う画像処理装置と、
前記画像処理の結果に応じた処理を行う制御装置と、
を備え、
前記画像処理は、
入力データの縦方向および横方向の画素列を間引く第１の間引処理を行って、基本間引処理データを生成し、
前記入力データから間引かれた画素のデータに対して、前記対象物体の形状特性に応じて縦方向および横方向の画素列を間引く第２の間引処理を行って、前記基本間引処理データと縦横同サイズの追加間引処理データを生成し、
前記基本間引処理データと前記追加間引処理データに対して、フィルタを用いた畳み込み演算を行う、
画像処理システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ニューラルネットワークを用いた画像処理の技術に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
従来、画像処理において、畳み込みニューラルネットワークが利用される。一般的な畳み込みニューラルネットワークでは、畳み込み処理が複数回繰り返され、特徴マップのサイズを縮小しながらチャネル数を増やしていく（例えば特許文献１参照）。
【０００３】
畳み込み処理の際に、フィルタ（カーネル）を縦および横にずらす幅であるストライドを大きくすると、特徴マップのサイズを小さくすることができる。ただし、ストライドを大きくすると、畳み込み時に失われる情報量が増えるために、計算量が減る代わりに処理精度が低下する。
【先行技術文献】
【特許文献】
【０００４】
国際公開２０１９／２１６４０４号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、ストライドが「２」の畳み込みを、「Space to Depth」とストライドが「１」の畳み込みとの組み合わせに置き換えることが知られる。「Space to Depth」では、入力データ（特徴マップ）のサイズの縮小と、サイズの縮小に伴い削除される画素のチャネル方向への追加とが行われる。チャネル方向への画素の追加によって情報が保持される。すなわち、上記置き換え手法によれば、特徴マップのサイズをストライドが「２」の畳み込みと同じとできると共に、ストライドが「２」の畳み込みの場合に比べて処理精度を向上することができる。
【０００６】
しかしながら、上記置き換え手法の場合、チャネル方向に画素を追加したために、畳み込み処理時の計算量が増加するといった問題がある。
【０００７】
本発明は、上記の点に鑑み、画像処理の処理精度の低下を抑制するとともに、計算量を削減することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
例示的な本発明の画像処理装置は、ニューラルネットワークを用いて対象物体の画像処理を行う画像処理装置であって、前記画像処理は、入力データの縦方向および横方向の画素列を間引く第１の間引処理を行って、基本間引処理データを生成し、前記入力データから間引かれた画素のデータに対して、前記対象物体の形状特性に応じて縦方向および横方向の画素列を間引く第２の間引処理を行って、前記基本間引処理データと縦横同サイズの追加間引処理データを生成し、前記基本間引処理データと前記追加間引処理データに対して、フィルタを用いた畳み込み演算を行う。
【発明の効果】
【０００９】
例示的な本発明によれば、画像処理の処理精度の低下を抑制するとともに、計算量を削減することができる。
【図面の簡単な説明】
【００１０】
画像処理システムの概略の構成を示す図
画像処理システムの動作例を示すフローチャート
画像処理装置の概略の構成を示す図
画像処理部により実行される画像処理の概要を示す図
ストライド「２」の畳み込みについて説明するための模式図
ストライド「２」の畳み込みについて説明するための模式図
ストライド「２」の畳み込みについて説明するための模式図
ストライド「２」の畳み込みについて説明するための模式図
Space to Depthについて説明するための模式図
Space to Depthに続いて行われるストライド「１」の畳み込みについて説明するための模式図
パディングについて説明するための図
パディングについて説明するための図
物体の形状特性を考慮した畳み込み手法における入力データＩＤの並べ替えについて説明するための模式図
図９に示す並べ替え後に行われるストライド「１」の畳み込みについて説明するための模式図
物体の形状特性が横長形状である場合の、物体の形状特性を考慮した畳み込み手法について説明するための図
並べ替えによりデータの縦横のサイズが１／３とされる場合の例を示す図
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許