特許ウォッチ

公開番号2025077817
公報種別公開特許公報(A)
公開日2025-05-19
出願番号2023190300
出願日2023-11-07
発明の名称画像処理装置、画像処理方法、及びプログラム
出願人日本電気株式会社
代理人弁理士法人ブライタス
主分類G06T 7/00 20170101AFI20250512BHJP(計算;計数)
要約【課題】 ViTを利用した画像処理の処理時間を短縮することにある。
【解決手段】画像処理装置は、複数のスパーストランスフォーマ部を有し、スパーストランスフォーマ部は、第一の時点における複数の第一の特徴ベクトルを行として構成される行列と、第二の時点における複数の第二の特徴ベクトルを行として構成される行列とを用いて、第一の特徴ベクトルそれぞれについて、第一の特徴ベクトルと第二の特徴ベクトルとの差分を算出し、差分に基づいて、演算対象の特徴ベクトルを抽出する抽出部と、複数の第一の特徴ベクトルを利用した行列積演算を実行する、複数の行列積演算器を有し、行列積演算器それぞれは、演算対象の特徴ベクトルに対しては行列積演算を実行し、第一の特徴ベクトルのうち演算対象外の特徴ベクトルに対しては行列積演算を実行せず、第二の時点における行列積演算の結果を用いるトランスフォーマ処理部と、を有する。
【選択図】図3

特許請求の範囲【請求項１】
画像処理装置は、複数のスパーストランスフォーマ手段を有し、
前記スパーストランスフォーマ手段は、
第一の時点における複数の第一の特徴ベクトルを行として構成される行列と、前記第一の時点より前の第二の時点における複数の第二の特徴ベクトルを行として構成される行列とを用いて、前記第一の特徴ベクトルそれぞれについて、前記第一の特徴ベクトルと、前記第一の特徴ベクトルに対応する前記第二の特徴ベクトルとの差分を算出し、前記差分に基づいて、前記第一の特徴ベクトルの中から演算対象の特徴ベクトルを抽出する抽出手段と、
前記複数の第一の特徴ベクトルを利用した行列積演算を実行する、複数の行列積演算器を有し、前記行列積演算器それぞれは、前記演算対象の特徴ベクトルに対しては行列積演算を実行し、前記第一の特徴ベクトルのうち演算対象外の特徴ベクトルに対しては行列積演算を実行せず、前記第二の時点における前記行列積演算の結果を用いるトランスフォーマ処理手段と、を有する、
画像処理装置。
続きを表示（約 2,300 文字）【請求項２】
前記画像処理装置は、更に、
画像を順次取得し、取得した前記画像を、あらかじめ設定された個数の画像に分割し、分割した分割画像ごとに特徴ベクトルを生成する特徴ベクトル生成手段を有する、
請求項１に記載の画像処理装置。
【請求項３】
前記抽出手段は、
前記第一の時点において取得した第一の画像を分割して生成された第一の分割画像に対応する前記第一の特徴ベクトルと、前記第二の時点において取得した第二の画像を分割して生成された第二の分割画像に対応する前記第二の特徴ベクトルとを用いて、前記第一の特徴ベクトルそれぞれについて、前記第一の特徴ベクトルと、前記第一の分割画像と同じ位置の前記第二の分割画像に対応する前記第二の特徴ベクトルとの差の絶対値を算出して差分とし、
前記第一の特徴ベクトルそれぞれについて、前記第一の特徴ベクトルに含まれる特徴量の総和を算出し、算出した総和が、あらかじめ設定した第一の閾値以上である場合、前記第一の閾値以上の前記総和に対応する前記第一の特徴ベクトルを演算対象の特徴ベクトルとして抽出する、
請求項２に記載の画像処理装置。
【請求項４】
前記トランスフォーマ処理手段は第一の演算手段を有し、
前記第一の演算手段が有する複数の行列積演算器それぞれは、前記演算対象の特徴ベクトルにより構成された行列と、あらかじめ学習により得られた重みパラメータとを用いて構成された行列と、を用いて行列積演算を実行する、
請求項１に記載の画像処理装置。
【請求項５】
前記抽出手段は、更に、
前記演算対象の特徴ベクトルの行番号を表す情報を含む演算対象識別情報を生成する、
請求項１に記載の画像処理装置。
【請求項６】
前記トランスフォーマ処理手段はアテンション処理手段を有し、
前記アテンション処理手段が有する行列積演算器が行列積演算を実行する場合、前記演算対象の特徴ベクトルの行番号により示される行と列に含まれる要素を、前記行列積演算における演算対象の要素とし、前記演算対象の要素に対してのみ行列積演算を実行し、前記演算対象外の要素に対しては前記行列積演算を実行せず、前記第二の時点における前記行列積演算の結果を用いる、
請求項５に記載の画像処理装置。
【請求項７】
前記抽出手段は、更に、
前記演算対象の特徴ベクトルを用いて積算演算を実行して演算対象抽出行列を生成し、前記演算対象抽出行列の要素が、あらかじめ設定した第二の閾値以上である場合、前記第一の閾値以上の前記要素を選択し、前記演算対象抽出行列における、選択した前記要素の位置を表す情報を含む演算対象識別情報を生成する、
請求項３に記載の画像処理装置。
【請求項８】
前記トランスフォーマ処理手段はアテンション処理手段を有し、
前記アテンション処理手段が有する前記行列積演算器が行列積演算を実行する場合、前記要素の位置に対応する要素を、前記行列積演算における演算対象の要素とし、前記演算対象の要素に対してのみ行列積演算を実行し、前記演算対象外の要素に対しては前記行列積演算を実行せず、前記第二の時点における前記行列積演算の結果を用いる、
請求項７に記載の画像処理装置。
【請求項９】
画像処理装置が、複数のスパーストランスフォーマ処理を実行し、
前記スパーストランスフォーマ処理は、
第一の時点における複数の第一の特徴ベクトルを行として構成される行列と、前記第一の時点より前の第二の時点における複数の第二の特徴ベクトルを行として構成される行列とを用いて、前記第一の特徴ベクトルそれぞれについて、前記第一の特徴ベクトルと、前記第一の特徴ベクトルに対応する前記第二の特徴ベクトルとの差分を算出し、前記差分に基づいて、前記第一の特徴ベクトルの中から演算対象の特徴ベクトルを抽出する抽出処理と、
前記複数の第一の特徴ベクトルを利用した行列積演算を実行する、複数の行列積演算器を有し、前記行列積演算器それぞれは、前記演算対象の特徴ベクトルに対しては行列積演算を実行し、前記第一の特徴ベクトルのうち演算対象外の特徴ベクトルに対しては行列積演算を実行せず、前記第二の時点における前記行列積演算の結果を用いるトランスフォーマ処理と、
を実行する画像処理方法。
【請求項１０】
コンピュータに、複数のスパーストランスフォーマ処理を実行させ、
前記スパーストランスフォーマ処理は、
第一の時点における複数の第一の特徴ベクトルを行として構成される行列と、前記第一の時点より前の第二の時点における複数の第二の特徴ベクトルを行として構成される行列とを用いて、前記第一の特徴ベクトルそれぞれについて、前記第一の特徴ベクトルと、前記第一の特徴ベクトルに対応する前記第二の特徴ベクトルとの差分を算出し、前記差分に基づいて、前記第一の特徴ベクトルの中から演算対象の特徴ベクトルを抽出する抽出処理と、
前記複数の第一の特徴ベクトルを利用した行列積演算を実行する、複数の行列積演算器を有し、前記行列積演算器それぞれは、前記演算対象の特徴ベクトルに対しては行列積演算を実行し、前記第一の特徴ベクトルのうち演算対象外の特徴ベクトルに対しては行列積演算を実行せず、前記第二の時点における前記行列積演算の結果を用いるトランスフォーマ処理と、
を実行するプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、画像処理を高速に実行する画像処理装置、画像処理方法、及びプログラムに関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
自然言語処理分野で利用されているTransfomer（深層学習モデル）を利用して、画像認識処理を行うモデルとしてＶｉＴ（Vision Transformer）が知られている。
【０００３】
関連する技術として特許文献１には、Transformerを利用した特徴抽出器を用いて、マルチタスク学習により特徴抽出の性能を向上させた画像処理装置が開示されている。特許文献１の画像処理装置は、物体を含む画像を分割して複数の部分画像を生成する。次に、画像処理装置は、分割した部分画像を固定次元のベクトルであるトークンに変換し、変換したトークンの列に、トークンに対応する固定次元を有するクラストークンを追加する。次に、画像処理装置は、クラストークンが追加されたトークンの列を、トークン同士の関連性に基づいて更新し、更新したクラストークンに対応するエンコード表現から、物体の特徴量を抽出する。また、更新したクラストークンに対応するエンコード表現から、物体の属性を判定する。
【先行技術文献】
【特許文献】
【０００４】
特開２０２３－０９２２０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述したＶｉＴを利用した画像処理では、実用的な物体検知、姿勢推定などの高解像度のタスクを処理した場合に、演算量が多くなるので、処理時間が長くなる。
【０００６】
本開示の目的の一例は、ＶｉＴを利用した画像処理の処理時間を短縮することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本開示の一側面における画像処理装置は、
画像処理装置は、複数のスパーストランスフォーマ部を有し、
前記スパーストランスフォーマ部は、
第一の時点における複数の第一の特徴ベクトルを行として構成される行列と、前記第一の時点より前の第二の時点における複数の第二の特徴ベクトルを行として構成される行列とを用いて、前記第一の特徴ベクトルそれぞれについて、前記第一の特徴ベクトルと、前記第一の特徴ベクトルに対応する前記第二の特徴ベクトルとの差分を算出し、前記差分に基づいて、前記第一の特徴ベクトルの中から演算対象の特徴ベクトルを抽出する抽出部と、
前記複数の第一の特徴ベクトルを利用した行列積演算を実行する、複数の行列積演算器を有し、前記行列積演算器それぞれは、前記演算対象の特徴ベクトルに対しては行列積演算を実行し、前記第一の特徴ベクトルのうち演算対象外の特徴ベクトルに対しては行列積演算を実行せず、前記第二の時点における前記行列積演算の結果を用いるトランスフォーマ処理部と、を有する、
ことを特徴とする。
【０００８】
また、上記目的を達成するため、本開示の一側面における画像処理方法は、
画像処理装置が、複数のスパーストランスフォーマ処理を実行し、
前記スパーストランスフォーマ処理は、
第一の時点における複数の第一の特徴ベクトルを行として構成される行列と、前記第一の時点より前の第二の時点における複数の第二の特徴ベクトルを行として構成される行列とを用いて、前記第一の特徴ベクトルそれぞれについて、前記第一の特徴ベクトルと、前記第一の特徴ベクトルに対応する前記第二の特徴ベクトルとの差分を算出し、前記差分に基づいて、前記第一の特徴ベクトルの中から演算対象の特徴ベクトルを抽出する抽出処理と、
前記複数の第一の特徴ベクトルを利用した行列積演算を実行する、複数の行列積演算器を有し、前記行列積演算器それぞれは、前記演算対象の特徴ベクトルに対しては行列積演算を実行し、前記第一の特徴ベクトルのうち演算対象外の特徴ベクトルに対しては行列積演算を実行せず、前記第二の時点における前記行列積演算の結果を用いるトランスフォーマ処理と、
を実行することを特徴とする。
【０００９】
さらに、上記目的を達成するため、本開示の一側面におけるプログラムは、
コンピュータに、複数のスパーストランスフォーマ処理を実行させ、
前記スパーストランスフォーマ処理は、
第一の時点における複数の第一の特徴ベクトルを行として構成される行列と、前記第一の時点より前の第二の時点における複数の第二の特徴ベクトルを行として構成される行列とを用いて、前記第一の特徴ベクトルそれぞれについて、前記第一の特徴ベクトルと、前記第一の特徴ベクトルに対応する前記第二の特徴ベクトルとの差分を算出し、前記差分に基づいて、前記第一の特徴ベクトルの中から演算対象の特徴ベクトルを抽出する抽出処理と、
前記複数の第一の特徴ベクトルを利用した行列積演算を実行する、複数の行列積演算器を有し、前記行列積演算器それぞれは、前記演算対象の特徴ベクトルに対しては行列積演算を実行し、前記第一の特徴ベクトルのうち演算対象外の特徴ベクトルに対しては行列積演算を実行せず、前記第二の時点における前記行列積演算の結果を用いるトランスフォーマ処理と、
を実行することを特徴とする。
【発明の効果】
【００１０】
以上のように本開示によれば、ＶｉＴを利用した画像処理の処理時間を短縮することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許