特許ウォッチ

公開番号2025106799
公報種別公開特許公報(A)
公開日2025-07-16
出願番号2024216063
出願日2024-12-11
発明の名称特徴抽出装置、画像マッチング機器及びコンピュータプログラム
出願人富士通株式会社
代理人弁理士法人ITOH
主分類G06V 10/82 20220101AFI20250709BHJP(計算;計数)
要約【課題】本発明は、特徴抽出装置、画像マッチング機器及びプログラムを提供する。
【解決手段】特徴抽出装置は、マッチング待ち画像から複数のスケール及び複数の特徴次元を有する特徴を抽出し;抽出された全部又は一部の特徴を特徴次元で整列し、そして、特徴次元で整列された特徴をスケール次元で「小から大へ」かつ「大から小へ」の順に2つずつ整列することで、融合特徴を生成し;複数の分類器を含み、各分類器は対応する融合特徴に割り当てられ、かつスケール次元で「小から大へ」の順に整列された各融合特徴の予測結果と、「大から小へ」の順に整列されたすべての融合特徴の予測結果との間の差を最小化するように訓練され;及び、所定のルールに基づいて融合特徴を前景特徴と背景特徴に分割し、かつ訓練時に、他の分類器について、背景特徴に1つのクラスを増加させる、モジュールを含む。
【選択図】図1

特許請求の範囲【請求項１】
特徴を抽出するための装置であって、
マッチング待ち画像から複数のスケール及び複数の特徴次元を有する特徴をそれぞれ抽出するように構成される特徴抽出モジュール；
抽出された特徴のうちの全部又は一部の特徴を特徴次元で整列し、そして、特徴次元で整列された特徴をスケール次元で「小から大へ」及び「大から小へ」の順に２つずつ整列することで、融合特徴を生成するように構成される特徴融合モジュールであって、前記融合特徴は整列後の特徴及び整列前の特徴を含む、特徴融合モジュール；
複数の分類器を含む分類器モジュールであって、前記複数の分類器のうちの各々は対応する融合特徴に割り当てられ、かつスケール次元で「小から大へ」の順に整列された各融合特徴の予測結果と、「大から小へ」の順に整列されたすべての融合特徴の予測結果との間の差が最小になり、又は、「小から大へ」の順に整列された各融合特徴の予測結果と、「大から小へ」の順に整列されたすべての融合特徴の予測結果との間の差が最小になるように訓練される、分類器モジュール；及び
所定のルールに基づいて前記融合特徴を前景特徴と背景特徴に分割し、かつ前記訓練のときに、他の分類器について、前記前景特徴と比較して前記背景特徴に１つのクラスを増加させるように構成される前景強化モジュールであって、前記前景特徴は前記マッチング待ち画像内の対象のカテゴリーに関連付けられる特徴である、前景強化モジュールを含む、装置。
続きを表示（約 2,300 文字）【請求項２】
請求項１に記載の装置であって、
前記特徴抽出モジュールはＮ個のバックボーンブロックを含み、前記複数のスケールはＮ個のスケールを含み、各バックボーンブロックは前記Ｎ個のスケールのうちの１つのスケールを有する特徴を抽出するように構成され、Ｎは２以上の整数である、装置。
【請求項３】
請求項２に記載の装置であって、
前記複数の分類器はＮ×２個の分類器を含み、前記融合特徴はスケールに基づいてＮ×２個の特徴集合に分割され、前記Ｎ×２個の分類器はそれぞれ前記Ｎ×２個の特徴集合に割り当てられる、装置。
【請求項４】
請求項１乃至３のうちの任意の１項に記載の装置であって、
前記予測結果は、前記対象が２つ以上のカテゴリーのうちの各カテゴリーに属する確率分布である、装置。
【請求項５】
請求項４に記載の装置であって、
前記所定のルールは、すべての分類器によって出力される確率分布の正解カテゴリーでの並べ替えに基づいて、前記融合特徴を前記前景特徴と前記背景特徴に分割することである、装置。
【請求項６】
請求項１乃至３のうちの任意の１項に記載の装置であって、
前記複数の分類器は第一損失関数及び第二損失関数に基づいて訓練され、前記前景強化モジュールにおける他の分類器は前記第二損失関数に基づいて訓練され、
総損失関数が記第一損失関数と前記第二損失関数の加重和であり、
前記訓練は、前記総損失関数を最小化することを含む、装置。
【請求項７】
請求項１乃至３のうちの任意の１項に記載の装置であって、
前記特徴次元は抽出される特徴の長さであり、前記スケールは前記マッチング待ち画像の解像度に基づいて取得される、装置。
【請求項８】
画像マッチング機器であって、
マッチング待ち画像から複数のスケール及び複数の特徴次元を有する特徴をそれぞれ抽出するように構成される特徴抽出モジュールであって、抽出された特徴は前記マッチング待ち画像内の対象に関するものである、特徴抽出モジュール；
抽出された特徴のうちの全部又は一部の特徴を特徴次元で整列し、そして、特徴次元で整列された特徴をスケール次元で「小から大へ」及び「大から小へ」の順に２つずつ整列することで、融合特徴を生成するように構成される特徴融合モジュールであって、前記融合特徴は整列後の特徴及び整列前の特徴を含む、特徴融合モジュール；及び
前記融合特徴のうちの全部又は一部をスティッチングし、スティッチング後の特徴と、画像ライブラリ内のすべての画像との間の距離を計算し、そして、計算された結果に基づいて前記画像ライブラリ内のすべての画像を並べ替えるように構成される、マッチングモジュールを含み、
前記特徴抽出モジュール及び前記特徴融合モジュールのそれぞれのネットワークパラメータは、請求項１乃至３のうちの任意の１項に記載の装置を訓練することによって設定される、画像マッチング機器。
【請求項９】
コンピュータに、特徴を抽出するための方法を実行させるためのプログラムであって、
前記方法は、
マッチング待ち画像から複数のスケール及び複数の特徴次元を有する特徴をそれぞれ抽出し；
抽出された特徴のうちの全部又は一部の特徴を特徴次元で整列し、そして、特徴次元で整列された特徴をスケール次元で「小から大へ」及び「大から小へ」の順に２つずつ整列することで、融合特徴を生成し、前記融合特徴は整列後の特徴及び整列前の特徴を含み；
複数の分類器を訓練し、前記複数の分類器のうちの各々は対応する融合特徴に割り当てられ、かつスケール次元で「小から大へ」の順に整列された各融合特徴の予測結果と、「大から小へ」の順に整列されたすべての融合特徴の予測結果との間の差を最小化し、又は、「大から小へ」の順に整列された各融合特徴の予測結果と、「小から大へ」の順に整列されたすべての融合特徴の予測結果との間の差を最小化するように訓練され；及び
所定のルールに基づいて前記融合特徴を前景特徴と背景特徴に分割し、かつ前記訓練のときに、他の分類器について、前記前景特徴と比較して前記背景特徴に１つのクラスを増加させ、前記前景特徴は前記マッチング待ち画像内の対象のカテゴリーに関連付けられる特徴である、ことを含む、プログラム。
【請求項１０】
コンピュータに、画像マッチング方法を実行させるためのプログラムであって、
前記画像マッチング方法は、
マッチング待ち画像から複数のスケール及び複数の特徴次元を有する特徴をそれぞれ抽出し、抽出された特徴は前記マッチング待ち画像内の対象に関するものであり；
抽出された特徴のうちの全部又は一部の特徴を特徴次元で整列し、そして、特徴次元で整列された特徴をスケール次元で「小から大へ」及び「大から小へ」の順に２つずつ整列することで、融合特徴を生成し、前記融合特徴は整列後の特徴及び整列前の特徴を含み；及び
前記融合特徴のうちの全部又は一部をスティッチングし、スティッチング後の特徴と、画像ライブラリ内のすべての画像との間の距離を計算し、そして、計算された結果に基づいて前記画像ライブラリ内のすべての画像を並べ替えることを含み、
前記特徴の抽出及び融合は、請求項８に記載の画像マッチング機器における前記特徴抽出モジュール及び前記特徴融合モジュールによって実行される、プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ニューラルネットワークの技術分野に関し、特に、細粒度の検証のための特徴抽出技術に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
近年、画像又はビデオ内の画像フレームに基づいて買い物客の商品選択の興味を理解する技術が広く注目されている。これは通常、クエリされた商品画像と、画像ライブラリ内の対応する画像とのマッチングを行うことを要する。
【０００３】
大型スーパーマーケットでは、往々にして、数百又は数千の商品がある。幾つかの異なるカテゴリーの商品は非常に似ている。同一のカテゴリーの商品であっても、異なる角度から見れば、その外観の相違もかなり大きい。また、商品画像の背景は通常、比較的複雑であり、その中には顧客の手、ショッピングカート、陳列棚などが含まれる可能性がある。これによって、商品を識別（認識）するための特徴を取得することがさらに困難になる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、従来技術に存在する上述のような問題を解決するために、特徴抽出装置、画像マッチング機器及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
本発明の１つの側面によれば、特徴を抽出するための装置が提供され、それは、
マッチング待ち画像から、複数のスケール（尺度）及び複数の特徴次元を有する特徴をそれぞれ抽出するように構成される特徴抽出モジュール；
抽出された特徴のうちの全部又は一部の特徴を特徴次元で整列（ａｌｉｇｎ）し、そして、特徴次元で整列された特徴をスケール次元で「小から大へ」及び「大から小へ」の順に２つずつ整列することで、融合特徴を生成するように構成される特徴融合モジュールであって、融合特徴は整列後の特徴及び整列前の特徴を含む、特徴融合モジュール；
複数の分類器を含む分類器モジュールであって、複数の分類器のうちの各々は対応する融合特徴に割り当てられ、かつスケール次元で「小から大へ」の順に整列された各融合特徴の予測結果と、「大から小へ」の順に整列されたすべての融合特徴の予測結果との間の差を最小化し、又は、「大から小へ」の順に整列された各融合特徴の予測結果と、「小から大へ」の順に整列されたすべての融合特徴の予測結果との間の差を最小化するように訓練（ｔｒａｉｎｉｎｇ）される、分類器モジュール；及び
所定のルール（規則）に基づいて融合特徴を前景特徴と背景特徴に分割し、かつ訓練時に、他の分類器について、前景特徴と比較して背景特徴に１つのクラスを増加させるように構成される前景強化モジュールであって、前景特徴はマッチング待ち画像内の対象のカテゴリー（識別カテゴリー／識別待ちカテゴリー）に関連付けられる特徴である、前景強化モジュールを含む。
【０００６】
好ましくは、特徴抽出モジュールはＮ個のバックボーンブロックを含み、複数のスケールはＮ個のスケールを含み、かつ各バックボーンブロックはＮ個のスケールのうちの１つのスケールを有する特徴を抽出するように構成され、そのうち、Ｎは２以上の整数である。
【０００７】
好ましくは、複数の分類器はＮ×２個の分類器を含み、融合特徴はスケールに基づいてＮ×２個の特徴集合（ｓｅｔ）に分割され、かつＮ×２個の分類器はそれぞれ、Ｎ×２個の特徴集合に割り当てられる。
【０００８】
好ましくは、複数の分類器は全結合層によって実現され得る。
【０００９】
好ましくは、予測結果は、対象が２つ以上のカテゴリーのうちの各カテゴリーに属する確率分布である。
【００１０】
好ましくは、所定のルールは、すべての分類器から出力される確率分布の正解（グラウンドトゥルース（ＧｒｏｕｎｄＴｒｕｔｈ））カテゴリーでの並べ替えに基づいて、融合特徴を前景特徴と背景特徴に分割することである。
（【００１１】以降は省略されています）

関連特許