特許ウォッチ

公開番号2024165586
公報種別公開特許公報(A)
公開日2024-11-28
出願番号2023081892
出願日2023-05-17
発明の名称画像認識支援装置、画像認識支援方法、及び画像認識支援プログラム
出願人株式会社日立製作所
代理人青稜弁理士法人
主分類G06F 16/583 20190101AFI20241121BHJP(計算;計数)
要約【課題】精度の高い画像検索を行うことができる技術を提供する。
【解決手段】
画像認識支援装置100は、検索クエリおよび指示文の入力を受付けるテキスト入力部111と、検索対象画像を保持する検索対象画像DB121と、検索対象画像を画像特徴量に変換する画像特徴量変換部114と、検索対象画像に関連する画像付随テキスト情報を出力する画像認識部112と、画像付随テキスト情報から指示文に基づいて検索クエリに応じた要約後文章を出力するテキスト処理部113と、出力された要約後文章を要約後文章特徴量に変換する文章特徴量変換部115と、要約後文章、要約後文章特徴量、検索対象画像、及び画像特徴量を用いて画像を検索して検索結果を取得する画像検索部116と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
検索クエリおよび指示文の入力を受付けるテキスト入力部と、
検索対象画像を保持する記憶部と、
前記検索対象画像を画像特徴量に変換する画像特徴量変換部と、
前記検索対象画像に関連する画像付随テキスト情報を出力する画像認識部と、
前記画像付随テキスト情報から前記指示文に基づいて前記検索クエリに応じた要約後文章を出力するテキスト処理部と、
前記出力された要約後文章を要約後文章特徴量に変換する文章特徴量変換部と、
前記要約後文章、前記要約後文章特徴量、前記検索対象画像、及び前記画像特徴量を用いて画像を検索して検索結果を取得する画像検索部と、
を備える画像認識支援装置。
続きを表示（約 1,400 文字）【請求項２】
請求項１記載の画像認識支援装置において、
前記記憶部は、前記画像特徴量変換部が変換した画像特徴量を保存し、
前記画像検索部は、前記記憶部に保存された画像特徴量を用いて画像を検索する画像認識支援装置。
【請求項３】
請求項１記載の画像認識支援装置において、
前記記憶部は、前記画像認識部が出力した前記画像付随テキスト情報を保存し、
前記テキスト処理部は、前記記憶部に保存された画像付随テキスト情報から前記要約後文章を出力する画像認識支援装置。
【請求項４】
請求項１記載の画像認識支援装置において、
表示部をさらに備え、
前記テキスト入力部は、前記検索結果に関する質問文の入力を受付け、
前記テキスト処理部は、前記質問文及び前記画像付随テキスト情報に基づいて前記質問文に対する応答文章を生成し、
前記表示部は、前記検索結果及び前記応答文章を表示する画像認識支援装置。
【請求項５】
請求項１記載の画像認識支援装置において、
前記検索結果及びあらかじめ用意された属性一覧テキストに基づいて前記検索結果の詳細情報を生成する詳細情報付与部と、
前記検索結果及び前記詳細情報を表示する表示部と、
をさらに備える画像認識支援装置。
【請求項６】
請求項１記載の画像認識支援装置において、
画像変換部をさらに備え、
前記テキスト入力部は、画像変換指示文章の入力を受付け、
前記画像変換部は、前記画像変換指示文章に基づいて前記検索結果を変換する画像認識支援装置。
【請求項７】
請求項１記載の画像認識支援装置において、
画像変換部をさらに備え、
前記テキスト入力部は、画像変換指示文章及び変換対象位置情報の入力を受付け、
前記画像変換部は、前記画像変換指示文章及び前記変換対象位置情報に基づいて前記検索結果の特定箇所を変換する画像認識支援装置。
【請求項８】
請求項１記載の画像認識支援装置において、
前記画像付随テキスト情報及び前記要約後文章を表示する表示部をさらに備える画像認識支援装置。
【請求項９】
請求項８記載の画像認識支援装置において、
前記テキスト入力部は、前記表示部により表示された要約後文章の編集を受付ける画像認識支援装置。
【請求項１０】
検索対象画像を保持する記憶部を備える画像認識支援装置の画像認識支援方法において、
検索クエリおよび指示文の入力を受付けるテキスト入力ステップと、
前記検索対象画像を画像特徴量に変換する画像特徴量変換ステップと、
前記検索対象画像に関連する画像付随テキスト情報を出力する画像認識ステップと、
前記画像付随テキスト情報から前記指示文に基づいて前記検索クエリに応じた要約後文章を出力するテキスト処理ステップと、
前記出力された要約後文章を要約後文章特徴量に変換する文章特徴量変換ステップと、
前記要約後文章、前記要約後文章特徴量、前記検索対象画像、及び前記画像特徴量を用いて画像を検索して検索結果を取得する画像検索ステップと、
を有する画像認識支援方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像認識支援装置、画像認識支援方法、及び画像認識支援プログラムに関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
テキストを検索クエリとして与える画像検索システムにおいて、検索対象の画像特徴量だけではなく、検索対象画像に付随するテキストの言語的特徴量を検索の補助に用いるといった、マルチモーダル特徴量による検索システムが知られている。例えば、検索対象画像を商品画像とするような、商品画像検索システムを例とすると、この場合の検索対象画像に付随するテキストの例としては、商品説明の文章や、商品画像のExif情報に埋め込まれた文章、また商品画像からImage Captioning技術などによって抽出された文章などが挙げられる。これらの検索対象画像に付随するテキストを言語的特徴量に変換し、これを画像特徴量と併せて検索に用いる事で、画像特徴量のみを用いる場合よりも精度の良い検索を行う事が可能となる。
【０００３】
ここで、画像特徴量は、CNNやTransformerなどのニューラルネットワークモデルに画像を入力して抽出した特徴ベクトルを表し、同様に、言語的特徴量はCNNやTransformerなどのニューラルネットワークモデルにテキストを入力して抽出した特徴ベクトルを表す。
【０００４】
しかし、その検索対象画像に付随するテキストは、検索クエリの情報に無関係な場合もあり、その際は追加された言語的特徴量が検索の精度向上に繋がらない。そのため、言語的特徴量を検索の精度向上に繋げるためには、検索クエリに応じた言語的特徴量を生成する必要がある。
【０００５】
検索対象画像の画像特徴量に加えて、検索対象画像に付随するテキストの言語的特徴量を検索の補助に用いる、マルチモーダル特徴量による検索システムに関する先行特許として、例えば特許文献１が知られている。
【０００６】
また、非特許文献１，２において、画像上の様々な物体のラベルと座標情報等をテキストとして算出し、それをGPT-3等の言語モデルに指示文と共に入力し、画像を表すのにより適したキャプション文章を作成する技術が提案されている。
【先行技術文献】
【特許文献】
【０００７】
特開２０１２－００３３５７号公報
【非特許文献】
【０００８】
Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language, Arxiv, 2022.
Visual Clues: Bridging Vision and Language Foundations for Image Paragraph Captioning, NeurIPS, 2022.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、特許文献１では事前に用意されたテキストの言語的特徴量を用いるため、検索クエリに応じた言語的特徴量を生成することができない。
【００１０】
また、非特許文献１，２の技術では、従来のImage Captioning技術より豊富な情報を持ったキャプション文章を生成することができるため、生成されたテキストによる言語的特徴量が従来と比較して検索精度向上に繋がる可能性はあるが、検索クエリに応じた言語的特徴量を生成する方法は記載されていない。
（【００１１】以降は省略されています）

関連特許