特許ウォッチ

公開番号2025008226
公報種別公開特許公報(A)
公開日2025-01-20
出願番号2023110203
出願日2023-07-04
発明の名称プログラム、情報処理装置及び情報処理方法
出願人株式会社東芝
代理人弁理士法人酒井国際特許事務所
主分類G06T 7/00 20170101AFI20250109BHJP(計算;計数)
要約【課題】画像に複数の対象物が含まれている場合でも、より少ない処理量で、より精度の高い処理結果を得る。
【解決手段】実施形態のプログラムは、コンピュータを、検出部と切り出し部と取得部とVQA処理部として機能させる。検出部は、画像から、検出対象を含む対象領域と、前記検出対象を識別する対象識別情報とを含む対象情報を、少なくとも1つ検出する。切り出し部は、前記画像から、少なくとも1つの前記対象領域を切り出すことによって、少なくとも1つの対象画像を生成する。取得部は、前記対象識別情報に応じた少なくとも1つの質問を取得する。VQA処理部は、前記少なくとも1つの対象画像毎に、前記少なくとも1つの質問によるVQA(Visual Question Answering)処理を実行する。
【選択図】図5
特許請求の範囲【請求項１】
コンピュータを、
画像から、検出対象を含む対象領域と、前記検出対象を識別する対象識別情報とを含む対象情報を、少なくとも１つ検出する検出部と、
前記画像から、少なくとも１つの前記対象領域を切り出すことによって、少なくとも１つの対象画像を生成する切り出し部と、
前記対象識別情報に応じた少なくとも１つの質問を取得する取得部と、
前記少なくとも１つの対象画像毎に、前記少なくとも１つの質問によるＶＱＡ（ＶｉｓｕａｌＱｕｅｓｔｉｏｎＡｎｓｗｅｒｉｎｇ）処理を実行するＶＱＡ処理部、
として機能させるためのプログラム。
続きを表示（約 1,700 文字）【請求項２】
前記コンピュータは、
前記検出対象の種別を示す対象種別毎に、少なくとも１つの質問を記憶する記憶部を更に備え、
前記対象識別情報は、前記対象種別を示す情報を含み、
前記取得部は、前記対象識別情報に含まれる対象識別に応じた少なくとも１つの質問を、前記記憶部から取得する、
請求項１に記載のプログラム。
【請求項３】
前記検出部は、前記記憶部から読み出された対象種別の検出対象を含む対象領域と、前記対象識別情報とを含む対象情報を、前記画像から少なくとも１つ検出する、
請求項２に記載のプログラム。
【請求項４】
前記検出部は、前記画像に対する質問文をユーザーから受け付け、前記質問文から前記対象種別を特定し、特定された前記対象種別の検出対象を含む対象領域と、前記対象識別情報とを含む対象情報を、少なくとも１つ検出する、
請求項２又は３に記載のプログラム。
【請求項５】
前記コンピュータを、
前記対象領域を、前記対象種別及び前記質問の少なくとも一方に応じて変形する変形部、として更に機能させ、
前記切り出し部は、前記画像から、少なくとも１つの前記対象領域、または、前記変形部によって変形された少なくとも１つの前記対象領域を切り出すことによって、少なくとも１つの対象画像を生成する、
請求項２又は３に記載のプログラム。
【請求項６】
前記取得部は、前記対象画像毎に適用される少なくとも１つの質問に、質問識別情報を付与し、
前記ＶＱＡ処理部は、前記対象識別情報と、前記質問識別情報と、前記質問識別情報により識別される質問の回答と、が関連付けられたＶＱＡ処理結果情報を出力する、
請求項１乃至３のいずれか１項に記載のプログラム。
【請求項７】
前記コンピュータを、
前記ＶＱＡ処理結果情報が、前記ＶＱＡ処理結果情報に含まれる前記対象識別情報によって識別される検出対象に付与された表示情報を、表示装置に表示する表示制御部、
として更に機能させる請求項６に記載のプログラム。
【請求項８】
前記画像は、動画に含まれるフレームであり、
前記検出部は、前記フレームから前記対象情報を少なくとも１つ検出し、
前記コンピュータを、
前記フレーム毎に生成された前記対象画像に、ＶＱＡ処理を実行することによって得られた質問の回答を投票し、前記投票の結果に基づいて、前記対象画像毎の前記質問の回答を決定する投票部、
として更に機能させる請求項１乃至３のいずれか１項に記載のプログラム。
【請求項９】
画像から、検出対象を含む対象領域と、前記検出対象を識別する対象識別情報とを含む対象情報を、少なくとも１つ検出する検出部と、
前記画像から、少なくとも１つの前記対象領域を切り出すことによって、少なくとも１つの対象画像を生成する切り出し部と、
前記対象識別情報に応じた少なくとも１つの質問を取得する取得部と、
前記少なくとも１つの対象画像毎に、前記少なくとも１つの質問によるＶＱＡ（ＶｉｓｕａｌＱｕｅｓｔｉｏｎＡｎｓｗｅｒｉｎｇ）処理を実行するＶＱＡ処理部と、
を備える情報処理装置。
【請求項１０】
情報処理装置が、画像から、検出対象を含む対象領域と、前記検出対象を識別する対象識別情報とを含む対象情報を、少なくとも１つ検出するステップと、
前記情報処理装置が、前記画像から、少なくとも１つの前記対象領域を切り出すことによって、少なくとも１つの対象画像を生成するステップと、
前記情報処理装置が、前記対象識別情報に応じた少なくとも１つの質問を取得するステップと、
前記情報処理装置が、前記少なくとも１つの対象画像毎に、前記少なくとも１つの質問によるＶＱＡ（ＶｉｓｕａｌＱｕｅｓｔｉｏｎＡｎｓｗｅｒｉｎｇ）処理を実行するステップと、
を含む情報処理方法。

発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態はプログラム、情報処理装置及び情報処理方法に関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
画像質問応答（ＶｉｓｕａｌＱｕｅｓｔｉｏｎＡｎｓｗｅｒｉｎｇ：ＶＱＡ）のＡＩ（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）技術が従来から知られている。ＶＱＡは、一枚の画像と、当該画像に関連する質問と、が与えられた時に、正しい答えを返すタスクである。このタスクは、画像に関する知識、及び、テキストに関する知識、双方を正しく取り扱う必要のあるクロスモーダルなタスクとなっている。
【先行技術文献】
【非特許文献】
【０００３】
ＧＬＩＰＢＬＩＰ，［ｏｎｌｉｎｅ］，［令和５年６月１５日検索］，インターネット〈ＵＲＬ：ｈｔｔｐｓ：／／ｈｕｇｇｉｎｇｆａｃｅ．ｃｏ／ｓｐａｃｅｓ／Ｐｉｎｗｈｅｅｌ／ＧＬＩＰ－ＢＬＩＰ－Ｏｂｊｅｃｔ－Ｄｅｔｅｃｔｉｏｎ－ＶＱＡ＞
ＦａｓｔｅｒＲ－ＣＮＮ，ＧｉｒｓｈｉｃｋＲｏｓｓ，ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥｉｎｔｅｒｎａｔｉｏｎａｌｃｏｎｆｅｒｅｎｃｅｏｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎ．２０１５
ＶｉｓｕａｌＱｕｅｓｔｉｏｎＡｎｓｗｅｒｉｎｇ，［ｏｎｌｉｎｅ］，［令和５年６月１５日検索］，インターネット〈ＵＲＬ：ｈｔｔｐｓ：／／ｖｉｓｕａｌｑａ．ｏｒｇ／＞
ＭＳＣＯＣＯ，［ｏｎｌｉｎｅ］，［令和５年６月１５日検索］，インターネット〈ＵＲＬ：ｈｔｔｐｓ：／／ｔｅｃｈ．ａｍｉｋｅｌｉｖｅ．ｃｏｍ／ｎｏｄｅ－７１８／ｗｈａｔ－ｏｂｊｅｃｔ－ｃａｔｅｇｏｒｉｅｓ－ｌａｂｅｌｓ－ａｒｅ－ｉｎ－ｃｏｃｏ－ｄａｔａｓｅｔ／＞
Ａｎｄｅｒｓｏｎ，Ｐｅｔｅｒ，ｅｔａｌ． “Ｂｏｔｔｏｍ－ｕｐａｎｄｔｏｐ－ｄｏｗｎａｔｔｅｎｔｉｏｎｆｏｒｉｍａｇｅｃａｐｔｉｏｎｉｎｇａｎｄｖｉｓｕａｌｑｕｅｓｔｉｏｎａｎｓｗｅｒｉｎｇ．” ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥｃｏｎｆｅｒｅｎｃｅｏｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎａｎｄｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎ．２０１８
Ｇｕ，Ｘｉｕｙｅ，ｅｔａｌ．“Ｏｐｅｎ－ｖｏｃａｂｕｌａｒｙｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎｖｉａｖｉｓｉｏｎａｎｄｌａｎｇｕａｇｅｋｎｏｗｌｅｄｇｅｄｉｓｔｉｌｌａｔｉｏｎ．” ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：２１０４．１３９２１（２０２１）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、画像に複数の対象物が含まれている場合に、より少ない処理量で、より精度の高い処理結果を得ることが難しかった。
【課題を解決するための手段】
【０００５】
実施形態のプログラムは、コンピュータを、検出部と切り出し部と取得部とＶＱＡ処理部として機能させる。検出部は、画像から、検出対象を含む対象領域と、前記検出対象を識別する対象識別情報とを含む対象情報を、少なくとも１つ検出する。切り出し部は、前記画像から、少なくとも１つの前記対象領域を切り出すことによって、少なくとも１つの対象画像を生成する。取得部は、前記対象識別情報に応じた少なくとも１つの質問を取得する。ＶＱＡ処理部は、前記少なくとも１つの対象画像毎に、前記少なくとも１つの質問によるＶＱＡ（ＶｉｓｕａｌＱｕｅｓｔｉｏｎＡｎｓｗｅｒｉｎｇ）処理を実行する。
【図面の簡単な説明】
【０００６】
ＶＱＡの例を示す概略図。
ＶＱＡを用いた画像解析システムの例を示す図。
ＶＱＡの課題の例１を説明するための図。
ＶＱＡの課題の例２を説明するための図。
第１実施形態の情報処理装置の機能構成の例を示す図。
第１実施形態のＶＱＡ処理部の処理例を示す概要図。
第１実施形態の質問を識別する質問ＩＤのフォーマットの例を示す図。
第１実施形態のＶＱＡ処理の概要を示す図。
第１実施形態の表示情報の例を示す図。
第１実施形態の情報処理方法の例を示すフローチャート。
第１実施形態による効果の例１について説明するための図。
第１実施形態による効果の例２について説明するための図。
第２実施形態の情報処理装置の機能構成の例を示す図。
第２実施形態の投票処理の例を示す概要図。
第２実施形態の投票数と認識精度との関係を示す図。
第２実施形態の情報処理方法の例を示すフローチャート。
第２実施形態のステップＳ１８における投票処理の例を示すフローチャート。
第２実施形態のステップＳ１８における確定処理の例を示すフローチャート。
第３実施形態の情報処理装置の機能構成の例を示す図。
第３実施形態の変形部の処理例を説明するための図。
第４実施形態の情報処理装置の機能構成の例を示す図。
第１乃至第５実施形態の情報処理装置のハードウェア構成の例を示す図。
【発明を実施するための形態】
【０００７】
以下に添付図面を参照して、プログラム、情報処理装置及び情報処理方法の実施形態を詳細に説明する。
【０００８】
（第１実施形態）
はじめに、ＶＱＡの概要について説明する。
【０００９】
図１はＶＱＡの例を示す概略図である。ＶＱＡは、任意の質問に応じて、画像から内容を判断し、回答するＡＩである。ＶＱＡの最大の特徴は、質問が自由形式の自然言語テキストで与えられることである。これにより、理論上、テキストで表現できる事柄ならば、あらゆることに対応できる汎用性の高さを持っている。
【００１０】
図２はＶＱＡを用いた画像解析システムの例を示す図である。解析対象の画像に対して、事前に準備された質問リストを適用することで、あらゆる画像を解析可能なシステムを構築できる。例えば、図２に示すように、危険検知をするシステム（注意喚起の自動化システム）、及び、テレビ映像解析をするシステム（任意シーンの自動抽出システム）等が構築できる。
（【００１１】以降は省略されています）

関連特許