特許ウォッチ

公開番号2024172255
公報種別公開特許公報(A)
公開日2024-12-12
出願番号2023089841
出願日2023-05-31
発明の名称プログラム、情報処理装置及び情報処理方法
出願人株式会社東芝
代理人弁理士法人酒井国際特許事務所
主分類G06F 16/53 20190101AFI20241205BHJP(計算;計数)
要約【課題】より精度の高いAI処理結果を得るためのプロンプトの調整を効率的に行う。
【解決手段】実施形態のプログラムは、コンピュータを、入力制御部とAI処理部と第1算出部と表示制御部として機能させる。入力制御部は、第1テキストと、前記第1テキストに応じた回答の期待値とを含むプロンプトの入力を受け付ける。AI処理部は、前記第1テキストと、少なくとも1つの画像とが入力されると、前記回答を出力するAI(Artificial Intelligence)モデルを使用して、前記少なくとも1つの画像毎に前記回答を予測する。第1算出部は、前記期待値と前記回答とから、前記回答の精度を算出する。表示制御部は、前記プロンプトと前記回答と前記精度とを少なくとも含む表示情報を表示装置に表示する。
【選択図】図2
特許請求の範囲【請求項１】
コンピュータを、
第１テキストと、前記第１テキストに応じた回答の期待値とを含むプロンプトの入力を受け付ける入力制御部と、
前記第１テキストと、少なくとも１つの画像とが入力されると、前記回答を出力するＡＩ（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）モデルを使用して、前記少なくとも１つの画像毎に前記回答を予測するＡＩ処理部と、
前記期待値と前記回答とから、前記回答の精度を算出する第１算出部と、
前記プロンプトと前記回答と前記精度とを少なくとも含む表示情報を表示装置に表示する表示制御部、
として機能させるためのプログラム。
続きを表示（約 1,700 文字）【請求項２】
前記ＡＩ処理部は、正例を示す少なくとも１つの正例画像と、負例を示す少なくとも１つの負例画像とを含む複数の画像の入力を受け付け、
前記表示情報は、前記少なくとも１つの正例画像毎の前記回答と、前記少なくとも１つの負例画像毎の前記回答とを含む、
請求項１に記載のプログラム。
【請求項３】
前記ＡＩモデルは、ＶＱＡ（Ｖｉｓｕａｌｑｕｅｓｔｉｏｎａｎｓｗｅｒｉｎｇ）タスクを処理し、
前記第１テキストは、前記複数の画像に対する質問であり、
前記回答の期待値は、前記質問の正解である、
請求項２に記載のプログラム。
【請求項４】
前記ＡＩモデルは、特定の特徴を有する画像を検索する画像検索タスクを処理し、
前記第１テキストは、前記特定の特徴を有する画像を検索するクエリであり、
前記回答の期待値は、前記正例画像に対しては前記特定の特徴を有する画像との第１類似度が閾値より高いことであり、前記負例画像に対しては前記特定の特徴を有する画像との前記第１類似度が前記閾値以下であることである、
請求項２に記載のプログラム。
【請求項５】
前記ＡＩモデルは、特定の領域を特定する画像接地タスクを処理し、
前記第１テキストは、前記特定の領域を表すクエリであり、
前記回答の期待値は、前記特定の領域の位置を示す座標である、
請求項１に記載のプログラム。
【請求項６】
前記コンピュータを、
前記少なくとも１つの画像と、前記少なくとも１つの画像に付随する第２テキストとをサンプルとして記憶するプロンプトデータセットから、前記第１テキストと前記第２テキストとの第２類似度が高い順にＫ個の前記サンプルを抽出する抽出部と、
前記Ｋ個のサンプルそれぞれについての前記第２類似度に基づき、前記第１テキストと前記プロンプトデータセットとの第３類似度を算出する第２算出部、
として更に機能させ、
前記表示情報は、前記第３類似度を更に含む、
請求項１乃至５のいずれか１項に記載のプログラム。
【請求項７】
前記コンピュータを、
前記少なくとも１つの画像と、前記少なくとも１つの画像に付随する第２テキストとをサンプルとして記憶するサンプル画像データセットから、前記第１テキストと前記第２テキストのとの第２類似度が高い順にＫ個の前記サンプルを抽出する抽出部と、
前記Ｋ個のサンプルそれぞれに含まれる前記第２テキストに基づき、提案テキストを生成する提案部、
として更に機能させ、
前記表示情報は、前記提案テキストを更に含む、
請求項１乃至５のいずれか１項に記載のプログラム。
【請求項８】
前記第１算出部は、前記第１テキストに含まれる単語に応じて、前記少なくとも１つの画像において前記ＡＩモデルによって注目される注目領域を可視化する処理を更に実行し、
前記表示情報は、前記単語の選択に応じて注目される注目領域を、前記少なくとも１つの画像毎に示す情報を更に含む、
請求項１乃至５のいずれか１項に記載のプログラム。
【請求項９】
前記第１算出部は、前記少なくとも１つの画像が処理されるときに、前記第１テキストに含まれる単語のうち、前記ＡＩモデルによって注目される注目単語を可視化する処理を更に実行し、
前記表示情報は、前記注目単語を、前記少なくとも１つの画像毎に示す情報を更に含む、
請求項１乃至５のいずれか１項に記載のプログラム。
【請求項１０】
前記コンピュータを、
前記第１テキストに基づき、ネットワークから前記少なくとも１つの画像を検索する検索部、
として更に機能させ、
前記表示情報は、前記少なくとも１つの画像の検索を指示するボタンと、検索された前記少なくとも１つの画像とを更に含む、
請求項１乃至５のいずれか１項に記載のプログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態はプログラム、情報処理装置及び情報処理方法に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
プロンプトに基づき、ＡＩ（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）に処理を実行させるプロンプトエンジニアリングが従来から知られている。例えば、画像及びテキストのペアによる大規模事前学習モデルＣＬＩＰ（ＩＣＭＬ２０２１）では、ユーザーにより与えられるプロンプトとの類似度によって任意のクラス識別ができる。プロンプトの与え方によって精度が変わるため、手作業によりプロンプトの調整が行われている。
【先行技術文献】
【非特許文献】
【０００３】
Ａ．Ｒａｄｆｏｒｄｅｔａｌ．，“ＬｅａｒｎｉｎｇＴｒａｎｓｆｅｒａｂｌｅＶｉｓｕａｌＭｏｄｅｌｓＦｒｏｍＮａｔｕｒａｌＬａｎｇｕａｇｅＳｕｐｅｒｖｉｓｉｏｎ”，ＩＣＭＬ２０２１，２０２１
Ｒ．Ｒ．Ｓｅｌｖａｒａｊｕｅｔａｌ，”Ｇｒａｄ－ＣＡＭ：ＶｉｓｕａｌＥｘｐｌａｎａｔｉｏｎｓｆｒｏｍＤｅｅｐＮｅｔｗｏｒｋｓｖｉａＧｒａｄｉｅｎｔ－ｂａｓｅｄＬｏｃａｌｉｚａｔｉｏｎ”，ＩＣＣＶ２０１７，２０１７
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、より精度の高いＡＩ処理結果を得るためのプロンプトの調整を効率的に行うことが難しかった。
【課題を解決するための手段】
【０００５】
実施形態のプログラムは、コンピュータを、入力制御部とＡＩ処理部と第１算出部と表示制御部として機能させる。入力制御部は、第１テキストと、前記第１テキストに応じた回答の期待値とを含むプロンプトの入力を受け付ける。ＡＩ処理部は、前記第１テキストと、少なくとも１つの画像とが入力されると、前記回答を出力するＡＩ（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）モデルを使用して、前記少なくとも１つの画像毎に前記回答を予測する。第１算出部は、前記期待値と前記回答とから、前記回答の精度を算出する。表示制御部は、前記プロンプトと前記回答と前記精度とを少なくとも含む表示情報を表示装置に表示する。
【図面の簡単な説明】
【０００６】
第１実施形態の情報処理装置の機能構成の例を示す図。
第１実施形態の表示情報の例を示す図。
悪いプロンプトの例を説明するための図。
良いプロンプトの例を説明するための図。
第１実施形態の情報処理方法の例を示すフローチャート。
第１実施形態の変形例１の情報処理装置の機能構成の例を示す図。
第１実施形態の変形例２の情報処理装置の機能構成の例を示す図。
第２実施形態の情報処理装置の機能構成の例を示す図。
第２実施形態の類似度の算出例を示す図。
第２実施形態の表示情報の例を示す図。
第３実施形態の情報処理装置の機能構成の例を示す図。
第３実施形態の質問の候補の提案例を示す図。
第３実施形態の表示情報の例を示す図。
第４実施形態の情報処理装置の機能構成の例を示す図。
第４実施形態の表示情報の例１（画像側で可視化される場合）を示す図。
第４実施形態の表示情報の例２（テキスト側で可視化される場合）を示す図。
第５実施形態の情報処理装置の機能構成の例を示す図。
第５実施形態の表示情報の例１を示す図。
第５実施形態の表示情報の例２を示す図。
第６実施形態の情報処理装置の機能構成の例を示す図。
第６実施形態の表示情報の例を示す図。
第７実施形態の情報処理装置の機能構成の例を示す図。
第１乃至第７実施形態の情報処理装置のハードウェア構成の例を示す図。
【発明を実施するための形態】
【０００７】
以下に添付図面を参照して、プログラム、情報処理装置及び情報処理方法の実施形態を詳細に説明する。
【０００８】
（第１実施形態）
Ｖｉｓｕａｌｑｕｅｓｔｉｏｎａｎｓｗｅｒｉｎｇ（ＶＱＡ）を用いた画像検知、及び、テキストによる画像検索などにおいて、どのようなプロンプトを用いるのかは精度に直結する。第１実施形態では、より良いプロンプトを導くためのプロンプト調整をサポートするＵＩ（ＵｓｅｒＩｎｔｅｒｆａｃｅ）の例について説明する。
【０００９】
［機能構成の例］
図１は第１実施形態の情報処理装置１の機能構成の例を示す図である。第１実施形態の情報処理装置１は、入力制御部１１、ＡＩ処理部１２、算出部１３及び表示制御部１４を備える。
【００１０】
入力制御部１１は、プロンプトの入力を受け付ける。プロンプトとは、画像及び言語等を処理するＡＩに入力されるテキストである。例えば、プロンプトは、ＡＩへの指示である。具体的には、ＶＱＡの場合は、プロンプトは、画像を検知するＡＩに与える質問（第１テキスト）と、その期待値とを含む。
（【００１１】以降は省略されています）

関連特許