特許ウォッチ

公開番号2025135471
公報種別公開特許公報(A)
公開日2025-09-18
出願番号2024033342
出願日2024-03-05
発明の名称情報処理装置及び情報処理プログラム
出願人ソフトバンク株式会社,学校法人明星学苑
代理人弁理士法人酒井国際特許事務所
主分類G06F 40/253 20200101AFI20250910BHJP(計算;計数)
要約【課題】的確な内容の画像キャプションを生成しつつ、画像キャプションに含まれる情報量の低下を防ぐことを可能とする。
【解決手段】本願に係る情報処理装置は、入力した対象画像について対象画像の内容を説明する文章である対象キャプションを機械学習モデルを用いて取得する取得部と、対象キャプションの的確さを評価する評価値および対象キャプションの長さを示す文長値を算出する算出部と、評価値および文長値に基づく報酬値を設定することにより強化学習された機械学習モデルを生成するモデル生成部と、を備える。
【選択図】図6
特許請求の範囲【請求項１】
入力した対象画像について前記対象画像の内容を説明する文章である対象キャプションを機械学習モデルを用いて取得する取得部と、
前記対象キャプションの的確さを評価する評価値および前記対象キャプションの長さを示す文長値を算出する算出部と、
前記評価値および前記文長値に基づく報酬値を設定することにより強化学習された前記機械学習モデルを生成するモデル生成部と、
を備える情報処理装置。
続きを表示（約 880 文字）【請求項２】
前記取得部は、
探索法により生成された前記対象キャプションである探索キャプションを取得し、
前記算出部は、
前記探索キャプションの前記評価値である探索評価値および前記探索キャプションの前記文長値である探索文長値を算出し、
前記モデル生成部は、
前記探索評価値および前記探索文長値に基づく前記報酬値を設定することにより強化学習された前記機械学習モデルを生成する、
請求項１に記載の情報処理装置。
【請求項３】
前記算出部は、
正解キャプションと前記対象キャプションとの類似度に基づく前記評価値を算出する、
請求項１に記載の情報処理装置。
【請求項４】
前記算出部は、
前記対象キャプションのCIDEr（Consensus-based Image Description Evaluation）スコアである前記評価値を算出する、
請求項１に記載の情報処理装置。
【請求項５】
前記算出部は、
前記対象キャプションに含まれるトークンの列の長さに基づく前記文長値を算出する、
請求項１に記載の情報処理装置。
【請求項６】
前記モデル生成部によって生成された前記機械学習モデルを用いて、処理対象の画像から前記処理対象の画像に対応する画像キャプションを生成する文章生成部をさらに備える
請求項１に記載の情報処理装置。
【請求項７】
入力した対象画像について前記対象画像の内容を説明する文章である対象キャプションを機械学習モデルを用いて取得する取得手順と、
前記対象キャプションの的確さを評価する評価値および前記対象キャプションの長さを示す文長値を算出する算出手順と、
前記評価値および前記文長値に基づく報酬値を設定することにより強化学習された前記機械学習モデルを生成するモデル生成手順と、
をコンピュータに実行させる情報処理プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置及び情報処理プログラムに関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
従来、画像から画像の内容を説明する文章である画像キャプションを生成する技術が知られている。例えば、画像から画像キャプションを生成する機械学習モデル（以下、「キャプション生成モデル」と記載する場合がある。）を用いて、画像から画像キャプションを生成する技術が知られている。
【０００３】
また、キャプション生成モデルによって生成された画像キャプションの的確さを評価する評価値としてCIDEr（Consensus-based Image Description Evaluation）スコアが知られている。また、CIDErスコアを向上させるための学習手法として、強化学習の一種であるSCST（Self-critical Sequence Training for Image Captioning）が知られている。
【先行技術文献】
【非特許文献】
【０００４】
Steven J. Rennie, Etienne Marcheret1, Youssef Mroueh, Jerret Ross and Vaibhava Goel, "Self-critical Sequence Training for Image Captioning", CVPR 2017, 2017年, ［令和６年２月１５日検索］, インターネット＜URL：https://openaccess.thecvf.com/content_cvpr_2017/papers/Rennie_Self-Critical_Sequence_Training_CVPR_2017_paper.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の従来技術では、画像キャプションの長さが短くなる傾向がある。したがって、上記の従来技術では、的確な内容の画像キャプションを生成しつつ、画像キャプションに含まれる情報量の低下を防ぐことを可能とすることができるとは限らない。
【０００６】
本願は、的確な内容の画像キャプションを生成しつつ、画像キャプションに含まれる情報量の低下を防ぐことを可能とすることができる情報処理装置及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本願に係る情報処理装置は、入力した対象画像について前記対象画像の内容を説明する文章である対象キャプションを機械学習モデルを用いて取得する取得部と、前記対象キャプションの的確さを評価する評価値および前記対象キャプションの長さを示す文長値を算出する算出部と、前記評価値および前記文長値に基づく報酬値を設定することにより強化学習された前記機械学習モデルを生成するモデル生成部と、を備える。
【発明の効果】
【０００８】
実施形態の一態様によれば、的確な内容の画像キャプションを生成しつつ、画像キャプションに含まれる情報量の低下を防ぐことを可能とすることができる。
【図面の簡単な説明】
【０００９】
図１は、貪欲法による画像キャプションの生成処理について説明するための図である。
図２は、探索法による画像キャプションの生成処理について説明するための図である。
図３は、実施形態に係る視覚言語モデルの学習方法について説明するための図である。
図４は、実施形態に係る情報処理装置の構成例を示す図である。
図５は、実施形態に係る文長値の算出方法について説明するための図である。
図６は、実施形態に係る情報処理装置による情報処理の手順を示すフローチャートである。
図７は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【００１０】
以下に、本願に係る情報処理装置及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
（【００１１】以降は省略されています）

関連特許