特許ウォッチ

公開番号2025098533
公報種別公開特許公報(A)
公開日2025-07-02
出願番号2023214731
出願日2023-12-20
発明の名称キャプション生成装置、キャプション生成方法およびプログラム
出願人横河電機株式会社
代理人弁理士法人RYUKA国際特許事務所
主分類G06V 20/70 20220101AFI20250625BHJP(計算;計数)
要約【課題】プラント内を撮像した画像から、撮像された対照を説明するキャプションを生成するキャプション生成装置、キャプション生成方法およびプログラムを提供する。
【解決手段】キャプション生成装置100は、プラント内で撮像された画像を取得する画像取得部110と、画像に撮像された対象の特徴を表す複数の語を抽出する語抽出部120と、複数の語のうち、撮像された対象と同一の対象を撮像した過去画像から抽出された頻度がより低い語に、より大きな重みを付ける重み付け部130と、複数の語と、複数の語のそれぞれの重みとに基づいて、撮像された対象を説明するキャプションを生成するキャプション生成部140と、を備える。キャプション生成部140は、複数の語のうち重みがより高い語をより優先して用いてキャプションを生成する。
【選択図】図2
特許請求の範囲【請求項１】
プラント内で撮像された画像を取得する画像取得部と、
前記画像に撮像された対象の特徴を表す複数の語を抽出する語抽出部と、
前記複数の語のうち、撮像された前記対象と同一の対象を撮像した過去画像から抽出された頻度がより低い語に、より大きな重みを付ける重み付け部と、
前記複数の語と、前記複数の語のそれぞれの前記重みとに基づいて、撮像された前記対象を説明するキャプションを生成するキャプション生成部と
を備えるキャプション生成装置。
続きを表示（約 1,200 文字）【請求項２】
前記キャプション生成部は、前記複数の語のうち前記重みがより大きい語をより優先して用いて前記キャプションを生成する、
請求項１に記載のキャプション生成装置。
【請求項３】
前記キャプション生成部は、生成した前記キャプションに、前記複数の語のうちキャプション生成に用いた少なくとも１つの語の前記重みに応じた優先度を付与する、
請求項２に記載のキャプション生成装置。
【請求項４】
前記語抽出部は、前記画像から抽出する前記複数の語のそれぞれに尤度を付与し、
前記キャプション生成部は、前記複数の語と、前記複数の語のそれぞれの前記尤度および前記重みとに基づいて、前記キャプションを生成する、
請求項１に記載のキャプション生成装置。
【請求項５】
前記キャプション生成部は、前記複数の語のうち、前記尤度がより高く、且つ、前記重みがより大きい語をより優先して用いて前記キャプションを生成する、
請求項４に記載のキャプション生成装置。
【請求項６】
前記キャプション生成部は、前記複数の語のうち、前記尤度および前記重みの積算値がより大きい語をより優先して用いて前記キャプションを生成する、
請求項４に記載のキャプション生成装置。
【請求項７】
前記キャプション生成部は、前記複数の語のうち、前記尤度が予め定められた尤度閾値より大きく、且つ、前記重みが予め定められた重み閾値より大きい語を用いて前記キャプションを生成する、
請求項４に記載のキャプション生成装置。
【請求項８】
前記キャプション生成部は、生成した前記キャプションに、前記複数の語のうちキャプション生成に用いた少なくとも１つの語の前記尤度および前記重みに応じた優先度を付与する、
請求項５から７の何れか一項に記載のキャプション生成装置。
【請求項９】
前記キャプション生成部は、キャプション生成に用いた複数の語の組合せの前記尤度が予め定められた第２尤度閾値より低い場合、撮像された前記対象を再撮像する指示を含む前記キャプションを出力する、
請求項５から７の何れか一項に記載のキャプション生成装置。
【請求項１０】
前記プラント内の事故事例集、事故対応マニュアル、および、メンテナンス履歴の少なくとも何れかに含まれる文を例文として複数記憶する記憶部を更に備え、
前記キャプション生成部は、前記記憶部に記憶された複数の前記例文の中から、抽出された前記複数の語の少なくとも何れかを用いて検索することにより少なくとも１つの前記例文を抽出し、前記複数の語と、前記複数の語のそれぞれの前記重みと、前記抽出した例文とに基づいて前記キャプションを生成する、
請求項１に記載のキャプション生成装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、キャプション生成装置、キャプション生成方法およびプログラムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
特許文献１には、「カテゴリ推定部２２３は、入力データから抽出されたキーワードが辞書ＤＢ２３１に登録されていない特異キーワードであり、且つ入力データに画像又は音声が含まれる場合、入力データに含まれる画像又は音声と、事例ＤＢ２３２とに基づいて、特異キーワードに対応するカテゴリを推定する。」（段落００４９）、「カテゴリ推定部２２３によりカテゴリが推定された場合、ＤＢ更新部２２２は、カテゴリ推定部２２３により推定されたカテゴリと対応付けて、入力データを事例ＤＢ２３２に登録する。すなわち、ＤＢ更新部２２２は、入力データに対して意味づけを行ったうえで、入力データを蓄積する。」（段落００５１）と記載されている。特許文献２には、「ＧＰＳにより特定される位置情報を入手し、プラント職員に現在の点検箇所を表示し、備え付けのカメラにより撮影された画像データを…蓄積・解析し、過去の機器状態や異常事例等からプラント機器に異常の兆候があるか判断を行い、同時に予め設定されたフォーマット・文面を使用し、定期点検の報告書を画像データより自動的に作成する」（段落００５３）と記載されている。特許文献３には、「前記作業対象のプラント設備機器および当該プラント設備機器の周辺に存在する配管を前記カメラで撮影して得られる画像から、前記配管に関する情報を第１の特徴量として取得する特徴量取得部と、前記第１の特徴量と、設計データから取得される前記配管に関する第２の特徴量とを比較する特徴量比較部と、を備える」（請求項１）と記載されている。特許文献４には、「異常メール作成機能１０２は、異常監視機能１０１がプラント異常を検知したときに起動するものであり、異常と検知された日時、該当プラント機器名、異常内容等の監視員に早期に連絡すべき事項を文章化してメール送信文を作成する」（段落００１９）と記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０２０－１０２１０１号公報
［特許文献２］特許第６０９９９８９号
［特許文献３］特許第６８２６５０９号
［特許文献４］特開２００３－５１８９５号公報
【発明の概要】
【０００３】
本発明の第１の態様においては、キャプション生成装置を提供する。キャプション生成装置は、プラント内で撮像された画像を取得する画像取得部と、前記画像に撮像された対象の特徴を表す複数の語を抽出する語抽出部と、前記複数の語のうち、撮像された前記対象と同一の対象を撮像した過去画像から抽出された頻度がより低い語に、より大きな重みを付ける重み付け部と、前記複数の語と、前記複数の語のそれぞれの前記重みとに基づいて、撮像された前記対象を説明するキャプションを生成するキャプション生成部とを備える。
【０００４】
上記のキャプション生成装置において、前記キャプション生成部は、前記複数の語のうち前記重みがより大きい語をより優先して用いて前記キャプションを生成してもよい。
【０００５】
上記の何れかのキャプション生成装置において、前記キャプション生成部は、生成した前記キャプションに、前記複数の語のうちキャプション生成に用いた少なくとも１つの語の前記重みに応じた優先度を付与してもよい。
【０００６】
上記の何れかのキャプション生成装置において、前記語抽出部は、前記画像から抽出する前記複数の語のそれぞれに尤度を付与してもよい。上記の何れかのキャプション生成装置において、前記キャプション生成部は、前記複数の語と、前記複数の語のそれぞれの前記尤度および前記重みとに基づいて、前記キャプションを生成してもよい。
【０００７】
上記の何れかのキャプション生成装置において、前記キャプション生成部は、前記複数の語のうち、前記尤度がより高く、且つ、前記重みがより大きい語をより優先して用いて前記キャプションを生成してもよい。
【０００８】
上記の何れかのキャプション生成装置において、前記キャプション生成部は、前記複数の語のうち、前記尤度および前記重みの積算値がより大きい語をより優先して用いて前記キャプションを生成してもよい。
【０００９】
上記の何れかのキャプション生成装置において、前記キャプション生成部は、前記複数の語のうち、前記尤度が予め定められた尤度閾値より大きく、且つ、前記重みが予め定められた重み閾値より大きい語を用いて前記キャプションを生成してもよい。
【００１０】
上記の何れかのキャプション生成装置において、前記キャプション生成部は、生成した前記キャプションに、前記複数の語のうちキャプション生成に用いた少なくとも１つの語の前記尤度および前記重みに応じた優先度を付与してもよい。
（【００１１】以降は省略されています）

関連特許