特許ウォッチ

公開番号2025098510
公報種別公開特許公報(A)
公開日2025-07-02
出願番号2023214687
出願日2023-12-20
発明の名称キャプション生成装置、キャプション生成方法およびプログラム
出願人横河電機株式会社
代理人弁理士法人RYUKA国際特許事務所
主分類G05B 23/02 20060101AFI20250625BHJP(制御;調整)
要約【課題】本発明は、キャプション生成装置、キャプション生成方法およびプログラムに関する。
【解決手段】プラント内で撮像された画像を取得する画像取得部と、画像に撮像された対象の特徴を表す複数の語を抽出する語抽出部と、ユーザの特性を示す特性情報を取得する特性情報取得部と、特性情報と、複数の語とに基づいて、撮像された対象を特性情報に応じて説明するキャプションを生成するキャプション生成部とを備えるキャプション生成装置を提供する。特性情報は、画像を撮像する撮像者の特性、および、生成されたキャプションを用いた報告を受ける管理者の特性、の少なくとも何れかを示してもよい。
【選択図】図1
特許請求の範囲【請求項１】
プラント内で撮像された画像を取得する画像取得部と、
前記画像に撮像された対象の特徴を表す複数の語を抽出する語抽出部と、
ユーザの特性を示す特性情報を取得する特性情報取得部と、
前記特性情報と、前記複数の語とに基づいて、撮像された前記対象を前記特性情報に応じて説明するキャプションを生成するキャプション生成部と
を備えるキャプション生成装置。
続きを表示（約 1,600 文字）【請求項２】
前記ユーザの特性は、前記画像を撮像する撮像者の特性、および、生成された前記キャプションを用いた報告を閲覧する閲覧者の特性、の少なくとも何れかを含む、
請求項１に記載のキャプション生成装置。
【請求項３】
前記ユーザの特性は、前記ユーザの役割の種別を含む、
請求項１に記載のキャプション生成装置。
【請求項４】
前記役割の種別は、前記プラントの管理者、前記プラント内の設備の監視員、前記プラント内の設備の保守員、および、前記プラント内の異常に対処する復旧作業員、の少なくとも何れかを含む、
請求項３に記載のキャプション生成装置。
【請求項５】
前記役割の種別は、前記プラント内の特定の対象に関連し、
前記キャプション生成部は、前記特性情報に示される前記ユーザの前記役割の種別に関連する前記特定の対象以外の対象において異常が発生している場合、前記特性情報に示される前記特定の対象において異常が発生している場合に生成される前記キャプションと異なる前記キャプションを生成する、
請求項４に記載のキャプション生成装置。
【請求項６】
前記ユーザのユーザＩＤと前記役割の種別とを関連付けて記憶する記憶部を更に備え、
前記特性情報取得部は、前記ユーザＩＤを取得したことに応じて、前記ユーザＩＤに関連付けられている前記役割の種別を抽出する、
請求項３に記載のキャプション生成装置。
【請求項７】
前記役割の種別と、前記プラント内の対象の状態を示す状態情報とを関連付けて記憶する記憶部を更に備え、
前記特性情報取得部は、前記特性情報を取得すると共に、前記特性情報に示される前記役割の種別に関連付けられている前記状態情報を抽出し、
前記キャプション生成部は、前記特性情報と、前記複数の語と、前記状態情報とに基づいて、撮像された前記対象を前記特性情報および前記状態情報に応じて説明する前記キャプションを生成する、
請求項３に記載のキャプション生成装置。
【請求項８】
前記役割の種別と、前記プラント内の対象の状態を示す状態情報とを関連付けて記憶する記憶部を更に備え、
前記特性情報取得部は、前記特性情報を取得すると共に、前記特性情報に示される前記役割の種別に関連付けられている前記状態情報を抽出し、
前記キャプション生成部は、
予め定められた複数の前記役割の種別のそれぞれについて、前記特性情報と、前記複数の語とに基づいて、撮像された前記対象を、前記特性情報、および、前記役割の種別に対応する前記状態情報に応じて説明する前記キャプションを生成し、
前記特性情報取得部が抽出した前記状態情報に基づいて、前記複数の役割の種別について生成した複数の前記キャプションから少なくとも１つのキャプションを選択して出力する、
請求項３に記載のキャプション生成装置。
【請求項９】
前記状態情報は、前記対象の位置情報、前記対象の劣化状態を示す劣化情報、前記対象である配管の内部を流れる流体の成分または状態を示す流体情報、および、前記対象である配管の上流側または下流側に位置する機器に関連する機器情報、の少なくとも何れかを含む、
請求項７または８に記載のキャプション生成装置。
【請求項１０】
前記語抽出部は、前記画像から抽出する前記複数の語のそれぞれに、前記特性情報に応じた尤度を付与し、
前記キャプション生成部は、前記特性情報、および、前記複数の語に基づいて、前記複数の語のうち前記尤度がより高い語をより優先して用いて前記キャプションを生成する、
請求項１に記載のキャプション生成装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、キャプション生成装置、キャプション生成方法およびプログラムに関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
特許文献１には、「未熟作業者や現場作業者が実際に切削装置２００を用いて工作物Ｗを切削加工した際に異常（不良）が発生した場合の映像や振動を電子データ化して第二情報として入力することにより、回答として文字、数値及び記号を含む所定の形式で記述された加工条件を第一情報として出力することができる。」（段落０１１９）と記載されている。特許文献２には、「ＧＰＳにより特定される位置情報を入手し、プラント職員に現在の点検箇所を表示し、備え付けのカメラにより撮影された画像データを…蓄積・解析し、過去の機器状態や異常事例等からプラント機器に異常の兆候があるか判断を行い、同時に予め設定されたフォーマット・文面を使用し、定期点検の報告書を画像データより自動的に作成する」（段落００５３）と記載されている。特許文献３には、「前記作業対象のプラント設備機器および当該プラント設備機器の周辺に存在する配管を前記カメラで撮影して得られる画像から、前記配管に関する情報を第１の特徴量として取得する特徴量取得部と、前記第１の特徴量と、設計データから取得される前記配管に関する第２の特徴量とを比較する特徴量比較部と、を備える」（請求項１）と記載されている。特許文献４には、「異常メール作成機能１０２は、異常監視機能１０１がプラント異常を検知したときに起動するものであり、異常と検知された日時、該当プラント機器名、異常内容等の監視員に早期に連絡すべき事項を文章化してメール送信文を作成する」（段落００１９）と記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０２０－１７７５４７号公報
［特許文献２］特許第６０９９９８９号
［特許文献３］特許第６８２６５０９号
［特許文献４］特開２００３－５１８９５号公報
【発明の概要】
【０００３】
本発明の第１の態様においては、キャプション生成装置を提供する。キャプション生成装置は、プラント内で撮像された画像を取得する画像取得部と、前記画像に撮像された対象の特徴を表す複数の語を抽出する語抽出部と、ユーザの特性を示す特性情報を取得する特性情報取得部と、前記特性情報と、前記複数の語とに基づいて、撮像された前記対象を前記特性情報に応じて説明するキャプションを生成するキャプション生成部とを備える。
【０００４】
上記のキャプション生成装置において、前記ユーザの特性は、前記画像を撮像する撮像者の特性、および、生成された前記キャプションを用いた報告を閲覧する閲覧者の特性、の少なくとも何れかを含んでもよい。
【０００５】
上記の何れかのキャプション生成装置において、前記ユーザの特性は、前記ユーザの役割の種別を含んでもよい。
【０００６】
上記の何れかのキャプション生成装置において、前記役割の種別は、前記プラントの管理者、前記プラント内の設備の監視員、前記プラント内の設備の保守員、および、前記プラント内の異常に対処する復旧作業員、の少なくとも何れかを含んでもよい。
【０００７】
上記の何れかのキャプション生成装置において、前記役割の種別は、前記プラント内の特定の対象に関連してもよい。上記の何れかのキャプション生成装置において、前記キャプション生成部は、前記特性情報に示される前記ユーザの前記役割の種別に関連する前記特定の対象以外の対象において異常が発生している場合、前記特性情報に示される前記特定の対象において異常が発生している場合に生成される前記キャプションと異なる前記キャプションを生成してもよい。
【０００８】
上記の何れかのキャプション生成装置は、前記ユーザのユーザＩＤと前記役割の種別とを関連付けて記憶する記憶部を更に備えてもよい。上記の何れかのキャプション生成装置において、前記特性情報取得部は、前記ユーザＩＤを取得したことに応じて、前記ユーザＩＤに関連付けられている前記役割の種別を抽出してもよい。
【０００９】
上記の何れかのキャプション生成装置は、前記役割の種別と、前記プラント内の対象の状態を示す状態情報とを関連付けて記憶する記憶部を更に備えてもよい。上記の何れかのキャプション生成装置において、前記特性情報取得部は、前記特性情報を取得すると共に、前記特性情報に示される前記役割の種別に関連付けられている前記状態情報を抽出し、前記キャプション生成部は、前記特性情報と、前記複数の語と、前記状態情報とに基づいて、撮像された前記対象を前記特性情報および前記状態情報に応じて説明する前記キャプションを生成してもよい。
【００１０】
上記の何れかのキャプション生成装置は、前記役割の種別と、前記プラント内の対象の状態を示す状態情報とを関連付けて記憶する記憶部を更に備えてもよい。上記の何れかのキャプション生成装置において、前記特性情報取得部は、前記特性情報を取得すると共に、前記特性情報に示される前記役割の種別に関連付けられている前記状態情報を抽出してもよい。上記の何れかのキャプション生成装置において、前記キャプション生成部は、予め定められた複数の前記役割の種別のそれぞれについて、前記特性情報と、前記複数の語とに基づいて、撮像された前記対象を、前記特性情報、および、前記役割の種別に対応する前記状態情報に応じて説明する前記キャプションを生成し、前記特性情報取得部が抽出した前記状態情報に基づいて、前記複数の役割の種別について生成した複数の前記キャプションから少なくとも１つのキャプションを選択して出力してもよい。
（【００１１】以降は省略されています）

関連特許