特許ウォッチ

公開番号2025086200
公報種別公開特許公報(A)
公開日2025-06-06
出願番号2023200103
出願日2023-11-27
発明の名称生成装置、生成方法、および生成プログラム
出願人株式会社日立製作所
代理人藤央弁理士法人
主分類G06N 20/00 20190101AFI20250530BHJP(計算;計数)
要約【課題】二つの異なる条件で得られるそれぞれの信号から、条件の変化によって信号間で何が変わったのかを自然言語で説明可能に学習すること。
【解決手段】プログラムを実行するプロセッサと、プログラムを記憶する記憶デバイスと、を有する生成装置は、第1状態の変化前を示す第1事前信号と、第1状態の変化後を示す第1事後信号と、変化前後の状態を文字列で説明する第1説明文と、を有するデータベースにアクセス可能であり、プロセッサは、第1事前信号に関する特徴量、第1事後信号に関する特徴量、および、第1事前信号に関する特徴量と第1事後信号に関する特徴量との第1差分を結合した第1結合データを生成する第1結合処理と、第1結合処理によって生成された第1結合データと、第1説明文と、に基づいて、第1状態の変化前後を示す文字列を生成する生成モデルを学習する学習処理と、を実行する。
【選択図】図2
特許請求の範囲【請求項１】
プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する生成装置であって、
第１状態の変化前を示す第１事前信号と、前記第１状態の変化後を示す第１事後信号と、変化前後の状態を文字列で説明する第１説明文と、を有するデータベースにアクセス可能であり、
前記プロセッサは、
前記第１事前信号に関する特徴量、前記第１事後信号に関する特徴量、および、前記第１事前信号に関する特徴量と前記第１事後信号に関する特徴量との第１差分を結合した第１結合データを生成する第１結合処理と、
前記第１結合処理によって生成された第１結合データと、前記第１説明文と、に基づいて、前記第１状態の変化前後を示す文字列を生成する生成モデルを学習する学習処理と、
を実行することを特徴とする生成装置。
続きを表示（約 2,000 文字）【請求項２】
請求項１に記載の生成装置であって、
前記プロセッサは、
信号を符号化して前記信号に関する特徴量を出力する符号化モデルに、前記第１事前信号および前記第１事後信号をそれぞれ入力することにより、前記第１事前信号に関する特徴量、前記第１事後信号に関する特徴量を出力する第１符号化処理を実行し、
前記第１結合処理では、前記プロセッサは、前記第１符号化処理によって出力された前記第１事前信号に関する特徴量、前記第１符号化処理によって出力された前記第１事後信号に関する特徴量、および、前記第１結合データを生成する、
ことを特徴とする生成装置。
【請求項３】
請求項２に記載の生成装置であって、
前記プロセッサは、
特徴量を入力すると可変長テキストを出力する復号モデルに、前記第１結合データを入力することにより、前記第１事前信号と前記第１事後信号との差に基づく第１復号説明文を出力する第１復号処理を実行し、
前記学習処理では、前記プロセッサは、前記第１説明文と、前記第１復号処理によって出力された第１復号説明文と、に基づいて、前記符号化モデルおよび前記復号モデルである前記生成モデルを学習する、
ことを特徴とする生成装置。
【請求項４】
請求項１に記載の生成装置であって、
前記プロセッサは、
前記第１説明文の中の特定の文字列に基づいて複数のサブワードを生成し、前記第１説明文を複数通り生成するサブワード化処理を実行し、
前記学習処理では、前記プロセッサは、前記第１結合データと、前記サブワード化処理によって生成された複数通りの前記第１説明文と、に基づいて、前記生成モデルを学習する、
ことを特徴とする生成装置。
【請求項５】
請求項１に記載の生成装置であって、
前記プロセッサは、
第２状態の変化前を示す第２事前信号に関する特徴量、前記第２状態の変化後を示す第２事後信号に関する特徴量、および、前記第２事前信号に関する特徴量と前記第２事後信号に関する特徴量との第２差分を結合した第２結合データを生成する第２結合処理と、
前記第２結合処理によって生成された第２結合データを前記生成モデルに入力することにより、前記第２状態の変化前後を示す文字列を生成する生成処理と、
を実行することを特徴とする生成装置。
【請求項６】
請求項５に記載の生成装置であって、
前記プロセッサは、
信号を符号化して前記信号に関する特徴量を出力する符号化モデルに、前記第２事前信号および前記第２事後信号をそれぞれ入力することにより、前記第２事前信号に関する特徴量、前記第２事後信号に関する特徴量を出力する第２符号化処理を実行し、
前記第２結合処理では、前記プロセッサは、前記第２符号化処理によって出力された前記第２事前信号に関する特徴量、前記第２符号化処理によって出力された前記第２事後信号に関する特徴量、および、前記第２結合データを生成する、
ことを特徴とする生成装置。
【請求項７】
請求項６に記載の生成装置であって、
前記プロセッサは、
特徴量を入力すると可変長テキストを出力する復号モデルに、前記第２結合データを入力することにより、前記第２事前信号と前記第２事後信号との差に基づく第２復号説明文を前記第２状態の変化前後を示す文字列として出力する第２復号処理を実行する、
ことを特徴とする生成装置。
【請求項８】
請求項１に記載の生成装置であって、
前記第１説明文は、前記変化前後の状態として、前記変化前後のオノマトペを含む、
ことを特徴とする生成装置。
【請求項９】
請求項１に記載の生成装置であって、
前記データベースは、複数の前記第１事前信号を有する事前集合と、複数の前記第１事後信号を有する事後集合と、を記憶し、
前記第１結合処理では、前記プロセッサは、前記事前集合および前記事後集合から前記第１事前信号および前記第１事後信号の組み合わせを繰り返し選択し、選択された前記第１事前信号および前記第１事後信号の組み合わせごとに前記第１結合データを生成する、
ことを特徴とする生成装置。
【請求項１０】
請求項１に記載の生成装置であって、
前記データベースは、複数種類の前記第１事前信号および前記第１事後信号を記憶し、
前記第１結合処理では、前記プロセッサは、前記複数種類の種類ごとに前記第１結合データを生成し、
前記学習処理では、前記プロセッサは、前記種類ごとに、前記生成モデルを学習する、
ことを特徴とする生成装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、文字列の生成する生成装置、生成方法、および生成プログラムに関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
二つの異なる条件で得られるそれぞれの信号から、条件の変化によって信号の何が変わったのかを自然言語で説明する文字列を生成することは重要である。たとえば、設備や機械の異常やその予兆を稼動音から自動的に検知することが行われる。しかし、その異常や予兆の有無だけの提示では、その後の人手での詳細点検でどこに着目すればよいかが分からず、工数を要する。
【０００３】
それに対して、過去に計測された正常時の音と現在の異常と判定した音とがどのように違うのかまで自動的に、分かりやすく自然言語で提示できれば、点検者ユーザによる詳細点検の手掛かりとなり、工数はさらに削減される。
【０００４】
下記非特許文献１は、二つの光学画像に対して、その二つの画像の間で何が変わったのかを自然言語で説明する文字列生成方法を開示する。この非特許文献１には、「We present a novel Dual Dynamic Attention Model (DUDA) to perform robust Change Captioning. Our model learns to distinguish distractors from semantic changes, localize the changes via Dual Attention over “before” and “after” images, and accurately describe them in natural language via Dynamic Speaker, by adaptively focusing on the necessary visual inputs (e.g. “before” or “after” image).」と記載されている。
【先行技術文献】
【非特許文献】
【０００５】
Dong Huk Park, Trevor Darrell, and Anna Rohrbach, “Robust Change Captioning,” in arxiv, 17 April 2019.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１においては、光学画像が対象であるため、物体移動等、限られた画素領域での局所的変化を主な検知対象としている。したがって、何が着目すべき変化であるかは画像から比較的明らかである。ところで、訓練データは、変化前後の二つの画像に対してアノテータと呼ばれる人間が人手で正解となる説明文字列を付与することで作成する。光学画像の場合、上記のとおり着目すべき変化が比較的明らかであるためアノテータは適切な説明文字列を付与することができる。ゆえに、適切な訓練データを作成でき、その訓練データに基づいて文字列生成の生成モデルを訓練できるので、精度の良い文字列生生成が実現できる。
【０００７】
しかし、一般の信号を対象とする場合、特に、設備や機械などの音や振動では、その成分は、時間周波数上、局所的に限られたものではなく、その変化も音量の大小、音程の高低、音源の新たな発生や消滅など、いずれも信号成分全体にわたるものである。変化前後の信号の間で無数の変化があるため、何が着目すべき変化であるかは明らかではない。そのため、無数の変化の中で何に着目すればよいかを分かっているアノテータでない限り、望ましい説明文を付与することはできない。ゆえに、適切な訓練データを作成できず、その訓練データに基づいて文字列生成の生成モデルを訓練しても、精度の良い文字列生生成は実現できない。
【０００８】
本発明は、二つの異なる条件で得られるそれぞれの信号から、条件の変化によって信号間で何が変わったのかを自然言語で説明可能に学習することを目的とする。また、本発明は、二つの異なる条件で得られるそれぞれの信号から、条件の変化によって信号間で何が変わったのかを自然言語で説明することを目的とする。
【課題を解決するための手段】
【０００９】
本願において開示される発明の一側面となる生成装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する生成装置であって、第１状態の変化前を示す第１事前信号と、前記第１状態の変化後を示す第１事後信号と、変化前後の状態を文字列で説明する第１説明文と、を有するデータベースにアクセス可能であり、前記プロセッサは、前記第１事前信号に関する特徴量、前記第１事後信号に関する特徴量、および、前記第１事前信号に関する特徴量と前記第１事後信号に関する特徴量との第１差分を結合した第１結合データを生成する第１結合処理と、前記第１結合処理によって生成された第１結合データと、前記第１説明文と、に基づいて、前記第１状態の変化前後を示す文字列を生成する生成モデルを学習する学習処理と、を実行することを特徴とする。
【００１０】
本願において開示される発明の他の側面となる生成装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する生成装置であって、状態の変化前後を示す文字列を生成するように学習された生成モデルにアクセス可能であり、前記プロセッサは、第２状態の変化前を示す第２事前信号に関する特徴量、前記第２状態の変化後を示す第２事後信号に関する特徴量、および、前記第２事前信号に関する特徴量と前記第２事後信号に関する特徴量との第２差分を結合した第２結合データを生成する第２結合処理と、前記第２結合処理によって生成された第２結合データを前記生成モデルに入力することにより、前記第２状態の変化前後を示す文字列を生成する生成処理と、を実行することを特徴とする。
【発明の効果】
（【００１１】以降は省略されています）

関連特許