特許ウォッチ

公開番号2024135440
公報種別公開特許公報(A)
公開日2024-10-04
出願番号2023046120
出願日2023-03-23
発明の名称機械学習プログラム、機械学習方法、及び機械学習装置
出願人富士通株式会社
代理人個人
主分類G06N 3/09 20230101AFI20240927BHJP(計算;計数)
要約【課題】単語間の因果関係の特徴を因果関係抽出モデルに入力し、機械学習を実行する。
【解決手段】学習装置10は、訓練データ135のテキストに含まれる単語それぞれに対応して、単語埋め込みに基づいて単語とベクトルとが対応付けられた第1の対応情報と、原因を示す第1単語と第1単語が示す原因に基づいた結果を示す第2単語との単語ペアの関係性に基づいて単語とベクトルとが対応付けられた第2の対応情報と、に基づいて生成された第3の対応情報を取得する。学習装置10は、取得した第3の対応情報を用いて、自然言語処理を行うニューラルネットワークの訓練を実行する。
【選択図】図1
特許請求の範囲【請求項１】
第１のテキストに含まれる単語それぞれに対応して、単語埋め込みに基づいて単語とベクトルとが対応付けられた第１の対応情報と、原因を示す第１単語と前記原因に基づいた結果を示す第２単語との単語ペアの関係性に基づいて単語とベクトルとが対応付けられた第２の対応情報と、に基づいて生成された第３の対応情報を取得し、
取得した前記第３の対応情報を用いて、自然言語処理を行うニューラルネットワークの訓練を実行する
処理をコンピュータに実行させることを特徴とする機械学習プログラム。
続きを表示（約 1,200 文字）【請求項２】
前記第３の対応情報は、各単語に対して、前記第１の対応情報において対応付けられたベクトルと前記第２の対応情報において対応付けられたベクトルとを組み合わせた情報を対応付けた対応情報である
ことを特徴とする請求項１に記載の機械学習プログラム。
【請求項３】
第２のテキストに含まれる因果関係を示すキーワードを含む文を、前記キーワードに基づいて第１の部分と第２の部分に分割し、
前記第１単語は、前記第１の部分から抽出された単語であり、
前記第２単語は、前記第２の部分から抽出された単語であり、
前記第２の対応情報は、前記単語ペアと、前記単語ペアに含まれる単語間の因果関係の強さと、に基づいて単語とベクトルとが対応付けられた対応情報である
ことを特徴とする請求項１又は２に記載の機械学習プログラム。
【請求項４】
前記因果関係の強さは、前記単語ペアが前記第２のテキストにおいて前記キーワードと共に出現する頻度に基づいて算出される
ことを特徴とする請求項３に記載の機械学習プログラム。
【請求項５】
前記単語ペアと前記単語ペアのそれぞれに対応する前記因果関係の強さとに基づいてナレッジグラフを生成し、
前記第２の対応情報は、前記ナレッジグラフを用いたグラフ埋め込みによって生成される対応情報である
ことを特徴とする請求項４に記載の機械学習プログラム。
【請求項６】
前記第２の対応情報は、前記単語ペアと前記単語ペアのそれぞれに対応する前記因果関係の強さとに基づいて生成された隣接行列に基づいて生成された対応情報である
ことを特徴とする請求項４に記載の機械学習プログラム。
【請求項７】
第１のテキストに含まれる単語それぞれに対応して、単語埋め込みに基づいて単語とベクトルとが対応付けられた第１の対応情報と、原因を示す第１単語と前記原因に基づいた結果を示す第２単語との単語ペアの関係性に基づいて単語とベクトルとが対応付けられた第２の対応情報と、に基づいて生成された第３の対応情報を取得し、
取得した前記ベクトルを用いて、自然言語処理を行うニューラルネットワークの訓練を実行する
処理をコンピュータで実行することを特徴とする機械学習方法。
【請求項８】
第１のテキストに含まれる単語それぞれに対応して、単語埋め込みに基づいて単語とベクトルとが対応付けられた第１の対応情報と、原因を示す第１単語と前記原因に基づいた結果を示す第２単語との単語ペアの関係性に基づいて単語とベクトルとが対応付けられた第２の対応情報と、に基づいて生成された第３の対応情報を取得し、
取得した前記ベクトルを用いて、自然言語処理を行うニューラルネットワークの訓練を実行する
制御部を有することを特徴とする機械学習装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、機械学習に関するものである。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
自然言語処理の分野において、テキストから因果関係の有無を予測する技術（因果関係抽出：Causal Relation Extraction）がある。因果関係抽出の手法の一例として、テキストに含まれる２つの単語（以下、「単語ペア」と記載する場合がある）の単語間の因果関係の有無を予測する技術が提案されている。因果関係を有する単語ペアとは、例えば一方の単語が示す事物が他方の単語が示す事物の原因となり、他方の単語が示す事物が一方の単語が示す事物に基づいた結果となる関係にある単語のペアである。因果関係を有する単語ペアは、例えば、「喫煙が原因で肺がんになる」というテキストの「喫煙」と「肺がん」である。因果関係抽出は、例えば創薬や材料開発の分野において、膨大なデータの中から重要な因果関係を発見するのに用いられる。
【０００３】
因果関係抽出の従来技術として、機械学習により因果関係抽出の機械学習モデル（以下、「因果関係抽出モデル」と記載する場合がある）を生成する技術が提案されている。例えば、因果関係抽出モデルは、ラベルを付したテキストを訓練データとして用いる教師あり学習により生成される。一例として、ラベルは、テキストに含まれる単語間の因果関係の有無に基づいて付される。訓練データのテキストは、テキストに含まれる単語ごとに分散表現に変換されたのち因果関係抽出モデルに入力され、因果関係抽出モデルの出力とラベルとの誤差が小さくなるように訓練が実行される。
【０００４】
分散表現とは、単語をベクトルで表現した際のベクトルを示す。分散表現は単語埋め込みにより得られる。単語埋め込みとは、単語の持つ意味を文脈や文章中の単語の前後関係から学習し、単語をベクトルで表現する技術である。単語埋め込みはone-hotエンコーディングを通じて得られるベクトルと比較して低次元のベクトルで単語を表現することができ、テキストをニューラルネットワークに入力する際に用いられる技術の一つである。
【先行技術文献】
【特許文献】
【０００５】
特開２０１５－２００９６１号公報
特開２０１８－０６０３６４号公報
米国特許出願公開第２０２１／０１１７５０９号明細書
米国特許出願公開第２０１９／０１９７１０４号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
単語埋め込みは単語の様々な特徴を取り込んで単語をベクトル空間上に位置付け、単語間の類似性や関係性を分散表現（以下、「ベクトル」や「ベクトル表現」と記載する場合がある）で表す技術である。しかしながら、単語埋め込みは単語間の因果関係の特徴を分散表現に表していない。
【０００７】
従来技術では、因果関係抽出モデルに入力される分散表現に因果関係が表されていないため、因果関係抽出モデルはテキストの文脈や単語の前後関係に依存して訓練される。そのため従来技術では、予測対象のテキストの単語の並びによっては、因果関係が抽出されない場合があった。
【０００８】
一つの側面では、本発明は、単語間の因果関係の特徴を因果関係抽出モデルに入力し、機械学習を実行することが可能な機械学習プログラム、機械学習方法、機械学習装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
一つの態様では、第１のテキストに含まれる単語それぞれに対応して、単語埋め込みに基づいて単語とベクトルとが対応付けられた第１の対応情報と、原因を示す第１単語と第１単語が示す原因に基づいた結果を示す第２単語との単語ペアの関係性に基づいて単語とベクトルとが対応付けられた第２の対応情報と、に基づいて生成された第３の対応情報を取得し、取得した第３の対応情報を用いて、自然言語処理を行うニューラルネットワークの訓練を実行する、処理をコンピュータに実行させる機械学習プログラムが提供される。
【００１０】
一つの態様では、上記機械学習プログラムに基づく処理と同様の処理をコンピュータが実行する機械学習方法が提供される。
（【００１１】以降は省略されています）

関連特許