特許ウォッチ

公開番号2024059179
公報種別公開特許公報(A)
公開日2024-05-01
出願番号2022166696
出願日2022-10-18
発明の名称機械学習プログラム、機械学習方法および情報処理装置
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06N 20/00 20190101AFI20240423BHJP(計算;計数)
要約【課題】自然言語モデルと分類モデルとを接続した機械学習モデル全体のパラメータを更新すること。
【解決手段】情報処理装置100は、機械学習処理のn番目のイテレーションにおいて取得されたプロジェクションマトリックスであって、自然言語処理モデルから分類モデルに入力される入力データと、分類モデルから出力される出力データとの対応関係を示すプロジェクションマトリックスを取得する。情報処理装置100は、自然言語処理モデルのパラメータを更新する。情報処理装置100は、プロジェクションマトリックスを用いて、分類モデルのパラメータを更新する。情報処理装置100は、機械学習処理のn+1番目のイテレーションにおいて、更新した自然言語処理モデルから更新した分類モデルに入力される入力データと、更新した分類モデルから出力される出力データとの対応関係を示す新たなプロジェクションマトリックスを取得する。
【選択図】図3
特許請求の範囲【請求項１】
自然言語処理モデルと分類モデルとを組み合わせた機械学習モデルの機械学習処理を実行する場合に、
前記機械学習処理のｎ番目のイテレーションにおいて取得されたプロジェクションマトリックスであって、前記自然言語処理モデルから前記分類モデルに入力される入力データと、前記分類モデルから出力される出力データとの対応関係を示す前記プロジェクションマトリックスを取得し、
前記自然言語処理モデルのパラメータを更新し、
前記プロジェクションマトリックスを用いて、前記分類モデルのパラメータを更新し、
前記機械学習処理のｎ＋１番目のイテレーションにおいて、更新した前記自然言語処理モデルから更新した前記分類モデルに入力される入力データと、更新した前記分類モデルから出力される出力データとの対応関係を示す新たなプロジェクションマトリックスを取得する
処理をコンピュータに実行させることを特徴とする機械学習プログラム。
続きを表示（約 1,100 文字）【請求項２】
前記分類モデルへの入力データと、前記プロジェクションマトリックスを基にして、前記分類モデルからの出力データを算出する処理を更にコンピュータに実行させることを特徴とする請求項１に記載の機械学習プログラム。
【請求項３】
前記分類モデルのパラメータを更新する処理は、前記分類モデルに入力データを入力した際に前記分類モデルから出力される出力データと、前記算出された出力データとの誤差を基にして、前記分類モデルのパラメータを更新することを特徴とする請求項２に記載の機械学習プログラム。
【請求項４】
自然言語処理モデルと分類モデルとを組み合わせた機械学習モデルの機械学習処理を実行する場合に、
前記機械学習処理のｎ番目のイテレーションにおいて取得されたプロジェクションマトリックスであって、前記自然言語処理モデルから前記分類モデルに入力される入力データと、前記分類モデルから出力される出力データとの対応関係を示す前記プロジェクションマトリックスを取得し、
前記自然言語処理モデルのパラメータを更新し、
前記プロジェクションマトリックスを用いて、前記分類モデルのパラメータを更新し、
前記機械学習処理のｎ＋１番目のイテレーションにおいて、更新した前記自然言語処理モデルから更新した前記分類モデルに入力される入力データと、更新した前記分類モデルから出力される出力データとの対応関係を示す新たなプロジェクションマトリックスを取得する
処理をコンピュータが実行することを特徴とする機械学習方法。
【請求項５】
自然言語処理モデルと分類モデルとを組み合わせた機械学習モデルの機械学習処理を実行する場合に、
前記機械学習処理のｎ番目のイテレーションにおいて取得されたプロジェクションマトリックスであって、前記自然言語処理モデルから前記分類モデルに入力される入力データと、前記分類モデルから出力される出力データとの対応関係を示す前記プロジェクションマトリックスを取得し、
前記自然言語処理モデルのパラメータを更新し、
前記プロジェクションマトリックスを用いて、前記分類モデルのパラメータを更新し、
前記機械学習処理のｎ＋１番目のイテレーションにおいて、更新した前記自然言語処理モデルから更新した前記分類モデルに入力される入力データと、更新した前記分類モデルから出力される出力データとの対応関係を示す新たなプロジェクションマトリックスを取得する
処理を実行する制御部を有する情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、機械学習プログラム等に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
自然言語処理において、ドメイン適応（Domain Adaptation）と呼ばれる技術がある。たとえば、ドメイン適応は、Sourceドメインと、Targetドメインとのサンプル間のドメインshiftを軽減するという問題に取り組む技術である。
【０００３】
図６は、各ドメインのデータ分布の一例を示す図である。図６に示す例では、空間上に、Original ＬＭ domainのデータ１０、Target domainのデータ１１、Target domain downstream taskのデータ１２が含まれる。
【０００４】
Original ＬＭ domainのデータ１０は、インターネット上に存在する文のデータに対応する。Target domainのデータ１１は、Target domainのコーパスデータである。Target domain downstream taskのデータ１２は、downstream taskを実行するために選択された文のデータである。
【０００５】
以下では、Original ＬＭ domainのデータ１０、Target domainのデータ１１、Target domain downstream taskのデータ１２を用いた、ドメイン適応の従来技術の一例について説明する。
【０００６】
図７は、ドメイン適応の従来技術を説明するための図である。たとえば、従来技術によるドメイン適応では、ステップＳ１０、ステップＳ１１、ステップＳ１２の順に、処理を実行する。ドメイン適応を実行する従来の装置を、従来装置と表記する。
【０００７】
従来装置は、ステップＳ１０において、Original ＬＭ domainのデータ１０を用いて、第１モデル１０ａ（Pretrained language model）の学習を実行する。第１モデル１０ａは、自然言語処理モデルである。第１モデル１０ａは、ＮＮ（Neural Network）等で実現される。たとえば、第１モデル１０ａに文を入力すると、文に含まれる各単語のベクトルが出力される。
【０００８】
従来装置は、ステップＳ１１において、Target domainのデータ１１を用いて、第１モデル１０ａの再学習を実行することで、第２モデル１１ａ（Re-pretrained language model）を得る。
【０００９】
従来装置は、ステップＳ１２において、第２モデル１１ａを、NERモデル１２ａに接続し、Target domain downstream taskのデータ１２を用いて、第２モデル１１ａ、NERモデル１２ａに対するFine-tuningを実行する。NERモデル１２ａは、分類モデルである。NERモデル１２ａは、ＮＮ等である。
【００１０】
続いて、データ分類で起こす問題の一例について説明する。図８は、データ分類で起こす問題を説明するための図である。図８に示す例では、ドメインを「Electronic medical records domain」および「Disease explanation documents domain」とする。また、クラスを「Person」および「B-Disease」が存在する。文１５を「Behcet's disease is globalized and infectious.」とする。
（【００１１】以降は省略されています）

関連特許