特許ウォッチ

公開番号2024058900
公報種別公開特許公報(A)
公開日2024-04-30
出願番号2022166303
出願日2022-10-17
発明の名称情報処理プログラム、情報処理方法および情報処理装置
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06F 16/35 20190101AFI20240422BHJP(計算;計数)
要約【課題】特定ドメインに関係のないノイズを除いて、特定ドメインに関係のあるデータを選択すること。
【解決手段】情報処理装置は、第1ドメインに属する文の第1ベクトルと、第2ドメインに属する文の第2ベクトルとを基にして、第1ベクトルに類似する第2ベクトルの文を選択する。情報処理装置は、第1ドメインに属する文を用いて訓練した分類器に、選択した文を入力することで、選択した文が、第1ドメインに属する文であるか否かを判定する。情報処理装置は、判定結果を基にして、選択した複数の文から、第1ドメインに属する文を抽出する。
【選択図】図4
特許請求の範囲【請求項１】
第１ドメインに属する文の第１ベクトルと、第２ドメインに属する文の第２ベクトルとを基にして、第１ベクトルに類似する第２ベクトルの文を選択し、
前記第１ドメインに属する文を用いて訓練した分類器に、選択した文を入力することで、前記選択した文が、前記第１ドメインに属する文であるか否かを判定し、
判定結果を基にして、選択した複数の文から、前記第１ドメインに属する文を抽出する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
続きを表示（約 870 文字）【請求項２】
ある文の入力データと、前記ある文が前記第１ドメインに属する文であるか否かを示すラベルとの組を学習データとして、前記分類器を訓練する処理を更にコンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
【請求項３】
前記分類器は、文が入力された場合に、入力された文が前記第１ドメインに属する文である尤度を出力し、前記判定する処理は、前記選択した文を、前記分類器に入力した際に出力される尤度が閾値以上である場合に、前記選択した文が、前記第１ドメインに属する文であると判定することを特徴とする請求項１に記載の情報処理プログラム。
【請求項４】
前記抽出する処理によって抽出された文と、前記第１ドメインに属する文とを基にして、言語モデルを訓練する処理を更にコンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
【請求項５】
第１ドメインに属する文の第１ベクトルと、第２ドメインに属する文の第２ベクトルとを基にして、第１ベクトルに類似する第２ベクトルの文を選択し、
前記第１ドメインに属する文を用いて訓練した分類器に、選択した文を入力することで、前記選択した文が、前記第１ドメインに属する文であるか否かを判定し、
判定結果を基にして、選択した複数の文から、前記第１ドメインに属する文を抽出する
処理をコンピュータが実行することを特徴とする情報処理方法。
【請求項６】
第１ドメインに属する文の第１ベクトルと、第２ドメインに属する文の第２ベクトルとを基にして、第１ベクトルに類似する第２ベクトルの文を選択し、
前記第１ドメインに属する文を用いて訓練した分類器に、選択した文を入力することで、前記選択した文が、前記第１ドメインに属する文であるか否かを判定し、
判定結果を基にして、選択した複数の文から、前記第１ドメインに属する文を抽出する
処理を実行する制御部を有する情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理プログラム等に関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
自然言語処理において、ドメイン適応（Domain Adaptation）と呼ばれる技術がある。たとえば、ドメイン適応は、Sourceドメインと、Targetドメインとのサンプル間のドメインshiftを軽減するという問題に取り組む技術である。
【０００３】
図７は、ドメイン上のデータ分布の一例を示す図である。図７に示す例では、空間上に、Original ＬＭ domainのデータ１０、Target domainのデータ１１、Target domain downstream taskのデータ１２が含まれる。
【０００４】
Original ＬＭ domainのデータ１０は、インターネット上に存在する文のデータに対応する。Target domainのデータ１１は、Target domainのコーパスデータである。Target domain downstream taskのデータ１２は、downstream taskを実行するために選択された文のデータである。
【０００５】
以下では、Original ＬＭ domainのデータ１０、Target domainのデータ１１、Target domain downstream taskのデータ１２を用いた、ドメイン適応の従来技術の一例について説明する。
【０００６】
図８は、ドメイン適応の従来技術を説明するための図である。たとえば、従来技術によるドメイン適応では、ステップＳ１０、ステップＳ１１、ステップＳ１２の順に、処理を実行する。ドメイン適応を実行する従来の装置を、従来装置と表記する。
【０００７】
従来装置は、ステップＳ１０において、Original ＬＭ domainのデータ１０を用いて、第１モデル１０ａ（Pretrained language model）の学習を実行する。第１モデル１０ａは、自然言語処理モデルである。第１モデル１０ａは、ＮＮ（Neural Network）等である。たとえば、第１モデル１０ａに文を入力すると、文に含まれる各単語のベクトルが出力される。
【０００８】
従来装置は、ステップＳ１１において、Target domainのデータ１１を用いて、第１モデル１０ａの再学習を実行することで、第２モデル１１ａ（Re-pretrained language model）を得る。
【０００９】
従来装置は、ステップＳ１２において、第２モデル１１ａを、NERモデル１２ａに接続し、Target domain downstream taskのデータ１２を用いて、第２モデル１１ａ、NERモデル１２ａに対するFine-tuningを実行する。NERモデル１２ａは、分類モデルである。NERモデル１２ａは、ＮＮ等である。
【００１０】
ステップＳ１０、Ｓ１１では、Original ＬＭ domainのデータ１０、Target domainのデータ１１に正解ラベルは付与されておらず、教師なし学習が実行される。ステップＳ１２では、Target domain downstream taskのデータ１２に正解ラベルが付与されており、教師あり学習が実行される。
（【００１１】以降は省略されています）

関連特許