TOP
|
特許
|
意匠
|
商標
特許ウォッチ
Twitter
他の特許を見る
10個以上の画像は省略されています。
公開番号
2025132686
公報種別
公開特許公報(A)
公開日
2025-09-10
出願番号
2024030416
出願日
2024-02-29
発明の名称
情報処理プログラム,情報処理方法および情報処理装置
出願人
富士通株式会社
代理人
弁理士法人真田特許事務所
,
個人
主分類
G06F
40/284 20200101AFI20250903BHJP(計算;計数)
要約
【課題】機械学習モデルにデータを入力する字句分割器を、当該機械学習モデルによらずに適切に調整可能とする。
【解決手段】機械学習モデル12に入力するための入力データとなる分割済み文字列データを出力する字句分割器11であって、入力される文字列データを分割することで複数の文字列を含む分割済み文字列データを出力する前記字句分割器11を、前記文字列データと、当該文字列データが複数のクラスのいずれに属するかを示すクラス情報とが対応付けられた訓練データを複数含む訓練データセットを用いて訓練する際に、前記文字列データを前記字句分割器11に入力することで得られる、前記文字列データに対応した異なる複数の分割パターンで前記文字列データを分割した複数の前記分割済み文字列データに含まれる文字列ごとの前記複数のクラスにおける出現度合いの偏りに基づき、前記字句分割器11を訓練する、処理をコンピュータに実行させる。
【選択図】図2
特許請求の範囲
【請求項1】
推論処理を行なう機械学習モデルに入力するための入力データとなる分割済み文字列データを出力する字句分割器であって、入力される文字列データを分割することで複数の文字列を含む前記分割済み文字列データを出力する前記字句分割器を、前記文字列データと、当該文字列データが複数のクラスのいずれに属するかを示すクラス情報とが対応付けられた訓練データを複数含む訓練データセットを用いて訓練する際に、
前記文字列データを前記字句分割器に入力することで得られる、前記文字列データに対応した異なる複数の分割パターンで前記文字列データを分割した複数の前記分割済み文字列データに含まれる文字列ごとの前記複数のクラスにおける出現度合いの偏りに基づき、前記字句分割器を訓練する、
処理をコンピュータに実行させる、情報処理プログラム。
続きを表示(約 1,300 文字)
【請求項2】
前記訓練する処理は、
前記複数の分割済み文字列データに含まれる前記文字列ごとの前記複数のクラスにおける出現度合いの偏りに基づき、前記字句分割器のパラメータにおける複数の前記文字列のスコアを調整する処理を含む、
請求項1に記載の情報処理プログラム。
【請求項3】
前記調整する処理は、
前記複数の分割済み文字列データに含まれる前記複数の文字列のうち、前記複数のクラスにおける出現度合いの偏りが大きい文字列ほどスコアが高くなるように、前記複数の文字列のスコアを調整する処理を含み、
前記字句分割器は、入力される前記複数の文字列データのそれぞれについて、前記パラメータに基づき、前記複数の文字列のスコアの合計が最大となる分割済み文字列データを出力する、
請求項2に記載の情報処理プログラム。
【請求項4】
前記調整する処理は、
機械学習済みの前記字句分割器の前記パラメータに対して実行される、
請求項2又は請求項3に記載の情報処理プログラム。
【請求項5】
前記調整する処理は、
前記字句分割器の機械学習処理を実行する際に、前記パラメータに対して実行される、
請求項2又は請求項3に記載の情報処理プログラム。
【請求項6】
推論処理を行なう機械学習モデルに入力するための入力データとなる分割済み文字列データを出力する字句分割器であって、入力される文字列データを分割することで複数の文字列を含む前記分割済み文字列データを出力する前記字句分割器を、前記文字列データと、当該文字列データが複数のクラスのいずれに属するかを示すクラス情報とが対応付けられた訓練データを複数含む訓練データセットを用いて訓練する際に、
前記文字列データを前記字句分割器に入力することで得られる、前記文字列データに対応した異なる複数の分割パターンで前記文字列データを分割した複数の前記分割済み文字列データに含まれる文字列ごとの前記複数のクラスにおける出現度合いの偏りに基づき、前記字句分割器を訓練する、
処理をコンピュータが実行する、情報処理方法。
【請求項7】
推論処理を行なう機械学習モデルに入力するための入力データとなる分割済み文字列データを出力する字句分割器であって、入力される文字列データを分割することで複数の文字列を含む前記分割済み文字列データを出力する前記字句分割器を、前記文字列データと、当該文字列データが複数のクラスのいずれに属するかを示すクラス情報とが対応付けられた訓練データを複数含む訓練データセットを用いて訓練する際に、
前記文字列データを前記字句分割器に入力することで得られる、前記文字列データに対応した異なる複数の分割パターンで前記文字列データを分割した複数の前記分割済み文字列データに含まれる文字列ごとの前記複数のクラスにおける出現度合いの偏りに基づき、前記字句分割器を訓練する、
制御部を備える、情報処理装置。
発明の詳細な説明
【技術分野】
【0001】
本発明は、情報処理プログラム,情報処理方法および情報処理装置に関する。
続きを表示(約 1,400 文字)
【背景技術】
【0002】
機械学習モデルを用いた自然言語処理では、機械学習モデルへの入力となるテキスト等の文字列データを、より細かい単位、例えばトークン(Token)に分割する処理が行なわれることがある。トークンは、文字列データをいずれか1箇所以上の位置で区切って得られる1以上の文字列(字句,語)である。
【0003】
例えば、テキストが「味は嫌いじゃない」である場合、或る区切り方で分割すると、「味は」,「嫌い」,「じゃ」,「ない」のトークンが得られる。また、例えば、テキストが「_not_bad_taste」(アンダースコア(_)は一文字としての半角スペースを示す)である場合、或る区切り方で分割すると、「_not」,「_bad」,「_tas」,「te」のトークンが得られる。
【0004】
以下、便宜上、トークンを「単語」と表記する場合がある。「単語」には、例えば、「嫌い」,「_not」のような一般的な単語(Word)、並びに、「じゃ」,「_tas」,「te」のようなサブワード(Subword)、等のトークン(Token)が含まれてよい。文字列データをトークンに分割する処理は、「単語分割」又は「トークナイゼーション(Tokenization)」と称されてもよい。
【0005】
単語分割におけるテキストの区切り方、換言すれば分割パターンは、機械学習モデルを用いた自然言語処理での性能、例えば機械学習モデルから出力される推論結果の精度に影響を与えることがある。
【0006】
例えば、単語分割器(字句分割器)による単語分割を前段の処理(前処理:Pre-Processing)とし、単語分割により得られる分割済みテキストを後段の処理(Downstream task)に用いることがある。後段の処理では、例えば、分割済みテキストを入力データとして用いた、訓練済みの機械学習モデル(以下、「後段モデル」と表記する場合がある)による推論処理が行なわれる。このような処理では、単語分割の分割パターンを変えることで、後段モデルのパラメータの調整を不要としつつ、自然言語処理での性能向上を実現できる可能性がある。
【0007】
例えば、単語分割器と後段モデルとを並列に起動することで、単語分割と後段モデルとを同時に最適化(調整)する手法が知られている。当該手法では、例えば、複数のテキストを含む入力データをそれぞれ単語分割器に入力して得られる分割済みテキストを後段モデルに入力し、後段モデルの訓練結果を単語分割器にフィードバックすることで、単語分割器の最適化が行なわれる。
【先行技術文献】
【特許文献】
【0008】
特開2022-077202号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
上述した手法は、後段モデルが確定している、例えば後段モデルの種類,パラメータ,アーキテクチャ等が確定しているため、後段モデルに最適化するように単語分割器を調整できる一方で、後段モデルが確定している状況に利用シーンが限定されてしまう。
【0010】
1つの側面では、本発明は、機械学習モデルにデータを入力する字句分割器を、当該機械学習モデルによらずに適切に調整可能とすることを目的の1つとする。
【課題を解決するための手段】
(【0011】以降は省略されています)
この特許をJ-PlatPat(特許庁公式サイト)で参照する
関連特許
富士通株式会社
周波数変換器
12日前
富士通株式会社
行列演算回路
9日前
富士通株式会社
メッシュ微細化
今日
富士通株式会社
演算器及び演算方法
今日
富士通株式会社
転倒検出方法及び装置
1か月前
富士通株式会社
冷却装置及び電子機器
9日前
富士通株式会社
ハイブリッド光増幅器
1か月前
富士通株式会社
量子デバイスの製造方法
1か月前
富士通株式会社
アレイアンテナモジュール
1日前
富士通株式会社
通信制御装置及び移動中継装置
6日前
富士通株式会社
基板及びこれを備えた電子装置
1日前
富士通株式会社
演算処理装置及び演算処理方法
20日前
富士通株式会社
動的多次元メディアコンテンツ投影
19日前
富士通株式会社
ポイントクラウドレジストレーション
1か月前
富士通株式会社
異常予測方法および異常予測プログラム
19日前
富士通株式会社
データ転送制御装置および情報処理装置
1か月前
富士通株式会社
視線誘導方法および視線誘導プログラム
1か月前
富士通株式会社
データ転送制御装置および情報処理装置
1か月前
富士通株式会社
管理装置、管理方法、および管理プログラム
7日前
富士通株式会社
生成人工知能を使用したデータセット符号化
1か月前
富士通株式会社
演算システムおよび演算システムの制御方法
27日前
富士通株式会社
画像を記述する構造化テキストを生成する方法
1か月前
富士通株式会社
予測プログラム、予測方法および情報処理装置
21日前
富士通株式会社
シストリック型の演算アレイ装置及び制御方法
21日前
富士通株式会社
交通シミュレーションのための方法および装置
19日前
富士通株式会社
推定プログラム、推定方法および情報処理装置
1か月前
富士通株式会社
学習プログラム、学習方法、及び情報処理装置
1か月前
富士通株式会社
推定プログラム、推定方法および情報処理装置
1か月前
富士通株式会社
プログラム、情報処理方法および情報処理装置
5日前
富士通株式会社
電源制御回路,情報処理装置および電源制御方法
1か月前
富士通株式会社
制御プログラム、制御方法、および情報処理装置
7日前
富士通株式会社
演算装置、情報処理装置及び演算装置の制御方法
21日前
富士通株式会社
光送信機アナログ特性の監視装置と方法及び光送信機
1か月前
富士通株式会社
情報処理プログラム、情報処理装置及び情報処理方法
27日前
富士通株式会社
レース内容再現方法およびレース内容再現プログラム
29日前
富士通株式会社
情報処理プログラム、情報処理方法及び情報処理装置
1か月前
続きを見る
他の特許を見る