特許ウォッチ

公開番号2025035715
公報種別公開特許公報(A)
公開日2025-03-14
出願番号2023142940
出願日2023-09-04
発明の名称音声認識装置およびプログラム
出願人日本放送協会
代理人個人,個人,個人,個人
主分類G10L 15/06 20130101AFI20250307BHJP(楽器;音響)
要約【課題】テキストのみに基づいて(つまり、音声に依らずに)トランスデューサー音声認識モデルの中間層の情報を生成することのできる音声認識装置を提供する。
【解決手段】第1エンコーダーは、音響特徴量に基づいて中間層特徴量を算出する。第2エンコーダーは、前記中間層特徴量に基づいて最終層特徴量を算出して。第1ロス算出部は、最終層特徴量と正解テキストとに基づいて、第1ロスを算出する。第2ロス算出部は、中間層特徴量と正解テキストとに基づいて、第2ロスを算出する。第1ロスおよび第2ロスに基づいて、第1および第2エンコーダーの学習を行えるようにする。テキストエンコーダーは、テキストに基づいてテキスト特徴量を算出する。第3ロス算出部は、中間層特徴量とテキスト特徴量とに基づいて、第3ロスを算出する。第3ロスに基づいて、前記テキストエンコーダーの学習を行えるようにする。
【選択図】図1
特許請求の範囲【請求項１】
入力される音響特徴量に基づいて中間層特徴量を算出して出力する第１エンコーダーと、
前記第１エンコーダーから出力される前記中間層特徴量に基づいて最終層特徴量を算出して出力する第２エンコーダーと、
前記第２エンコーダーから出力される前記最終層特徴量と、入力された前記音響特徴量に対応する正解テキストとに基づいて、第１ロスを算出する第１ロス算出部（５５）と、
前記第１エンコーダーから出力される前記中間層特徴量と、入力された前記音響特徴量に対応する正解テキストとに基づいて、第２ロスを算出する第２ロス算出部（６２）と、
入力されるテキストに基づいて、テキスト特徴量を算出して出力するテキストエンコーダーと、
前記第１エンコーダーが出力した前記中間層特徴量と、前記テキストエンコーダーが出力した前記テキスト特徴量とに基づいて、第３ロスを算出する第３ロス算出部（４１）と
を備え、
前記第１ロスに基づいて、前記第２エンコーダーが持つネットワークのパラメーターと、前記第１エンコーダーが持つネットワークのパラメーターと、を調整可能として、
前記第２ロスに基づいて、前記第１エンコーダーが持つネットワークのパラメーターを調整可能として、
前記第３ロスに基づいて、前記テキストエンコーダーが持つネットワークのパラメーターを調整可能とした、
音声認識装置。
続きを表示（約 1,300 文字）【請求項２】
入力されるテキスト文字列に基づいて、前記テキスト文字列に含まれる記号がｎ
ｃ
回（ｎ
ｃ
≧１）連続するように繰り返す操作を行うとともに、前記テキスト文字列に含まれる記号間にｎ
ｂ
回（ｎ
ｂ
≧０）連続するブランク記号を挿入する操作を行うことによって疑似的記号列を生成する疑似アラインメント生成部、
をさらに備え、
前記テキスト文字列に基づいて、学習済みの前記第２エンコーダーの再学習を行う際には、
前記テキストエンコーダーは、前記テキスト文字列に基づいて前記疑似アラインメント生成部が生成した前記疑似的記号列を前記テキストとして、当該テキストに基づいてテキスト特徴量を算出して出力し、
前記第２エンコーダーは、前記第１エンコーダーから出力される前記中間層特徴量に代えて、前記テキストエンコーダーから出力される前記テキスト特徴量に基づいて、前記最終層特徴量を算出して出力する、
請求項１に記載の音声認識装置。
【請求項３】
前記疑似アラインメント生成部は、記号の連続回数ｎ
ｃ
について所定の統計から決定される確率密度関数Ｐ
ｃ
（ｎ）に基づいて前記ｎ
ｃ
の値を決定するとともに、ブランク記号の連続回数ｎ
ｂ
について所定の統計から決定される確率密度関数Ｐ
ｂ
（ｎ）に基づいて前記ｎ
ｂ
の値を決定する、
請求項２に記載の音声認識装置。
【請求項４】
入力される音響特徴量に基づいて中間層特徴量を算出して出力する第１エンコーダーと、
前記第１エンコーダーから出力される前記中間層特徴量に基づいて最終層特徴量を算出して出力する第２エンコーダーと、
前記第２エンコーダーから出力される前記最終層特徴量と、入力された前記音響特徴量に対応する正解テキストとに基づいて、第１ロスを算出する第１ロス算出部（５５）と、
前記第１エンコーダーから出力される前記中間層特徴量と、入力された前記音響特徴量に対応する正解テキストとに基づいて、第２ロスを算出する第２ロス算出部（６２）と、
入力されるテキストに基づいて、テキスト特徴量を算出して出力するテキストエンコーダーと、
前記第１エンコーダーが出力した前記中間層特徴量と、前記テキストエンコーダーが出力した前記テキスト特徴量とに基づいて、第３ロスを算出する第３ロス算出部（４１）と
を備え、
前記第１ロスに基づいて、前記第２エンコーダーが持つネットワークのパラメーターと、前記第１エンコーダーが持つネットワークのパラメーターと、を調整可能として、
前記第２ロスに基づいて、前記第１エンコーダーが持つネットワークのパラメーターを調整可能として、
前記第３ロスに基づいて、前記テキストエンコーダーが持つネットワークのパラメーターを調整可能とした、
音声認識装置、としてコンピューターを機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、音声認識装置およびプログラムに関する。
続きを表示（約 2,900 文字）【背景技術】
【０００２】
ストリーミング音声認識に適した音声認識モデルとして、Transducer（トランスデューサー）と呼ばれるモデルが存在する。非特許文献１では、Transducerの技術が記載されている。
【先行技術文献】
【非特許文献】
【０００３】
Kanishka Rao，Hasim Sak，Rohit Prabhavalkar，“Exploring architectures, data and units for streaming end-to-end speech recognition with RNN-transducer”，in Proc. IEEE ASRU, 2017，pp. 193-199.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
音声認識モデルの認識精度は、モデルの学習を行う際の学習データにも依存する。あるドメインに属する学習データを用いて音声認識モデルの学習を行った場合には、他のドメインの音声を認識しようとしたときの精度には限界があると考えられる。そこで、他のドメイン（ターゲットドメインと呼ぶ）の情報を用いて音声認識モデルの再学習（ドメイン適応）を行うことができれば、そのターゲットドメインにおける音声認識精度を向上させることができると期待される。
【０００５】
ターゲットドメインの情報を用いて音声認識モデルの再学習は、ターゲットドメインに属するテキストに基づいて行うことが考えられる。そのための一形態として、ターゲットドメインに属するテキストに基づいて音声認識モデルの中間層の情報（特徴量、中間層のエンコーダーから出力されるベクトル等）を生成できるようにすることが考えられる。
【０００６】
本発明は、上記の課題認識に基づいて為されたものであり、テキストのみを用いた学習を行えるようにするために、テキストのみに基づいて（つまり、音声に依らずに）トランスデューサー音声認識モデルの中間層の情報（エンコーダーからの中間層出力）を生成することのできる音声認識装置、およびそのプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００７】
［１］上記の課題を解決するため、本発明の一態様による音声認識装置は、入力される音響特徴量に基づいて中間層特徴量を算出して出力する第１エンコーダーと、前記第１エンコーダーから出力される前記中間層特徴量に基づいて最終層特徴量を算出して出力する第２エンコーダーと、前記第２エンコーダーから出力される前記最終層特徴量と、入力された前記音響特徴量に対応する正解テキストとに基づいて、第１ロスを算出する第１ロス算出部（５５）と、前記第１エンコーダーから出力される前記中間層特徴量と、入力された前記音響特徴量に対応する正解テキストとに基づいて、第２ロスを算出する第２ロス算出部（６２）と、入力されるテキストに基づいて、テキスト特徴量を算出して出力するテキストエンコーダーと、前記第１エンコーダーが出力した前記中間層特徴量と、前記テキストエンコーダーが出力した前記テキスト特徴量とに基づいて、第３ロスを算出する第３ロス算出部（４１）とを備え、前記第１ロスに基づいて、前記第２エンコーダーが持つネットワークのパラメーターと、前記第１エンコーダーが持つネットワークのパラメーターと、を調整可能として、前記第２ロスに基づいて、前記第１エンコーダーが持つネットワークのパラメーターを調整可能として、前記第３ロスに基づいて、前記テキストエンコーダーが持つネットワークのパラメーターを調整可能とした、音声認識装置である。
【０００８】
［２］また、本発明の一態様は、上記［１］の音声認識装置において、入力されるテキスト文字列に基づいて、前記テキスト文字列に含まれる記号がｎ
ｃ
回（ｎ
ｃ
≧１）連続するように繰り返す操作を行うとともに、前記テキスト文字列に含まれる記号間にｎ
ｂ
回（ｎ
ｂ
≧０）連続するブランク記号を挿入する操作を行うことによって疑似的記号列を生成する疑似アラインメント生成部、をさらに備え、前記テキスト文字列に基づいて、学習済みの前記第２エンコーダーの再学習を行う際には、前記テキストエンコーダーは、前記テキスト文字列に基づいて前記疑似アラインメント生成部が生成した前記疑似的記号列を前記テキストとして、当該テキストに基づいてテキスト特徴量を算出して出力し、前記第２エンコーダーは、前記第１エンコーダーから出力される前記中間層特徴量に代えて、前記テキストエンコーダーから出力される前記テキスト特徴量に基づいて、前記最終層特徴量を算出して出力する、というものである。
【０００９】
［３］また、本発明の一態様は、上記［２］の音声認識装置において、前記疑似アラインメント生成部は、記号の連続回数ｎ
ｃ
について所定の統計から決定される確率密度関数Ｐ
ｃ
（ｎ）に基づいて前記ｎ
ｃ
の値を決定するとともに、ブランク記号の連続回数ｎ
ｂ
について所定の統計から決定される確率密度関数Ｐ
ｂ
（ｎ）に基づいて前記ｎ
ｂ
の値を決定する、ものである。
【００１０】
［４］また、本発明の一態様は、入力される音響特徴量に基づいて中間層特徴量を算出して出力する第１エンコーダーと、前記第１エンコーダーから出力される前記中間層特徴量に基づいて最終層特徴量を算出して出力する第２エンコーダーと、前記第２エンコーダーから出力される前記最終層特徴量と、入力された前記音響特徴量に対応する正解テキストとに基づいて、第１ロスを算出する第１ロス算出部（５５）と、前記第１エンコーダーから出力される前記中間層特徴量と、入力された前記音響特徴量に対応する正解テキストとに基づいて、第２ロスを算出する第２ロス算出部（６２）と、入力されるテキストに基づいて、テキスト特徴量を算出して出力するテキストエンコーダーと、前記第１エンコーダーが出力した前記中間層特徴量と、前記テキストエンコーダーが出力した前記テキスト特徴量とに基づいて、第３ロスを算出する第３ロス算出部（４１）とを備え、前記第１ロスに基づいて、前記第２エンコーダーが持つネットワークのパラメーターと、前記第１エンコーダーが持つネットワークのパラメーターと、を調整可能として、前記第２ロスに基づいて、前記第１エンコーダーが持つネットワークのパラメーターを調整可能として、前記第３ロスに基づいて、前記テキストエンコーダーが持つネットワークのパラメーターを調整可能とした、音声認識装置、としてコンピューターを機能させるためのプログラムである。
【発明の効果】
（【００１１】以降は省略されています）

関連特許