特許ウォッチ

公開番号2025175589
公報種別公開特許公報(A)
公開日2025-12-03
出願番号2024081768
出願日2024-05-20
発明の名称音声認識装置、音声認識方法、及びプログラム
出願人本田技研工業株式会社
代理人個人,個人,個人
主分類G10L 15/065 20130101AFI20251126BHJP(楽器;音響)
要約【課題】出現頻度の低い単語や句、文を簡易に登録することが可能なE2E-ASRモデルを利用することにより、音声認識の精度を更に向上させることができる音声認識装置、音声認識方法、及びプログラムを提供する。
【解決手段】音声認識装置は、発話のオーディオデータを取得する取得部と、自動音声認識モデルを用いて、前記オーディオデータからテキストを生成する音声認識部と、を備える。前記自動音声認識モデルは、オーディオデータを特徴に変換するオーディオエンコーダと、登録されたバイアストークンを特徴に変換するバイアスエンコーダと、バイアストークンに対応するように拡張されたバイアスデコーダであって、オーディオエンコーダによって出力された特徴と、バイアスエンコーダによって出力された特徴と、以前に推定されたトークン列とに基づいて、次のトークンを推定するバイアスデコーダと、を有する。
【選択図】図3
特許請求の範囲【請求項１】
発話のオーディオデータを取得する取得部と、
自動音声認識モデルを用いて、前記オーディオデータからテキストを生成する音声認識部と、を備え、
前記自動音声認識モデルは、
前記オーディオデータの特徴を並べた第１特徴列を、第２特徴列に変換する第１エンコーダと、
予め登録されたワード、フレーズ、及びセンテンスのいずれか又は組み合わせを第１トークンとして登録し、前記第１トークンを並べた第１トークン列を、第３特徴列に変換する第２エンコーダと、
前記第１トークンに対応するように拡張されたデコーダであって、前記第２特徴列と、前記第３特徴列と、前記テキストとして以前に推定された前記第１トークンと異なる第２トークン及び／又は前記第１トークンを並べた第２トークン列とに基づいて、前記第２トークン列の後に続く前記第２トークン又は前記第１トークンを推定するデコーダと、を有する、
音声認識装置。
続きを表示（約 1,700 文字）【請求項２】
前記デコーダは、前記第１トークンに対応するように拡張された埋め込み層を有し、
前記埋め込み層は、
前記第２トークン列のなかに前記第１トークンが含まれるか否かを判定し、
前記第２トークン列のなかに前記第１トークンが含まれない場合、前記第２トークン列を第４特徴列に変換し、
前記第２トークン列のなかに前記第１トークンが含まれる場合、前記第１トークンを除いた残りの前記第２トークン列を前記第４特徴列に変換し、前記第３特徴列に含まれる複数の第３特徴のうち、前記第２トークン列のなかに含まれる前記第１トークンに対応する前記第３特徴と、前記第１トークンを除いた残りの前記第２トークン列から変換された前記第４特徴列とを結合させた第５特徴列を生成する、
請求項１に記載の音声認識装置。
【請求項３】
前記デコーダは、前記第１トークンに対応するように拡張された出力層を有し、
前記出力層は、
前記第４特徴列又は前記第５特徴列を、第６特徴列に変換し、
前記第６特徴列と前記第１トークン列との内積に基づいて、前記第１トークンのスコアである第１スコアを算出し、
前記第２トークン列に含まれるそれぞれの前記第２トークンのスコアである第２スコアを算出し、
前記第１スコアと前記第２スコアとに基づいて、前記第２トークン列の後に続く前記第２トークン又は前記第１トークンの確率を算出する、
請求項２に記載の音声認識装置。
【請求項４】
ユーザが操作可能な入力インターフェースを更に備え、
前記音声認識部は、前記入力インターフェースに対して前記ユーザが入力した前記ワード、前記フレーズ、及び前記センテンスのいずれか又は組み合わせを、前記第１トークンとして登録する、
請求項１又は２に記載の音声認識装置。
【請求項５】
コンピュータを用いた音声認識方法であって、
発話のオーディオデータを取得すること、
自動音声認識モデルを用いて、前記オーディオデータからテキストを生成すること、を含み、
前記自動音声認識モデルは、
前記オーディオデータの特徴を並べた第１特徴列を、第２特徴列に変換する第１エンコーダと、
予め登録されたワード、フレーズ、及びセンテンスのいずれか又は組み合わせを第１トークンとして登録し、前記第１トークンを並べた第１トークン列を、第３特徴列に変換する第２エンコーダと、
前記第１トークンに対応するように拡張されたデコーダであって、前記第２特徴列と、前記第３特徴列と、前記テキストとして以前に推定された前記第１トークンと異なる第２トークン及び／又は前記第１トークンを並べた第２トークン列とに基づいて、前記第２トークン列の後に続く前記第２トークン又は前記第１トークンを推定するデコーダと、を有する、
音声認識方法。
【請求項６】
コンピュータに実行させるためのプログラムであって、
発話のオーディオデータを取得すること、
自動音声認識モデルを用いて、前記オーディオデータからテキストを生成すること、を含み、
前記自動音声認識モデルは、
前記オーディオデータの特徴を並べた第１特徴列を、第２特徴列に変換する第１エンコーダと、
予め登録されたワード、フレーズ、及びセンテンスのいずれか又は組み合わせを第１トークンとして登録し、前記第１トークンを並べた第１トークン列を、第３特徴列に変換する第２エンコーダと、
前記第１トークンに対応するように拡張されたデコーダであって、前記第２特徴列と、前記第３特徴列と、前記テキストとして以前に推定された前記第１トークンと異なる第２トークン及び／又は前記第１トークンを並べた第２トークン列とに基づいて、前記第２トークン列の後に続く前記第２トークン又は前記第１トークンを推定するデコーダと、を有する、
プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、音声認識装置、音声認識方法、及びプログラムに関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
音声認識技術において、従来のＤＮＮ（Deep Neural Network）－ＨＭＭ（Hidden Markov Model）モデルに代わり、Ｅｎｄ－ｔｏ－Ｅｎｄ（E2E）モデルが注目されている。ＤＮＮ－ＨＭＭモデルでは、音響モデルと言語モデルをカスケードに接続して処理を行うため、誤差が蓄積されるという課題があった。一方、Ｅ２Ｅモデルは、音声特徴量から直接テキストを出力するため、全体最適され、認識率が向上することが報告されている。
【先行技術文献】
【特許文献】
【０００３】
特表２０２１－５０１３７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら従来のＥ２Ｅモデルでは、辞書を用いていないため、人名などの出現頻度の低い語を認識させるためにはモデル全体を再学習させる必要があり、簡易に人名や用語などを登録することができなかった。
【０００５】
本発明は、このような事情を考慮してなされたものであり、出現頻度の低い単語や句、文を簡易に登録することが可能なＥ２Ｅ－ＡＳＲモデルを利用することにより、音声認識の精度を更に向上させることができる音声認識装置、音声認識方法、及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
本発明に係る音声認識装置、音声認識方法、及びプログラムは以下の構成を採用した。
（１）本発明の第１の例は、発話のオーディオデータを取得する取得部と、自動音声認識モデルを用いて、前記オーディオデータからテキストを生成する音声認識部と、を備え、前記自動音声認識モデルは、前記オーディオデータの特徴を並べた第１特徴列を、第２特徴列に変換する第１エンコーダと、予め登録されたワード、フレーズ、及びセンテンスのいずれか又は組み合わせを第１トークンとして登録し、前記第１トークンを並べた第１トークン列を、第３特徴列に変換する第２エンコーダと、前記第１トークンに対応するように拡張されたデコーダであって、前記第２特徴列と、前記第３特徴列と、前記テキストとして以前に推定された前記第１トークンと異なる第２トークン及び／又は前記第１トークンを並べた第２トークン列とに基づいて、前記第２トークン列の後に続く前記第２トークン又は前記第１トークンを推定するデコーダと、を有する音声認識装置である。
【０００７】
（２）本発明の第２の例は、第１の例において、前記デコーダは、前記第１トークンに対応するように拡張された埋め込み層を有し、前記埋め込み層は、前記第２トークン列のなかに前記第１トークンが含まれるか否かを判定し、前記第２トークン列のなかに前記第１トークンが含まれない場合、前記第２トークン列を第４特徴列に変換し、前記第２トークン列のなかに前記第１トークンが含まれる場合、前記第１トークンを除いた残りの前記第２トークン列を前記第４特徴列に変換し、前記第３特徴列に含まれる複数の第３特徴のうち、前記第２トークン列のなかに含まれる前記第１トークンに対応する前記第３特徴と、前記第１トークンを除いた残りの前記第２トークン列から変換された前記第４特徴列とを結合させた第５特徴列を生成するものである。
【０００８】
（３）本発明の第３の例は、第２の例において、前記デコーダは、前記第１トークンに対応するように拡張された出力層を有し、前記出力層は、前記第４特徴列又は前記第５特徴列を、第６特徴列に変換し、前記第６特徴列と前記第１トークン列との内積に基づいて、前記第１トークンのスコアである第１スコアを算出し、前記第２トークン列に含まれるそれぞれの前記第２トークンのスコアである第２スコアを算出し、前記第１スコアと前記第２スコアとに基づいて、前記第２トークン列の後に続く前記第２トークン又は前記第１トークンの確率を算出するものである。
【０００９】
（４）本発明の第４の例は、第１の例又は第２の例において、ユーザが操作可能な入力インターフェースを更に備え、前記音声認識部は、前記入力インターフェースに対して前記ユーザが入力した前記ワード、前記フレーズ、及び前記センテンスのいずれか又は組み合わせを、前記第１トークンとして登録するものである。
【００１０】
（５）本発明の第５の例は、コンピュータを用いた音声認識方法であって、発話のオーディオデータを取得すること、自動音声認識モデルを用いて、前記オーディオデータからテキストを生成すること、を含み、前記自動音声認識モデルは、前記オーディオデータの特徴を並べた第１特徴列を、第２特徴列に変換する第１エンコーダと、予め登録されたワード、フレーズ、及びセンテンスのいずれか又は組み合わせを第１トークンとして登録し、前記第１トークンを並べた第１トークン列を、第３特徴列に変換する第２エンコーダと、前記第１トークンに対応するように拡張されたデコーダであって、前記第２特徴列と、前記第３特徴列と、前記テキストとして以前に推定された前記第１トークンと異なる第２トークン及び／又は前記第１トークンを並べた第２トークン列とに基づいて、前記第２トークン列の後に続く前記第２トークン又は前記第１トークンを推定するデコーダと、を有する、音声認識方法である。
（【００１１】以降は省略されています）

関連特許