特許ウォッチ

公開番号2024075457
公報種別公開特許公報(A)
公開日2024-06-03
出願番号2023023681
出願日2023-02-17
発明の名称音声認識モデルに用いる学習データを作成する学習データ作成装置及びプログラム
出願人日本放送協会
代理人個人
主分類G10L 15/06 20130101AFI20240527BHJP(楽器;音響)
要約【課題】テレビ放送番組における発話被りのある音声を高精度に認識するための学習データを作成する。
【解決手段】テレビ番組風発話被り作成手段12の音声ペア選択手段20は、音声ペアを選択し、音声データSD1,SD2及びこれらに対応するテキストデータを入力する。重ね合わせ音声作成手段22は、予め設定された発話被り時間の平均m及び分散vの正規分布に従って、被り時間Tをランダムに設定し、音声データSD1,SD2の末尾及び冒頭の部分が被り時間Tの発話被りにて重なるように、重ね合わせ音声データを作成する。トークン付きテキスト作成手段23は、重ね合わせ音声データに対応する、発話被りの部分の話者変更を表したトークンを含むトークン付きテキストデータを作成する。このようにして作成された重ね合わせ音声データ及びトークン付きテキストデータは、学習データとして用いられる。
【選択図】図4
特許請求の範囲【請求項１】
テレビ放送番組の音声を認識するための音声認識モデルに用いる学習データを作成する学習データ作成装置において、
前記テレビ放送番組における発話被りが発生する時間の平均を平均ｍとし、前記発話被りが発生する時間の分散を分散ｖとし、前記平均ｍ及び前記分散ｖが予め設定されている場合に、
音声データ及び当該音声データをテキストで表したテキストデータを組とした複数の組のデータセットから、２組の音声データ及びテキストデータを選択する第１の選択手段と、
前記平均ｍ及び前記分散ｖに従った被り時間Ｔをランダムに設定し、前記第１の選択手段により選択された前記２組の音声データ及びテキストデータにおける２つの音声データのうち一方の末尾の部分と他方の冒頭の部分とが前記被り時間Ｔの発話被りにて重なるように、前記２つの音声データを重ね合わせることで、第１の重ね合わせ音声データを作成する第１の重ね合わせ音声作成手段と、
前記第１の選択手段により選択された前記２組の音声データ及びテキストデータ、及び前記第１の重ね合わせ音声作成手段により設定された前記被り時間Ｔに基づいて、前記第１の重ね合わせ音声作成手段により作成された前記第１の重ね合わせ音声データに対応する、発話被りの部分の話者変更を表したトークンを含む第１のトークン付きテキストデータを作成する第１のトークン付きテキスト作成手段と、を備え、
前記第１の重ね合わせ音声作成手段により作成された前記第１の重ね合わせ音声データ及び前記第１のトークン付きテキスト作成手段により作成された前記第１のトークン付きテキストデータを、前記学習データとして前記音声認識モデルの学習のために用いる、ことを特徴とする学習データ作成装置。
続きを表示（約 5,600 文字）【請求項２】
請求項１に記載の学習データ作成装置において、
前記テレビ放送番組における発話被りが発生する１発話あたりの確率を被り発生率ｐとし、前記被り発生率ｐが予め設定されている場合に、
さらに、前記被り発生率ｐに基づいて、重ね合わせの有無を決定する重ね合わせ決定手段を備え、
前記第１の重ね合わせ音声作成手段は、
前記重ね合わせ決定手段により重ね合わせ有りが決定された場合、前記平均ｍ及び前記分散ｖに従った前記被り時間Ｔをランダムに設定し、前記２つの音声データのうち一方の末尾の部分と他方の冒頭の部分とが、前記被り時間Ｔの発話被りにて重なるように、前記第１の重ね合わせ音声データを作成し、
前記第１の重ね合わせ音声作成手段により作成された前記第１の重ね合わせ音声データ及び前記第１のトークン付きテキスト作成手段により作成された前記第１のトークン付きテキストデータを、前記学習データとして前記音声認識モデルの学習のために用いると共に、前記重ね合わせ決定手段により重ね合わせ無しが決定された場合、前記第１の選択手段により選択された前記２組の音声データ及びテキストデータのそれぞれを、前記学習データとして前記音声認識モデルの学習のためにそのまま用いる、ことを特徴とする学習データ作成装置。
【請求項３】
請求項２に記載の学習データ作成装置において、
前記重ね合わせ決定手段は、
乱数を生成し、前記被り発生率ｐをしきい値として、前記乱数が前記しきい値以下である場合、重ね合わせ有りを決定し、前記乱数が前記しきい値以下でないと判定した場合、重ね合わせ無しを決定する、ことを特徴とする学習データ作成装置。
【請求項４】
テレビ放送番組の音声を認識するための音声認識モデルに用いる学習データを作成する学習データ作成装置において、
音声データ及び当該音声データをテキストで表したテキストデータを組とした複数の組のデータセットから、１組の音声データ及びテキストデータを選択すると共に、相槌の音声を含む相槌音声データ及び当該相槌音声データをテキストで表した相槌テキストデータを組とした複数の組の相槌データセットから、１組の相槌音声データ及び相槌テキストデータを選択する第２の選択手段と、
前記音声データに対して前記相槌音声データを重ね合わせる時間位置を再生開始時刻ｔとして、前記再生開始時刻ｔをランダムに設定し、
前記第２の選択手段により選択された前記１組の音声データ及びテキストデータにおける前記音声データに対し、当該音声データの冒頭から前記再生開始時刻ｔだけ経過した時間位置を基準として、前記第２の選択手段により選択された前記１組の相槌音声データ及び相槌テキストデータにおける前記相槌音声データを重ね合わせることで、第２の重ね合わせ音声データを作成する第２の重ね合わせ音声作成手段と、
前記第２の選択手段により選択された前記１組の音声データ及びテキストデータ並びに前記１組の相槌音声データ及び相槌テキストデータ、及び、前記第２の重ね合わせ音声作成手段により設定された前記再生開始時刻ｔに基づいて、前記第２の重ね合わせ音声作成手段により作成された前記第２の重ね合わせ音声データに対応する、発話被りの部分の話者変更を表したトークンを含む第２のトークン付きテキストデータを作成する第２のトークン付きテキスト作成手段と、を備え、
前記第２の重ね合わせ音声作成手段により作成された前記第２の重ね合わせ音声データ及び前記第２のトークン付きテキスト作成手段により作成された前記第２のトークン付きテキストデータを、前記学習データとして前記音声認識モデルの学習のために用いる、ことを特徴とする学習データ作成装置。
【請求項５】
テレビ放送番組の音声を認識するための音声認識モデルに用いる学習データを作成する学習データ作成装置において、
発話被り作成手段及び相槌被り作成手段を備え、
前記テレビ放送番組における発話被りが発生する時間の平均を平均ｍとし、前記発話被りが発生する時間の分散を分散ｖとし、前記平均ｍ及び前記分散ｖが予め設定されている場合に、
前記発話被り作成手段は、
音声データ及び当該音声データをテキストで表したテキストデータを組とした複数の組のデータセットから、２組の音声データ及びテキストデータを選択する第１の選択手段と、
前記平均ｍ及び前記分散ｖに従った被り時間Ｔをランダムに設定し、前記第１の選択手段により選択された前記２組の音声データ及びテキストデータにおける２つの音声データのうち一方の末尾の部分と他方の冒頭の部分とが前記被り時間Ｔの発話被りにて重なるように、前記２つの音声データを重ね合わせることで、第１の重ね合わせ音声データを作成する第１の重ね合わせ音声作成手段と、
前記第１の選択手段により選択された前記２組の音声データ及びテキストデータ、及び前記第１の重ね合わせ音声作成手段により設定された前記被り時間Ｔに基づいて、前記第１の重ね合わせ音声作成手段により作成された前記第１の重ね合わせ音声データに対応する、発話被りの部分の話者変更を表したトークンを含む第１のトークン付きテキストデータを作成する第１のトークン付きテキスト作成手段と、を備え、
前記相槌被り作成手段は、
前記データセットから１組の音声データ及びテキストデータを選択すると共に、相槌の音声を含む相槌音声データ及び当該相槌音声データをテキストで表した相槌テキストデータを組とした複数の組の相槌データセットから、１組の相槌音声データ及び相槌テキストデータを選択する第２の選択手段と、
前記音声データに対して前記相槌音声データを重ね合わせる時間位置を再生開始時刻ｔとして、前記再生開始時刻ｔをランダムに設定し、
前記第２の選択手段により選択された前記１組の音声データ及びテキストデータにおける前記音声データに対し、当該音声データの冒頭から前記再生開始時刻ｔだけ経過した時間位置を基準として、前記第２の選択手段により選択された前記１組の相槌音声データ及び相槌テキストデータにおける前記相槌音声データを重ね合わせることで、第２の重ね合わせ音声データを作成する第２の重ね合わせ音声作成手段と、
前記第２の選択手段により選択された前記１組の音声データ及びテキストデータ並びに１組の相槌音声データ及び相槌テキストデータ、及び、前記第２の重ね合わせ音声作成手段により設定された前記再生開始時刻ｔに基づいて、前記第２の重ね合わせ音声作成手段により作成された前記第２の重ね合わせ音声データに対応する、前記トークンを含む第２のトークン付きテキストデータを作成する第２のトークン付きテキスト作成手段と、を備え、
前記第１の重ね合わせ音声作成手段により作成された前記第１の重ね合わせ音声データ及び前記第１のトークン付きテキスト作成手段により作成された前記第１のトークン付きテキストデータを、前記学習データとして前記音声認識モデルの学習のために用いると共に、
前記第２の重ね合わせ音声作成手段により作成された前記第２の重ね合わせ音声データ及び前記第２のトークン付きテキスト作成手段により作成された前記第２のトークン付きテキストデータを、前記学習データとして前記音声認識モデルの学習のために用いる、ことを特徴とする学習データ作成装置。
【請求項６】
請求項１から３までのいずれか一項に記載の学習データ作成装置において、
複数の話者による実際の会話の音声データを会話音声データとし、当該会話音声データをテキストで表したデータを文字起こしテキストデータとして、
前記会話音声データ及び前記文字起こしテキストデータを有音区間毎に区切り、複数の有音区間から発話被りを有する有音区間を削除し、
当該発話被りを有する有音区間が削除された複数の有音区間の音声データ及びテキストデータから、異なる２人の話者による音声データ及びテキストデータをペアデータとして選択し、当該ペアデータによる前記データセットを構成する音声作成手段を備え、
前記第１の選択手段は、
前記データセットから、前記ペアデータにおける２組の音声データ及びテキストデータを選択する、ことを特徴とする学習データ作成装置。
【請求項７】
請求項４に記載の学習データ作成装置において、
複数の話者による実際の会話の音声データを会話音声データとし、当該会話音声データをテキストで表したデータを文字起こしテキストデータとして、
前記会話音声データ及び前記文字起こしテキストデータを有音区間毎に区切り、複数の有音区間から発話被りを有する有音区間を削除し、
当該発話被りを有する有音区間が削除された複数の有音区間の音声データ及びテキストデータから、異なる２人の話者の音声データ及びテキストデータをペアデータとして選択し、当該ペアデータによる前記データセットを構成する音声作成手段を備え、
前記第２の選択手段は、
前記データセットから、前記ペアデータに含まれる１組の音声データ及びテキストデータを選択すると共に、前記相槌データセットから、前記１組の相槌音声データ及び相槌テキストデータを選択する、ことを特徴とする学習データ作成装置。
【請求項８】
テレビ放送番組の音声を認識するための音声認識モデルに用いる学習データを作成する学習データ作成装置を構成するコンピュータを、
前記テレビ放送番組における発話被りが発生する時間の平均を平均ｍとし、前記発話被りが発生する時間の分散を分散ｖとし、前記平均ｍ及び前記分散ｖが予め設定されている場合に、
音声データ及び当該音声データをテキストで表したテキストデータを組とした複数の組のデータセットから、２組の音声データ及びテキストデータを選択する第１の選択手段、
前記平均ｍ及び前記分散ｖに従った被り時間Ｔをランダムに設定し、前記第１の選択手段により選択された前記２組の音声データ及びテキストデータにおける２つの音声データのうち一方の末尾の部分と他方の冒頭の部分とが前記被り時間Ｔの発話被りにて重なるように、前記２つの音声データを重ね合わせることで、第１の重ね合わせ音声データを作成する第１の重ね合わせ音声作成手段、及び、
前記第１の選択手段により選択された前記２組の音声データ及びテキストデータ、及び前記第１の重ね合わせ音声作成手段により設定された前記被り時間Ｔに基づいて、前記第１の重ね合わせ音声作成手段により作成された前記第１の重ね合わせ音声データに対応する、発話被りの部分の話者変更を表したトークンを含む第１のトークン付きテキストデータを作成する第１のトークン付きテキスト作成手段として機能させ、
前記第１の重ね合わせ音声作成手段により作成された前記第１の重ね合わせ音声データ及び前記第１のトークン付きテキスト作成手段により作成された前記第１のトークン付きテキストデータを、前記学習データとして前記音声認識モデルの学習のために用いる、ことを特徴とするプログラム。
【請求項９】
テレビ放送番組の音声を認識するための音声認識モデルに用いる学習データを作成する学習データ作成装置を構成するコンピュータを、
音声データ及び当該音声データをテキストで表したテキストデータを組とした複数の組のデータセットから、１組の音声データ及びテキストデータを選択すると共に、相槌の音声を含む相槌音声データ及び当該相槌音声データをテキストで表した相槌テキストデータを組とした複数の組の相槌データセットから、１組の相槌音声データ及び相槌テキストデータを選択する第２の選択手段、
前記音声データに対して前記相槌音声データを重ね合わせる時間位置を再生開始時刻ｔとして、前記再生開始時刻ｔをランダムに設定し、
前記第２の選択手段により選択された前記１組の音声データ及びテキストデータにおける前記音声データに対し、当該音声データの冒頭から前記再生開始時刻ｔだけ経過した時間位置を基準として、前記第２の選択手段により選択された前記１組の相槌音声データ及び相槌テキストデータにおける前記相槌音声データを重ね合わせることで、第２の重ね合わせ音声データを作成する第２の重ね合わせ音声作成手段、及び、
前記第２の選択手段により選択された前記１組の音声データ及びテキストデータ並びに前記１組の相槌音声データ及び相槌テキストデータ、及び、前記第２の重ね合わせ音声作成手段により設定された前記再生開始時刻ｔに基づいて、前記第２の重ね合わせ音声作成手段により作成された前記第２の重ね合わせ音声データに対応する、発話被りの部分の話者変更を表したトークンを含む第２のトークン付きテキストデータを作成する第２のトークン付きテキスト作成手段として機能させ、
前記第２の重ね合わせ音声作成手段により作成された前記第２の重ね合わせ音声データ及び前記第２のトークン付きテキスト作成手段により作成された前記第２のトークン付きテキストデータを、前記学習データとして前記音声認識モデルの学習のために用いる、ことを特徴とするプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、日本語の音声認識技術において、複数の話者による発話被りを含む音声を高精度に認識するための学習データを作成する学習データ作成装置及びプログラムに関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
従来、複数の話者の会話に対する音声認識技術において、発話被りが音声認識率を低下させることが知られている。これは、音声認識モデルを用いた音声認識装置が、発話が被っている区間の音声を精度高く認識することができないからである。
【０００３】
図１３は、発話被りの例を説明する図である。図１３に示すように、話者Ｗ１が「次の駅は新宿ですか」を、話者Ｗ２が「渋谷です」を、話者Ｗ３が「ありがとうございます」をそれぞれ発話したとする。また、話者Ｗ１の発話「ですか」と、話者Ｗ２の発話「渋谷」とが時間軸上で重なり、話者Ｗ２の発話「です」と、話者Ｗ３の発話「あり」とが時間軸上で重なるものとする。
【０００４】
この場合、音声認識装置は、これらの発話が重なっている発話被りの部分について、話者Ｗ１，Ｗ２，Ｗ３のそれぞれの音声を精度高く認識することができない。
【０００５】
この問題を解決するために、発話被りのある音声データ、及び、発話被りが生じた部分に話者が変更されたことを示すトークンを挿入したテキストデータを用いて、音声認識モデルを学習する手法が提案されている（例えば、非特許文献１を参照）。このようにして学習された音声認識モデルを用いることで、発話被りのある音声の認識率を向上させることができる。
【０００６】
図１４は、従来の学習データ作成処理の例を示すフローチャートであり、前述の非特許文献１に記載された処理を示している。前述の非特許文献１に記載された学習データ作成処理を行う学習データ作成装置は、音声データ及びこれに対応するテキストデータ（音声データをテキストで表したテキストデータ）を入力する（ステップＳ１４０１）。
【０００７】
学習データ作成装置は、入力した複数の音声データから、２つの音声データをランダムに選択し（ステップＳ１４０２）、０．５秒以上の発話被りが生じるように、２つの音声データをランダムな時間差で重ね合わせる（ステップＳ１４０３）。これにより、重ね合わせ音声データが作成される。
【０００８】
学習データ作成装置は、２つの音声データ及びステップＳ１４０３にて用いた時間差に基づいて、重ね合わせ音声データ内の発話被りが生じた部分を判定する。そして、学習データ作成装置は、重ね合わせ音声データに対応する、発話被りの部分の話者変更を表したトークンを含むテキストデータ（トークン付きテキストデータ）を作成する（ステップＳ１４０４）。
【０００９】
学習データ作成装置は、重ね合わせ音声データ及びトークン付きテキストデータを学習データとして出力する（ステップＳ１４０５）。
【００１０】
このようにして作成され出力された重ね合わせ音声データ及びトークン付きテキストデータは、重ね合わせのない元の音声データ及びこれに対応するテキストデータと共に、音声認識モデルの学習のために用いられる。
【先行技術文献】
【非特許文献】
（【００１１】以降は省略されています）

関連特許