特許ウォッチ

公開番号2025180166
公報種別公開特許公報(A)
公開日2025-12-11
出願番号2024087318
出願日2024-05-29
発明の名称音声分析方法および音声分析装置
出願人国立大学法人大阪大学
代理人個人
主分類G10L 25/90 20130101AFI20251204BHJP(楽器;音響)
要約【課題】音声の基本周波数の推定精度を向上することができる音声分析方法等を提供する。
【解決手段】音声分析方法は、音声を含む信号に基づいて、所定期間を1フレームとする複数のフレームの周波数スペクトル波形を取得する波形取得ステップと、複数のフレームのうちの第1フレームの周波数スペクトル波形に基づいて、第1フレームにおける基本周波数を導出する第1の導出ステップと、複数のフレームのうちの第2フレームの周波数スペクトル波形に基づいて、第2フレームにおける基本周波数を推定するステップと、を含む。基本周波数を推定するステップにおいて、第2フレームの周波数スペクトル波形の一部が所定周波数範囲Rfに存在するか、および、周波数スペクトル波形の一部にある検証点pkRが所定スペクトル強度範囲Rsに存在するかを判断し、当該判断に基づいて第2フレームにおける基本周波数を推定する。
【選択図】図14
特許請求の範囲【請求項１】
音声を含む信号に基づいて、所定期間を１フレームとする複数のフレームの周波数スペクトル波形を取得する波形取得ステップと、
前記複数のフレームのうちの第１フレームの周波数スペクトル波形に基づいて、前記第１フレームにおける基本周波数を導出する第１の導出ステップと、
前記複数のフレームのうちの第２フレームの周波数スペクトル波形に基づいて、前記第２フレームにおける基本周波数を推定するステップと、
を含み、
前記基本周波数を推定するステップにおいて、前記第２フレームの周波数スペクトル波形の一部が前記第１フレームにおける基本周波数を含む所定周波数範囲に存在するか、および、前記周波数スペクトル波形の一部にある検証点が当該基本周波数のスペクトル強度を含む所定スペクトル強度範囲に存在するかを判断し、当該判断に基づいて前記第２フレームにおける基本周波数を推定する
音声分析方法。
続きを表示（約 2,300 文字）【請求項２】
前記検証点は、前記所定周波数範囲に存在する前記周波数スペクトル波形のうち、スペクトル強度が最大となる点である
請求項１に記載の音声分析方法。
【請求項３】
さらに、前記第２フレームの周波数スペクトル波形に基づいて、前記第２フレームにおける暫定の基本周波数を導出する第２の導出ステップを含み、
前記基本周波数を推定するステップにおいて、
前記第２フレームの周波数スペクトル波形の一部が前記所定周波数範囲に存在し、かつ、前記検証点のスペクトル強度が前記所定スペクトル強度範囲に存在する場合に、前記検証点の周波数を前記第２フレームにおける基本周波数であると推定し、
前記第２フレームの周波数スペクトル波形の一部が前記所定周波数範囲に存在しない、または、前記検証点のスペクトル強度が前記所定スペクトル強度範囲に存在しない場合に、前記第２の導出ステップで導出した前記暫定の基本周波数を前記第２フレームにおける基本周波数であると推定する
請求項２に記載の音声分析方法。
【請求項４】
さらに、
前記複数のフレームのうちの前記第（Ｎ＋１）フレーム（Ｎは２以上の整数）の周波数スペクトル波形に基づいて、前記第（Ｎ＋１）フレームにおける暫定の基本周波数を導出する第（Ｎ＋１）の導出ステップと、
前記第（Ｎ＋１）フレームの周波数スペクトル波形に基づいて、前記第（Ｎ＋１）フレームにおける基本周波数を推定するステップと、
を含み、
前記第（Ｎ＋１）フレームにおける基本周波数を推定するステップにおいて、
前記第（Ｎ＋１）フレームの周波数スペクトル波形の一部が第Ｎフレームにおける基本周波数を含む所定周波数範囲に存在し、かつ、前記周波数スペクトル波形のうち前記所定周波数範囲においてスペクトル強度が最大となる検証点のスペクトル強度が所定スペクトル強度範囲に存在する場合に、当該検証点の周波数を前記第（Ｎ＋１）フレームにおける基本周波数であると推定し、
前記第（Ｎ＋１）フレームの周波数スペクトル波形の一部が、前記所定周波数範囲に存在しない、または、前記検証点のスペクトル強度が前記所定スペクトル強度範囲に存在しない場合に、前記第（Ｎ＋１）の導出ステップで導出した前記暫定の基本周波数を前記第（Ｎ＋１）フレームにおける基本周波数であると推定する
請求項３に記載の音声分析方法。
【請求項５】
前記第１の導出ステップは、前記第１フレームにおいて、
前記周波数スペクトル波形のスペクトル強度の最大ピークを導出するステップと、
前記スペクトル強度が最大ピークとなる周波数よりも低周波数側に位置する周波数領域の中から、所定のスペクトル強度よりも大きい極大値をとる１点以上の周波数ピークを抽出するステップと、
前記１点以上の周波数ピークのうち最も低周波数側に位置する周波数ピークを抽出し、当該周波数ピークに対応する周波数を前記第１フレームにおける基本周波数とするステップと、
を含む請求項２に記載の音声分析方法。
【請求項６】
前記第２の導出ステップは、前記第２フレームにおいて、
前記周波数スペクトル波形のスペクトル強度の最大ピークを導出するステップと、
前記スペクトル強度が最大ピークとなる周波数よりも低周波数側に位置する周波数領域の中から、所定のスペクトル強度よりも大きい極大値をとる１点以上の周波数ピークを抽出するステップと、
前記１点以上の周波数ピークのうち最も低周波数側に位置する周波数ピークを抽出し、当該周波数ピークに対応する周波数を前記第２フレームにおける暫定の基本周波数とするステップと、
を含む請求項３に記載の音声分析方法。
【請求項７】
前記第（Ｎ＋１）の導出ステップは、前記第（Ｎ＋１）フレームにおいて、
前記周波数スペクトル波形のスペクトル強度の最大ピークを導出するステップと、
前記スペクトル強度が最大ピークとなる周波数よりも低周波数側に位置する周波数領域の中から、所定のスペクトル強度よりも大きい極大値をとる１点以上の周波数ピークを抽出するステップと、
前記１点以上の周波数ピークのうち最も低周波数側に位置する周波数ピークを抽出し、当該周波数ピークに対応する周波数を前記第Ｎフレームにおける暫定の基本周波数とするステップと、
を含む請求項４に記載の音声分析方法。
【請求項８】
前記所定周波数範囲は、前記基本周波数を基準とする一定範囲の周波数であり、
前記所定スペクトル強度範囲は、前記基本周波数のスペクトル強度を基準とする一定範囲のスペクトル強度である
請求項１～７のいずれかに記載の音声分析方法。
【請求項９】
前記スペクトル強度の最大ピークを導出するステップにおいて、前記周波数スペクトル波形から前記音声とは異なるデータを除去することで音声スペクトル波形を生成し、当該音声スペクトル波形に基づいて前記スペクトル強度の最大ピークを導出する
請求項５～７のいずれかに記載の音声分析方法。
【請求項１０】
前記波形取得ステップにおいて、前記周波数スペクトル波形に含まれる複数のスペクトル強度の極大値の平均が予め決められた範囲に入るように、前記周波数スペクトル波形を調整し、調整後の前記周波数スペクトル波形を取得する
請求項１～７のいずれかに記載の音声分析方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、音声分析方法および音声分析装置に関する。
続きを表示（約 3,700 文字）【背景技術】
【０００２】
音声を分析することで音声の基本周波数を推定する方法が知られている。従来の基本周波数の推定方法は、大きく３つのグループに分けられる。１つ目は時間領域の特性を利用するものであり、２つ目は周波数領域の特性を利用するものであり、３つ目は時間領域および周波数領域の両方の特性を組み合わせたものである。
【０００３】
時間領域の特性を利用するものとしては、信号の相関を用いる方法が一般的であり、例えば、「自己相関法」および「相互相関法」、「極大値検出法」などの方法が知られている。周波数領域の特性を利用するものとしては、例えば、非特許文献１に示された「ＳＷＩＰＥ」および「ＳＷＩＰＥ‘」などの方法が知られている。「ＳＷＩＰＥ」および「ＳＷＩＰＥ‘」などの方法では、パワースペクトルの調波構造に着目し、誤差を低減する工夫を施すことで基本周波数の推定精度を向上させている。上記の両方の特性を組み合わせたものとしては、例えば、非特許文献２に示された「ＢａＮａ」の方法が知られている。「ＢａＮａ」の方法では、高調波周波数比とケプストラム解析とからなる古典的アプローチを組み合わせて、基本周波数を推定している。
【先行技術文献】
【非特許文献】
【０００４】
A. Camacho and J.G. Harris, “A sawtooth waveform inspired pitch estimator for speech and music,” J. Acoust. Soc. 2008.
（Ba H, Yang N. BaNa: a hybrid approach for noise resilient pitch detection. IEEE Statistical Signal Processing Workshop. 2012）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の方法では、音声の基本周波数の推定精度に改善の余地がある。
【０００６】
本開示は、音声の基本周波数の推定精度を向上することができる音声分析方法等を提供する。
【課題を解決するための手段】
【０００７】
本開示の一態様に係る音声分析方法は、音声を含む信号に基づいて、所定期間を１フレームとする複数のフレームの周波数スペクトル波形を取得する波形取得ステップと、前記複数のフレームのうちの第１フレームの周波数スペクトル波形に基づいて、前記第１フレームにおける基本周波数を導出する第１の導出ステップと、前記複数のフレームのうちの第２フレームの周波数スペクトル波形に基づいて、前記第２フレームにおける基本周波数を推定するステップと、を含み、前記基本周波数を推定するステップにおいて、前記第２フレームの周波数スペクトル波形の一部が前記第１フレームにおける基本周波数を含む所定周波数範囲に存在するか、および、前記周波数スペクトル波形の一部にある検証点が当該基本周波数のスペクトル強度を含む所定スペクトル強度範囲に存在するかを判断し、当該判断に基づいて前記第２フレームにおける基本周波数を推定する。
【０００８】
本開示の一態様に係る音声分析装置は、音声を含む信号に基づいて、所定期間を１フレームとする複数のフレームの周波数スペクトル波形を取得する波形取得部と、前記複数のフレームのうちの第１フレームの周波数スペクトル波形に基づいて、前記第１フレームにおける基本周波数を導出する導出部と、前記複数のフレームのうちの第２フレームの周波数スペクトル波形に基づいて、前記第２フレームにおける基本周波数を推定する推定部と、を備え、前記推定部は、前記第２フレームの周波数スペクトル波形の一部が、前記第１フレームにおける基本周波数を含む所定周波数範囲に存在するか、および、前記周波数スペクトル波形の一部にある検証点が当該基本周波数のスペクトル強度を含む所定スペクトル強度範囲に存在するかを判断し、当該判断に基づいて前記第２フレームにおける基本周波数を推定する。
【発明の効果】
【０００９】
本開示の音声分析方法等によれば、音声の基本周波数の推定精度を向上することができる。
【図面の簡単な説明】
【００１０】
音声のスペクトル波形を示す図である。
音声にSubharmonics（サブハーモニクス）をメインとしたノイズ成分が付与されたスペクトル波形を示す図である。
実施の形態に係る音声分析装置を含む音声分析システムの概略図である。
音声分析装置の構成を示すブロック図である。
音声データに含まれる音声波形および周波数スペクトル波形を示す図である。
第１フレームの周波数スペクトル波形の一例を示す図である。
周波数スペクトル波形における最大ピークおよび周波数ピークを示す図である。
複数の周波数ピークの中からスペクトル強度の大きな周波数ピークを抽出する例を示す図である。
第１フレームにおいて、基本周波数を導出する例を示す図である。
第１フレームにおける基本周波数を含む所定周波数範囲、および、当該基本周波数のスペクトル強度を含む所定スペクトル強度範囲を示す図である。
第２フレームにおける基本周波数の推定例を示す図である。
第２フレームにおける基本周波数の他の推定例を示す図である。
基本周波数およびスペクトル強度の表示例を示す図である。
実施の形態に係る音声分析方法を示すフローチャートである。
声帯原音における音声のスペクトル波形を示す図である。
声道でフィルタリングされ、口から発声された音声におけるスペクトル波形を示す図である。
Subharmonics（サブハーモニクス）を含む音声のスペクトル波形を示す図である。
全３４４人の参加者の診断名をまとめた表である。
「聴覚心理的評価における声質評価の程度の分布」を示す図である。
Dominant spectrum test（ドミナントスペクトラムテスト）におけるfo（基本周波数）の候補のサーチ過程を示す図である。
低周波数領域を分割し、それぞれの範囲内でのスペクトルピークを抽出する例を示す図である。
図１９ａで求めたスペクトルピークと比較して、一定以上のスペクトル強度を持つ最低周波数のスペクトルピークをfo（基本周波数）の候補とする図である。
Sequential spectrum test（シーケンシャルスペクトラムテスト）におけるfo（基本周波数）の候補の選定過程を示す図である。
スペクトル強度および周波数が近似する周波数ピークが存在しない場合、Dominant spectrum test（ドミナントスペクトラムテスト）で選定したfo（基本周波数）の候補を使用する例を示す図である。
CSとSVの連結サンプルにおけるSpectrogram（スペクトログラム）の一例を示す図である。
Subharmonics errors（サブハーモニクスエラー）の一例を示す図である。
Spectrogram（スペクトグラム）上でfo（基本周波数）のground-truth（グランドトゥルース）を抽出する工程を示す図である。
推定fo（基本周波数）とfo（基本周波数）のground-truth（グランドトゥルース）を比較して、両者が重なる箇所を抽出する例を示す図である。
サンプル全体に占めるfo（基本周波数）推定一致時間の割当「%true-all」とサンプル全体に占める有声音の割合「％voice-all」をそれぞれ算出した例を示す図である。
比較対象として評価されたアルゴリズムのリストを示す図である。
連結音声サンプルにおける各fo（基本周波数）推定アルゴリズムの「%true」を454サンプル全例プロットした結果を示す図である。
全454サンプルにおける各fo（基本周波数）推定アルゴリズムの結果を比較した図である。
Gtotalが0.5未満の嗄声無しと評価された音声サンプルでの結果を示す図である。
Gtotal,Rtotal,Btotalのそれぞれが0.5以上の嗄声有りと評価された音声サンプルでの結果を示す図である。
各タイプの嗄声有り群と嗄声無し群を比較した場合、「%true」の差が5%以内に収まるか否かを調査した結果を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許