特許ウォッチ

公開番号2024043720
公報種別公開特許公報(A)
公開日2024-04-02
出願番号2022148871
出願日2022-09-20
発明の名称調波音・背景音を用いた音声補償プログラム、装置及び方法
出願人KDDI株式会社
代理人個人,個人
主分類G10L 19/005 20130101AFI20240326BHJP(楽器;音響)
要約【課題】より不快感の少ない音声補償を実施可能な音声補償プログラムを提供する。
【解決手段】本プログラムは、音声信号の欠損部分を補償する音声補償プログラムであり、音声信号における欠損部分の前の信号部分に基づき、又は予め設定された周波数条件に基づき、特定の周波数成分を有する音響信号である調波音信号を生成する調波音生成手段と、調波音信号を含む補償信号を欠損部分に挿入する補償信号挿入手段としてコンピュータを機能させる。また本音声補償プログラムは、予め用意された若しくは周囲の音として取得された音響信号に基づき、又は欠損部分の前の信号部分に基づき、所定の低周波数帯でピークをなす振幅スペクトルを有する音響信号である背景音信号を生成する背景音生成手段と、調波音信号と背景音信号とから補償信号を生成する補償信号生成手段としてコンピュータを更に機能させることも好ましい。
【選択図】図1
特許請求の範囲【請求項１】
音声信号の欠損部分を補償する音声補償プログラムであって、
当該音声信号における当該欠損部分の前の信号部分に基づき、又は予め設定された周波数条件に基づき、特定の周波数成分を有する音響信号である調波音信号を生成する調波音生成手段と、
当該調波音信号を含む補償信号を当該欠損部分に挿入する補償信号挿入手段と
してコンピュータを機能させることを特徴とする音声補償プログラム。
続きを表示（約 1,500 文字）【請求項２】
前記調波音生成手段は、当該欠損部分の前の信号部分の基本周波数を決定し、又は当該予め設定された周波数条件としての基本周波数を取得し、当該基本周波数に係る基本波周波数成分と、当該基本周波数に対する高調波周波数に係る高調波周波数成分とを有する当該調波音信号を生成することを特徴とする請求項１に記載の音声補償プログラム。
【請求項３】
前記調波音生成手段は、振幅が当初、当該欠損部分の前の信号部分の振幅に基づき決定された値をとり、その後時間とともに減少する当該調波音信号を生成することを特徴とする請求項１又は２に記載の音声補償プログラム。
【請求項４】
前記補償信号は、少なくとも信号の先頭に当該調波音信号を含み、
前記補償信号挿入手段は、当該補償信号を、当該欠損部分の直前の信号部分に繋げる形で挿入する
ことを特徴とする請求項１又は２に記載の音声補償プログラム。
【請求項５】
予め用意された若しくは周囲の音として取得された音響信号に基づき、又は当該音声信号における当該欠損部分の前の信号部分に基づき、所定の低周波数帯でピークをなす振幅スペクトルを有する音響信号である背景音信号を生成する背景音生成手段と、
当該調波音信号と当該背景音信号とから当該補償信号を生成する補償信号生成手段と
してコンピュータを更に機能させることを特徴とする請求項１又は２に記載の音声補償プログラム。
【請求項６】
前記背景音生成手段は、当該音響信号における又は当該欠損部分の前の信号部分における音声区間ではない信号部分に対し、当該音声区間の信号部分における振幅スペクトルに対応した周波数依存性を有する重み付け処理及び／又はフィルタ処理を施して当該背景音信号を生成することを特徴とする請求項５に記載の音声補償プログラム。
【請求項７】
前記背景音生成手段は、当該周囲の音として取得された音響信号における音声区間の信号部分の振幅と、当該音声区間ではない信号部分の振幅との比が所定以下である場合、当該周囲の音として取得された音響信号に基づき、当該背景音信号を生成することを特徴とする請求項５に記載の音声補償プログラム。
【請求項８】
前記補償信号生成手段は、当該調波音信号と当該背景音信号とを合成して、又は当該調波音信号の後に当該背景音信号を繋げて、当該補償信号を生成することを特徴とする請求項５に記載の音声補償プログラム。
【請求項９】
前記補償信号生成手段は、当該欠損部分の時間長が所定以上である場合に、当該欠損部分の前の信号部分における音声区間の信号部分の振幅と、当該音声区間ではない信号部分の振幅との比について単調増加関数となる合成比を用い、当該調波音信号と当該背景音信号とを合成することによって、当該補償信号を生成することを特徴とする請求項８に記載の音声補償プログラム。
【請求項１０】
音声信号の欠損部分を補償する音声補償プログラムであって、
予め用意された若しくは周囲の音として取得された音響信号に基づき、又は当該音声信号における当該欠損部分の前の信号部分に基づき、所定の低周波数帯でピークをなす振幅スペクトルを有する音響信号である背景音信号を生成する背景音生成手段と、
当該背景音信号を含む補償信号を当該欠損部分に挿入する補償信号挿入手段と
してコンピュータを機能させることを特徴とする音声補償プログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、音声信号の欠損部分を補償する技術に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
現在、音声パケットを利用したデジタル音声通信が盛んに行われている。デジタル音声通信においては、パケットロスの発生や通信路容量の制約等によって、音声信号に時間的な欠損部分が生じることもあり得る。このような欠損部分を有する音声信号は、受聴者に不快感を与え、主観品質（ユーザ体感品質）を著しく低下させることが懸念される。また、このような音声信号における欠損部分の発生は、インターネット回線を利用したマルチメディア通信やストリーミング再生等でも大きな問題となっている。
【０００３】
例えば、リアルタイム性をそれほど要求されない音声伝送では、同一の音声データを繰り返し送信することによって、この欠損部分を補完することもできる。これに対し、音声通信等のリアルタイム性が強く求められる音声伝送においては、欠損部分の補完方法として従来、パケットロス隠蔽（ＰＬＣ, Packet Loss Concealment）が提案されてきた。
【０００４】
ＰＬＣは、非特許文献１（ＩＴＵ-Ｔ勧告 G.711, Appendix I）において標準化された欠損補完方法であり、このＰＬＣとして具体的に、波形置換法や予測置換法が提唱されている。ここで、この標準化されたＰＬＣは、断続長が60ms（ミリ秒）以下のパケットロスにしか対応できず、実際このＰＬＣによっても、60msを超えた欠損部分は無音となってしまう。これは、相当に長時間のパケットロスが発生した音声信号では、音声波形の物理的修復がもはや困難であることによる。しかしながら現状、60msを超える長時間のパケットロスは頻繁に発生しており、この標準化されたＰＬＣでは、このようなパケットロスの発生に対し厳密に対処することは不可能となっている。
【０００５】
そこで現在、長時間のパケットロスの発生にも対応可能な欠損補完方法が検討されている。例えば非特許文献２に開示されているように、人間の脳における特に聴覚を司る部分には、劣悪な条件下でも音声による円滑なコミュニケーションを可能にするための様々な機構が存在する。その１つが、非特許文献３及び４で詳細に説明されている連続聴効果（音素修復現象、音韻修復現象）である。
【０００６】
連続聴効果は、音声信号の欠損部分が、音声とは無関係な音響信号で満たされることによって、途切れているはずの音が滑らかにつながって知覚される現象であり、聴覚の錯覚現象の１つとして捉えられている。このような聴覚における錯覚が生じる仕組みを解明して当該錯覚を音声信号処理に応用すべく、現在、例えば非特許文献５に開示されたような有効な連続聴効果を生じさせるための研究が、盛んに進められている。
【先行技術文献】
【非特許文献】
【０００７】
ＩＴＵ-Ｔ勧告 G.711, Appendix I, “A high quality low-complexity algorithm for packet loss concealment with G.711”, １９９９年
R. M. Warren, “Auditory Perception: A New Analysis and Synthesis”, Cambridge University Press, Cambridge, １９９９年
G. A. Miller and J. C. R. Licklider, “The intelligibility of interrupted speech”, Journal of the Acoustical Society of America, vol.22, pp.167-173, １９５０年
R. M. Warren, “Perceptual restoration of missing speech sounds”, Science. 167, pp.392-393, １９７０年
M. Kashino, “Phonemic Restoration: The brain creates missing speech sounds”, Acoustical Science and Technology, 27(6), pp.318-321, ２００６年
B. C. J. Moore, “An Introduction to the Psychology of Hearing”, 5th Edition, Emerald Group Publishing Ltd, ２００３年
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した連続聴効果を有効に生じさせるためには、非特許文献５において指摘されているように、（条件１）欠損部分に十分に大きなパワーを持つ音響信号が挿入され、マスキング効果が生じること、及び（条件２）欠損部分に隙間なく音響信号が挿入され、欠損部分の開始時において音の途切れが知覚されないこと、が必要であるとされてきた。
【０００９】
したがって従来、連続聴効果を用いた音声補完の方法として、ハイパワーの広帯域雑音（ホワイトノイズ）を、欠損部分に隙間なく挿入するやり方が提案されてきたのみであった。またそれ故、このような従来の方法では、音声補完処理が施されたにもかかわらず依然、受聴者に不快感が残り、例えば音声通信における主観品質の向上も困難となっていたのである。
【００１０】
そこで、本発明は、より不快感の少ない音声補償を実施可能な音声補償プログラム、装置及び方法を提供することを目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許