特許ウォッチ

公開番号2025053973
公報種別公開特許公報(A)
公開日2025-04-07
出願番号2023163118
出願日2023-09-26
発明の名称音声合成装置および音声合成方法
出願人株式会社JVCケンウッド
代理人弁理士法人酒井国際特許事務所
主分類G10L 21/007 20130101AFI20250331BHJP(楽器;音響)
要約【課題】表現力のある合成音声で会話を実現すること。
【解決手段】音声合成装置は、話者の発する音声を取得する音声取得部と、取得した音声を音素列に変換する音声認識部と、音素列を合成音声に変換して出力する音声合成部と、話者の画像を取得する画像取得部と、取得した画像から口唇の動きのパターンを認識する画像認識部と、認識した口唇の動きパターンに基づいたフィルタで合成音声を補正する音声補正部と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
話者の発する音声を取得する音声取得部と、
前記取得した音声を音素列に変換する音声認識部と、
前記音素列を合成音声に変換して出力する音声合成部と、
前記話者の画像を取得する画像取得部と、
取得した前記画像から口唇の動きのパターンを認識する画像認識部と、
認識した前記口唇の動きパターンに基づいたフィルタで前記合成音声を補正する音声補正部と、
を備える、音声合成装置。
続きを表示（約 550 文字）【請求項２】
前記音声補正部は、学習済みモデルを用いて、前記フィルタを推論し、
前記学習済みモデルは、前記話者の発する音素と、口唇の動きパターンとの組み合わせを入力とし、前記音素に対応する前記合成音声を補正する前記フィルタを出力するように生成されている、
請求項１に記載の音声合成装置。
【請求項３】
前記学習済みモデルは、前記話者ごとに生成されている、
請求項２に記載の音声合成装置。
【請求項４】
前記画像認識部は、取得した前記画像から前記話者の表情を認識し、
前記音声補正部は、認識した前記話者の表情に基づいた前記フィルタで前記合成音声を補正する、
請求項１に記載の音声合成装置。
【請求項５】
話者の発する音声を取得するステップと、
前記取得した音声を音素列に変換するステップと、
前記音素列を合成音声に変換して出力するステップと、
前記話者の画像を取得するステップと、
取得した前記画像から口唇の動きのパターンを認識するステップと、
認識した前記口唇の動きパターンに基づいたフィルタで前記合成音声を補正するステップと、
を含む、音声合成方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、音声合成装置および音声合成方法に関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
話者の音声を合成する技術が知られている。特許文献１には、唇の動きや手話を表現した映像を音声情報に合成する技術が知られている。特許文献２には、アニメーションのような多重媒体と、合成音との自然な連動を具現することのできる技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
特開平１１－２２６０５０号公報
特開平１０－３２０１７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年の声質変換・音声合成技術は、対象の話者らしい声質を保ったまま、自由に文章を読み上げることができる。しかしながら、従来の技術では、話者らしい声質の再現に重点を置いているため、抑揚に乏しい、または話速が均一になるなど、実際の会話に含まれる揺らぎを表現できないため、表現力に欠けることも多い。
【０００５】
本発明は、表現力のある合成音声で会話を実現することのできる音声合成装置および音声合成方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の音声合成装置は、話者の発する音声を取得する音声取得部と、前記取得した音声を音素列に変換する音声認識部と、前記音素列を合成音声に変換して出力する音声合成部と、前記話者の画像を取得する画像取得部と、取得した前記画像から口唇の動きのパターンを認識する画像認識部と、認識した前記口唇の動きパターンに基づいたフィルタで前記合成音声を補正する音声補正部と、を備える。
【０００７】
本発明の音声合成方法は、話者の発する音声を取得するステップと、前記取得した音声を音素列に変換するステップと、前記音素列を合成音声に変換して出力するステップと、前記話者の画像を取得するステップと、取得した前記画像から口唇の動きのパターンを認識するステップと、認識した前記口唇の動きパターンに基づいたフィルタで前記合成音声を補正するステップと、を含む。
【発明の効果】
【０００８】
本発明によれば、表現力のある合成音声で会話を実現することができる。
【図面の簡単な説明】
【０００９】
図１は、第１実施形態に係る音声合成システムの構成例を示すブロック図である。
図２は、第１実施形態に係る音素の推定結果の一例を示す図である。
図３は、第１実施形態に係る補正テーブルの第１の例を示す図である。
図４は、第１実施形態に係る補正テーブルの第２の例を示す図である。
図５は、第１実施形態に係る音声合成方法の流れを示すフローチャートである。
図６は、第２実施形態に係る学習装置の構成例を示すブロック図である。
図７は、第２実施形態に係る音声合成システムの構成例を示すブロック図である。
図８は、第２実施形態に係る音声合成方法の流れを示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
（【００１１】以降は省略されています）

関連特許