特許ウォッチ

公開番号2024137023
公報種別公開特許公報(A)
公開日2024-10-04
出願番号2023048371
出願日2023-03-24
発明の名称音変換方法およびプログラム
出願人ヤマハ株式会社
代理人弁理士法人高橋・林アンドパートナーズ
主分類G10L 21/007 20130101AFI20240927BHJP(楽器;音響)
要約【課題】変換後の音質を設定するときに、使用状況に応じて設定の少なくとも一部を連動させること
【解決手段】音変換方法は、入力音信号の第1音響特徴データと入力音信号に基づく音高指定データとを、音質指定データが設定された訓練済モデルに提供することと、音質指定データに応じた音質を有する変換音信号を生成するための第2音響特徴データを、訓練済モデルから取得すること、を含む。訓練済モデルは、第1音響特徴データと音高指定データとを用いて第2音響特徴データを出力するモデルである。音高指定データは、音高調整量の判定対象となる対象音信号の音高と音質指定データに関連付けられた音域との関係に基づいて入力音信号の音高を調整した音高を示すデータである。
【選択図】図2
特許請求の範囲【請求項１】
入力音信号の第１音響特徴データと前記入力音信号に基づく音高指定データとを、音質指定データが設定された訓練済モデルに提供することと、
前記音質指定データに応じた音質を有する変換音信号を生成するための第２音響特徴データを、前記訓練済モデルから取得すること、
を含み、
前記訓練済モデルは、前記第１音響特徴データと前記音高指定データとを用いて前記第２音響特徴データを出力するモデルであり、
前記音高指定データは、音高調整量の判定対象となる対象音信号の音高と前記音質指定データに関連付けられた音域との関係に基づいて前記入力音信号の音高を調整した音高を示すデータである、
音変換方法。
続きを表示（約 1,200 文字）【請求項２】
前記音高指定データは、前記入力音信号の音高を１オクターブ単位で調整した音高を含む、
請求項１に記載の音変換方法。
【請求項３】
前記音高指定データは、前記入力音信号の音高を予め決められた複数の音高のいずれかに調整した音高を示す、
請求項２に記載の音変換方法。
【請求項４】
入力音信号の第１音響特徴データを、音質指定データが設定された訓練済モデルに提供することと、
前記音質指定データに応じた音質を有する変換音信号を生成するための第２音響特徴データを、前記訓練済モデルから取得すること、
を含み、
前記訓練済モデルは、前記第１音響特徴データを用いて前記第２音響特徴データを出力するモデルであり、
前記音質指定データは、音質の解析対象となる対象音信号の音質に基づいて前記訓練済モデルに設定される、
音変換方法。
【請求項５】
前記訓練済モデルに設定する前記音質指定データを、前記対象音信号の音質に基づいて生成すること、または、前記訓練済モデルに設定する前記音質指定データを、前記対象音信号の音質に基づいて複数の候補から選択することを含む、
請求項４に記載の音変換方法。
【請求項６】
前記対象音信号は、前記入力音信号の少なくとも一部に対応する、
請求項１から請求項５のいずれかに記載の音変換方法。
【請求項７】
前記入力音信号の第１音響特徴データが前記訓練済モデルに提供される前に前記対象音信号を取得する、
請求項１から請求項５のいずれかに記載の音変換方法。
【請求項８】
入力音信号の第１音響特徴データを、音質指定データが設定された訓練済モデルに提供することと、
前記音質指定データに応じた音質を有する変換音信号を生成するための第２音響特徴データを、前記訓練済モデルから取得すること、
を含み、
前記訓練済モデルは、前記第１音響特徴データを用いて前記第２音響特徴データを出力するモデルであり、
前記音質指定データは、曲の進行に応じて変化する音質を特定するためのデータに基づいて、前記訓練済モデルに設定される、
音変換方法。
【請求項９】
前記音質指定データは、前記変換音信号に付与するための音響効果を指定する情報が関連付けられている、
請求項１から請求項５、請求項８のいずれかに記載の音変換方法。
【請求項１０】
前記訓練済モデルには、さらに音高指定データが提供され、
前記変換音信号は、前記音高指定データに基づく音高を有し、
前記音高指定データは、前記入力音信号の音高を予め決められた複数の音高のいずれかに調整した音高を示す、
請求項４、請求項５、請求項８のいずれかに記載の音変換方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、音を変換する技術に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
所望の歌唱者の音声を再現する技術が開発されている（例えば、特許文献１、２）。機械学習モデルに設定されるパラメータ値が変更されたり、機械学習モデルに提供されるベクトル値が変更されたりすることによって、再現の対象となる歌唱者が決定される。特許文献１によれば、自らの音声を他の歌唱者の声質を模した音声に変換する技術も実現されている。
【先行技術文献】
【特許文献】
【０００３】
国際公開第２０２２／０８０３９５号
国際公開第２０２０／０９５９５０号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような音変換技術を活用することによって、新たな顧客体験価値を創造することが求められている。例えば、音変換技術によれば、変換後の声質を設定することは、重要な要素である。一方、声質の設定後に使用状況が変化したときには、設定の少なくとも一部がその変化に連動することが必要な場合がある。このことは音声、すなわち人の声を示す音に限られず、様々な音に対しても同様である。したがって、声質の設定に限らず、声質を含むより広い概念である音質の設定においても同様である。
【０００５】
本発明の目的の一つは、変換後の音質を設定するときに、使用状況に応じて設定の少なくとも一部を連動させることにある。
【課題を解決するための手段】
【０００６】
一実施形態における音変換方法は、入力音信号の第１音響特徴データと前記入力音信号に基づく音高指定データとを、音質指定データが設定された訓練済モデルに提供することと、前記音質指定データに応じた音質を有する変換音信号を生成するための第２音響特徴データを、前記訓練済モデルから取得すること、を含む。前記訓練済モデルは、前記第１音響特徴データと前記音高指定データとを用いて前記第２音響特徴データを出力するモデルである。前記音高指定データは、音高調整量の判定対象となる対象音信号の音高と前記音質指定データに関連付けられた音域との関係に基づいて前記入力音信号の音高を調整した音高を示すデータである。
【０００７】
一実施形態における音変換方法は、入力音信号の第１音響特徴データを、音質指定データが設定された訓練済モデルに提供することと、前記音質指定データに応じた音質を有する変換音信号を生成するための第２音響特徴データを、前記訓練済モデルから取得すること、を含む。前記訓練済モデルは、前記第１音響特徴データを用いて前記第２音響特徴データを出力するモデルである。前記音質指定データは、音質の解析対象となる対象音信号の音質に基づいて前記訓練済モデルに設定される。
【０００８】
一実施形態における音変換方法は、入力音信号の第１音響特徴データを、音質指定データが設定された訓練済モデルに提供することと、前記音質指定データに応じた音質を有する変換音信号を生成するための第２音響特徴データを、前記訓練済モデルから取得すること、を含む。前記訓練済モデルは、前記第１音響特徴データを用いて前記第２音響特徴データを出力するモデルである。前記音質指定データは、曲の進行に応じて変化する音質を特定するためのデータに基づいて、前記訓練済モデルに設定される。
【０００９】
一実施形態における音変換方法は、入力音信号の第１音響特徴データを、音質指定データが設定された訓練済モデルに提供することと、前記音質指定データに基づく音質を有する変換音信号を生成するための第２音響特徴データを前記訓練済モデルから取得することと、前記音質指定データの関連情報を用いて、前記入力音信号から前記変換音信号を生成するための処理とは異なる処理を実行することと、を含む。前記訓練済モデルは、前記第１音響特徴データと前記音質指定データとを用いて前記第２音響特徴データを出力するモデルである。
【発明の効果】
【００１０】
本発明によれば、変換後の音質を設定するときに、使用状況に応じて設定の少なくとも一部を連動させることができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許