特許ウォッチ

公開番号2024137004
公報種別公開特許公報(A)
公開日2024-10-04
出願番号2023048335
出願日2023-03-24
発明の名称音変換方法およびプログラム
出願人ヤマハ株式会社
代理人弁理士法人高橋・林アンドパートナーズ
主分類G10L 21/007 20130101AFI20240927BHJP(楽器;音響)
要約【課題】音変換技術を用いて音質を変換するとともに、変換後の音高を制御すること
【解決手段】音変換方法は、音高指定データと入力音信号の第1音響特徴データとを訓練済モデルに提供することと、所定の音質および音高指定データに基づく音高を有する変換音信号を生成するための第2音響特徴データを訓練済モデルから取得することと、を含む。訓練済モデルは、第1音響特徴データと音高指定データとを用いて第2音響特徴データを出力するモデルである。
【選択図】図2
特許請求の範囲【請求項１】
音高指定データと入力音信号の第１音響特徴データとを訓練済モデルに提供することと、
所定の音質および前記音高指定データに基づく音高を有する変換音信号を生成するための第２音響特徴データを前記訓練済モデルから取得することと、
を含み、
前記訓練済モデルは、前記第１音響特徴データと前記音高指定データとを用いて前記第２音響特徴データを出力するモデルである、
音変換方法。
続きを表示（約 1,000 文字）【請求項２】
前記入力音信号を分析して前記第１音響特徴データを生成する分析部と前記訓練済モデルとを含む音変換部に対して、前記入力音信号と前記音高指定データとを提供することをさらに含み、
前記訓練済モデルに提供される前記第１音響特徴データは、前記分析部によって前記入力音信号から得られ、
前記音変換部に提供された前記音高指定データが前記訓練済モデルに提供される、
請求項１に記載の音変換方法。
【請求項３】
前記音高指定データは、操作要素に対する操作に応じて取得される、
請求項１または請求項２に記載の音変換方法。
【請求項４】
前記音高指定データは、時系列に音高が特定された曲の進行に応じて生成される、
請求項１または請求項２に記載の音変換方法。
【請求項５】
前記音高指定データは、前記入力音信号とは異なる音信号の音高に基づいて生成される、
請求項１または請求項２に記載の音変換方法。
【請求項６】
前記入力音信号は、マイクロフォンから出力された録音信号から抽出した第１特徴量を有する音信号を含み、
前記音高指定データは、前記録音信号から抽出した第２特徴量を有する音信号の音高に基づいて生成される、
請求項１または請求項２に記載の音変換方法。
【請求項７】
前記入力音信号は、第１マイクロフォンから出力された音信号を含み、
前記音高指定データは、前記第１マイクロフォンとは異なる第２マイクロフォンから出力された音信号の音高に基づいて生成される、
請求項１または請求項２に記載の音変換方法。
【請求項８】
前記訓練済モデルは、さらに音質指定データが提供され、
前記音高指定データは、さらに前記音質指定データに関連付けられた音域に基づいて生成される、
請求項１または請求項２に記載の音変換方法。
【請求項９】
前記音質指定データは、前記変換音信号に付与するための音響効果を指定する情報が関連付けられている、
請求項８に記載の音変換方法。
【請求項１０】
前記音高指定データは、予め決められた複数の音高のいずれかを示す、
請求項１または請求項２に記載の音変換方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、音を変換する技術に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
所望の歌唱者の声質を再現する技術が開発されている（例えば、特許文献１、２）。機械学習モデルに設定される変数、および機械学習モデルに提供されるベクトルによって、再現される歌唱者の声質が決定される。特許文献１によれば、自らの音声を他の歌唱者の声質を模した音声に変換する技術も実現されている。
【先行技術文献】
【特許文献】
【０００３】
国際公開第２０２２／０８０３９５号
国際公開第２０２０／０９５９５０号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の音変換技術によれば、変換後の音声と入力した音声とが同じ音高を有するため、入力された音声が他の歌唱者の声質に変換されたとしても、変換前後によって歌唱の巧拙が大きく変化することはない。そこで、入力された音声の音高を用いるのではなく、別の方法で変換後の音声の音高を制御することが求められている。音高の制御を要するのは、音声、すなわち人の声を示す音に限られず、様々な音に対しても同様である。例えば、楽器の音であれば、演奏の巧拙に影響する。
【０００５】
本発明の目的の一つは、音変換技術を用いて音質を変換するとともに、変換後の音高を制御することにある。
【課題を解決するための手段】
【０００６】
一実施形態における音変換方法は、音高指定データと入力音信号の第１音響特徴データとを訓練済モデルに提供することと、所定の音質および音高指定データに基づく音高を有する変換音信号を生成するための第２音響特徴データを訓練済モデルから取得することと、を含む。訓練済モデルは、第１音響特徴データと音高指定データとを用いて第２音響特徴データを出力するモデルである。
【発明の効果】
【０００７】
本発明によれば、音変換技術を用いて音質を変換するとともに、変換後の音高を制御することができる。
【図面の簡単な説明】
【０００８】
一実施形態における音変換装置のハードウエア構成を示す図である。
一実施形態における音変換機能の構成を示す図である。
一実施形態における音変換方法を示すフローチャートである。
一実施形態におけるモデル訓練機能の構成を示す図である。
一実施形態における音変換機能の構成を示す図である。
一実施形態における音変換機能の構成を示す図である。
一実施形態における音変換機能の構成を示す図である。
一実施形態における音変換機能の構成を示す図である。
一実施形態における音変換機能の構成を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の一実施形態について、図面を参照しながら詳細に説明する。以下に示す実施形態は一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。以下に説明する複数の実施形態で参照する図面において、同一部分または類似の機能を有する部分には同一の符号または類似の符号（数字の後にＡ、Ｂなど付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。図面は、説明を明確にするために、構成の一部が図面から省略されたりして、模式的に説明される場合がある。
【００１０】
［概要］
一実施形態における音変換装置は、マイクロフォンに入力された音信号を、他の音質に変換して出力するための機能を有する。例えば、音変換装置は、マイクロフォンに入力された歌唱音声を、他の歌唱者の声質を有する音声に変換する。以下の説明では、マイクロフォンに入力される音および変換によって出力される音は、歌唱音声として例示されるが、歌唱音声に限らず楽器の音など他の音であってもよく、口述、会話など、歌唱以外の音声であってもよい。したがって、以下の説明における声質は音質の一例であることが理解される。音変換装置は、音声変換処理に付随して、様々な機能を付加されることがある。以下に示す各実施形態において、付加される機能の一例を説明する。
（【００１１】以降は省略されています）

関連特許