特許ウォッチ

公開番号2024057679
公報種別公開特許公報(A)
公開日2024-04-25
出願番号2022164477
出願日2022-10-13
発明の名称情報処理装置及び情報処理方法、コンピュータプログラム、音生成システム、並びに情報端末
出願人ソニーグループ株式会社
代理人個人,個人,個人,個人,弁理士法人大同特許事務所
主分類G10H 1/00 20060101AFI20240418BHJP(楽器;音響)
要約【課題】楽器音の生成に関する情報処理を行う情報処理装置を提供する。
【解決手段】情報処理装置は、入力音及び音程情報を入力する入力部と、入力音から音色特徴量を抽出する抽出部と、音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成部を具備する。前記生成部は、本開示モデルによって学習された生成器を用いて、入力音を前処理後の情報と音程情報をインスタンス条件として音程付き楽器音の情報を生成する。前記抽出部は、音程に関する敵対的学習を行った音色特徴抽出器を用いて、音程情報が残らないように、入力音の音色特徴量を抽出する。
【選択図】図3
特許請求の範囲【請求項１】
入力音及び音程情報を入力する入力部と、
入力音から音色特徴量を抽出する抽出部と、
音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成部と、
を具備する情報処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記生成部は、学習済みモデルを用いて、入力音を前処理後の情報と音程情報をインスタンス条件として音程付き楽器音の情報を生成する、
請求項１に記載の情報処理装置。
【請求項３】
前記抽出部は、音程情報が残らないように音色特徴量を抽出する、
請求項１に記載の情報処理装置。
【請求項４】
前記抽出部は、音程に関する敵対的学習を行った音色特徴抽出器を用いて、入力音の音色特徴量を抽出する、
請求項１に記載の情報処理装置。
【請求項５】
入力音をメルスペクトログラムに変換する変換部をさらに備え、
前記抽出部は、入力音のメルスペクトログラムから入力音の音色特徴量を抽出する、
請求項１乃至４のいずれか１つの記載の情報処理装置。
【請求項６】
前記生成部は、音色特徴量と音程情報をインスタンス条件として、音程付き楽器音のメルスペクトログラムを生成し、
前記生成部が生成したメルスペクトログラムからオーディオ波形を構築する逆変換部をさらに備える、
請求項５に記載の情報処理装置。
【請求項７】
前記逆変換部は、メルスペクトログラムを線形スペクトログラムに周波数スケールに変換するスケール変換部と、線形スペクトログラムの位相を復元する位相復元部と、位相を復元した後の線形スペクトログラムをフーリエ逆変換するフーリエ逆変換部を含む、
請求項６に記載の情報処理装置。
【請求項８】
前記スケール変換部は、非負値制約なしの最小二乗法の解に非負値への修正を施したものを反復計算の初期値に設定して、勾配法による更新と非負値への修正を繰り返す反復法によって周波数スケール変換を行う、
請求項７に記載の情報処理装置。
【請求項９】
前記入力部は、複数の入力音を入力可能であり、
前記抽出部は、入力された各入力音から音色特徴量を抽出し、
前記生成部は、各入力音の音色特徴量を混合した音色特徴量と音程情報に基づいて楽器音情報を生成する、
請求項１に記載の情報処理装置。
【請求項１０】
前記入力部は、複数の入力音の混合比率に関する情報をさらに入力し、
前記生成部は、入力された混合比率に基づいて各入力音の音色特徴量を混合した音色特徴量と音程情報に基づいて楽器音情報を生成する、
請求項９に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本明細書で開示する技術（以下、「本開示」とする）は、音楽制作に関する情報処理を行う情報処理装置及び情報処理方法、コンピュータプログラム、音生成システム、並びに情報端末に関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
ＡＩ（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）技術の発達が目覚ましく、学習モデルを用いた画像や音声などの認識技術が普及している。最近では、敵対的生成ネットワーク（ＧＡＮ）を用いて精巧な画像を生成する画像生成技術も開発されている。さらに、ＡＩ技術を音楽の制作に活用する方法も模索されている。例えば、楽器音の特性を反映したＤＮＮ（ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋ）を用いて音源強調をする楽音強調装置や（特許文献１を参照のこと）、ＧＡＮｓやＶＡＥ（ＶａｒｉａｔｉｏｎａｌＡｕｔｏＥｎｃｏｄｅｒ）を用いて生成された学習済みモデルを使って多様な楽曲を自動生成する情報処理方法（特許文献２を参照のこと）などが提案されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１９－７８８６４号公報
特開２０２０－３５３５号公報
【非特許文献】
【０００４】
ＡｒａｎｔｘａＣａｓａｎｏｖａ，Ｍａｒｌ'ｅｎｅＣａｒｅｉｌ，ＪａｋｏｂＶｅｒｂｅｅｋ，ＭｉｃｈａｌＤｒｏｚｄｚａｌ，ａｎｄＡｄｒｉａｎａＲｏｍｅｒｏ－Ｓｏｒｉａｎｏ，"Ｉｎｓｔａｎｃｅ－ｃｏｎｄｉｔｉｏｎｅｄＧＡＮ，" ｉｎＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ（ＮｅｕｒＩＰＳ），２０２１．
ＪｅｓｓｅＥｎｇｅｌ，ＣｉｎｊｏｎＲｅｓｎｉｃｋ，ＡｄａｍＲｏｂｅｒｔｓ，ＳａｎｄｅｒＤｉｅｌｅｍａｎ，ＭｏｈａｍｍａｄＮｏｒｏｕｚｉ，ＤｏｕｇｌａｓＥｃｋ，ａｎｄＫａｒｅｎＳｉｍｏｎｙａｎ，"Ｎｅｕｒａｌａｕｄｉｏｓｙｎｔｈｅｓｉｓｏｆｍｕｓｉｃａｌｎｏｔｅｓｗｉｔｈｗａｖｅｎｅｔａｕｔｏｅｎｃｏｄｅｒｓ，" ｉｎＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ．ＰＭＬＲ，２０１７，ｐｐ．１０６８-１０７７．
ＡａｒｏｎｖａｎｄｅｎＯｏｒｄ，ＳａｎｄｅｒＤｉｅｌｅｍａｎ，ＨｅｉｇａＺｅｎ，ＫａｒｅｎＳｉｍｏｎｙａｎ，ＯｒｉｏｌＶｉｎｙａｌｓ，ＡｌｅｘＧｒａｖｅｓ，ＮａｌＫａｌｃｈｂｒｅｎｎｅｒ，ＡｎｄｒｅｗＳｅｎｉｏｒ，ａｎｄＫｏｒａｙＫａｖｕｋｃｕｏｇｌｕ， "Ｗａｖｅｎｅｔ：Ａｇｅｎｅｒａｔｉｖｅｍｏｄｅｌｆｏｒｒａｗａｕｄｉｏ，" ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１６０９．０３４９９，２０１６．
JｅｓｓｅＥｎｇｅｌ，ＫｕｍａｒＫｒｉｓｈｎａＡｇｒａｗａｌ，ＳｈｕｏＣｈｅｎ，ＩｓｈａａｎＧｕｌｒａｊａｎｉ，ＣｈｒｉｓＤｏｎａｈｕｅ，ａｎｄＡｄａｍＲｏｂｅｒｔｓ， "Ｇａｎｓｙｎｔｈ：Ａｄｖｅｒｓａｒｉａｌｎｅｕｒａｌａｕｄｉｏｓｙｎｔｈｅｓｉｓ，" ｉｎＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＬｅａｒｎｉｎｇＲｅｐｒｅｓｅｎｔａｔｉｏｎｓ，２０１８．
ＳｅａｎＶａｓｑｕｅｚａｎｄＭｉｋｅＬｅｗｉｓ，"Ｍｅｌｎｅｔ：Ａｇｅｎｅｒａｔｉｖｅｍｏｄｅｌｆｏｒａｕｄｉｏｉｎｔｈｅｆｒｅｑｕｅｎｃｙｄｏｍａｉｎ，" ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１９０６．０１０８３，２０１９．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
計算機を用いて音楽を制作するアプローチとして主に、メロディーや伴奏を含む音楽の音を直接合成する方法と、単音の楽器音を合成してＭＩＤＩ（ＭｕｓｉｃａｌＩｎｓｔｒｕｍｅｎｔＤｉｇｉｔａｌＩｎｔｅｒｆａｃｅ）を演奏する方法の２つが挙げられる。前者は、ｅｎｄ－ｔｏ－ｅｎｄでの音楽生成が可能であるが、生成の制御性が低いという問題がある。これに対し、後者は、ＭＩＤＩの生成と音色のデザインをそれぞれ独立に制御可能であり、生成される音の品質が高いという利点がある。
【０００６】
そこで、本開示の目的は、例えばＭＩＤＩ演奏に使用可能な楽器音の生成に関する情報処理を行う情報処理装置及び情報処理方法、コンピュータプログラム、音生成システム、並びに情報端末を提供することとする。
【課題を解決するための手段】
【０００７】
本開示は、上記課題を参酌してなされたものであり、その第１の側面は、
入力音及び音程情報を入力する入力部と、
入力音から音色特徴量を抽出する抽出部と、
音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成部と、
を具備する情報処理装置である。
【０００８】
前記生成部は、本開示モデルによって学習された生成器を用いて、入力音を前処理後の情報と音程情報をインスタンス条件として音程付き楽器音の情報を生成するように構成されている。
【０００９】
また、前記抽出部は、音程に関する敵対的学習を行った音色特徴抽出器を用いて、音程情報が残らないように入力音の音色特徴量を抽出するように構成されている。
【００１０】
第１の側面に係る情報処理装置は、入力音をメルスペクトログラムに変換する変換部をさらに備えている。そして、前記抽出部は、入力音のメルスペクトログラムから入力音の音色特徴量を抽出するように構成されている。この場合、前記生成部は、音色特徴量と音程情報をインスタンス条件として、音程付き楽器音のメルスペクトログラムを生成するように構成されている。そして、第１の側面に係る情報処理装置は、前記生成部が生成したメルスペクトログラムからオーディオ波形を構築する逆変換部をさらに備えている。
（【００１１】以降は省略されています）

関連特許