特許ウォッチ

公開番号2025024498
公報種別公開特許公報(A)
公開日2025-02-20
出願番号2023128662
出願日2023-08-07
発明の名称信号生成方法、表示制御方法およびプログラム
出願人ヤマハ株式会社
代理人弁理士法人高橋・林アンドパートナーズ
主分類G10H 7/08 20060101AFI20250213BHJP(楽器;音響)
要約【課題】再生位置に応じた音を生成するソフトウエア環境において、音楽制作効率を向上すること
【解決手段】一実施形態における信号生成方法は、時間の経過に応じた複数のタイムステップにおける生成音を制御するための第1パラメータおよび第2パラメータを含む音制御データのうち、所定のタイムステップの前後を含む所定の時間範囲の前記第1パラメータを第1学習済モデルに提供することによって、当該所定のタイムステップに対応する中間特徴データを取得することと、前記第1パラメータの値が変更されると、前記中間特徴データを更新することと、再生開始指示を受け付けると、前記第2パラメータおよび前記中間特徴データを第2学習済モデルに提供することによって得られるデータに応じて音信号を生成することと、を含む。
【選択図】図6
特許請求の範囲【請求項１】
時間の経過に応じた複数のタイムステップにおける生成音を制御するための第１パラメータおよび第２パラメータを含む音制御データのうち、所定のタイムステップの前後を含む所定の時間範囲の前記第１パラメータを第１学習済モデルに提供することによって、当該所定のタイムステップに対応する中間特徴データを取得することと、
前記第１パラメータの値が変更されると、前記中間特徴データを更新することと、
再生開始指示を受け付けると、前記第２パラメータおよび前記中間特徴データを第２学習済モデルに提供することによって得られるデータに応じて音信号を生成することと、
を含む、信号生成方法。
続きを表示（約 1,400 文字）【請求項２】
前記第２パラメータは、操作子の指示値に応じた指示情報を含む、
請求項１に記載の信号生成方法。
【請求項３】
前記第１パラメータは、音素情報または音高情報を含む、
請求項２に記載の信号生成方法。
【請求項４】
前記音制御データに基づいて、前記第１パラメータの値に対応する音制御画像を表示することと、
前記音制御画像に対する変更操作を受け付けると前記第１パラメータの値を変更することと、
をさらに含む、請求項３に記載の信号生成方法。
【請求項５】
前記第２学習済モデルは、前記音信号を生成するための各タイムステップに対応する音特徴データを生成し、
所定のタイムステップに対応する前記音特徴データが生成されるときに、当該所定のタイムステップより前のタイムステップに対応する音特徴データが前記第２学習済モデルにさらに提供される、
請求項１に記載の信号生成方法。
【請求項６】
操作子による指示値と予め時系列に決められた設定値とに基づいて、時間の経過に応じた生成音を制御するための制御値を決定することと、
前記指示値を示すための第１画像領域と当該第１画像領域に隣接して前記制御値を示すための第２画像領域とを含む設定画像を表示することと、
をさらに含み、
前記第２パラメータは、前記制御値を含む、
請求項１に記載の信号生成方法。
【請求項７】
前記音信号に応じた第１画像と、前記第２パラメータに関連する画像を含む第２画像と、を所定の表示領域に表示することと、
入力された指示に応じて前記表示領域における前記第２画像の位置を変更することと、
前記第２画像の位置を変更するとき、当該第２画像を基準として前記表示領域を区分した複数の領域のうち予め決められた条件を満たす領域に、前記第１画像を移動することと、
をさらに含む、
請求項１に記載の信号生成方法。
【請求項８】
音素情報または音高情報を含み第１トラックの生成音を制御するための第１パラメータに対応した画像を含む第１領域、前記第１トラックの生成音を制御するための第２パラメータに対応した画像を含む第２領域、第２トラックの生成音を制御するための第３パラメータに対応した画像を含む第３領域を表示することと、
再生開始指示を受け付けると、前記第１領域および前記第３領域に現在の再生位置に対応する画像を表示することと、
前記再生位置に対応した前記第１トラックの第１音信号と前記第２トラックの第２音信号とを生成することと、
前記第１音信号と前記第２音信号との混合音を出力することと、
を含み、
前記再生開始指示の後において前記第２パラメータを変更する指示を受け付けると、前記再生位置における前記第１音信号に対して変更後の前記第２パラメータを反映する、
信号生成方法。
【請求項９】
前記第１パラメータは、前記音素情報を含む、
請求項８に記載の信号生成方法。
【請求項１０】
前記再生位置における第２音信号は、前記第３パラメータのうち前記再生位置または前記再生位置より前における情報によって生成される、
請求項８に記載の信号生成方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、音信号を生成する技術に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
ＤＮＮ（ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋ）を用いて音を合成する技術が知られている。特許文献１に示すように、合成音の品質をより向上させるために、合成する音のタイミングより後の情報を用いる技術も開発されている。
【先行技術文献】
【特許文献】
【０００３】
国際公開第２０２１／２５１３６４号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
音楽制作において用いられるＤＡＷ（ＤｉｇｉｔａｌＡｕｄｉｏＷｏｒｋｓｔａｔｉｏｎ）は、再生位置に応じた音を生成するソフトウエアとしての機能を有する。ＤＡＷは、音を生成するだけでなく、様々なデータの編集を容易にするためのユーザインターフェイスを提供する。
【０００５】
一般的なＤＡＷは、波形データ、ＭＩＤＩ（ＭｕｓｉｃａｌＩｎｓｔｒｕｍｅｎｔｓＤｉｇｉｔａｌＩｎｔｅｒｆａｃｅ）データなどを用いて音信号を生成する。ＭＩＤＩデータのように生成音を制御するためのデータ（音制御データ）を用いる場合には、再生位置に対応する情報（現在情報）および再生位置より前の時間に対応する情報（過去情報）を用いて音信号が生成される。そのため、再生位置より後の時間に対応する情報（未来情報）を用いて合成音を生成する技術については、ＤＡＷにそのまま適用することができない。以下の説明において未来情報を用いて合成音を生成する技術については、単に音合成技術という場合がある。
【０００６】
このような音合成技術をＤＡＷで利用する場合、プラグインなどの外部機能によって、合成音に対応する波形データが予め生成されることが一般的である。ＤＡＷは、外部機能によって予め生成された波形データを用いることで、通常の波形データと同じように再生位置に応じた音信号を生成することができる。
【０００７】
一方、波形データを予め生成しておく必要があるため、音を聞きながら編集することが困難であり、その結果として音楽制作効率が低下する。また、このような未来情報を用いる音合成技術に限らず、ＤＡＷにおいてリアルタイムに楽曲を編集するときの利便性は、音楽制作効率に大きく影響する。
【０００８】
本発明の目的の一つは、再生位置に応じた音を生成するソフトウエア環境において、音楽制作効率を向上させることにある。
【課題を解決するための手段】
【０００９】
一実施形態における信号生成方法は、時間の経過に応じた複数のタイムステップにおける生成音を制御するための第１パラメータおよび第２パラメータを含む音制御データのうち、所定のタイムステップの前後を含む所定の時間範囲の前記第１パラメータを第１学習済モデルに提供することによって、当該所定のタイムステップに対応する中間特徴データを取得することと、前記第１パラメータの値が変更されると、前記中間特徴データを更新することと、再生開始指示を受け付けると、前記第２パラメータおよび前記中間特徴データを第２学習済モデルに提供することによって得られるデータに応じて音信号を生成することと、を含む。
【００１０】
一実施形態における信号生成方法は、音素情報または音高情報を含み第１トラックの生成音を制御するための第１パラメータに対応した画像を含む第１領域、前記第１トラックの生成音を制御するための第２パラメータに対応した画像を含む第２領域、第２トラックの生成音を制御するための第３パラメータに対応した画像を含む第３領域を表示することと、再生開始指示を受け付けると、前記第１領域および前記第３領域に現在の再生位置に対応する画像を表示することと、前記再生位置に対応した前記第１トラックの第１音信号と前記第２トラックの第２音信号とを生成することと、前記第１音信号と前記第２音信号との混合音を出力することと、を含む。前記再生開始指示の後において前記第２パラメータを変更する指示を受け付けると、前記再生位置における前記第１音信号に対して変更後の前記第２パラメータを反映する。
（【００１１】以降は省略されています）

関連特許