特許ウォッチ

公開番号2024054058
公報種別公開特許公報(A)
公開日2024-04-16
出願番号2023043561
出願日2023-03-17
発明の名称音波形の特性分布に係る表示方法
出願人ヤマハ株式会社
代理人弁理士法人高橋・林アンドパートナーズ
主分類G10L 25/48 20130101AFI20240409BHJP(楽器;音響)
要約【課題】音響モデルの訓練に用いる音波形を特定しやすくすること。
【解決手段】音響特徴量を生成するよう、複数の音波形を用いて訓練されることで確立される音響モデルに関連する情報を表示する方法は、音波形が有する複数の特性のうちいずれかの特性であって、前記音響モデルの訓練に使用された複数の音波形の前記特性の分布を取得し、前記特性の分布に関連する情報を表示する。前記特性の分布は、前記使用された複数の音波形を分析して得られる特性の分布であってもよい。
【選択図】図5
特許請求の範囲【請求項１】
音響特徴量を生成するよう、複数の音波形を用いて訓練されることで確立される音響モデルに関連する情報を表示する方法であって、
音波形が有する複数の特性のうちいずれかの特性であって、前記音響モデルの訓練に使用された複数の音波形の前記特性の分布を取得し、
前記特性の分布に関連する情報を表示する表示方法。
続きを表示（約 830 文字）【請求項２】
前記特性の分布は、前記使用された複数の音波形を分析して得られる特性の分布である、請求項１に記載の表示方法。
【請求項３】
前記特性の分布に関連する情報は、前記音響モデルに不足する訓練を示す、請求項１に記載の表示方法。
【請求項４】
前記特性の分布に関連する情報は、前記音響モデルが前記訓練で獲得した能力を示す、請求項１に記載の表示方法。
【請求項５】
前記取得では、前記音響モデルの訓練に先立って、その訓練に使用する予定の音波形を含む、その訓練で確立されると期待される音響モデルの訓練で使用された音波形の前記特性の分布を取得し、
前記表示では、前記期待される音響モデルの訓練に使用された複数の音波形の前記取得された特性の分布に関連する情報を表示する、請求項１に記載の表示方法。
【請求項６】
前記訓練は追加訓練であって、
前記特性の分布は、前記追加訓練前の音響モデルの訓練に使用された複数の音波形と前記追加訓練に使用される音波形とを分析して得られる特性の分布である、請求項５に記載の表示方法。
【請求項７】
前記追加訓練前の音響モデルは、ユーザによって複数の訓練済み音響モデルの中から選択された音響モデルである、請求項６に記載の表示方法。
【請求項８】
前記複数の音波形の特性は、音高、強度、音韻、音長、スタイルのうち一以上を含む、請求項１に記載の表示方法。
【請求項９】
前記表示では、前記特性の分布を示すグラフが表示される、請求項１又は請求項８に記載の表示方法。
【請求項１０】
前記複数の特性は、第１特性及び第２特性を含み、
前記表示では、前記第１特性及び前記第２特性の２次元分布を示すグラフが表示される、請求項１に記載の表示方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の一実施形態は、音波形の特性分布に係る表示方法に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
特定の歌手の声音及び特定の楽器の演奏音を合成する音声合成（Sound Synthesis）技術が知られている。特に、機械学習を利用した音声合成技術（例えば、特許文献１、２）では、ユーザによって入力された楽譜データ及び音響データに基づいて当該特定の音声及び演奏音で自然な発音の合成音声を出力するために、十分に訓練された音響モデルが要求される。
【先行技術文献】
【特許文献】
【０００３】
特開２０２０－０７６８４３号公報
国際公開第２０２２／０８０３９５号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
十分に訓練された音響モデルを得るためには、現在の音響モデルにおいて不足した音域を正確に把握し、当該音域を補うために適した訓練用の音波形を選定する必要がある。しかし、上記のように音響モデルにおいて不足した音域を正確に把握することは非常に困難であり、訓練に用いる音波形を効率よく正確に特定することは難しかった。
【０００５】
本発明の一実施形態の目的の一つは、音響モデルの訓練に用いる音波形を特定しやすくすることである。
【課題を解決するための手段】
【０００６】
本発明の一実施形態による、音響特徴量を生成するよう、複数の音波形を用いて訓練されることで確立される音響モデルに関連する情報を表示する方法は、音波形が有する複数の特性のうちいずれかの特性であって、前記音響モデルの訓練に使用された複数の音波形の前記特性の分布を取得し、前記特性の分布に関連する情報を表示する。
【発明の効果】
【０００７】
本発明の一実施形態によれば、音響モデルの訓練に用いる音波形を特定しやすくすることができる。
【図面の簡単な説明】
【０００８】
音響モデルの訓練システムの全体構成図である。
サーバの構成図である。
音響モデルの説明図である。
音響モデルの訓練方法を例示するシーケンス図である。
音響モデルの訓練処理及び音波形の特性分布の表示処理を例示するフローチャートである。
音波形の特性分布の一例である。
音波形の特性分布の表示方法を例示するフローチャートの変形例である。
音響モデルの訓練処理を例示するフローチャートである。
不足範囲のグラフ表示の一例である。
ユーザに対して推薦する楽曲の特性分布の一例である。
楽曲の選択・編集・再生処理を例示するフローチャートである。
得意度に基づく推薦曲表示の一例である。
ピアノロール表示の一例である。
音波形の特性分布の一例である。
楽曲再生処理を例示するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の一実施形態における音波形の特性分布に係る表示方法について、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明を実施する形態の一例であって、本発明はこれらの実施形態に限定して解釈されない。本実施形態で参照する図面において、同一部分又は同様の機能を有する部分には同一の符号又は類似の符号（数字の後にＡ、Ｂ等を付しただけの符号）が付されており、それらの繰り返しの説明は省略される場合がある。
【００１０】
以下の実施形態において、「楽譜データ」は、音符の音高及び強度に関する情報、音符における音韻に関する情報、音符の発音期間に関する情報、及び演奏記号に関する情報を含むデータである。例えば、楽譜データは、楽曲の楽譜及び歌詞の少なくとも一方を示すデータである。楽譜データは、当該楽曲を構成する音符の時系列を示すデータであってもよく、当該楽曲を構成する言語の時系列を示すデータであってもよい。
（【００１１】以降は省略されています）

関連特許