特許ウォッチ

公開番号2025114025
公報種別公開特許公報(A)
公開日2025-08-05
出願番号2024008413
出願日2024-01-24
発明の名称情報処理システム、動画編集方法およびプログラム
出願人ヤマハ株式会社
代理人弁理士法人旺知国際特許事務所
主分類G10G 1/00 20060101AFI20250729BHJP(楽器;音響)
要約【課題】楽曲に対して好適な編集動画を、利用者の過度な負荷を必要とせずに生成する。
【解決手段】情報処理システム100は、楽曲を表す演奏データDの解析により楽曲のフレーズ期間を特定する音楽解析部51と、楽曲の演奏を表す1以上の収録動画Yaをフレーズ期間に応じて編集することで編集動画Vを生成する動画編集部52とを具備する。
【選択図】図7
特許請求の範囲【請求項１】
楽曲を表す音楽データの解析により前記楽曲のフレーズ期間を特定する音楽解析部と、
前記楽曲の演奏を表す１以上の動画を前記フレーズ期間に応じて編集することで編集動画を生成する動画編集部と
を具備する情報処理システム。
続きを表示（約 1,300 文字）【請求項２】
前記１以上の動画は、相異なる位置または角度にて並列に収録された複数の動画であり、
前記動画編集部による編集は、前記フレーズ期間と、当該フレーズ期間の直後の他のフレーズ期間とにおいて、前記複数の動画のうち相異なる動画を選択する処理を含む
請求項１の情報処理システム。
【請求項３】
演奏者による楽曲の演奏を表す前記音楽データを出力する楽器と、
前記演奏者による演奏の撮像により前記複数の動画を生成する収録システムと
をさらに具備する請求項２の情報処理システム。
【請求項４】
前記収録システムは、複数の撮像装置を含み、
前記音楽解析部は、前記音楽データの解析により、前記楽曲に関する音楽情報をさらに生成し、
前記動画編集部は、前記演奏者または前記楽器の各部位に前記複数の撮像装置の各々を割当てる
請求項３の情報処理システム。
【請求項５】
前記楽器は、
複数の鍵が配列された鍵盤と、
前記複数の鍵の各々に対する操作を検出する検出装置と、
前記検出装置による検出の結果に応じて前記演奏データを生成する演奏データ生成部と
を含む請求項３の情報処理システム。
【請求項６】
前記音楽解析部は、前記音楽データの解析により、前記楽曲に関する音楽情報をさらに特定し、
前記動画編集部は、前記フレーズ期間と前記音楽情報とに応じて前記１以上の動画を編集することで前記編集動画を生成する
請求項１の情報処理システム。
【請求項７】
前記動画編集部による編集は、前記１以上の動画のうち前記音楽情報に応じた特定の領域を切出す処理を含む
請求項６の情報処理システム。
【請求項８】
前記１以上の動画は、前記楽曲の演奏に使用される鍵盤と当該楽曲の演奏者の両手とを含む鍵盤動画を含み、
前記音楽情報は、前記楽曲における上行形または下行形を示す情報を含み、
前記動画編集部は、前記音楽情報が上行形を示す場合と、前記音楽情報が下行形を示す場合とで、相異なる処理を実行する
請求項７の情報処理システム。
【請求項９】
前記動画編集部による編集は、
前記音楽情報が上行形を示す場合に、前記鍵盤動画において前記鍵盤を低音域から高音域に向けてパンする処理と、
前記音楽情報が下行形を示す場合に、前記鍵盤動画において前記鍵盤を高音域から低音域に向けてパンする処理とを含む
請求項８の情報処理システム。
【請求項１０】
前記音楽情報は、演奏の難易度を含み、
前記１以上の動画は、前記楽曲の演奏者の顔を含む演奏動画を含み、
前記動画編集部による編集は、前記難易度が閾値を上回る場合に、前記演奏動画を選択する処理を含む
請求項７から請求項９の何れかの情報処理システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、演奏者による演奏を表す動画を生成する技術に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
演奏者が楽曲を演奏する様子を表す動画を生成する技術が従来から提案されている。例えば特許文献１には、演奏者が楽曲を演奏するテンポに応じたタイミングにおいて、演奏者を撮影した映像ソースを切替える構成が開示されている。
【先行技術文献】
【特許文献】
【０００３】
２０２０－１０６７５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の技術においては、複数の映像ソースの切替のタイミングが演奏のテンポに応じて制御されるに過ぎない。したがって、楽曲の演奏に対して好適な動画を生成するには、合成後の動画を利用者が手動により編集する必要があり、利用者の負荷が過大であるという問題がある。以上の事情を考慮して、本開示のひとつの態様は、楽曲に対して好適な編集動画を、利用者の過度な負荷を必要とせずに生成することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本開示のひとつの態様に係る情報処理システムは、楽曲を表す音楽データの解析により前記楽曲のフレーズ期間を特定する音楽解析部と、前記楽曲の演奏を表す１以上の動画を前記フレーズ期間に応じて編集することで編集動画を生成する動画編集部とを具備する。
【０００６】
本開示のひとつの態様に係る動画編集方法は、楽曲を表す音楽データの解析により前記楽曲に関する音楽情報と前記楽曲のフレーズ期間とを特定し、前記楽曲の演奏を表す１以上の動画を前記音楽情報および前記フレーズ期間に応じて編集することで編集動画を生成する。
【０００７】
本開示のひとつの態様に係るプログラムは、楽曲を表す音楽データの解析により前記楽曲に関する音楽情報と前記楽曲のフレーズ期間とを特定する音楽解析部、および、前記楽曲の演奏を表す１以上の動画を前記音楽情報および前記フレーズ期間に応じて編集することで編集動画を生成する動画編集部、としてコンピュータシステムを機能させる。
【図面の簡単な説明】
【０００８】
第１実施形態における情報処理システムの構成を例示するブロック図である。
端末装置の構成を例示するブロック図である。
鍵盤楽器の構成を例示するブロック図である。
鍵盤動画の模式図である。
演奏動画の模式図である。
演奏動画の模式図である。
ペダル動画の模式図である。
設定画面の模式図である。
演奏場面が「発表会」である場合の設定画面の模式図である。
演奏場面が「ストリート演奏」である場合の設定画面の模式図である。
設定画面の模式図である。
演奏場面が「音楽教室」である場合の設定画面の模式図である。
演奏データの模式図である。
編集動画の説明図である。
端末装置の機能的な構成を例示するブロック図である。
参照設定ウィンドウの模式図である。
基礎データの模式図である。
制御データの模式図である。
表情注目処理の説明図である。
上行追従処理および下行追従処理の説明図である。
右手注目処理および左手注目処理の説明図である。
ペダル注目処理の説明図である。
動画編集処理のフローチャートである。
第３実施形態における編集動画の説明図である。
第４実施形態における編集動画の説明図である。
変形例における表示画像の模式図である。
変形例における編集動画の模式図である。
変形例における編集動画の模式図である。
変形例における編集動画の模式図である。
変形例における編集動画の模式図である。
【発明を実施するための形態】
【０００９】
Ａ：第１実施形態
図１は、第１実施形態における情報処理システム１００の構成を例示するブロック図である。情報処理システム１００は、演奏者Ｕaによる鍵盤楽器１０の演奏を収録および管理するためのコンピュータシステム（すなわち演奏収録システムまたは演奏管理システム）である。情報処理システム１００は、鍵盤楽器１０と収録システム２０と複数の端末装置３０（３０a，３０b，３０c）と測定システム４０とを具備する。
【００１０】
各端末装置３０は、例えばスマートフォン、タブレット端末またはパーソナルコンピュータ等の情報装置である。複数の端末装置３０のうちの端末装置３０aは、鍵盤楽器１０を演奏する演奏者Ｕaにより使用される。演奏者Ｕaは、例えば鍵盤楽器１０の演奏を練習する練習者である。演奏者Ｕaは、例えば音楽教室に所属する生徒である。なお、端末装置３０aは「制御システム」の一例である。
（【００１１】以降は省略されています）

関連特許