特許ウォッチ

公開番号2025162283
公報種別公開特許公報(A)
公開日2025-10-27
出願番号2024065475
出願日2024-04-15
発明の名称映像生成システム、映像生成方法及び映像生成プログラム
出願人ソニーグループ株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06T 13/20 20110101AFI20251020BHJP(計算;計数)
要約【課題】ユーザからの入力クエリに応じて動画データを取得する。
【解決手段】本開示に係る映像生成システムは、動画生成に関する入力クエリをユーザから取得する取得部と、前記入力クエリに基づいて、動画生成に関するシナリオデータを生成するシナリオ生成部と、前記シナリオデータに基づいて、3Dデータを構成するためのコードを生成するコード生成部と、前記コードに基づいて、動画データを取得する動画データ取得部と、を備える。
【選択図】図3
特許請求の範囲【請求項１】
動画生成に関する入力クエリをユーザから取得する取得部と、
前記入力クエリに基づいて、動画生成に関するシナリオデータを生成するシナリオ生成部と、
前記シナリオデータに基づいて、３Ｄデータを構成するためのコードを生成するコード生成部と、
前記コードに基づいて、動画データを取得する動画データ取得部と、
を備える映像生成システム。
続きを表示（約 870 文字）【請求項２】
前記動画データの画質を改善する画質改善処理を実行する画質改善部、
を更に備える請求項１に記載の映像生成システム。
【請求項３】
前記画質改善部は、
テキストプロンプトに基づいて前記画質改善処理を実行することにより、前記動画データの画質を改善する
請求項２に記載の映像生成システム。
【請求項４】
前記画質改善部は、
前記動画データのうち前記画質改善処理の対象を指定するテキストプロンプトに基づいて、前記画質改善処理を実行する
請求項２に記載の映像生成システム。
【請求項５】
前記画質改善部は、
改善が必要と判断された前記対象を指定するテキストプロンプトに基づいて、前記画質改善処理を実行する
請求項４に記載の映像生成システム。
【請求項６】
前記シナリオデータに基づいたストーリーボードを表示させる表示制御部、
を更に備える請求項１に記載の映像生成システム。
【請求項７】
前記ストーリーボードは、動画のカット毎に前記動画データを表示するように構成される
請求項６に記載の映像生成システム。
【請求項８】
前記シナリオデータと前記動画データとに基づいて、前記動画データに対応するサウンドデータを生成するサウンド生成部、
を更に備える請求項１に記載の映像生成システム。
【請求項９】
前記シナリオデータに基づいて、前記動画データにより表示される映像上に表示させるテキストを示すテキストデータを生成するテキスト生成部、
を更に備える請求項１に記載の映像生成システム。
【請求項１０】
前記シナリオデータに基づいて、前記動画データにより表示される映像上に表示させるロゴを示すロゴデータを生成するロゴ生成部、
を更に備える請求項１に記載の映像生成システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、映像生成システム、映像生成方法及び映像生成プログラムに関する。
続きを表示（約 2,900 文字）【背景技術】
【０００２】
映像（「動画」ともいう）を自動で生成する技術が提供されている。例えば、２次元的な線画から仮想人物の３次元姿勢を推定し、動画を生成する技術が提供されている（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
特開２００３－０５８９０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術には、改善の余地がある。例えば、従来技術では、動画を生成するために２次元的な線画、すなわち画像が必要となり、２次元的な線画といった画像を用意することはユーザの負担が大きく、ユーザが画像を用意できない場合等、動画を生成することが難しい。そのため、ユーザの負担が少なく、ユーザビリティが高い動画生成サービスを提供することが望まれており、例えばユーザからの入力クエリに応じて動画データを取得することが望まれている。
【０００５】
そこで、本開示では、ユーザからの入力クエリに応じて動画データを取得することができる映像生成システム、映像生成方法及び映像生成プログラムを提案する。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本開示に係る一形態の映像生成システムは、動画生成に関する入力クエリをユーザから取得する取得部と、前記入力クエリに基づいて、動画生成に関するシナリオデータを生成するシナリオ生成部と、前記シナリオデータに基づいて、３Ｄデータを構成するためのコードを生成するコード生成部と、前記コードに基づいて、動画データを取得する動画データ取得部と、を備える。
【図面の簡単な説明】
【０００７】
本開示の映像生成システムの一例を示す図である。
本開示の映像生成システムに係るハードウェア構成の一例を示す図である。
本開示の映像生成処理の流れの一例を示す図である。
本開示の映像生成処理の流れの他の一例を示す図である。
本開示の評価処理の流れの一例を示す図である。
シナリオ生成用情報の生成処理の一例を示す図である。
シナリオデータの生成処理の一例を示す図である。
コード生成用情報の生成処理の一例を示す図である。
画質改善処理の一例を示す図である。
ユーザインタフェースの一例を示す図である。
ユーザインタフェースの一例を示す図である。
ユーザインタフェースの一例を示す図である。
ユーザインタフェースの一例を示す図である。
ユーザインタフェースの一例を示す図である。
ユーザインタフェースの一例を示す図である。
ユーザインタフェースの一例を示す図である。
音生成用情報の生成処理の一例を示す図である。
ＵＳＤファイルの一例を示す図である。
映像生成システムが実行する処理手順を示すフローチャートである。
ユーザインタフェースの一例を示す図である。
ユーザインタフェースの一例を示す図である。
ユーザインタフェースの一例を示す図である。
編集処理の一例を示す図である。
編集処理の一例を示す図である。
編集処理の一例を示す図である。
編集処理の一例を示す図である。
編集処理の一例を示す図である。
編集処理の一例を示す図である。
編集処理の一例を示す図である。
編集時の確認作業の一例を示す図である。
映像生成システムが実行する処理手順を示すフローチャートである。
範囲選択に応じた評価処理の一例を示す図である。
被写界深度に応じた処理の一例を示す概念図である。
確認作業時の映像の一例を示す図である。
変更部分の強調表示の一例を示す図である。
カット間の関係の提示の一例を示す図である。
オブジェクトの選択の一例を示す図である。
オブジェクトの選択の一例を示す図である。
参考データを用いた処理の一例を示す図である。
ユーザ操作に応じた処理の流れを示すフローチャートである。
情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【０００８】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本願にかかる映像生成システム、映像生成方法及び映像生成プログラムが限定されるものではない。また、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【０００９】
以下に示す項目順序に従って本開示を説明する。
１．実施形態
１－１．本開示の映像生成システムの構成概要
１－２．本開示の映像生成システムによる処理
１－３．ユーザインタフェース
１－４．処理例
１－４－１．音生成例
１－４－２．テキストロゴ生成例
１－４－３．再学習例
１－４－４．ＵＳＤ更新例
１－４－５．評価例
１－４－６．複数カットの選択例
１－４－７．時間情報の利用例
１－４－８．言語化の度合いに応じた応答例
１－４－９．定性的な値の利用例
１－４－１０．入力途中でのレンダリング処理例
１－４－１１．編集時の確認作業例
１－４－１２．範囲選択に応じた処理例
１－４－１３．被写界深度に応じた処理例
１－４－１４．確認作業時の再生処理例
１－４－１５．強調表示例
１－４－１６．カット間の関係提示例
１－４－１７．オブジェクトの選択例
１－４－１８．３Ｄモデル利用例
１－４－１９．参考データの利用例
１－４－２０．３Ｄデータを有する利点例
１－５．ユーザから見た処理フロー例
１－６．ＡＩモデルについて
２．その他の実施形態
２－１．その他の構成例
２－２．その他
３．本開示に係る効果
４．ハードウェア構成
【００１０】
＜１．実施形態＞
＜１－１．本開示の映像生成システムの構成概要＞
図１は、本開示の映像生成システムの一例を示す図である。映像生成システム１は、映像生成モジュール１００、情報取得モジュール２００、センサ部３００、及びクライアントＵＩ表示部４００を有する。なお、図１では各々の構成を１つだけ図示するが、映像生成システム１には、複数の映像生成モジュール１００、複数の情報取得モジュール２００、複数のセンサ部３００、及び複数のクライアントＵＩ表示部４００が含まれてもよい。
（【００１１】以降は省略されています）

関連特許