TOP特許意匠商標
特許ウォッチ DM通知 Twitter
10個以上の画像は省略されています。
公開番号2022094349
公報種別公開特許公報(A)
公開日2022-06-24
出願番号2021202734
出願日2021-12-14
発明の名称映像合成方法
出願人ディフェンス・エージェンシー・フォー・テクノロジー・アンド・クオリティ,DEFENSE AGENCY FOR TECHNOLOGY AND QUALITY
代理人個人,個人
主分類G06T 7/00 20170101AFI20220617BHJP(計算;計数)
要約【課題】アルゴリズムの歪み現象を減少させ、映像合成のために必要とされる計算量を減らして学習に所要する時間を減縮させ得る映像合成方法およびこれを利用した映像合成装置を提供する。
【解決手段】映像合成方法は、第1映像および前記第1映像と異なる第2映像を準備し、それぞれの映像に対する時間的情報と空間的情報を入力する段階;および前記入力された情報に基づいて所定の第1の計算式で計算される再発損失および所定の第2の計算式で計算されるリサイクル損失を計算し、計算された再発損失およびリサイクル損失を敵対的損失と結合して学習する段階を含む。映像合成方法およびこれを利用した映像合成装置は優れた性能およびディープラーニングアルゴリズムの学習時間の減縮などの特性に基づいて国防、IT、エンターテインメントなどの多様な分野で活用され得、心理戦または指揮体系の混乱を誘導するのに活用され得る。
【選択図】図1
特許請求の範囲【請求項1】
第1映像および前記第1映像と異なる第2映像を準備し、それぞれの映像に対する時間的情報と空間的情報を入力する段階;および
前記入力された情報に基づいて下記の一般式1で計算される再発損失(recurrent loss、L

)および下記の一般式2で計算されるリサイクル損失(recycle loss、Lr)を計算し、計算された再発損失およびリサイクル損失を敵対的損失(adversarial loss)と結合して学習する段階を含む、映像合成方法:
[一般式1]
TIFF
2022094349000014.tif
7
77
[一般式2]
TIFF
2022094349000015.tif
7
123
前記一般式1および2で、x
t-1
は第1映像の特定t時点のフレームの前の時点のフレームであり、x
t+1
は第1映像の特定t時点のフレームの後の時点のフレームであり、x

は第1映像の特定t時点のフレームであり、Pは映像の過去フレームから未来のモデルを予測するように訓練された予測関数であり、Gはイメージ生成関数であり、Xは第1映像のデータであり、Yは第2映像のデータである。
続きを表示(約 1,200 文字)【請求項2】
前記再発損失は、第1映像および第2映像それぞれの特定t時点のフレームの前の時点のフレームおよび後の時点のフレームのみを活用して補間法で構成される、請求項1に記載の映像合成方法。
【請求項3】
前記リサイクル損失は、第1映像および第2映像それぞれの特定t時点のフレームの前の時点のフレームおよび後の時点のフレームのみを活用して補間法で構成される、請求項1に記載の映像合成方法。
【請求項4】
前記敵対的損失は下記の一般式3で計算される、請求項1に記載の映像合成方法:
[一般式3]
TIFF
2022094349000016.tif
6
109
前記一般式3で、Gはイメージ生成関数であり、Dは識別関数であり、y

は第2映像の特定s時点のフレームであり、x

は第1映像の特定t時点のフレームであり、Yは第2映像のデータである。
【請求項5】
第1映像および前記第1映像と異なる第2映像に対する時間的情報と空間的情報を入力するための入力部;および
前記入力された情報に基づいて下記の一般式1で計算される再発損失(recurrent loss、L

)および下記の一般式2で計算されるリサイクル損失(recycle loss、Lr)を計算し、計算された再発損失およびリサイクル損失を敵対的損失(adversarial loss)と結合して学習するための制御部を含む、映像合成装置:
[一般式1]
TIFF
2022094349000017.tif
7
77
[一般式2]
TIFF
2022094349000018.tif
7
123
前記一般式1および2で、x
t-1
は第1映像の特定t時点のフレームの前の時点のフレームであり、x
t+1
は第1映像の特定t時点のフレームの後の時点のフレームであり、x

は第1映像の特定t時点のフレームであり、Pは映像の過去フレームから未来のモデルを予測するように訓練された予測関数であり、Gはイメージ生成関数であり、Xは第1映像のデータであり、Yは第2映像のデータである。
【請求項6】
出力部をさらに含む、請求項5に記載の映像合成装置。
【請求項7】
前記敵対的損失は下記の一般式3で計算される、請求項5に記載の映像合成装置:
[一般式3]
TIFF
2022094349000019.tif
6
109
前記一般式3で、Gはイメージ生成関数であり、Dは識別関数であり、y

は第2映像の特定s時点のフレームであり、x

は第1映像の特定t時点のフレームであり、Yは第2映像のデータである。

発明の詳細な説明【技術分野】
【0001】
本出願は映像合成方法およびこれを利用した映像合成装置に関する。
続きを表示(約 1,400 文字)【背景技術】
【0002】
従来映像合成方法としては、再発損失(recurrent loss)、リサイクル損失(recycle loss)および敵対的損失(adversarial loss)を結合して学習するリサイクル生成的敵対的生成ネットワーク(Recycle-GAN)アルゴリズムが利用されている。再発損失とリサイクル損失を求めるためには外挿法が利用されている。外挿法の活用によって、再発損失とリサイクル損失モデルが未来予測モデルになったのであり、第1映像または第2映像の特定t時点のフレームの映像を時間の流れに連続するように自然につながり得るようにするために1からt-1時点までの映像を活用して連係された。
【0003】
しかし、リサイクル生成的敵対的生成ネットワークアルゴリズムで両映像間の合成時、外挿法を利用することによって、アルゴリズムの歪み現象が激しいことを確認した。したがって、これを解決するために、再発損失とリサイクル損失を求める時に外挿法を活用せず、歪み現象を減少させ得る映像合成方法が要求されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本出願の課題は、アルゴリズムの歪み現象を減少させ、映像合成のために必要とされる計算量を減らして学習に所要する時間を減縮させ得る映像合成方法およびこれを利用した映像合成装置を提供することである。
【課題を解決するための手段】
【0005】
前記課題を解決するために、本出願の映像合成方法は第1映像および前記第1映像と異なる第2映像を準備し、それぞれの映像に対する時間的情報と空間的情報を入力する段階;および前記入力された情報に基づいて下記の一般式1で計算される再発損失(recurrent loss、LT)および下記の一般式2で計算されるリサイクル損失(recycle loss、Lr)を計算し、計算された再発損失およびリサイクル損失を敵対的損失(adversarial loss)と結合して学習する段階を含む。
【0006】
[一般式1]
TIFF
2022094349000002.tif
7
77
【0007】
[一般式2]
TIFF
2022094349000003.tif
7
123
【0008】
前記一般式1および2で、x
t-1
は第1映像の特定t時点のフレームの前の時点のフレームであり、x
t+1
は第1映像の特定t時点のフレームの後の時点のフレームであり、x

は第1映像の特定t時点のフレームであり、Pは映像の過去フレームから未来のモデルを予測するように訓練された予測関数であり、Gはイメージ生成関数であり、Xは第1映像のデータであり、Yは第2映像のデータである。
【0009】
また、前記再発損失は第1映像および第2映像それぞれの特定t時点のフレームの前の時点のフレームおよび後の時点のフレームのみを活用して補間法で構成され得る。
【0010】
また、前記リサイクル損失は第1映像および第2映像それぞれの特定t時点のフレームの前の時点のフレームおよび後の時点のフレームのみを活用して補間法で構成され得る。
(【0011】以降は省略されています)

特許ウォッチbot のツイート
この特許をJ-PlatPatで参照する

関連特許

個人
データ構造
1日前
個人
保険契約管理方法
29日前
個人
マルチ集計シート
1か月前
株式会社理研
演算装置
14日前
個人
喋るハイテク家電
19日前
個人
電子旅程システム
26日前
個人
回覧支援システム
26日前
個人
家系図作成システム
27日前
個人
遺言書作成システム
27日前
個人
ライフ情報提供装置
26日前
個人
曲目音声入力システム
19日前
株式会社鶴
管理サーバ
26日前
凸版印刷株式会社
メタルカード
7日前
日本精機株式会社
車載表示装置
4日前
個人
結婚活動支援システム
12日前
個人
災害管理サーバ
29日前
個人
ゴーグル表示システム
26日前
HENNGE株式会社
サーバ
22日前
東レ株式会社
シミュレーション方法
22日前
個人
情報提供システム
19日前
個人
統計モデルによる勤務時間の推定
15日前
シャープ株式会社
家電システム
19日前
凸版印刷株式会社
非接触通信ICシート
4日前
株式会社ノーリツ
給湯装置
5日前
ヤマキ有限会社
値引き管理システム
21日前
キヤノン株式会社
情報処理システム
1か月前
三菱電機株式会社
映像表示装置
27日前
オグラ金属株式会社
食品カウンタ装置
6日前
東洋計器株式会社
ガスの集中監視方法
20日前
テルモ株式会社
表示装置
22日前
積水ハウス株式会社
地図生成装置
29日前
アンサー株式会社
勤務状況共有システム
今日
ビィデザイン株式会社
仮想空間システム
19日前
株式会社リコー
情報処理装置および方法
26日前
積水ハウス株式会社
情報処理装置
29日前
中国電力株式会社
業務時間管理システム
8日前
続きを見る