TOP特許意匠商標
特許ウォッチ DM通知 Twitter
10個以上の画像は省略されています。
公開番号2022114440
公報種別公開特許公報(A)
公開日2022-08-05
出願番号2021205680
出願日2021-12-20
発明の名称映像復元方法及び装置
出願人三星電子株式会社,Samsung Electronics Co.,Ltd.,ソウル ナショナル ユニヴァーシティ アール アンド ディービー ファウンデーション
代理人個人,個人,個人
主分類G06T 5/00 20060101AFI20220729BHJP(計算;計数)
要約【課題】映像復元方法及び装置が開示される。
【解決手段】実施形態によれば、本方法は、入力映像、及び、複数の候補映像効果のうち第1映像効果を指示する第1タスクベクトルを受信し、ソースニューラルネットワークのタスク-非依存アーキテクチャに基づいて入力映像から複数の候補映像効果が共有している共通特徴を抽出し、ソースニューラルネットワークのタスク-特化アーキテクチャ及び第1タスクベクトルに基づいて共通特徴を第1映像効果に対応する第1復元映像に復元する、ステップを含む。
【選択図】図1
特許請求の範囲【請求項1】
入力映像、及び、複数の候補映像効果のうち第1映像効果を指示する第1タスクベクトルを受信するステップと、
ソースニューラルネットワークのタスク-非依存アーキテクチャに基づいて、前記入力映像から前記複数の候補映像効果が共有している共通特徴を抽出するステップと、
前記ソースニューラルネットワークのタスク-特化アーキテクチャ及び前記第1タスクベクトルに基づいて、前記共通特徴を前記第1映像効果に対応する第1復元映像に復元するステップと、
を含む、映像復元方法。
続きを表示(約 1,700 文字)【請求項2】
前記復元するステップは、
前記タスク-特化アーキテクチャに前記第1タスクベクトルを適用して第1タスク-特化ネットワークを決定するステップと、
前記第1タスク-特化ネットワークに基づいて、前記共通特徴を前記第1復元映像に復元するステップと、
を含む、請求項1に記載の映像復元方法。
【請求項3】
前記復元するステップは、
前記第1タスク-特化ネットワークに基づいて、前記共通特徴から前記第1映像効果に特化した第1特化特徴を抽出するステップと、
前記第1タスク-特化ネットワークに基づいて、前記第1特化特徴を前記第1映像効果に対応する第1復元映像に復元するステップと、
を含む、請求項2に記載の映像復元方法。
【請求項4】
前記第1タスク-特化ネットワークを決定するステップは、
アーキテクチャ制御ネットワークを用いて、前記第1タスクベクトルに対応する第1チャネル選択情報を生成するステップと、
前記第1チャネル選択情報に基づいて、前記タスク-特化アーキテクチャの少なくとも一部のチャネルを除去し前記第1タスク-特化ネットワークを決定するステップと、
を含む、請求項2に記載の映像復元方法。
【請求項5】
前記第1チャネル選択情報を生成するステップは、
前記アーキテクチャ制御ネットワークを介して、前記第1タスクベクトルを処理して第1実数ベクトルを生成するステップと、
変換関数を介して前記第1実数ベクトルの各実数エレメントを真又は偽りに変換して、前記第1チャネル選択情報を生成するステップと、
を含む、請求項4に記載の映像復元方法。
【請求項6】
前記抽出するステップは、
前記タスク-非依存アーキテクチャに共有パラメータを適用して、タスク-非依存ネットワークを決定するステップと、
前記タスク-非依存ネットワークに基づいて、前記入力映像から前記共通特徴を抽出するステップと、
を含む、請求項1に記載の映像復元方法。
【請求項7】
前記複数の候補映像効果のうち第2映像効果に対応する第2タスクベクトルを受信するステップと、
前記タスク-特化アーキテクチャ及び前記第2タスクベクトルに基づいて、前記共通特徴を前記第2映像効果に対応する第2復元映像に復元するステップと、
をさらに含み、
前記共通特徴は、前記第2復元映像の復元のためにリユースされる、
請求項1に記載の映像復元方法。
【請求項8】
前記第1タスクベクトルは、前記第1映像効果の各効果タイプの調整レベルを含む、
請求項1に記載の映像復元方法。
【請求項9】
第1トレーニング入力映像、複数の候補映像効果のうち第1映像効果を指示する第1タスクベクトル、及び、前記第1映像効果による第1トレーニング目標映像を含む第1トレーニングデータセット、を受信するステップと、
ソースニューラルネットワークのタスク-非依存アーキテクチャに基づいて、前記第1トレーニング入力映像から前記複数の候補映像効果が共有している共通特徴を抽出するステップと、
前記ソースニューラルネットワークのタスク-特化アーキテクチャ及び前記第1タスクベクトルに基づいて、前記共通特徴を第1復元映像に復元するステップと、
前記第1トレーニング目標映像と前記第1復元映像との間の差、及び、前記共通特徴の抽出及び前記第1復元映像の復元に関する演算量に基づいて、前記ソースニューラルネットワークを更新するステップと、
を含む、トレーニング方法。
【請求項10】
前記ソースニューラルネットワークを更新するステップは、
前記タスク-非依存アーキテクチャに含まれたレイヤの数が増加し、前記演算量が減少するように前記ソースニューラルネットワークを更新するステップ、を含む、
請求項9に記載のトレーニング方法。
(【請求項11】以降は省略されています)

発明の詳細な説明【技術分野】
【0001】
本発明は、映像復元方法及び装置に関する。
続きを表示(約 2,400 文字)【背景技術】
【0002】
映像復元は、劣化状態の映像を、向上した画質の映像に復元する技術である。映像復元のためにディープラーニング基盤のニューラルネットワークが用いられる。ニューラルネットワークは、ディープラーニングに基づいてトレーニングされた後、非線形関係にある入力データ及び出力データを互いにマッピングすることで目的に適する推論(inference)を実行することができる。このようなマッピングを生成するトレーニングされた能力は、ニューラルネットワークの学習能力といえる。しかも、映像復元のような特化した目的のためにトレーニングされたニューラルネットワークは、例えば、トレーニングしていない入力パターンに対して比較的正確な出力を生成する一般化能力を有することができる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明の目的は、映像復元方法及び装置を提供することにある。
【課題を解決するための手段】
【0004】
一実施形態によれば、映像復元方法は、入力映像、及び、複数の候補映像効果のうち第1映像効果を指示する第1タスクベクトルを受信するステップと、ソースニューラルネットワークのタスク-非依存アーキテクチャに基づいて、前記入力映像から前記複数の候補映像効果が共有している共通特徴を抽出するステップと、前記ソースニューラルネットワークのタスク-特化アーキテクチャ及び前記第1タスクベクトルに基づいて、前記共通特徴を前記第1映像効果に対応する第1復元映像に復元するステップと、を含む。
【0005】
一実施形態によれば、第1トレーニング入力映像、複数の候補映像効果のうち第1映像効果を指示する第1タスクベクトル、及び、前記第1映像効果による第1トレーニング目標映像を含む第1トレーニングデータセットを受信するステップと、ソースニューラルネットワークのタスク-非依存アーキテクチャに基づいて、前記第1トレーニング入力映像から前記複数の候補映像効果が共有している共通特徴を抽出するステップと、前記ソースニューラルネットワークのタスク-特化アーキテクチャ及び前記第1タスクベクトルに基づいて、前記共通特徴を第1復元映像に復元するステップと、前記第1トレーニング目標映像と前記第1復元映像との間の差、及び、前記共通特徴の抽出及び前記第1復元映像の復元に関する演算量に基づいて、前記ソースニューラルネットワークを更新するステップと、を含む。
【0006】
一実施形態によれば、電子装置は、入力映像を生成するカメラと、前記入力映像、及び、複数の候補映像効果のうち第1映像効果を指示する第1タスクベクトルを受信し、ソースニューラルネットワークのタスク-非依存アーキテクチャに基づいて、前記入力映像から前記複数の候補映像効果が共有している共通特徴を抽出し、前記ソースニューラルネットワークのタスク-特化アーキテクチャ及び前記第1タスクベクトルに基づいて、前記共通特徴を前記第1映像効果に対応する第1復元映像に復元する、プロセッサと、を含む。
【0007】
一実施形態によれば、電子装置は、入力映像、及び、候補映像効果のうち第1映像効果を指示する第1タスクベクトルを受信し、タスク-非依存アーキテクチャを用いて前記入力映像から前記候補映像効果が共有している共通特徴を抽出し、前記第1タスクベクトルに基づいて、タスク-特化アーキテクチャの少なくとも1つのチャネルを除去して第1タスク-特化ネットワークを生成し、前記第1タスク-特化ネットワークを用いて、前記共通特徴から前記第1映像効果に特化した第1特化特徴を抽出し、前記第1タスク-特化ネットワークを用いて前記第1特化特徴を第1復元映像に復元する。
【発明の効果】
【0008】
本発明によれば、映像復元方法及び装置を提供することができる。
【図面の簡単な説明】
【0009】
一実施形態に係る映像復元装置の概略的な動作を示す図である。
一実施形態に係るソースニューラルネットワーク及び変形ネットワークを示す図である。
一実施形態に係るタスク-特化アーキテクチャ及び制御アーキテクチャを示す図である。
一実施形態に係る第1タスクベクトルに基づいた映像復元動作を示したフローチャートである。
一実施形態に係るトレーニング装置を示すブロック図である。
一実施形態に係るソースニューラルネットワークのアーキテクチャを示す図である。
一実施形態に係るチャネル選択動作を示す図である。
一実施形態に係るアーキテクチャ制御ネットワークの構成を示す図である。
絶対的な目標を有するトレーニングデータセットを示す図である。
一実施形態に係る相対的目標を有するトレーニングデータセットを示す図である。
一実施形態に係るトレーニングデータセットの構成を示す図である。
一実施形態に係る第1トレーニングデータセットに基づいたトレーニング動作を示したフローチャートである。
一実施形態に係る映像復元装置を示すブロック図である。
一実施形態に係る電子装置を示すブロック図である。
【発明を実施するための形態】
【0010】
本明細書で開示する特定の構造的又は機能的な説明は、単に実施形態を説明することを目的として例示したものであり、実施形態は、様々な異なる形態で実施され、本発明は、本明細書で説明した実施形態に限定されるものではなく、本発明の範囲は、実施形態で説明した技術的な思想に含まれている変更、均等物、または代替物を含む。
(【0011】以降は省略されています)

特許ウォッチbot のツイート
この特許をJ-PlatPatで参照する

関連特許

個人
対話システム
19日前
個人
接触型ICカード
29日前
個人
エア入力システム
5日前
個人
ランド形成システム
5日前
株式会社リコー
学習装置
18日前
個人
発想支援プログラム及び方法
1日前
辰巳電子工業株式会社
情報処理装置
1日前
株式会社ツガワ
端末処理装置
3日前
株式会社クボタ
刈取計画装置
1か月前
日本信号株式会社
入力装置
23日前
有限会社田中光学
PC操作補助具
23日前
金井電器産業株式会社
キーボード
12日前
個人
情報マップ生成プログラム及び方法
1日前
株式会社末広システム
駅伝蓄電システム
5日前
個人
故人を偲び仏行のお勤めできる仏壇
10日前
株式会社ノンピ
情報処理装置
9日前
京セラ株式会社
RFIDタグ
3日前
個人
電子文書の閲覧用電子機器、表示方法
22日前
CKD株式会社
データ管理システム
23日前
個人
情報処理システム、及び情報処理方法
12日前
株式会社PSI
情報処理装置
12日前
個人
情報処理システム
1か月前
キヤノン株式会社
情報処理装置
10日前
株式会社フクモト工業
情報管理システム
1か月前
株式会社SUBARU
個人認識システム
1か月前
栗田工業株式会社
水処理システム
15日前
株式会社東進
受講生評価システム
18日前
株式会社リコー
媒体、及び収容体
9日前
個人
情報出力装置及びプログラム
12日前
株式会社はくぶん
学校教材販売システム
12日前
株式会社デンソー
車両用装置
8日前
株式会社デンソー
車両用装置
8日前
株式会社デンソー
車両用装置
8日前
株式会社テコテック
株式取引管理システム
5日前
株式会社デンソー
車両用装置
8日前
五大化成株式会社
感染症対策評価システム
1か月前
続きを見る