TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2025110023
公報種別公開特許公報(A)
公開日2025-07-28
出願番号2024003703
出願日2024-01-15
発明の名称映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法
出願人日本電気株式会社
代理人個人,個人
主分類H04N 19/463 20140101AFI20250718BHJP(電気通信技術)
要約【課題】メモリアクセス効率の低下を抑制する。
【解決手段】映像符号化装置10は、符号化対象テンソルを複数の矩形領域に分割する分割手段51と、矩形領域毎に、矩形領域から複数の縮小領域を生成する縮小手段52と、矩形領域毎に、矩形領域のテンソルと複数の縮小領域のテンソルとを、確率分布を使用してエントロピー符号化して、ビットストリームを生成するエントロピー符号化手段53と、ビットストリームを多重化する多重化手段54とを含み、エントロピー符号化手段53は、符号化対象の矩形領域または縮小領域よりも小さいサイズの縮小領域のテンソルから推定される確率分布を使用し、最小の縮小領域に関する確率分布として、既に符号化済みの矩形領域における最小の縮小領域に関する確率分布を使用する。
【選択図】図11
特許請求の範囲【請求項1】
符号化対象テンソルを複数の矩形領域に分割する分割手段と、
矩形領域毎に、前記矩形領域から複数の縮小領域を生成する縮小手段と、
矩形領域毎に、前記矩形領域のテンソルと前記複数の縮小領域のテンソルとを、確率分布を使用してエントロピー符号化して、ビットストリームを生成するエントロピー符号化手段と、
前記ビットストリームを多重化する多重化手段とを備え、
前記エントロピー符号化手段は、
符号化対象の前記矩形領域または前記縮小領域よりも小さいサイズの縮小領域のテンソルから推定される確率分布を使用し、
最小の前記縮小領域に関する確率分布として、既に符号化済みの矩形領域における最小の縮小領域に関する確率分布を使用する
映像符号化装置。
続きを表示(約 2,200 文字)【請求項2】
矩形領域毎に、前記縮小領域のテンソルの確率分布を推定する確率分布推定手段を備える
請求項1に記載の映像符号化装置。
【請求項3】
前記エントロピー符号化手段は、符号化対象の前記矩形領域また前記縮小領域のサイズに最も近いサイズの縮小領域のテンソルから推定される確率分布を使用する
請求項2に記載の映像符号化装置。
【請求項4】
符号化対象テンソルが分割されて得られる矩形領域の各々に対応するビットストリームが多重化された多重化ビットストリームの多重化を解除する多重化解除手段と、
矩形領域毎に、前記矩形領域と当該矩形領域から生成される複数の縮小領域とを対象として、確率分布を使用してエントロピー復号を行い、前記矩形領域のテンソルを出力するエントロピー復号手段と、
前記エントロピー復号によって得られる矩形領域のテンソルを合成する合成手段とを備え、
前記エントロピー復号手段は、
復号対象の前記矩形領域または前記縮小領域よりも小さいサイズの縮小領域のテンソルから推定される確率分布を使用し、
最小の前記縮小領域に関する確率分布として、前記多重化解除手段が取得した既に符号化済みの矩形領域における最小の縮小領域に関する確率分布を使用する
映像復号装置。
【請求項5】
矩形領域毎に、前記縮小領域のテンソルの確率分布を推定する確率分布推定手段を備える
請求項4に記載の映像復号装置。
【請求項6】
符号化対象の前記矩形領域また前記縮小領域のサイズに最も近いサイズの縮小領域のテンソルから推定される確率分布を使用する
請求項5に記載の映像復号装置。
【請求項7】
符号化対象テンソルを複数の矩形領域に分割し、
矩形領域毎に、前記矩形領域から複数の縮小領域を生成し、
矩形領域毎に、前記矩形領域のテンソルと前記複数の縮小領域のテンソルとを、確率分布を使用してエントロピー符号化して、ビットストリームを生成し、
前記ビットストリームを多重化し、
前記エントロピー符号化するときに、
符号化対象の前記矩形領域または前記縮小領域よりも小さいサイズの縮小領域のテンソルから推定される確率分布を使用し、
最小の前記縮小領域に関する確率分布として、既に符号化済みの矩形領域における最小の縮小領域に関する確率分布を使用する
映像符号化方法。
【請求項8】
符号化対象テンソルが分割されて得られる矩形領域の各々に対応するビットストリームが多重化された多重化ビットストリームの多重化を解除し、
矩形領域毎に、前記矩形領域と当該矩形領域から生成される複数の縮小領域とを対象として、確率分布を使用してエントロピー復号を行って、前記矩形領域のテンソルを出力し、
前記エントロピー復号によって得られる矩形領域のテンソルを合成し、
前記エントロピー復号するときに、
復号対象の前記矩形領域または前記縮小領域よりも小さいサイズの縮小領域のテンソルから推定される確率分布を使用し、
最小の前記縮小領域に関する確率分布として、多重化解除によって取得された既に符号化済みの矩形領域における最小の縮小領域に関する確率分布を使用する
映像復号方法。
【請求項9】
コンピュータに、
符号化対象テンソルを複数の矩形領域に分割する処理と、
矩形領域毎に、前記矩形領域から複数の縮小領域を生成する処理と、
矩形領域毎に、前記矩形領域のテンソルと前記複数の縮小領域のテンソルとを、確率分布を使用してエントロピー符号化して、ビットストリームを生成する処理と、
前記ビットストリームを多重化する処理とを実行させ、
前記エントロピー符号化するときに、符号化対象の前記矩形領域または前記縮小領域よりも小さいサイズの縮小領域のテンソルから推定される確率分布を使用させ、最小の前記縮小領域に関する確率分布として、既に符号化済みの矩形領域における最小の縮小領域に関する確率分布を使用させる
ための映像符号化プログラム。
【請求項10】
コンピュータに、
符号化対象テンソルが分割されて得られる矩形領域の各々に対応するビットストリームが多重化された多重化ビットストリームの多重化を解除する処理と、
矩形領域毎に、前記矩形領域と当該矩形領域から生成される複数の縮小領域とを対象として、確率分布を使用してエントロピー復号を行って、前記矩形領域のテンソルを出力する処理と、
前記エントロピー復号によって得られる矩形領域のテンソルを合成する処理とを実行させ、
前記エントロピー復号するときに、復号対象の前記矩形領域または前記縮小領域よりも小さいサイズの縮小領域のテンソルから推定される確率分布を使用させ、最小の前記縮小領域に関する確率分布として、多重化解除によって取得された既に符号化済みの矩形領域における最小の縮小領域に関する確率分布を使用させる
ための映像復号プログラム。

発明の詳細な説明【技術分野】
【0001】
本開示は、ニューラルネットワークを利用する映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法に関する。
続きを表示(約 1,600 文字)【背景技術】
【0002】
ニューラルネットワークの一つである自己符号化器(Auto-encoder)、量子化、および、エントロピー符号化を組合せた新たな映像符号化技術が、非特許文献1に記載されている。
【0003】
自己符号化器は、入力データを、重要な特徴だけを含むように、低次元の特徴テンソルに圧縮する。その後、自己符号化器は、低次元の特徴テンソルを元の次元に再構築した再構築データを生成する。低次元の特徴テンソルに落とし込む処理(前半部分)をエンコードと呼ぶ。再構築データを生成する処理(後半部分)をデコードと呼ぶ。
【0004】
自己符号化器の学習は、再構築誤差(入力データと再構築データとの差)を最小化するように進められる。有意義な特徴量が得られるように、自己符号化器は、エンコードの構造に制約を加えたり、ネットワークの損失関数に正則化項を追加するように設計される。
【0005】
非特許文献2には、所定のテンソルを入力し、確率モデル(すなわち、予測の確率分布)を使用して入力テンソルをエントロピー符号化する手法が記載されている。この手法では、まず、入力テンソルをダウンサンプリングすることにより、入力テンソルのスケールよりも小さいスケールのテンソルを獲得する。獲得したテンソルから確率分布を推定し、そのテンソルをエントロピー符号化する。その後、その推定した確率分布を用いて入力テンソルをエントロピー符号化する。そのような手法を、MSPSM(Multi-Scale Progressive Statistical Model)エントロピー符号化と呼ぶ。MSPSMエントロピー符号化を、単に、MSPSMと表記する。
【0006】
以下、所定のテンソルとして、自己符号化器におけるエンコーダが出力するテンソルに量子化を適用することにより得られる特徴テンソルを例にする。
【先行技術文献】
【非特許文献】
【0007】
J. Ball’e, V. Laparra, and E. P. Simoncelli, "End-to-end Optimized Image Compression", published as a conference paper at ICLR 2017
N. Le et al., "Learned Image Coding for Machines: A Content-Adaptive Approach", IEEE International Conference on Multimedia and Expo (ICME), 2021
【発明の概要】
【発明が解決しようとする課題】
【0008】
図1は、MSPSMの実現例を示すブロック図である。図1に示す構成を、MSPSMシステムとする。
【0009】
MSPSMシステムは、エンコーダからの入力特徴テンソルをダウンサンプリングする。MSPSMシステムは、ダウンサンプリングで得られる特徴テンソルを、さらにダウンサンプリングする。MSPSMシステムは、ダウンサンプリングで得られる特徴テンソルのダウンサンプリングを繰り返す。i回目のダウンサンプリングで得られる特徴テンソルを、スケールiの特徴テンソルという。iを、スケール数という。
【0010】
スケールiの特徴テンソルを、y

と表現することがある。スケールiの特徴テンソルから推定された確率分布をp

と表現し、p

を推定した際のコンテキスト情報をz

と表現する。
(【0011】以降は省略されています)

この特許をJ-PlatPat(特許庁公式サイト)で参照する

関連特許

日本電気株式会社
移相器およびアンテナ装置
3日前
日本電気株式会社
移相器およびアンテナ装置
3日前
日本電気株式会社
移相器およびアンテナ装置
3日前
日本電気株式会社
レドーム、及びレドームの製造方法
6日前
日本電気株式会社
処理装置、処理方法、及びプログラム
3日前
日本電気株式会社
分析装置、分析方法、およびプログラム
6日前
日本電気株式会社
支援システム、処理方法、およびプログラム
5日前
日本電気株式会社
光増幅装置、光伝送システム及び光増幅方法
3日前
日本電気株式会社
サーバ装置、サーバ装置の方法及びプログラム
7日前
日本電気株式会社
情報提供装置、情報提供方法、およびプログラム
6日前
日本電気株式会社
情報処理装置、情報処理装置の制御方法及びプログラム
3日前
日本電気株式会社
情報処理装置、情報処理装置の制御方法及びプログラム
3日前
日本電気株式会社
拾得物情報管理装置、拾得物情報管理方法およびプログラム
4日前
日本電気株式会社
サーバ装置、決済端末、サーバ装置の制御方法及びプログラム
4日前
日本電気株式会社
情報処理装置及び制御方法
3日前
日本電気株式会社
基地局子機無線装置が備える基地局子機、情報処理方法、及び、コンピュータプログラム
4日前
日本電気株式会社
施設回転率向上支援装置、施設回転率向上支援方法、及び、施設回転率向上支援プログラム
4日前
日本電気株式会社
情報処理装置、情報処理方法及びプログラム
4日前
日本電気株式会社
物品推定装置、物品推定方法、及びプログラム
3日前
個人
店内配信予約システム
1か月前
サクサ株式会社
中継装置
1か月前
キヤノン株式会社
撮像装置
2か月前
キヤノン株式会社
電子機器
1か月前
日本精機株式会社
画像投映システム
1か月前
電気興業株式会社
無線中継器
2か月前
キヤノン電子株式会社
モバイル装置
1か月前
ヤマハ株式会社
信号処理装置
2か月前
株式会社リコー
画像形成装置
17日前
キヤノン株式会社
画像表示装置
2か月前
株式会社ニコン
撮像装置
27日前
ブラザー工業株式会社
読取装置
12日前
キヤノン株式会社
通信システム
2か月前
DXO株式会社
情報処理システム
24日前
エルメック株式会社
信号伝送回路
2か月前
株式会社クーネル
音響装置
2か月前
キヤノン電子株式会社
画像読取システム
2か月前
続きを見る