特許ウォッチ

公開番号2024071773
公報種別公開特許公報(A)
公開日2024-05-24
出願番号2024060706,2020083122
出願日2024-04-04,2020-05-11
発明の名称画像コーディング装置、確率モデル生成装置及び画像デコーディング装置
出願人富士通株式会社
代理人個人,個人
主分類H04N 19/13 20140101AFI20240517BHJP(電気通信技術)
要約【課題】本発明は、画像コーディング装置、確率モデル生成装置及び画像デコーディング装置を提供する。
【解決手段】画像コーディング装置は、入力画像に対して特徴抽出を行い、N個のチャンネルの特徴マップを取得する第一特徴抽出ユニット;サイズがK回調整された入力画像に対して特徴抽出を行い、それぞれ、N個のチャンネルの特徴マップを取得する第二特徴抽出ユニット;及び、前記第一特徴抽出ユニットからのN個のチャンネルの特徴マップと、前記第二特徴抽出ユニットからのK×N個のチャンネルの特徴マップとを結合して出力する第一結合ユニットを含む。これにより、画像の特徴を正確に抽出し、競争力のもっとある潜在表現を得ることができる。
【選択図】図2
特許請求の範囲【請求項１】
画像をデコーディングする装置であって、
ハイパーデコーダの出力に対して特徴抽出を行い、マルチスケール補助情報を取得するマルチスケールダイレイテッド畳み込みユニット；
算術デコーダからの入力画像の潜在表現と、前記マルチスケールダイレイテッド畳み込みユニットからのマルチスケール補助情報とを結合する結合器；及び
前記結合器からの出力に対してデコーディングを行い、前記入力画像の再構成画像を取得するデコーダを含む、装置。
続きを表示（約 610 文字）【請求項２】
請求項１に記載の装置であって、
前記マルチスケールダイレイテッド畳み込みユニットは、3つの特徴抽出ユニットを含み、
前記3つの特徴抽出ユニットは、異なる拡張率のダイレイテッド畳み込みカーネル及び同じチャンネル数を用いて前記ハイパーデコーダの出力に対して特徴抽出を行い、前記マルチスケール補助情報を取得する。装置。
【請求項３】
確率モデルを生成する装置であって、
ハイパーデコーダの出力に対して特徴抽出を行い、マルチスケール補助情報を取得するマルチスケールダイレイテッド畳み込みユニット；
量子化器からの入力画像の潜在表現を入力とし、コンテンツに基づく予測を取得するコンテキストモデル処理ユニット；及び
前記コンテキストモデル処理ユニットの出力及び前記マルチスケールダイレイテッド畳み込みユニットの出力を処理し、予測の確率モデルを取得するエントロピーモデル処理ユニットを含む、装置。
【請求項４】
請求項３に記載の装置であって、
前記マルチスケールダイレイテッド畳み込みユニットは、3つの特徴抽出ユニットを含み、
前記3つの特徴抽出ユニットは、異なる拡張率のダイレイテッド畳み込みカーネル及び同じチャンネル数を用いて前記ハイパーデコーダの出力に対して特徴抽出を行い、前記マルチスケール補助情報を取得する、装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像圧縮及びディープラーニングの技術分野に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
近年、ディープラーニングがコンピュータビジョン分野で主導な地位を成している。画像認識や超解像再生では、ディープラーニングが画像についての研究の重要な技術になっているが、その能力がこれらのタスクに限定されない。また、ディープラーニング技術は、画像圧縮分野でも応用され、ホットな研究テーマになっている。
【０００３】
今のところ、ディープニューラルネットワークに基づく画像圧縮は、できるだけ少ないコードストリームを用いて高品質の画像を生成することを目的としているため、レート‐ディストーションのトレードオフの問題が生じてしまう。ビット率とディストーションとの間の良好なバランスを取るために、次のような2つの研究が行っており、即ち、（1）潜在表現のために最も近似したエントロピーモデルを見つけてビットストリームの長さを最適化し（ビット率を低くする）；及び、（2）より有効な潜在表現を得て画像を正確に再構成する（ディストーションを減少させる）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施例は、画像コーディング方法及び装置、確率モデル生成方法及び装置、画像デコーディング方法及び装置、並びに画像圧縮システムを提供し、ピラミッドサイズ調整ジュール（pyramidal resize module）及びインセプション（inception）コーダーネットワークを用いることで、画像の特徴を正確に抽出し、競争力のもっとある潜在表現を得ることができる。
【課題を解決するための手段】
【０００５】
本発明の実施例の第一側面によれば、画像コーディング装置が提供され、前記装置は、
入力画像に対して特徴抽出を行い、N個のチャンネルの特徴マップを取得する第一特徴抽出ユニット；
サイズがK回調整された入力画像に対して特徴抽出を行い、それぞれ、N個のチャンネルの特徴マップを取得する第二特徴抽出ユニット；及び
前記第一特徴抽出ユニットからのN個のチャンネルの特徴マップと、前記第二特徴抽出ユニットからのK×N個のチャンネルの特徴マップとを結合して出力する第一結合ユニットを含む。
【０００６】
本発明の実施例の第二側面によれば、確率モデル生成装置が提供され、前記装置は、
ハイパーデコーダの出力に対して特徴抽出を行い、マルチスケール補助情報を取得するマルチスケールダイレイテッド畳み込みユニット；
量子化器からの入力画像の潜在表現を入力とし、コンテンツに基づく予測を取得するコンテキストモデル処理ユニット；及び
前記コンテキストモデル処理ユニットの出力及び前記マルチスケールダイレイテッド畳み込みユニットの出力を処理し、予測の確率モデルを取得するエントロピーモデル処理ユニットを含む。
【０００７】
本発明の実施例の第三側面によれば、画像デコーディング装置が提供され、前記画像デコーディング装置は、
ハイパーデコーダの出力に対して特徴抽出を行い、マルチスケール補助情報を取得するマルチスケールダイレイテッド畳み込みユニット；
算術デコーダからの入力画像の潜在表現と、前記マルチスケールダイレイテッド畳み込みユニットからのマルチスケール補助情報とを結合する結合器；及び
前記結合器からの出力に対してデコーディングを行い、前記入力画像の再構成画像を取得するデコーダを含む。
【０００８】
本発明の実施例の第四側面によれば、画像コーディング方法が提供され、前記方法は、
複数のインセプションユニットを用いて、入力画像に対して特徴抽出を行い、N個のチャンネルの特徴マップの取得し；
複数の畳み込み層を用いて、それぞれ、サイズが調整された入力画像に対して特徴抽出を行い、それぞれ、N個のチャンネルの特徴マップを取得し；及び
前記インセプションユニットからのN個のチャンネルの特徴マップと、前記複数の畳み込み層からのそれぞれ対応するN個のチャンネルの特徴マップとを結合して出力することを含む。
【０００９】
本発明の実施例の第五側面によれば、確率モデル生成方法が提供され、前記方法は、
マルチスケールダイレイテッド畳み込みユニットを用いて、前記ハイパーデコーダの出力に対して特徴抽出を行い、マルチスケール補助情報を取得し；
コンテキストモデルを用いて、量子化器からの入力画像の潜在表現を入力とし、コンテンツに基づく予測を取得し；及び
エントロピーモデルを用いて、前記コンテキストモデルの出力及び前記マルチスケールダイレイテッド畳み込みユニットの出力を処理し、予測の確率モデルを取得することを含む。
【００１０】
本発明の実施例の第六側面によれば、画像デコーディング方法が提供され、前記方法は、
マルチスケールダイレイテッド畳み込みユニットを用いて、ハイパーデコーダの出力に対して特徴抽出を行い、マルチスケール補助情報を取得し；
結合器を用いて、算術デコーダからの入力画像の潜在表現及び前記マルチスケールダイレイテッド畳み込みユニットからのマルチスケール補助情報に対して結合を行い；及び
デコーダを用いて、前記結合器からの出力に対してデコーディングを行い、前記入力画像の再構成画像を取得することを含む。
（【００１１】以降は省略されています）

関連特許