特許ウォッチ

公開番号2024057980
公報種別公開特許公報(A)
公開日2024-04-25
出願番号2022165024
出願日2022-10-13
発明の名称画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 19/563 20140101AFI20240418BHJP(電気通信技術)
要約【課題】ズームシーン等において、インター予測に用いる参照フレームの画面外画素をより精度よく生成し、符号化効率を改善する。
【解決手段】符号化対象の第1のフレーム内の着目ブロックに対し、第1のフレームより前に符号化した第2のフレームを参照して予測画像を生成する予測部と、当該予測画像に対する着目ブロックの予測誤差データを符号化する符号化部と、第2のフレームの境界の外の画素を参照する場合に、当該第2のフレームより前に符号化された第3のフレームの画素を用いて、第2のフレームの境界外の画素を補間する補間部と、第1のフレームより前のフレームの解像度を変更する変換部とを含む。
【選択図】図1
特許請求の範囲【請求項１】
符号化対象の第１のフレーム内の着目ブロックに対し、前記第１のフレームより前に符号化した第２のフレームを参照して予測画像を生成する予測手段と、
前記予測画像に対する前記着目ブロックの予測誤差を符号化する符号化手段と、
前記第２のフレームの境界の外の画素を参照する場合に、当該第２のフレームより前に符号化された第３のフレームの画素を用いて、前記第２のフレームの境界外の画素を補間する補間手段と、
前記第１のフレームより前のフレームの解像度を変更する変換手段とを有する
ことを特徴とする画像符号化装置。
続きを表示（約 1,400 文字）【請求項２】
前記第１のフレームより前のフレームは、前記第２のフレーム、又は、前記１第３のフレームである
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記第１のフレームより前のフレームは、前記第２のフレーム、及び、前記第３のフレームを含む
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
画像符号化方法であって、
符号化対象の第１のフレーム内の着目ブロックに対し、前記第１のフレームより前に符号化した第２のフレームを参照して予測画像を生成する予測工程と、
前記予測画像に対する前記着目ブロックの予測誤差を符号化する符号化工程と、
前記第２のフレームの境界の外の画素を参照する場合に、当該第２のフレームより前に符号化された第３のフレームの画素を用いて、前記第２のフレームの境界外の画素を補間する補間工程と、
前記第１のフレームより前のフレームの解像度を変更する変換工程とを有する
ことを特徴とする画像符号化方法。
【請求項５】
コンピュータが読み込み実行することで、前記コンピュータに、請求項４に記載の方法の各工程を実行させるためのプログラム。
【請求項６】
符号化データを復号することで、第１のフレーム内の着目ブロックの予測誤差データを取得する復号手段と、
前記第１のフレームより前に復号した第２のフレームを参照して予測画像を生成する生成手段と、
前記予測誤差データと前記予測画像から前記着目ブロックの画像を再生する再生手段と
前記第２のフレームの境界の外の画素を参照する場合に、当該第２のフレームより前に復号した第３のフレームの画素を用いて、前記第２のフレームの境界外の画素を補間する補間手段と、
前記第１のフレームより前のフレームの解像度を変更する変換手段とを有する
ことを特徴とする画像復号装置。
【請求項７】
前記第１のフレームより前のフレームは、前記第２のフレーム、又は、前記第３のフレームである
ことを特徴とする請求項６に記載の画像復号装置。
【請求項８】
前記第１のフレームより前のフレームは、前記第２のフレーム、及び、前記第３のフレームを含む
ことを特徴とする請求項６に記載の画像復号装置。
【請求項９】
画像復号方法であって、
符号化データを復号することで、第１のフレーム内の着目ブロックの予測誤差データを取得する復号工程と、
前記第１のフレームより前に復号した第２のフレームを参照して予測画像を生成する生成工程と、
前記予測誤差データと前記予測画像から前記着目ブロックの画像を再生する再生工程と、
前記第２のフレームの境界の外の画素を参照する場合に、当該第２のフレームより前に復号した第３のフレームの画素を用いて、前記第２のフレームの境界外の画素を補間する補間工程と、
前記第１のフレームより前のフレームの解像度を変更する変換工程とを有する
ことを特徴とする画像復号方法。
【請求項１０】
コンピュータが読み込み実行することで、前記コンピュータに、請求項９に記載の方法の各工程を実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像の符号化／復号技術に関するものである。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
動画像の圧縮記録の符号化方式として、ＶＶＣ（Versatile Video Coding）符号化方式（以下、単にＶＶＣと記す）が知られている。ＶＶＣでは符号化効率向上のため、ＣＴＵ（Coding Tree Unit）と呼ばれる基本ブロックを、従来の正方形だけではなく、長方形のサブブロックへと分割する。
【０００３】
また、ＶＶＣでは、ズームシーン等における効率的なインター予測を可能とする目的から、スケーリングウィンドウと呼ばれる参照ピクチャの空間解像度を制御する技術が採用されている。さらに、ＶＶＣを代表とする動画像符号化では、インター予測において画面境界外の画素を参照するため、画面境界外の画素を補間する必要がある。特許文献１では、タイル単位の符号化処理における画面境界外の画素の補間技術が開示されている。
【０００４】
近年、ＶＶＣを標準化したＪＶＥＴ（Joint Video Experts Team）では、ＶＶＣを上回る符号化効率や高画質化を達成するための新たな符号化技術の検討が進められている。その一つの技術として、符号化効率の向上を目的として、インター予測に用いる参照ピクチャの画面境界外に位置する画素を、前記の参照ピクチャとは異なる参照ピクチャの画面境界内に位置する画素を用いて生成する新たな外挿手法（以下、動き補償画素補間と呼称する）の導入が検討されている。
【先行技術文献】
【特許文献】
【０００５】
特開２０１８－０５００８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＶＶＣでは、スケーリングウィンドウと呼ばれる技術が採用されており、各ピクチャにスケール処理に基づいた矩形領域を設定することができる。インター予測において、各フレームに設定されたスケーリングウィンドウのサイズを比較することで、フレーム間に生じるオブジェクトの拡大又は縮小を考慮したインター予測が可能になる。
【０００７】
また、ＶＶＣでは、インター予測を用いた予測画像を生成するために、参照ピクチャの画面境界外に位置する画素の情報を用いる場合がある。画面境界外の画素は符号化対象ではないため、符号化及び復号処理の双方に共通する補間方法として、参照ピクチャの画面境界の内側に位置する画素を単純に複製する補間を用いる。これに対して、ＪＶＥＴでは、参照フレームの画面境界外の画素を画面境界内のブロックが有する動き情報を用いて、前記の参照フレームとは異なる参照フレームの画面境界内の画素から生成する動き補償画素補間が検討されている。
【０００８】
しかしながら、参照ピクチャにスケーリングウィンドウが設定され、参照ピクチャの拡大又は縮小を伴う場合や、参照ピクチャの画面境界内のブロックが動き情報を有していない場合ついては動き補償画素補間を適用しない。そのため、インター予測における予測精度を向上できないという問題がある。
【０００９】
本発明はかかる問題に鑑みなされたものであり、解像度変換を伴うインター予測における動き補償画素の補間精度を、これまでよりも向上させ、もって高効率で符号化する技術を提供しようとするものである。
【課題を解決するための手段】
【００１０】
この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
符号化対象の第１のフレーム内の着目ブロックに対し、前記第１のフレームより前に符号化した第２のフレームを参照して予測画像を生成する予測手段と、
前記予測画像に対する前記着目ブロックの予測誤差を符号化する符号化手段と、
前記第２のフレームの境界の外の画素を参照する場合に、当該第２のフレームより前に符号化された第３のフレームの画素を用いて、前記第２のフレームの境界外の画素を補間する補間手段と、
前記第１のフレームより前のフレームの解像度を変更する変換手段とを有する。
【発明の効果】
（【００１１】以降は省略されています）

関連特許