特許ウォッチ

公開番号2025020703
公報種別公開特許公報(A)
公開日2025-02-13
出願番号2023124231
出願日2023-07-31
発明の名称マルチレイヤ符号化装置及びプログラム
出願人日本放送協会
代理人弁理士法人キュリーズ
主分類H04N 19/115 20140101AFI20250205BHJP(電気通信技術)
要約【課題】符号化処理量の増加を抑制しつつ、入力映像に応じて各レイヤのビットレートを適切に割り当てることを可能とする。
【解決手段】マルチレイヤ符号化装置1は、複数の入力映像をマルチレイヤ符号化により符号化する符号化部10と、マルチレイヤ符号化における各レイヤの割り当てビットレートを、予め指定された複数の指定ビットレートの中から決定する制御部20と、を備える。制御部20は、各レイヤの符号化対象のフレーム群ごとに、注目フレームを所定の指定ビットレートで符号化した結果に基づいて各レイヤの割り当てビットレートを決定する。
【選択図】図2
特許請求の範囲【請求項１】
複数の入力映像をマルチレイヤ符号化により符号化する符号化手段と、
前記マルチレイヤ符号化における各レイヤの割り当てビットレートを、予め指定された複数の指定ビットレートの中から決定する制御手段と、を備え、
前記制御手段は、前記各レイヤの符号化対象のフレーム群ごとに、注目フレームを所定の指定ビットレートで符号化した結果に基づいて前記割り当てビットレートを決定する
マルチレイヤ符号化装置。
続きを表示（約 1,100 文字）【請求項２】
前記制御手段は、前記符号化対象の現フレーム群から選択された前記注目フレームを前記所定の指定ビットレートで符号化した結果に基づいて、前記現フレーム群に適用する前記割り当てビットレートを決定する
請求項１に記載のマルチレイヤ符号化装置。
【請求項３】
前記制御手段は、
前記各レイヤについて、前記注目フレームを前記所定の指定ビットレートで符号化して前記注目フレームの再構成画像を生成するよう制御し、
前記再構成画像と、対応する原画像とに応じて、前記各レイヤの画質指標を算出し、
前記各レイヤにおける前記画質指標を比較する比較処理により、前記所定の指定ビットレートを用いて前記現フレーム群の符号化を継続するか、又は他の指定ビットレートに切り替えて前記現フレーム群を符号化するかを判定する
請求項２に記載のマルチレイヤ符号化装置。
【請求項４】
前記制御手段は、前記現フレーム群の直前のフレーム群に適用した前記割り当てビットレートを前記所定の指定ビットレートとして用いる
請求項２に記載のマルチレイヤ符号化装置。
【請求項５】
前記制御手段は、前記符号化対象の現フレーム群の直前のフレーム群から選択された前記注目フレームを前記所定の指定ビットレートで符号化した結果に基づいて、前記現フレーム群に適用する前記割り当てビットレートを決定する
請求項１に記載のマルチレイヤ符号化装置。
【請求項６】
前記複数の入力映像は、所定の解像度を有する第１映像と、前記所定の解像度よりも高い解像度を有する第２映像と、を含み、
前記符号化手段は、前記第１映像を第１レイヤとして符号化するとともに、前記第２映像を第２レイヤとして符号化し、
前記複数の指定ビットレートは、前記第１レイヤのビットレートが第１ビットレートに設定された第１指定ビットレートと、前記第１レイヤのビットレートが前記第１ビットレートよりも高い第２ビットレートに設定された第２指定ビットレートと、を含み、
前記所定の指定ビットレートは、前記複数の指定ビットレートのいずれか１つであり、
前記制御手段は、前記第１映像及び前記第２映像のそれぞれの解像度に応じて、前記第１ビットレート及び前記第２ビットレートを決定する
請求項１に記載のマルチレイヤ符号化装置。
【請求項７】
コンピュータを請求項１に記載のマルチレイヤ符号化装置として機能させる
プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、マルチレイヤ符号化装置及びプログラムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
最新の映像符号化方式であるＶＶＣ（ＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇ）は、解像度の異なる複数の映像を効率的に符号化することが可能なマルチレイヤ符号化の機能（具体的には、ＭｕｌｔｉｌａｙｅｒＭａｉｎ１０プロファイル）が規定されており、この機能を用いたサービスの普及が期待される。
【０００３】
マルチレイヤ符号化の一例である空間スケーラブルでは、低解像度映像の符号化をベースレイヤ（ＢＬ）で行い、エンハンスメントレイヤ（ＥＬ）では、ＢＬ符号化画像からの予測画像（レイヤ間予測画像）と高解像度原画との差分を符号化する。このように、マルチレイヤ符号化では、レイヤ間予測を行うことで冗長な情報量（すなわち、低・高解像度映像に共通して存在する低周波数成分に由来する情報量）の発生を抑制し、複数解像度の映像を効率的に符号化できる。
【０００４】
ここで、レイヤ間予測の精度がマルチレイヤ符号化の性能を左右するため、ＢＬを高ビットレートで高画質に符号化し、レイヤ間予測を高精度に行うことが望ましい。但し、ＢＬをいくら高画質に符号化しても、低解像度映像には存在しない高周波数成分（精細成分）を符号化することはできない。ＥＬでは、この精細成分（及びＢＬで符号化しきれなかった低周波数成分）の符号化を行う。高解像度映像特有の精細感を復元するためには、ＥＬも高ビットレートで符号化することが望ましい。
【０００５】
しかし、映像伝送サービスで利用可能な伝送路の帯域（ビットレ―ト）には限りがある。そこで、高画質なマルチレイヤ符号化を実現するためには、この利用可能なビットレートを、各レイヤ（ＢＬ、ＥＬ）に適切に分配するようなビットレート割り当てが必要である。
【０００６】
例えば、ＢＬを高ビットレートで符号化すると、レイヤ間予測効率が向上するが、精細成分のためのＥＬビットレートが不足し、精細感を復元できない可能性がある。逆に、ＥＬを高ビットレートで符号化すると、レイヤ間予測効率が低下して冗長な情報量が削減できず、マルチレイヤ符号化効率が低下する可能性があるとともに、低解像度映像向けのビットレートが不足し、低解像度映像で十分な画質が得られない可能性もある。こうした劣化を防ぐために、各レイヤに適切にビットを割り当てる方法が課題となっている。
【０００７】
非特許文献１では、ＢＬ及びＥＬのビットレート比を変えて符号化効率を比較することで、ＥＬビットレートは全体の５～１５％とするのが最適であるとしている。しかし、非特許文献１は、比較的符号化難度の易しい映像を用いて、１～５Ｍｂｐｓを中心とした低ビットレートで調査しているため、得られた結果が符号化の難しい映像や高ビットレート条件下でも成り立つとは限らない。
【０００８】
この課題を解決するために、非特許文献２では、多様な映像を用いて最適な割り当てビットレートを検討することで、符号化難度に応じて最適な割り当てビットレートが異なることを示している。総ビットレート（目標ビットレート）をＲ
ｔ
[Ｍｂｐｓ]としたときの割り当てビットレートは次の通りである。
【０００９】
具体的には、符号化の難しい映像の場合には、ＥＬの高精細成分を復元する余裕がないため、ＢＬビットレート（Ｒ
ＢＬ
）にすべてのビットを割り当てる（すなわち、Ｒ
ＢＬ
＝Ｒ
ｔ
）。一方、符号化の容易な映像の場合には、ＥＬで精細成分を符号化できるように、Ｒ
ＢＬ
＝ｍｉｎ（７，０．８Ｒ
ｔ
）とする。なお、ＥＬビットレートは、Ｒｔ－Ｒ
ＢＬ
から求まる。
【先行技術文献】
【非特許文献】
【００１０】
Marquant, G., Salmon-Legagneur, C., Urban, F., and de Lagrange, P., “Spatial scalability with VVC: coding performance and complexity”, Society of Photo-Optical Instrumentation Engineers (SPIE) Conference Series, 2022, vol. 12226. doi:10.1117/12.2632821.
近藤雄一他，「ＶＶＣマルチレイヤ符号化における割り当て符号量決定手法の検討」，PCSJ/IMPS 2022 シンポジウムプロシーディング，２０２２年１１月２８日
【発明の概要】
【発明が解決しようとする課題】
（【００１１】以降は省略されています）

関連特許