特許ウォッチ

公開番号2025142450
公報種別公開特許公報(A)
公開日2025-10-01
出願番号2024041799
出願日2024-03-18
発明の名称画像符号化装置
出願人株式会社デンソー,トヨタ自動車株式会社,株式会社ミライズテクノロジーズ
代理人弁理士法人明成国際特許事務所
主分類H04N 19/119 20140101AFI20250924BHJP(電気通信技術)
要約【課題】符号化対象ブロックの分割パターンを決定するためにリソースの過剰な消費を抑えつつ、符号化ブロックを適切に決定する。
【解決手段】画像符号化装置100、100a、100bは、ラベル化対象画像内の地物に応じた領域に該地物の種類を表すラベルが付与されたラベル画像を取得する画像取得部30と、ラベル画像における各領域と該領域に付与されたラベルとに基づき、符号化対象画像における符号化対象ブロックの分割パターンを決定するブロック分割決定部40と、分割パターンに基づき特定される符号化対象ブロックを単位として、符号化処理を実行する符号化部10、10bと、を備える。
【選択図】図1
特許請求の範囲【請求項１】
画像符号化装置（１００、１００ａ、１００ｂ）であって、
ラベル化対象画像内の地物に応じた領域に該地物の種類を表すラベルが付与されたラベル画像を取得する画像取得部（３０）と、
前記ラベル画像における各前記領域と該領域に付与された前記ラベルとに基づき、符号化対象画像における符号化対象ブロックの分割パターンを決定するブロック分割決定部（４０、４０ａ）と、
前記分割パターンに基づき特定される前記符号化対象ブロックを単位として、符号化処理を実行する符号化部（１０、１０ｂ）と、
を備える、画像符号化装置。
続きを表示（約 1,600 文字）【請求項２】
請求項１に記載の画像符号化装置において、さらに、
前記ラベル化対象画像から抽出される特徴量に応じて、前記地物に応じた領域に前記ラベルを付与することにより、前記ラベル画像を生成するラベル画像生成部（２００）を備える、画像符号化装置。
【請求項３】
請求項１または請求項２に記載の画像符号化装置において、
前記ブロック分割決定部は、前記符号化対象画像内の注目ブロックを対象として、該注目ブロックに対応する前記ラベル画像における領域である対応領域内における前記ラベルの種類を特定し、前記対応領域内の前記ラベルの種類が単一である場合には、該ラベルの種類に応じて前記注目ブロックを分割する、画像符号化装置。
【請求項４】
請求項３に記載の画像符号化装置において、
前記ブロック分割決定部は、前記対応領域内の前記ラベルの種類が複数である場合には、該ラベルの種類に関わらずに前記注目ブロックを分割する、画像符号化装置。
【請求項５】
請求項１に記載の画像符号化装置において、
前記画像符号化装置は、車両に搭載されて用いられ、前記車両の動作に関する情報である車両情報を取得する車両情報取得部（７１）を、さらに備え、
前記画像符号化装置には、前記符号化対象画像として、時系列的に複数の画像が入力され、
前記画像取得部は、時系列的に前記ラベル画像を取得し、
前記ブロック分割決定部は、前記符号化対象画像と時間的に対応する前記ラベル画像が取得されない場合には、該符号化対象画像よりも時間的に前に入力された前記符号化対象画像について決定された前記分割パターンを、前記車両情報が示す前記車両の動作に応じて修正することにより、前記分割パターンを決定する、画像符号化装置。
【請求項６】
請求項１に記載の画像符号化装置において、
前記画像符号化装置は、車両に搭載されて用いられ、前記ラベル画像を利用して特定された前記ラベル化対象画像内の移動物のトラッキング情報を取得するトラッキング情報取得部（７２）を、さらに備え、
前記画像符号化装置には、前記符号化対象画像として、時系列的に複数の画像が入力され、
前記画像取得部は、時系列的に前記ラベル画像を取得し、
前記ブロック分割決定部は、前記符号化対象画像と時間的に対応する前記ラベル画像が取得されない場合には、該符号化対象画像よりも時間的に前に入力された前記符号化対象画像について決定された前記分割パターンを、前記トラッキング情報が示す前記移動物の移動方向および移動量に応じて修正することにより、前記分割パターンを決定する、画像符号化装置。
【請求項７】
請求項１に記載の画像符号化装置において、
前記符号化部は、前記ラベル画像に基づき検出される領域であって、予め定められた文字と、予め定められた記号と、予め定められた形状とのうちの少なくとも１つを含む領域である特定領域に対しては、他の領域に比べてブロックの量子化値を小さく補正する、画像符号化装置。
【請求項８】
請求項１に記載の画像符号化装置において、
前記ブロック分割決定部は、前記ラベル画像が表す領域が、前記符号化対象画像が表す領域よりも狭い場合、前記符号化対象画像のうち、前記ラベル画像に対応する領域についてのみ、前記ラベル画像に基づく前記分割パターンの決定を実行する、画像符号化装置。
【請求項９】
請求項１に記載の画像符号化装置において、
前記ブロック分割決定部は、前記符号化対象画像の解像度およびアスペクト比と、前記ラベル画像の解像度およびアスペクト比とが互いに異なる場合には、前記ラベル画像の解像度及びアスペクト比を、前記符号化対象画像に合わせて補正する、画像符号化装置。

発明の詳細な説明【技術分野】
【０００１】
本開示は、画像符号化装置に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
従来から、動画に含まれる時系列的に並んだ画像の符号化処理では、例えば、国際標準規格のＨ．２６５やＨ．２６６に規定されているように、各画像を様々なサイズのブロックに分割してブロック毎に符号化が行われる。このときのブロック分割方法として、種々の方法が提案されている。例えば、特許文献１では、機械学習を利用して画像内の特徴量が抽出され、その特徴量を利用してブロック分割パターンが決定される。特許文献２では、ＣＮＮ（畳み込みニューラルネットワーク）モデルを利用して、Ｎ×Ｎブロックをより小さなＳ×Ｓブロック（Ｓ，Ｎは自然数。Ｓ＜Ｎ）に分割するか否かが決定される。特許文献３では、画像内においてオブジェクトが検出され、かかるオブジェクトの検出位置を周波数解析してオブジェクトの種類が特定されると共にかかる種類に応じてブロックサイズが決定される。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－１７５１２６号公報
米国特許第１１３１０４９８号明細書
特開２０１３－９００７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１、２では、符号化パラメータを選択するために学習させたニューラルネットワークと、それを実行するためのＮＰＵ（Neural network Processing Unit）などのリソースが必要となる。上記特許文献３においても、周波数解析を行うという前処理およびそのためのリソースが必要となる。このため、従来技術では、符号化ブロックを決定するために、回路規模の増大およびコスト増大を招くという問題があった。そこで、過剰なリソースの消費を抑えつつ符号化ブロックを適切に決定可能な技術が望まれる。
【課題を解決するための手段】
【０００５】
本開示の一形態として、画像符号化装置（１００、１００ａ、１００ｂ）が提供される、この画像符号化装置は、ラベル化対象画像内の地物（オブジェクト）に応じた領域に該地物の種類を表すラベルが付与されたラベル画像を取得する画像取得部（３０）と、前記ラベル画像における各前記領域と該領域に付与された前記ラベルとに基づき、符号化対象画像における符号化対象ブロックの分割パターンを決定するブロック分割決定部（４０）と、前記分割パターンに基づき特定される前記符号化対象ブロックを単位として、符号化処理を実行する符号化部（１０、１０ｂ）と、を備える。
【０００６】
上記形態の画像符号化装置は、ラベル画像における各領域と該領域に付与されたラベルとに基づき、符号化対象画像における符号化対象ブロックの分割パターンを決定するブロック分割決定部を備えるので、符号化対象ブロックの分割パターンを決定するためにリソースの過剰な消費を抑えつつ、符号化ブロックを適切に決定できる。
【図面の簡単な説明】
【０００７】
本開示の一実施形態としての画像符号化装置の機能構成を示すブロック図である。
第１実施形態における分割パターン決定処理の手順を示すフローチャートである。
符号化対象画像の一例を示す説明図である。
ブロックサイズ補正テーブルの設定内容の一例を示す説明図である。
第１実施形態におけるＮ×Ｎブロック分割判定処理の手順を示すフローチャートである。
ブロック分割されないラベル付けの一例を示す説明図である。
ブロック分割されるラベル付けの一例を示す説明図である。
第２実施形態の画像符号化装置の機能構成を示すブロック図である。
第２実施形態における分割パターン決定処理の手順を示すフローチャートである。
第３実施形態における分割パターン決定処理の手順を示すフローチャートである。
第４実施形態の画像符号化装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【０００８】
Ａ．第１実施形態：
Ａ１．装置構成：
図１に示す第１実施形態の画像符号化装置１００は、画像を符号化する。本実施形態において、画像符号化装置１００による符号化の対象となる画像は、動画像を構成する画像であって、時系列的に連続して得られる複数の画像である。画像符号化装置１００は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭを備えたコンピュータにより構成されている。本実施形態において、かかるコンピュータは、図示しない車載ＥＣＵ（Electronic Control Unit）である。なお、車載ＥＣＵに限らず、固定設置されたサーバ装置や、スマートフォンやタブレット端末のような可搬性を有する装置に内蔵されたコンピュータにより画像符号化装置１００が構成されてもよい。
【０００９】
図１では、画像符号化装置１００が備える各種機能部が示されている。画像符号化装置１００は、符号化部１０と、画像取得部３０と、ブロック分割決定部４０と、制御部５０とを備えている。符号化部１０内の各処理は、制御部５０からの制御信号によって制御される。また、符号化部１０には、符号化方式（Ｈ．２６５やＨ．２６６など）に応じた処理を適宜追加してよい。
【００１０】
符号化部１０は、符号化の対象となる画像（以下、「符号化対象画像」と呼ぶ）を符号化する。本実施形態において、符号化対象画像は、車両に搭載された撮像画像により得られる撮像画像である。かかる撮像画像は、画像符号化装置１００においてブロック分割決定部４０に入力される。符号化部１０は、ブロック分割決定部４０により決定される分割パターンに基づき特定される符号化対象ブロックを単位として、符号化処理を実行する。かかる分割パターンの詳細については後述する。
（【００１１】以降は省略されています）

関連特許