特許ウォッチ

公開番号2025015930
公報種別公開特許公報(A)
公開日2025-01-31
出願番号2023118849
出願日2023-07-21
発明の名称画像送信装置および画像表示システム
出願人株式会社デンソー,トヨタ自動車株式会社,株式会社ミライズテクノロジーズ
代理人弁理士法人明成国際特許事務所
主分類H04N 19/115 20140101AFI20250124BHJP(電気通信技術)
要約【課題】符号化された画像データの伝送遅延を抑制する。
【解決手段】画像送信装置は、複数の撮像装置200a～200dが出力するフレーム画像データを、予め定められたフレーム時間毎に入力して符号化処理を実行する1以上の符号化部11a～11dと、符号化処理を制御する符号化制御部12と、画像受信装置と接続するための接続インターフェイス30を提供する接続インターフェイス部15と、を備える。1以上の符号化部は、符号化制御部に対して符号化画像データの符号量を通知し、符号化制御部は、接続インターフェイスにおけるデータ転送速度が予め定められた目標データ転送速度以下となるように、1以上の符号化部から通知される符号量に基づき、次回以降に実行される符号化処理により出力される符号化画像データの目標符号量を決定して通知し、1以上の符号化部は、符号化制御部から通知される目標符号量に基づき、符号化処理を実行する。
【選択図】図1
特許請求の範囲【請求項１】
符号化画像データを画像受信装置に送信する画像送信装置であって、
複数の撮像装置（２００ａ～２００ｄ）が出力するフレーム画像データを、予め定められたフレーム時間毎に入力して符号化処理を実行し、前記符号化画像データを出力する１以上の符号化部（１１ａ～１１ｄ）と、
前記１以上の符号化部による前記符号化処理を制御する符号化制御部（１２）と、
前記画像受信装置と接続して前記符号化画像データを送信するための接続インターフェイス（３０）を提供する接続インターフェイス部（１５）と、
を備え、
前記１以上の符号化部は、前記符号化制御部に対して前記符号化画像データの符号量を通知し、
前記符号化制御部は、前記接続インターフェイスにおけるデータ転送速度が予め定められた目標データ転送速度以下となるように、前記１以上の符号化部から通知される前記符号量に基づき、次回以降に実行される前記符号化処理により出力される前記符号化画像データの目標符号量を決定し、前記目標符号量を前記１以上の符号化部に通知し、
前記１以上の符号化部は、前記符号化制御部から通知される前記目標符号量に基づき、前記符号化処理を実行する、
画像送信装置。
続きを表示（約 1,600 文字）【請求項２】
請求項１に記載の画像送信装置において、
前記１以上の符号化部は、前記符号化処理により、
単一の前記フレーム時間に出力される前記符号化画像データに基づき復号可能な第１画像を表す前記符号化画像データと、
複数の前記フレーム時間に入力される前記符号化画像データに基づき復号可能な第２画像であって、前記第１画像に比べてデータ量が少ない第２画像を表す前記符号化画像データと、のいずれかを前記フレーム時間毎に出力し、
前記１以上の符号化部は、前記符号化制御部に対して、送信する前記符号化画像データが前記第１画像と前記第２画像とのうちのいずれの画像種類の画像データであるかを示す画像種類情報を、前記符号化制御部に通知し、
前記符号化制御部は、前記データ転送速度が前記目標データ転送速度以下となるように、前記１以上の符号化部から通知される前記画像種類情報に基づき、次回以降に実行される前記符号化処理により出力される前記符号化画像データの前記画像種類を決定し、決定された前記画像種類を前記１以上の符号化部に通知し、
前記１以上の符号化部は、前記符号化制御部から通知される前記目標符号量と前記画像種類とに基づき、前記符号化処理を実行する、画像送信装置。
【請求項３】
請求項２に記載の画像送信装置において、
前記複数の撮像装置に対応して設けられた複数の前記符号化部を備え、
複数の前記符号化部のうち、前記画像種類として前記第１画像を通知した前記符号化部を除く他の符号化部のいずれかが、次回以降に実行される前記符号化処理において前記第１画像を生成するように、前記画像種類を決定する、画像送信装置。
【請求項４】
請求項２に記載の画像送信装置において、
前記複数の撮像装置に対応して設けられた複数の前記符号化部を備え、
前記符号化制御部は、複数の前記符号化部のうちの１つの前記符号化部から前記符号量が通知されると、該符号化部については通知された前記符号量を加え、且つ、他の前記符号化部については前回通知した前記目標符号量を加えて得られた合計符号量と、前記接続インターフェイスにおけるデータ転送速度に基づき特定可能な送信可能データ量の積算量と、に基づき、各前記符号化部における次回の前記目標符号量を決定する、画像送信装置。
【請求項５】
請求項４に記載の画像送信装置において、
前記符号化制御部は、前記合計符号量のデータ送信が完了したタイミングから次のフレーム時間の開始タイミングまでの時間に前記データ転送速度にて送信可能なデータ量を、前記第１画像と前記第２画像とのデータ量の比率と複数の前記符号化部の数とに基づき按分して、各前記符号化部の前記目標符号量を決定し、該符号化部に通知する、画像送信装置。
【請求項６】
画像表示システムであって、
請求項１から請求項５までのいずれか一項に記載の画像送信装置と、
前記画像受信装置であって、
前記接続インターフェイスを提供する受信側インターフェイス部（２１）と、
前記受信側インターフェイス部を介して受信する前記符号化画像データを、復号して、復号画像データを得る復号部（２４ａ～２４ｄ）と、
前記復号画像データに対して予め定められた画像処理を実行する画像処理部（２５）と、
前記画像処理が実行された後の前記復号画像データに基づき画像を表示装置（３００ａ、３００ｂ）に表示させる表示制御部（２６ａ、２６ｂ）と、
を有する前記画像受信装置と、
を備える、画像表示システム（１００）。
【請求項７】
請求項６に記載の画像表示システムにおいて、
前記画像処理は、前記複数の撮像装置が出力する複数の前記フレーム画像データを統合して１つの画像を生成するスティッチング処理を含む、画像表示システム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、画像送信装置および画像表示システムに関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
従来から、撮像装置により得られる動画像や静止画像といった画像を符号化して画像送信装置から送信し、画像受信装置において受信した画像データを復号して復号データに基づき表示装置に表示させる画像表示システムが用いられている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
特開２０２０－１２７１２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような画像表示システムでは、撮像データ量の変動に起因して画像送信装置と画像受信装置との間でのデータ伝送において遅延が生じ、映像が滑らかに表示されない等の画像表示に不具合が生じるおそれがあった。このため、符号化された画像データの伝送遅延を抑制可能な技術が望まれる。
【課題を解決するための手段】
【０００５】
本開示の一形態として、符号化画像データを画像受信装置に送信する画像送信装置が提供される。この画像送信装置（１０）は、複数の撮像装置（２００ａ～２００ｄ）が出力するフレーム画像データを、予め定められたフレーム時間毎に入力して符号化処理を実行し、前記符号化画像データを出力する１以上の符号化部（１１ａ～１１ｄ）と、前記１以上の符号化部による前記符号化処理を制御する符号化制御部（１２）と、前記画像受信装置と接続して前記符号化画像データを送信するための接続インターフェイス（３０）を提供する接続インターフェイス部（１５）と、を備える。前記１以上の符号化部は、前記符号化制御部に対して前記符号化画像データの符号量を通知する。前記符号化制御部は、前記接続インターフェイスにおけるデータ転送速度が予め定められた目標データ転送速度以下となるように、前記１以上の符号化部から通知される前記符号量に基づき、次回以降に実行される前記符号化処理により出力される前記符号化画像データの目標符号量を決定し、前記目標符号量を前記１以上の符号化部に通知する。前記１以上の符号化部は、前記符号化制御部から通知される前記目標符号量に基づき、前記符号化処理を実行する。
【０００６】
この形態の画像送信装置によれば、符号化制御部は、接続インターフェイスにおけるデータ転送速度が予め定められた目標データ転送速度以下となるように、１以上の符号化部から通知される符号量に基づき、次回以降に実行される符号化処理により出力される符号化画像データの目標符号量を決定し、目標符号量を１以上の符号化部に通知し、１以上の符号化部は、符号化制御部から通知される目標符号量に基づき、符号化処理を実行するので、接続インターフェイスにおけるデータ転送速度が大きく変動することを抑制でき、符号化された画像データの伝送遅延を抑制できる。
【図面の簡単な説明】
【０００７】
本開示の一実施形態としての画像送信装置を備える画像表示システムの概略構成を示すブロック図である。
符号化制御処理の結果、各符号化部から出力される符号量の推移の一例を示す説明図である。
符号化制御処理の手順を示すフローチャートである。
目標符号量を決定する方法の一例を示す説明図である。
【発明を実施するための形態】
【０００８】
Ａ．第１実施形態：
Ａ１．装置構成：
図１に示す画像表示システム１００は、４つの撮像装置２００ａ、２００ｂ、２００ｃ、２００ｄにより得られる動画像を対象として、所定の画像処理を行って画像処理後の動画像（フレーム画像）を２つの表示装置３００ａ、３００ｂに表示させる。画像表示システム１００は、例えば、車両に搭載され、４つの撮像装置２００ａ～２００ｄにより得られる車両の周辺画像や、かかる周辺画像に基づき得られる俯瞰画像を、インストルメントパネルに設けられた２つの表示装置３００ａ、３００ｂに表示させる。なお、画像表示システム１００は、車両に限らず他の任意の種類の移動体に搭載されて用いられてもよく、また、移動体に搭載されずに用いられてもよい。
【０００９】
本実施形態では、４つの撮像装置２００ａ～２００ｄにより得られる動画像は、所定のフレーム時間ごとに得られる複数のフレーム画像からなる。そして、画像表示システム１００では、４つの撮像装置２００ａ～２００ｄにより得られる動画像を所定の動画圧縮規格により圧縮および符号化して転送する。本実施形態では、上述の「所定の動画圧縮規格」は、IピクチャおよびＰピクチャを含む複数のピクチャが定義されたＭＰＥＧ（Moving Picture Experts Group）－２である。Ｉピクチャは、単一のフレーム時間に出力される画像データに基づき符号化および復号が可能な画像である。これに対して、Ｐピクチャは、複数のフレーム時間に入力される画像データに基づき符号化および復号が可能な画像である。具体的には、Ｐピクチャは、時間的に前のフレーム画像の画像データを複数利用して符号化および復号が実行される。一般に、Ｐピクチャのデータ量は、Ｉピクチャのデータ量のおよそ２０％程度であり、圧縮効率は高い。Ｉピクチャは、本開示における「第１画像」に相当する。また、Ｐピクチャは、本開示における「第２画像」に相当する。本実施形態では、４つの撮像装置２００ａ～２００ｄは、互いに同期して撮像処理を行っている。したがって、４つの撮像装置２００ａ～２００ｄにおけるフレームタイミングは、略一致している。なお、上述の「所定の動画圧縮規格」は、ＭＰＥＧ－２に限らず、Ｈ．２６４など、他の任意の規格であってもよい。
【００１０】
画像表示システム１００は、画像送信装置１０と、画像受信装置２０とを備える。画像送信装置１０と画像受信装置２０とは、互いにシリアルインターフェイス３０により接続されている。本実施形態において、シリアルインターフェイス３０は、ＬＶＤＳ（Low Voltage Differential Signaling）インターフェイスである。なお、画像送信装置１０と画像受信装置２０とを接続する接続インターフェイスは、ＬＶＤＳインターフェイスに限らず、Ｅｔｈｅｒｎｅｔ（登録商標）などの他の任意の種類のシリアルインターフェイスであってもよい。
（【００１１】以降は省略されています）

関連特許