特許ウォッチ

公開番号2025167612
公報種別公開特許公報(A)
公開日2025-11-07
出願番号2024072422
出願日2024-04-26
発明の名称映像送受信システム
出願人キヤノン株式会社
代理人個人
主分類G06F 16/48 20190101AFI20251030BHJP(計算;計数)
要約【課題】フレーム間で変化したオブジェクトの情報を受信できなかった場合でも、適切なオブジェクトの情報を表示できるようにする。
【解決手段】映像送信装置は、検出手段によりフレーム間でオブジェクトが変化したことが検出された場合、変化したオブジェクトの情報を含む第1のメタデータを、フレームの画像と共に映像受信装置に送信する第1の通信手段とを有し、第1の通信手段は、所定のフレームで、検出手段により検出されたフレーム内のオブジェクトの情報を含む第2のメタデータを、フレームの画像と共に映像受信装置に送信し、映像受信装置は、第1のメタデータを受信した場合には、第1のメタデータを基に、表示するオブジェクトの情報を更新するように制御し、第2のメタデータを受信した場合には、第2のメタデータを基に、オブジェクトの情報を表示するように制御する表示制御手段とを有する。
【選択図】図19
特許請求の範囲【請求項１】
映像送信装置と、
映像受信装置とを有し、
前記映像送信装置は、
複数フレームの画像のうちの各フレームに含まれるオブジェクトを検出する検出手段と、
前記検出手段によりフレーム間でオブジェクトが変化したことが検出された場合、前記変化したオブジェクトの情報を含む第１のメタデータを、フレームの画像と共に前記映像受信装置に送信する第１の通信手段とを有し、
前記第１の通信手段は、所定のフレームで、前記検出手段により検出されたフレーム内のオブジェクトの情報を含む第２のメタデータを、フレームの画像と共に前記映像受信装置に送信し、
前記映像受信装置は、
あるフレームでは、前記第１のメタデータと共にフレームの画像を受信し、他のフレームでは、前記第２のメタデータと共にフレームの画像を受信する第２の通信手段と、
前記第１のメタデータを受信した場合には、前記第１のメタデータを基に、表示するオブジェクトの情報を更新するように制御し、前記第２のメタデータを受信した場合には、前記第２のメタデータを基に、オブジェクトの情報を表示するように制御する表示制御手段と
を有することを特徴とする映像送受信システム。
続きを表示（約 2,000 文字）【請求項２】
前記表示制御手段は、前記第１のメタデータを受信した場合には、前記第１のメタデータを基に、受信したフレームの画像に対して、重畳表示するオブジェクトの情報を更新するように制御し、前記第２のメタデータを受信した場合には、前記第２のメタデータを基に、受信したフレームに対して、オブジェクトの情報を重畳表示するように制御することを特徴とする請求項１に記載の映像送受信システム。
【請求項３】
前記第２のメタデータは、オブジェクトのインデックス毎のフレーム内のオブジェクトの有無を示す情報を含むことを特徴とする請求項１に記載の映像送受信システム。
【請求項４】
前記第１の通信手段は、第１のオブジェクトの出現を示す第１のメタデータを送信した後、前記第１のオブジェクトの消失を示す第１のメタデータを送信し、前記第１のオブジェクトが存在しないことを示す第２のメタデータを送信し、
前記表示制御手段は、前記第１のオブジェクトの出現を示す第１のメタデータを受信した後、前記第１のオブジェクトの消失を示す第１のメタデータを受信せずに、前記第１のオブジェクトが存在しないことを示す第２のメタデータを受信した場合には、前記第１のオブジェクトの情報を表示しないように制御することを特徴とする請求項３に記載の映像送受信システム。
【請求項５】
前記第２のメタデータは、フレーム内の領域毎に、オブジェクトのインデックス毎のフレーム内のオブジェクトの有無を示す情報を含むことを特徴とする請求項１に記載の映像送受信システム。
【請求項６】
前記第１の通信手段は、第１のオブジェクトの位置がフレーム内の第１の領域であることを示す第１のメタデータを送信した後、前記第１のオブジェクトの移動を示す第１のメタデータを送信し、前記第１の領域に前記第１のオブジェクトが無く、前記第１の領域とは異なる第２の領域に前記第１のオブジェクトが存在することを示す第２のメタデータを送信し、
前記表示制御手段は、前記第１のオブジェクトの位置がフレーム内の第１の領域であることを示す第１のメタデータを受信した後、前記第１のオブジェクトの移動を示す第１のメタデータを受信せずに、前記第１の領域に前記第１のオブジェクトが無く、前記第１の領域とは異なる第２の領域に前記第１のオブジェクトが存在することを示す第２のメタデータを受信した場合には、前記第１のオブジェクトの情報を前記第１の領域に表示せずに前記第２の領域に表示するように制御することを特徴とする請求項５に記載の映像送受信システム。
【請求項７】
前記表示制御手段は、前記第１のオブジェクトの領域に対して警告を示す表示を行うように制御することを特徴とする請求項６に記載の映像送受信システム。
【請求項８】
前記第２のメタデータは、オブジェクトのインデックス毎のフレーム内のオブジェクトの出現を示す情報と、オブジェクトのインデックス毎のフレーム内のオブジェクトの消失を示す情報とを含むことを特徴とする請求項１に記載の映像送受信システム。
【請求項９】
前記第２のメタデータは、オブジェクトのインデックス毎のフレーム内のオブジェクトの最新のラベルの情報をさらに含むことを特徴とする請求項８に記載の映像送受信システム。
【請求項１０】
前記第１の通信手段は、第１のラベルが付与された第１のインデックスに対応するオブジェクトの消失を示す第１のメタデータを送信した後、前記第１のラベルとは異なる第２のラベルが付与された前記第１のインデックスに対応するオブジェクトの出現を示す第１のメタデータを送信し、前記第１のインデックスのオブジェクトの消失を示す情報と前記第１のインデックスのオブジェクトの出現を示す情報と前記第１のインデックスのオブジェクトの最新のラベルの情報とを含む第２のメタデータを送信し、
前記表示制御手段は、第１のラベルが付与された第１のインデックスに対応するオブジェクトの消失を示す第１のメタデータを受信せずに、前記第１のラベルとは異なる第２のラベルが付与された前記第１のインデックスに対応するオブジェクトの出現を示す第１のメタデータを受信せずに、前記第１のインデックスのオブジェクトの消失を示す情報と前記第１のインデックスのオブジェクトの出現を示す情報と前記第１のインデックスのオブジェクトの最新のラベルの情報とを含む第２のメタデータを受信し、かつ、前記第１のインデックスのオブジェクトが存在する場合には、前記第１のインデックスのオブジェクトに対して前記最新のラベルに変更して表示するように制御することを特徴とする請求項９に記載の映像送受信システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、映像送受信システム、映像送信装置、映像受信装置、それらの処理方法、及びプログラムに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
Ｈ．２６５の規格“ＡｎｎｏｔａｔｅｄＲｅｇｉｏｎＳＥＩ（ＡＲＳＥＩ）”は、映像内の物体（オブジェクト）情報、すなわち種類＝ラベルと、物体を囲む矩形＝バウンディングボックス情報とをメタデータとして映像ストリームに付加するための技術である。
【０００３】
ＡＲＳＥＩに準拠するメタデータに乗せるオブジェクトのラベルは、出現時に付与され、バウンディングボックスは、位置更新又は消失するまで同じ情報が継続される。ラベルやバウンディングボックスは、規格上省略可能であり、映像ストリームのデータ量を削減するために積極的な省略の利用が想定される。
特許文献１には、ＡＲＳＥＩのデータ構造が開示されている。
【先行技術文献】
【特許文献】
【０００４】
米国特許第１０９５１９０３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に開示された技術は、メタデータのデータ構造の開示が主なもので、運用方法について詳しく書かれていない。
【０００６】
例えば、映像ストリームを送信する側と受信する側とがインターネットを介したネットワークで構成されている場合、ネットワークの通信帯域が映像ストリームの送受信器とは別の通信により圧迫されることは想定する必要がある。映像ストリームが例えばＵＤＰをベースとしたプロトコル、ＲＤＰなどを使用していると、ネットワークの混雑により、受信側で映像ストリームのデータ喪失が発生することは許容しなくてはならない。
【０００７】
しかし、データが喪失する、すなわちＡＲＳＥＩに準拠したメタデータが欠落することは、異常なオブジェクト表示の発生につながる。具体的には、オブジェクト出現時のメタデータが欠落してしまうと、ラベル不明のオブジェクトになってしまう。オブジェクト消失時のメタデータが欠落してしまうと、オブジェクトのラベルとバウンディングボックス（オブジェクトを囲む表示枠）が残り続けてしまうという現象が生じる。
【０００８】
本開示の目的は、フレーム間で変化したオブジェクトの情報を受信できなかった場合でも、適切なオブジェクトの情報を表示できるようにすることである。
【課題を解決するための手段】
【０００９】
映像送受信システムは、映像送信装置と、映像受信装置とを有し、前記映像送信装置は、複数フレームの画像のうちの各フレームに含まれるオブジェクトを検出する検出手段と、前記検出手段によりフレーム間でオブジェクトが変化したことが検出された場合、前記変化したオブジェクトの情報を含む第１のメタデータを、フレームの画像と共に前記映像受信装置に送信する第１の通信手段とを有し、前記第１の通信手段は、所定のフレームで、前記検出手段により検出されたフレーム内のオブジェクトの情報を含む第２のメタデータを、フレームの画像と共に前記映像受信装置に送信し、前記映像受信装置は、あるフレームでは、前記第１のメタデータと共にフレームの画像を受信し、他のフレームでは、前記第２のメタデータと共にフレームの画像を受信する第２の通信手段と、前記第１のメタデータを受信した場合には、前記第１のメタデータを基に、表示するオブジェクトの情報を更新するように制御し、前記第２のメタデータを受信した場合には、前記第２のメタデータを基に、オブジェクトの情報を表示するように制御する表示制御手段とを有する。
【発明の効果】
【００１０】
本開示によれば、フレーム間で変化したオブジェクトの情報を受信できなかった場合でも、適切なオブジェクトの情報を表示することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許