特許ウォッチ

公開番号2025133467
公報種別公開特許公報(A)
公開日2025-09-11
出願番号2024031440
出願日2024-03-01
発明の名称動画像処理装置、データ処理装置、画像処理システム、車両、動画像処理方法、及び、プログラム
出願人株式会社デンソーテン
代理人弁理士法人佐野特許事務所
主分類G06T 7/20 20170101AFI20250904BHJP(計算;計数)
要約【課題】動画像の転送に関わる通信負荷を軽減する。
【解決手段】動画像処理装置において、コントローラは、入力動画像(MVa)を構成する複数のフレーム画像(Fa[1]～Fa[n])に基づき、各フレーム画像中の対象物に対し骨格検出を行い且つフレーム画像ごとに骨格検出の結果を含む物体特徴データ(D[1]～D[n])を生成する。コントローラは、複数のフレーム画像の内、一部のフレーム画像をサンプリングすることで出力動画像(MVb)を生成し、出力動画像の画像データと、複数のフレーム画像の夫々に対する物体特徴データと、を有する画像組データを生成する。
【選択図】図10
特許請求の範囲【請求項１】
コントローラを有する動画像処理装置であって、前記コントローラは、
入力動画像を構成する複数のフレーム画像に基づき、各フレーム画像中の対象物に対し骨格検出を行い且つ前記フレーム画像ごとに前記骨格検出の結果を含む物体特徴データを生成し、
前記複数のフレーム画像の内、一部のフレーム画像をサンプリングすることで出力動画像を生成し、
前記出力動画像の画像データと、前記複数のフレーム画像の夫々に対する前記物体特徴データと、を有する画像組データを生成する
、動画像処理装置。
続きを表示（約 1,600 文字）【請求項２】
前記コントローラは、前記フレーム画像ごとの前記骨格検出において、前記対象物における複数の特定部位の位置であって且つ当該フレーム画像における位置を検出する
、請求項１に記載の動画像処理装置。
【請求項３】
前記対象物は人物又は動物であって、
前記コントローラは、前記フレーム画像ごとに前記対象物の行動を認識し、前記フレーム画像ごとに前記認識の結果を前記物体特徴データに含める
、請求項１に記載の動画像処理装置。
【請求項４】
前記コントローラは、前記複数のフレーム画像を一定間隔でサンプリングすることで前記出力動画像を生成する
、請求項１～３の何れかに記載の動画像処理装置。
【請求項５】
前記複数のフレーム画像は時系列順に配列される第１～第ｎフレーム画像であり、
第１～第ｎフレーム画像の内、第（ｋ＋１）～第ｎフレーム画像には前記対象物としての第１対象物の像及び前記第１対象物と異なる第２対象物の像が含まれる一方で、第１～第ｋフレーム画像には前記第１対象物の像及び前記第２対象物の像の内、前記第１対象物の像のみが含まれる場合、
前記コントローラは、
前記第１～第ｋフレーム画像に基づき、前記第１～第ｋフレーム画像の夫々における前記第１対象物に対し前記骨格検出を行い、前記第１～第ｋフレーム画像の夫々の前記第１対象物に対する前記骨格検出の結果を対応する前記物体特徴データに対して含め、
前記第（ｋ＋１）～第ｎフレーム画像に基づき、前記第（ｋ＋１）～第ｎフレーム画像の夫々における前記第１対象物及び前記第２対象物に対し前記骨格検出を行い、前記第（ｋ＋１）～第ｎフレーム画像の夫々の前記第１対象物及び前記第２対象物に対する前記骨格検出の結果を対応する前記物体特徴データに対して含め、
前記第１～第ｋフレーム画像を前記第１フレーム画像から一定間隔でサンプリングし且つ前記第（ｋ＋１）～第ｎフレーム画像を前記第（ｋ＋１）フレーム画像から前記一定間隔でサンプリングすることで、前記出力動画像を生成し、
ｋは３以上の整数を表し、ｎは（ｋ＋３）以上の整数を表す
、請求項１～３の何れかに記載の動画像処理装置。
【請求項６】
請求項１～３の何れかに記載の動画像処理装置から前記画像組データを受信し、受信した前記画像組データに基づき前記入力動画像を復元した復元動画像を生成する
、データ処理装置。
【請求項７】
車両に設置された装置であって、請求項１～３の何れかに記載の動画像処理装置を有する車載装置と、
車両に設置され、撮影により前記入力動画像を生成するカメラと、
前記車載装置から前記画像組データを受信し、受信した前記画像組データに基づき前記入力動画像を復元した復元動画像を生成するデータ処理装置と、を備える
、画像処理システム。
【請求項８】
請求項１～３の何れかに記載の動画像処理装置を有する車載装置と、
撮影により前記入力動画像を生成するカメラと、が設置された
、車両。
【請求項９】
動画像処理装置にて実行される動画像処理方法であって、
入力動画像を構成する複数のフレーム画像に基づき、各フレーム画像中の対象物に対し骨格検出を行い且つ前記フレーム画像ごとに前記骨格検出の結果を含む物体特徴データを生成し、
前記複数のフレーム画像の内、一部のフレーム画像をサンプリングすることで出力動画像を生成し、
前記出力動画像の画像データと、前記複数のフレーム画像の夫々に対する前記物体特徴データと、を有する画像組データを生成する
、動画像処理方法。
【請求項１０】
請求項９に記載の動画像処理方法をコンピュータ装置に実行させるプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、動画像処理装置、データ処理装置、画像処理システム、車両、動画像処理方法、及び、プログラムに関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
カメラの撮影画像から対象物（主として人物）の位置及び姿勢を検出し、当該検出結果に基づき対象物の行動を理解又は予測する技術が開発されている（例えば下記特許文献１参照）。また、カメラの撮影に基づく動画像を無線通信にてデータ処理装置（クラウド上のサーバ装置等）に転送し、データ処理装置側で動画像中の対象物の状態解析等を行う試みもある。
【先行技術文献】
【特許文献】
【０００３】
特開２０２３－９８４８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
但し、動画像の画像データは膨大であることが多く、動画像の画像データそのものを送信する場合には通信負荷が大きい。
【０００５】
本発明は、動画像の転送に関わる通信負荷軽減に寄与する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る動画像処理装置はコントローラを有し、前記コントローラは、入力動画像を構成する複数のフレーム画像に基づき、各フレーム画像中の対象物に対し骨格検出を行い且つ前記フレーム画像ごとに前記骨格検出の結果を含む物体特徴データを生成し、前記複数のフレーム画像の内、一部のフレーム画像をサンプリングすることで出力動画像を生成し、前記出力動画像の画像データと、前記複数のフレーム画像の夫々に対する前記物体特徴データと、を有する画像組データを生成する。
【発明の効果】
【０００７】
フレーム画像の１枚当たりのデータ量と比べて各物体特徴データのデータ量は遥かに小さい。このため、概ね、入力動画像を構成する複数のフレーム画像の内、出力動画像に含められなかったフレーム画像のデータ量の分だけ、画像組データのデータ量を入力動画像のデータ量より小さくすることができる。一方で、入力動画像から見て出力動画像では幾つかのフレーム画像が欠落しているが、骨格検出の結果を含む画像組データに基づけば対象物の動きを再現可能である。つまり、本発明に係る画像処理装置を用いれば、画像組データの受信側装置で対象物の動きを再現させることが可能となり、この際、入力動画像の画像データを全て送受信する場合と比べて通信負荷を低減することができる。
【図面の簡単な説明】
【０００８】
本発明の実施形態に係り、ユーザと他の構成要素との関係を示す図である。
本発明の実施形態に係る車載システムの概略ブロック図である。
本発明の実施形態に係るカメラの撮影領域を示す図である。
本発明の実施形態に係る車載装置の内部構成図である。
本発明の実施形態に係るデータ処理装置の内部構成図である。
本発明の実施形態に係り、入力動画像及び間引き動画像間の関係、並びに、入力動画像の構造を示す図である。
本発明の実施形態に係り、車載装置に設けられた画像処理部の機能ブロック図である。
本発明の実施形態に係り、１枚の入力画像に対しバウンディングボックスが設定される様子を示す図である。
本発明の実施形態に係り、行動認識処理に関わる機能ブロック図である。
本発明の実施形態に係り、入力動画像、物体特徴データ、間引き動画像及び画像組データ間の関係を示す図である。
本発明の実施形態に係り、データ処理装置に設けられた画像処理部の機能ブロック図である。
本発明の実施形態に属する第１実施例に係り、入力動画像、物体特徴データ、間引き動画像及び復元動画像間の関係を示す図である。
本発明の実施形態に属する第１実施例に係り、車載装置におけるコントローラの動作フローチャートである。
本発明の実施形態に属する第１実施例に係り、データ処理装置におけるコントローラの動作フローチャートである。
本発明の実施形態に属する第２実施例に係り、機械学習装置の内部構成図である。
本発明の実施形態に属する第２実施例に係り、機械学習装置に設けられたコントローラの機能ブロック図である。
本発明の実施形態に属する第３実施例に係り、入力動画像、物体特徴データ及び間引き動画像間の関係を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量、機能部、回路、素子又は部品等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量、機能部、回路、素子又は部品等の名称を省略又は略記することがある。
【００１０】
図１に本発明の実施形態にて想定されるユーザＵ１と他の構成要素との関係を示す。ユーザＵ１は車両Ｖ１の乗員である。ユーザＵ１は車両Ｖ１のドライバ（運転者）である。但し、ユーザＵ１はドライバ以外の乗員（即ち車両Ｖ１の同乗者）であっても良い。車両Ｖ１は任意の種類の車両である。ここでは車両Ｖ１は路面上を走行する自動車等であるとする。車両Ｖ１に対し車載システム１が搭載され、車載システム１の各構成部品は車両Ｖ１の適所に設置される。
（【００１１】以降は省略されています）

関連特許