特許ウォッチ

公開番号2025012318
公報種別公開特許公報(A)
公開日2025-01-24
出願番号2023115066
出願日2023-07-13
発明の名称画像処理装置
出願人株式会社SUBARU
代理人弁理士法人つばさ国際特許事務所
主分類G06T 7/00 20170101AFI20250117BHJP(計算;計数)
要約【課題】認識精度を高めることができる画像処理装置を提供する。
【解決手段】本開示の一実施の形態に係る画像処理装置は、撮像画像データ、および撮像画像データに対応し被写体の深度値についてのマップデータである深度画像データを含む第1の特徴量データと、深度画像データに対応し深度値の有効性についてのマップデータを含む第1の制御データとに基づいて、第1の特徴量データについての第1の畳み込み処理を行うことにより第2の特徴量データを生成可能な第1の畳み込み部を有し、第2の特徴量データに応じた特徴量データを含む複数の特徴量データを生成可能なエンコーダと、複数の特徴量データに基づいて、撮像画像データを生成した撮像装置の周辺の環境の推論結果を生成可能なデコーダとを備える。
【選択図】図7
特許請求の範囲【請求項１】
撮像画像データ、および前記撮像画像データに対応し被写体の深度値についてのマップデータである深度画像データを含む第１の特徴量データと、前記深度画像データに対応し深度値の有効性についてのマップデータを含む第１の制御データとに基づいて、前記第１の特徴量データについての第１の畳み込み処理を行うことにより第２の特徴量データを生成可能な第１の畳み込み部を有し、前記第２の特徴量データに応じた特徴量データを含む複数の特徴量データを生成可能なエンコーダと、
前記複数の特徴量データに基づいて、前記撮像画像データを生成した撮像装置の周辺の環境の推論結果を生成可能なデコーダと
を備えた画像処理装置。
続きを表示（約 780 文字）【請求項２】
前記エンコーダは、前記撮像画像データを含む第３の特徴量データに基づいて、前記第３の特徴量データについての第２の畳み込み処理を行うことにより第４の特徴量データを生成可能な第２の畳み込み部をさらに有し、
前記複数の特徴量データは、前記第４の特徴量データに応じた特徴量データを含む
請求項１に記載の画像処理装置。
【請求項３】
前記第１の畳み込み部は、
前記第１の特徴量データおよび前記第１の制御データにおける、互いに対応する座標位置での値を乗算することにより、乗算データを生成可能であり、
前記乗算データに基づいて前記第１の畳み込み処理を行うことにより前記第２の特徴量データを生成可能である
請求項１に記載の画像処理装置。
【請求項４】
前記第１の畳み込み部は、
前記第１の制御データに基づいてルールベースの処理を行うことにより第２の制御データを生成可能であり、
前記第２の特徴量データ、および前記第２の制御データを出力可能である
請求項３に記載の画像処理装置。
【請求項５】
前記第１の畳み込み部は、
前記乗算データに基づいて第３の畳み込み処理を行うことにより第２の制御データを生成可能であり、
前記第２の特徴量データ、および前記第２の制御データを出力可能である
請求項３に記載の画像処理装置。
【請求項６】
前記第１の畳み込み部は、
前記第１の制御データに基づいて、前記第１の制御データについての第４の畳み込み処理を行うことにより第２の制御データを生成可能であり、
前記第２の特徴量データ、および前記第２の制御データを出力可能である
請求項３に記載の画像処理装置。

発明の詳細な説明【技術分野】
【０００１】
本開示は、撮像画像に基づいて認識処理を行う画像処理装置に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
画像処理装置では、撮像画像および深度画像に基づいて、機械学習処理を行うものがある。例えば、特許文献１には、撮像画像に基づいて深度画像を生成するために、機械学習処理を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特表２０２３－５０３８２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、画像処理装置では、撮像画像を生成したカメラの周辺環境を認識するものがある。このような画像処理装置では、周辺環境の認識精度が高いことが望まれている。
【０００５】
認識精度を高めることができる画像処理装置を提供することが望ましい。
【課題を解決するための手段】
【０００６】
本開示の一実施の形態に係る画像処理装置は、エンコーダと、デコーダとを備えている。エンコーダは、第１の特徴量データと、第１の制御データとに基づいて、第１の特徴量データについての第１の畳み込み処理を行うことにより第２の特徴量データを生成可能な第１の畳み込み部を有し、第２の特徴量データに応じた特徴量データを含む複数の特徴量データを生成可能なものである。第１の特徴量データは、撮像画像データ、および前記撮像画像データに対応し、被写体の深度値についてのマップデータである深度画像データを含む。第１の制御データは、深度画像データに対応し、深度値の有効性についてのマップデータを含む。デコーダは、複数の特徴量データに基づいて、撮像画像データを生成した撮像装置の周辺の環境の推論結果を生成可能なものである。
【発明の効果】
【０００７】
本開示の一実施の形態に係る画像処理装置によれば、認識精度を高めることができる。
【図面の簡単な説明】
【０００８】
図１は、本開示の一実施の形態に係る周辺環境認識装置の一構成例を表す説明図である。
図２は、図１に示した周辺環境認識装置の一構成例を表すブロック図である。
図３は、図２に示した認識処理部の一構成例を表すブロック図である。
図４は、図３に示した認識処理部が用いる機械学習モデルを生成する情報処理装置の一構成例を表すブロック図である。
図５は、図４，５に示した処理部における畳み込みニューラルネットワークの一構成例を表すブロック図である。
図６は、図５に示した２つのエンコーダのうちの一のエンコーダの一構成例を表すブロック図である。
図７は、図５に示した２つのエンコーダのうちの他のエンコーダの一構成例を表すブロック図である。
図８Ａは、図７に示した畳み込み部の一構成例を表すブロック図である。
図８Ｂは、図７に示した畳み込み部の他の一構成例を表すブロック図である。
図８Ｃは、図７に示した畳み込み部の他の一構成例を表すブロック図である。
図９は、図５に示したデコーダの一構成例を表すブロック図である。
図１０は、撮像画像の一例を表す説明図である。
図１１は、マスクデータにおけるマップデータの一例を表す説明図である。
図１２は、教師データに係る推論結果データの一例を表す説明図である。
図１３は、機械学習モデルにより生成された推論結果データの一例を表す説明図である。
図１４は、参考例に係る畳み込みニューラルネットワークの一構成例を表すブロック図である。
図１５は、図１４に示したエンコーダの一構成例を表すブロック図である。
図１６は、参考例に係る機械学習モデルにより生成された推論結果データの一例を表す説明図である。
図１７は、他の参考例に係る畳み込みニューラルネットワークの一構成例を表すブロック図である。
図１８は、図１７に示したエンコーダの一構成例を表すブロック図である。
図１９は、参考例に係る機械学習モデルにより生成された推論結果データの一例を表す説明図である。
図２０は、変形例に係る畳み込みニューラルネットワークの一構成例を表すブロック図である。
図２１は、図２０に示したエンコーダの一構成例を表すブロック図である。
【発明を実施するための形態】
【０００９】
以下、本開示の実施の形態について、図面を参照して詳細に説明する。
【００１０】
＜実施の形態＞
［構成例］
図１，２は、一実施の形態に係る画像処理装置を備えた周辺環境認識装置１０の一構成例を表すものである。周辺環境認識装置１０は、この例では、自動車等の車両１に搭載される。周辺環境認識装置１０は、車両１の周辺環境を認識するように構成される。ここで、周辺環境は、移動物体、静止物体、走行にかかわる状態などを含む。移動物体は、車両１の周辺の、他の車両、自転車、歩行者、動物などを含み、静止物体は、車両１の周辺の、建造物、道路標識、路面標識などを含む。走行にかかわる状態は、車両１の周辺の、天候の状態や、路面の濡れや凍結などの状態を含む。周辺環境認識装置１０は、ステレオカメラ１１と、画像認識装置２０とを備えている。
（【００１１】以降は省略されています）

関連特許