特許ウォッチ

公開番号2024164986
公報種別公開特許公報(A)
公開日2024-11-28
出願番号2023080766
出願日2023-05-16
発明の名称環境認識装置及び環境認識方法
出願人株式会社日立製作所
代理人弁理士法人磯野国際特許商標事務所
主分類G06T 7/00 20170101AFI20241121BHJP(計算;計数)
要約【課題】学習における正解値データの作成コストを低減しつつ、多様な環境において高精度な認識を実現する環境認識装置を提供する。
【解決手段】本発明の環境認識装置1は、画像取得部100と、画像取得部で取得した画像の環境条件を取得する環境条件取得部101と、画像認識モデルにより画像の認識処理をする認識処理部103と、画像取得部で取得した画像を画像認識モデルの学習条件に合わせて変換する画像変換部102と、を備え、認識処理部は、環境条件取得部で取得した環境条件が認識処理部の画像認識モデルの学習条件と異なる場合に、画像取得部で取得した画像を画像変換部により学習条件に合わせて変換した画像の認識処理をするようにした。
【選択図】図1
特許請求の範囲【請求項１】
画像を取得する画像取得部と、
前記画像取得部で取得した画像の環境条件を取得する環境条件取得部と、
画像認識モデルにより画像の認識処理をする認識処理部と、
前記画像取得部で取得した画像を前記画像認識モデルの学習条件に合わせて変換する画像変換部と、を備え、
前記認識処理部は、前記環境条件取得部で取得した環境条件が前記認識処理部の画像認識モデルの学習条件と異なる場合に、前記画像取得部で取得した画像を前記画像変換部により前記学習条件に合わせて変換した画像の認識処理をする
ことを特徴とする環境認識装置。
続きを表示（約 1,300 文字）【請求項２】
請求項１に記載の環境認識装置において、
前記画像変換部は、前記画像取得部で取得した画像に複数の画像変換モデルを順次適用して、前記環境条件の画像を前記学習条件に対応した画像に変換する
ことを特徴とする環境認識装置。
【請求項３】
請求項２に記載の環境認識装置において、
前記画像変換部は、画像変換モデルの適用順序毎の前記認識処理部の認識率に基づいて認識率の高いに適用順序を求め、求めた適用順序で画像変換モデルを順次適用する
ことを特徴とする環境認識装置。
【請求項４】
請求項２に記載の環境認識装置において、
前記画像変換部は、画像変換モデル毎に画像変換した際の変換前後の各ピクセルの輝度差の平均値である平均輝度変化量を算出し、平均輝度変化量が小さい画像変換モデルの順に順次適用する
ことを特徴とする環境認識装置。
【請求項５】
請求項１に記載の環境認識装置において、
前記環境条件及び前記学習条件は、国または天候である
ことを特徴とする環境認識装置。
【請求項６】
請求項５に記載の環境認識装置において、
前記画像変換部は、前記環境条件として国の環境条件を変換する場合、路面などの色合い変換、車両の部分形状変換、白線の追加、道路標識の形状や文字の変換を行う
ことを特徴とする環境認識装置。
【請求項７】
請求項５に記載の環境認識装置において、
前記画像変換部は、前記環境条件として天候の環境条件を変換する場合、雨滴の追加・除去、明るさの変換、車両ランプの点灯状態の変更、街灯の点灯状態の変更、建物の室内の明るさの変更、路面などに積もった雪の除去、歩行者が所持する傘の除去、または霧の除去を行う
ことを特徴とする環境認識装置。
【請求項８】
請求項１に記載の環境認識装置において、
前記画像変換部の画像変換モデルは、畳み込みニューラルネットワークであり、その学習において、前記環境条件間を相互に変換できるモデルを利用し、前記認識処理部の損失を含めた損失関数を最小化することで学習される
ことを特徴とする環境認識装置。
【請求項９】
請求項２に記載の環境認識装置において、
前記環境認識装置はサーバクライアントモデルとして構成し、
前記画像変換部における、前記環境条件の画像を前記学習条件に対応した画像に変換する複数変換モデルを格納する変換モデル格納部と前記変換モデル格納部から画像変換に使用する画像変換モデルを選択する変換処理選択部をサーバの構成とし、それ以外の構成はクライアントの構成とする
ことを特徴とする環境認識装置。
【請求項１０】
請求項１に記載の環境認識装置において、さらに、
前記画像取得部で取得した画像と、前記画像変換部により前記学習条件に合わせて変換した画像と、を表示する表示部
を備えることを特徴とする環境認識装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、環境認識装置及び環境認識方法に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
予防安全機能や自動運転などの実現において、走行環境をカメラで撮影し、撮影した画像に対して画像処理などの認識処理を実行することが有効である。認識性能の観点から、認識処理では深層学習などの機械学習モデルが利用される。認識処理では、様々な環境条件(天候など)において、高い精度で認識することが期待されている。
【０００３】
これに対して、機械学習モデルでは、学習データとして、多様な環境条件毎の正解値データを作成し、学習に利用することが有効であるが、多様な環境条件における正解値データの作成は工数がかかる。このため、例えば特許文献１の予測システムを訓練するためのシステムでは、予測システムは、スタイルモデルを使用して、低照度環境の合成画像を、深度マップを生成するための深度モデルへの入力としての昼間表現に変換することにより訓練を実行できると記載（段落０００４を参照）している。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－１９１１８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の先行技術によれば、夜間のデータを日中のデータに変換することで、日中のデータだけで学習された機械学習モデルで、夜間の認識を実行できる。一方、走行環境における環境条件は、夜間だけでなく、雨天や霧など多数の天候条件が考えられる。また、天候だけでなく、走行する国自体も多様であるため、先行技術の手法のように夜間への環境条件に対応するだけでは、多様な走行環境において、高精度な認識処理を実現することは困難である。
【０００６】
本発明の目的は、学習における正解値データの作成コストを低減しつつ、多様な環境において高精度な認識を実現する環境認識装置及び環境認識方法を提供することにある。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、本発明の環境認識装置は、画像取得部と、前記画像取得部で取得した画像の環境条件を取得する環境条件取得部と、画像認識モデルにより画像の認識処理をする認識処理部と、前記画像取得部で取得した画像を前記画像認識モデルの学習条件に合わせて変換する画像変換部と、を備え、前記認識処理部は、前記環境条件取得部で取得した環境条件が前記認識処理部の画像認識モデルの学習条件と異なる場合に、前記画像取得部で取得した画像を前記画像変換部により前記学習条件に合わせて変換した画像の認識処理をするようにした。
【発明の効果】
【０００８】
本発明によれば、学習における正解値データの作成コストを低減しつつ、多様な環境において高精度な認識を実現することができる。
【図面の簡単な説明】
【０００９】
実施形態の環境認識装置の構成を示す機能ブロック図である。
環境認識装置の動作を説明するフローチャートである。
画像取得部で取得した撮像画像の一例を示す図である。
変換モデル格納部の構成を示す図である。
実行順序と認識率を対応付けたテーブル情報を示す図である。
画像変換の過程を示す図である。
画像変換モデル毎の平均輝度変化量を示すテーブル情報を示す図である。
夜間から晴れの画像変換モデルの学習方法について説明する図である。
別の夜間から晴れの画像変換モデルの学習方法について説明する図である。
環境認識装置の他の構成を示す機能ブロック図である。
表示部に表示する画像変換前後の画像の一例を示す図である。
表示部に変換途中の画像を追加表示する一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
（【００１１】以降は省略されています）

関連特許