特許ウォッチ

公開番号2025154726
公報種別公開特許公報(A)
公開日2025-10-10
出願番号2024057889
出願日2024-03-29
発明の名称画像処理方法及び画像処理装置
出願人日産自動車株式会社
代理人個人,個人,個人
主分類G06T 5/60 20240101AFI20251002BHJP(計算;計数)
要約【課題】画像を撮影視点から別の視点へ変換する際の精度を向上させる画像処理方法及び画像処理装置を提供する。
【解決手段】方法は、車載カメラから出力された第1の視点から撮像された第1画像の画像データを取得し、第1画像の画像データを学習済み第2CNN(ニューラルネットワーク)に入力し、第1画像の画像データに畳み込み演算を適用して第1画像に含まれる複数の路面標示を識別して、複数の路面標示の種別毎のラベルを第1画像における各画素に設定した画像データを生成し、複数の路面標示の種別毎のラベルが各画素に設定された第1画像の画像データを、変換モデルが構築された第1CNNに入力して第1画像の画像データに畳み込み演算を適用して第2画像を生成し、エンコーダ層から出力された路面標示のラベル毎の特徴量に重みマップを積算した結果をデコーダ層に入力し、デコーダ層が第2画像の画像データを外部に出力する。
【選択図】図4
特許請求の範囲【請求項１】
第１の視点から撮像された第１画像から、前記第１画像を前記第１の視点とは異なる第２の視点に変換した第２画像を生成して出力する画像処理装置による画像処理方法であって、
前記第１画像に含まれる複数の路面標示の種別ごとの特徴量の重みを表す重みマップを前記第１画像の画像データに適用して、前記第１画像における各画素を前記第２画像の各画素に割り当てて前記第２画像を生成する
画像処理方法。
続きを表示（約 1,100 文字）【請求項２】
前記第１画像の画像データを第１の畳み込みニューラルネットワークに入力し、前記第１画像の画像データに畳み込み演算を適用して、前記第１画像から前記第２画像を生成して出力する
請求項１に記載の画像処理方法。
【請求項３】
前記第１画像に含まれる前記複数の路面標示を識別して、前記複数の路面標示の種別ごとのラベルを前記第１画像における各画素に設定する
請求項２に記載の画像処理方法。
【請求項４】
前記第１の畳み込みニューラルネットワークは、
前記ラベルが各画素に設定された前記第１画像の画像データが入力され、前記ラベルごとの特徴量を出力するエンコーダ層と、
前記エンコーダ層から出力された前記ラベルごとの特徴量に前記重みマップを積算した結果が入力され、前記第２画像の画像データを出力するデコーダ層と、を有する
請求項３に記載の画像処理方法。
【請求項５】
前記重みマップを、前記エンコーダ層の出力に基づいて算出する
請求項４に記載の画像処理方法。
【請求項６】
前記重みマップの算出には、少なくとも前記エンコーダ層の出力のチャンネル方向の最大値、平均値、及び最小値を利用する
請求項５に記載の画像処理方法。
【請求項７】
前記重みマップの算出には、少なくとも前記エンコーダ層の出力のチャンネル方向の３σ分散の上限値、平均値、及び３σ分散の下限値を利用する
請求項５に記載の画像処理方法。
【請求項８】
前記重みマップの算出には、前記エンコーダ層の出力に対して奇数サイズの畳み込みフィルタにより畳み込み演算を行う
請求項６または７に記載の画像処理方法。
【請求項９】
前記第１の視点から撮像され、複数の路面標示を含む複数の撮像画像の画像データを用意し、
前記複数の撮像画像の各々に含まれる前記複数の路面標示を識別して、前記複数の路面標示の種別ごとの複数の路面標示画像を生成し、
前記複数の路面標示画像の画像データを第１行列に変換し、
変換した前記第１行列を前記複数の路面標示の種別ごとに主成分分析した第一主成分に基づいて、前記重みマップを算出する
請求項２に記載の画像処理方法。
【請求項１０】
前記第１画像の画像データを前記第１の畳み込みニューラルネットワークに入力する前に、前記第１画像の画像データを射影変換により前記第２の視点の画像データに変換する
請求項２～７のいずれか１項に記載の画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理方法及び画像処理装置に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
特許文献１には、画像のデータが畳み込みニューラルネットワークを経て、画像を撮影視点とは別の視点に変換した変換画像を出力する物体識別装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１９－２１９００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の物体識別装置は、車両に搭載されたカメラ視点の画像（以下、走行画像と言う）を、畳み込みニューラルネットワークを用いて射影変換された俯瞰画像に変換して出力する。特許文献１の物体識別装置は、畳み込みニューラルネットワークを用いても、出力された俯瞰画像は射影変換された画像であるため、車両との距離が遠くなるほど、俯瞰画像の精度が低下する。
【０００５】
本発明は、上記問題に鑑みてなされたものであり、その目的は、画像を撮影視点から別の視点へ変換する際の精度を向上できる画像処理方法及び画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る画像処理方法は、第１の視点から撮像された第１画像に含まれる複数の路面標示の種別ごとの特徴量の重みを表す重みマップを第１画像の画像データに適用して記第１画像における各画素を第２画像の各画素に割り当てて、第１画像から第１の視点とは異なる第２の視点に変換した第２画像を生成して出力する。
【発明の効果】
【０００７】
本発明の一態様によれば、画像を撮影視点から別の視点へ変換する際の精度を向上することができる。
【図面の簡単な説明】
【０００８】
図１は、第１実施形態に係る画像処理装置を含む画像処理システムの構成例を示すブロック図である。
図２は、第１実施形態に係る画像処理装置における第１の畳み込みニューラルネットワークの構成を示す図である。
図３は、第１実施形態に係る画像処理装置における重みマップの算出方法を示す図である。
図４は、第１実施形態に係る画像処理装置による処理の一例を示すフローチャートである。
図５は、第１実施形態に係る画像処理装置において重みマップを第１画像の画像データに適用して生成された第２画像の一例を示す図である。
図６は、第１実施形態に係る画像処理装置において重みマップを第１画像の画像データに適用せずに生成された第２画像の一例を示す図である。
図７は、第２実施形態に係る画像処理装置による処理の一例を示すフローチャートである。
図８は、第２及び第３実施形態に係る画像処理装置における重みマップの算出方法を説明するための図である。
図９は、第３実施形態に係る画像処理装置の動作の一例を示すフローチャートである。
図１０は、一実施形態に係る画像処理装置において路面標示を識別する際の台形の畳み込みフィルタを説明するための図である。
図１１は、一実施形態に係る画像処理装置において路面標示を識別する際の台形の畳み込みフィルタを説明するための図である。
図１２は、台形の畳み込みフィルタを算出する方法を説明するための図である。
図１３は、第１画像の領域毎の台形の畳み込みフィルタを算出する方法を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。
【００１０】
（第１実施形態）
まず、本発明の第１実施形態に係る画像処理装置の構成例について説明する。図１は、第１実施形態に係る画像処理装置１００を含む画像処理システムの構成例を示すブロック図である。図１に示すように、画像処理システムは、車載カメラ１と、画像処理装置１００とを備える。
（【００１１】以降は省略されています）

関連特許