特許ウォッチ

公開番号2025155311
公報種別公開特許公報(A)
公開日2025-10-14
出願番号2024059079
出願日2024-04-01
発明の名称画像処理装置および画像処理方法
出願人Astemo株式会社
代理人弁理士法人平木国際特許事務所
主分類G06T 5/70 20240101AFI20251006BHJP(計算;計数)
要約【課題】画質が著しく低下した場合においても、正確に画質を改善することができる画像処理装置および画像処理方法を提供する。
【解決手段】第一のカメラおよび第二のカメラにより撮像された第一の画像および第二の画像を取得する画像取得部100と、前記第一のカメラおよび前記第二のカメラの設置位置に関するカメラ位置情報が格納された情報格納部102と、前記第一の画像の少なくとも一部の領域における距離情報を取得する距離情報取得部101と、前記カメラ位置情報および前記距離情報に基づいて、前記第一の画像を前記第二のカメラの視点へ視点変換することで第一の視点変換画像を生成する視点変換部103と、前記第二の画像と前記第一の視点変換画像に基づいて、前記第二の画像の画質を改善する画質改善部104と、を有する。
【選択図】図1
特許請求の範囲【請求項１】
第一のカメラおよび第二のカメラにより撮像された第一の画像および第二の画像を取得する画像取得部と、
前記第一のカメラおよび前記第二のカメラの設置位置に関するカメラ位置情報が格納された情報格納部と、
前記第一の画像の少なくとも一部の領域における距離情報を取得する距離情報取得部と、
前記カメラ位置情報および前記距離情報に基づいて、前記第一の画像を前記第二のカメラの視点へ視点変換することで第一の視点変換画像を生成する視点変換部と、
前記第二の画像と前記第一の視点変換画像に基づいて、前記第二の画像の画質を改善する画質改善部と、を有する画像処理装置。
続きを表示（約 1,200 文字）【請求項２】
請求項１に記載の画像処理装置において、
前記第二の画像に含まれる画質低下箇所を特定する領域特定部をさらに有し、
前記領域特定部が前記第二の画像の少なくとも一部の領域を画質低下箇所として特定した場合にのみ、前記画質改善部は、前記第二の画像の画質を改善することを特徴とする、画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記画質改善部は、前記領域特定部が画質低下箇所として特定した領域のみ前記第二の画像の画質を改善することを特徴とする、画像処理装置。
【請求項４】
請求項２に記載の画像処理装置において、
前記領域特定部は、前記第二の画像に加え、前記第一の画像に含まれる画質低下箇所も特定し、
前記視点変換部は、前記第一の画像に含まれた画質低下箇所を除いた領域を視点変換することを特徴とする、画像処理装置。
【請求項５】
請求項２に記載の画像処理装置において、
前記領域特定部はニューラルネットワークであり、画素レベルで画質低下箇所を特定することを特徴とする、画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記ニューラルネットワークは画像全体から抽出した特徴量を計算し、前記特徴量を利用して画素レベルで画質低下箇所を特定することを特徴とする、画像処理装置。
【請求項７】
請求項５に記載の画像処理装置において、
前記ニューラルネットワークは各画素間の関連度を算出し、前記関連度に基づき画素毎の特徴量を統合し、統合された特徴量を利用して画素レベルで画質低下箇所を特定することを特徴とする、画像処理装置。
【請求項８】
請求項１に記載の画像処理装置において、
前記第二の画像に含まれる画質低下要因を特定する要因特定部をさらに有し、
前記画質改善部は、前記第二の画像と前記第一の視点変換画像に加え、前記画質低下要因に基づいて、前記第二の画像の画質を改善することを特徴とする、画像処理装置。
【請求項９】
請求項１に記載の画像処理装置において、
前記画像取得部は、前記第一のカメラと前記第二のカメラのそれぞれと視野が重複した第三のカメラにより撮像された第三の画像を取得し、
前記距離情報取得部は、前記第一の画像と前記第三の画像を利用した多視点ステレオ法により前記距離情報を取得することを特徴とする、画像処理装置。
【請求項１０】
請求項１に記載の画像処理装置において、
前記視点変換部は、前記第一の画像の画素値が割り当てられない前記第一の視点変換画像の画素に対して、０を割り当てることを特徴とする、画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
交通事故の削減や物流の効率化などの観点から、自動運転に期待が寄せられる。自動運転ではカメラの利用が想定され、画像を解析することで車両や歩行者などの立体物を検出できる。ここで、立体物の検出における課題として、画像の画質低下が挙げられる。画質の低下要因として、例えば、カメラが車室外に設置される場合には雨滴や泥などの汚れがカメラに付着して画像に撮像されることで画質が低下し、また、カメラが車室内に設置される場合であってもフロントガラスに付着した汚れが間接的に画像に撮像されることで画質が低下する。このように画質が低下した場合、車両や歩行者などは本来の見え方とは異なるように撮像されるため、検出精度が低下してしまう。その結果、正しく車両制御を実行することができず、自動運転システムの信頼性が低下する。そのため、特許文献１では、機械学習された生成モデルを利用し、汚れを含んだ画像から汚れを取り除いた画像を生成する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２３－８３８４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された方法を利用することで、雨滴などの透明度が高く、画質の低下レベルが低い場合、正しく汚れを取り除くことができる。一方で、透明度が低い泥などが画像中の車両を完全に遮蔽する形で付着した場合を想定すると、特許文献１に開示された方法により泥自体は除去できるが、その背後に存在していた車両も除去されてしまう。その結果、本来検出すべき車両を検出することができず、適切に車両を制御することができない。
【０００５】
本発明は、このような課題に鑑み、画質が著しく低下した場合においても、正確に画質を改善することができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る画像処理装置は、第一のカメラおよび第二のカメラにより撮像された第一の画像および第二の画像を取得する画像取得部と、前記第一のカメラおよび前記第二のカメラの設置位置に関するカメラ位置情報が格納された情報格納部と、前記第一の画像の少なくとも一部の領域における距離情報を取得する距離情報取得部と、前記カメラ位置情報および前記距離情報に基づいて、前記第一の画像を前記第二のカメラの視点へ視点変換することで第一の視点変換画像を生成する視点変換部と、前記第二の画像と前記第一の視点変換画像に基づいて、前記第二の画像の画質を改善する画質改善部と、を有する。
【０００７】
また、本発明に係る画像処理方法は、コンピュータにより実行される画像処理方法であって、第一のカメラおよび第二のカメラにより撮像された第一の画像および第二の画像を取得する画像取得ステップと、前記第一の画像の少なくとも一部の領域における距離情報を取得する距離情報取得ステップと、前記第一のカメラおよび前記第二のカメラの設置位置に関するカメラ位置情報ならびに前記距離情報に基づいて、前記第一の画像を前記第二のカメラの視点へ視点変換することで第一の視点変換画像を生成する視点変換ステップと、前記第二の画像と前記第一の視点変換画像に基づいて、前記第二の画像の画質を改善する画質改善ステップと、を含む。
【発明の効果】
【０００８】
本発明によれば、画質が著しく低下した場合においても、正確に画質を改善することができる。
【０００９】
上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１０】
本発明に係る実施形態１の画像処理装置の構成を示す機能ブロック図である。
実施形態１における車両とカメラの位置関係を示す図である。
実施形態１の画像処理装置における処理フロー図である。
距離算出の方法を説明する図である。
画質の改善方法を説明する図である。
実施形態１の機能ブロックに要因特定部を追加した機能ブロック図である。
図６の機能ブロックの画像処理装置における処理フロー図である。
視点変換画像における画素の割り当て方法を説明する図である。
５台のカメラを利用した場合におけるカメラの設置位置と画角の関係を示す図である。
本発明に係る実施形態２の画像処理装置の構成を示す機能ブロック図である。
実施形態２の画像処理装置における処理フロー図である。
領域特定部の処理内容を説明する図である。
領域特定部の出力を利用した画質の改善方法を説明する図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許