特許ウォッチ

公開番号2025172518
公報種別公開特許公報(A)
公開日2025-11-26
出願番号2024078066
出願日2024-05-13
発明の名称画像処理システム及び画像処理装置
出願人三菱電機株式会社
代理人弁理士法人きさ特許商標事務所
主分類G06T 3/4053 20240101AFI20251118BHJP(計算;計数)
要約【課題】物体の変位量の測定精度を向上させることができる画像処理システム及び画像処理装置を提供することを目的とする。
【解決手段】画像処理システムは、物体の第1動画を撮影する第1撮影装置と、第1撮影装置と異なる方向から物体の第2動画を撮影する第2撮影装置と、第1動画と第2動画との差分である第1視差情報を生成する第1視差情報生成部と、第1視差情報を複数のフレームに分割する分割部と、分割された第1視差情報の各フレームに対して超解像処理を行い、超解像処理が行われた第1視差情報の各フレームを統合して第1視差情報よりも高解像度の第2視差情報を生成する第2視差情報生成部と、を備えるものである。
【選択図】図1
特許請求の範囲【請求項１】
物体の第１動画を撮影する第１撮影装置と、
前記第１撮影装置と異なる方向から前記物体の第２動画を撮影する第２撮影装置と、
前記第１動画と前記第２動画との差分である第１視差情報を生成する第１視差情報生成部と、
前記第１視差情報を複数のフレームに分割する分割部と、
分割された前記第１視差情報の各フレームに対して超解像処理を行い、前記超解像処理が行われた前記第１視差情報の前記各フレームを統合して前記第１視差情報よりも高解像度の第２視差情報を生成する第２視差情報生成部と、を備える画像処理システム。
続きを表示（約 770 文字）【請求項２】
第１高解像度動画生成部と、
第２高解像度動画生成部と、をさらに備え、
前記分割部は、前記第１動画を複数のフレームに分割するものであり、
前記第１高解像度動画生成部は、分割された前記第１動画の各フレームに対して超解像処理を行い、前記超解像処理が行われた前記第１動画の前記各フレームを統合して高解像度第１動画を生成し、
前記第２高解像度動画生成部は、前記第２視差情報と、前記高解像度第１動画と、から高解像度第２動画を生成する請求項１に記載の画像処理システム。
【請求項３】
前記第１視差情報及び前記第２視差情報の少なくとも何れか一方のノイズを除去するノイズ除去部をさらに備える請求項１又は２に記載の画像処理システム。
【請求項４】
前記第２視差情報から前記物体の面外方向の変位量を測定する変位量測定部をさらに備える請求項１又は２に記載の画像処理システム。
【請求項５】
前記高解像度第１動画及び前記高解像度第２動画から前記物体の面内方向及び面外方向の変位量を測定する変位量測定部をさらに備える請求項２に記載の画像処理システム。
【請求項６】
第１撮影装置によって撮影された物体の第１動画と、第２撮影装置によって前記第１撮影装置と異なる方向から撮影された前記物体の第２動画と、の差分である第１視差情報を生成する第１視差情報生成部と、
前記第１視差情報を複数のフレームに分割する分割部と、
分割された前記第１視差情報の各フレームに対して超解像処理を行い、前記超解像処理が行われた前記第１視差情報の前記各フレームを統合して前記第１視差情報よりも高解像度の第２視差情報を生成する第２視差情報生成部と、を備える画像処理装置。

発明の詳細な説明【技術分野】
【０００１】
本開示は、複数の撮影装置により撮影された複数の動画の画像処理を行う画像処理システム及び画像処理装置に関するものである。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
物体が外力を受けた際の変位量を測定する方法の１つとしてＤＩＣ（Digital Image Correlation：デジタル画像相関法）と呼ばれる技術が知られている。ＤＩＣでは、物体表面の動画を撮影し、画像処理により１フレーム毎の物体表面の変位量を計算する。また、ＤＩＣにおいてステレオカメラを用いることで、２つの動画の視差情報から物体の面外方向の変位量についても測定することができる（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
特開２０１３－１７０８３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＤＩＣでは、動画を基に解析をしているため、解像度と測定精度には関係があり、高解像度の動画であるほど細かい箇所の変位量の測定精度が向上する。物体全体の変位量を測定する場合は、カメラを物体から遠ざける必要があり、単位面積あたりの解像度が低下するため、上記の性質上、細かい箇所の変位量の測定精度が低下する。解像度を上げる手法としては、ニューラルネットワークを用いて動画の高解像度化を可能とする超解像処理と呼ばれる手法が知られている。しかしながら、２つの動画を用いて物体の変位量を求める場合、２つの動画を個別に超解像処理すると、２つの動画の関連性が失われ、変位量の測定精度が低下してしまう。
【０００５】
本開示は、上記のような課題を解決するものであり、物体の変位量の測定精度を向上させることができる画像処理システム及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示に係る画像処理システムは、物体の第１動画を撮影する第１撮影装置と、第１撮影装置と異なる方向から物体の第２動画を撮影する第２撮影装置と、第１動画と第２動画との差分である第１視差情報を生成する第１視差情報生成部と、第１視差情報を複数のフレームに分割する分割部と、分割された第１視差情報の各フレームに対して超解像処理を行い、超解像処理が行われた第１視差情報の各フレームを統合して第１視差情報よりも高解像度の第２視差情報を生成する第２視差情報生成部と、を備えるものである。
【０００７】
本開示に係る画像処理装置は、第１撮影装置によって撮影された物体の第１動画と、第２撮影装置によって第１撮影装置と異なる方向から撮影された物体の第２動画と、の差分である第１視差情報を生成する第１視差情報生成部と、第１視差情報を複数のフレームに分割する分割部と、分割された第１視差情報の各フレームに対して超解像処理を行い、超解像処理が行われた第１視差情報の各フレームを統合して第１視差情報よりも高解像度の第２視差情報を生成する第２視差情報生成部と、を備えるものである。
【発明の効果】
【０００８】
本開示によれば、第１動画と第２動画との差分である第１視差情報の各フレームに対して超解像処理を行って第２視差情報を生成することで、２つの動画の関連性を保持することができる。その結果、第２視差情報を用いた物体の変位量の測定精度を向上させることができる。
【図面の簡単な説明】
【０００９】
実施の形態１に係る画像処理システムの概略構成図である。
実施の形態１における超解像処理の一例を説明する図である。
実施の形態１における画像処理の流れを示すフローチャートである。
実施の形態１における画像処理のイメージ図である。
実施の形態２に係る画像処理システムの概略構成図である。
実施の形態２における画像処理の流れを示すフローチャートである。
実施の形態２における画像処理のイメージ図である。
【発明を実施するための形態】
【００１０】
以下、本開示に係る画像処理システム及び画像処理装置の実施の形態について図面を参照して説明する。各図において、同一の符号を付した構成部材は、同一の又はこれに相当する構成部材であり、これは明細書の全文において共通している。なお、各図面では、各構成部材の相対的な寸法関係又は形状等が実際のものとは異なる場合がある。
（【００１１】以降は省略されています）

関連特許