特許ウォッチ

公開番号2025058531
公報種別公開特許公報(A)
公開日2025-04-09
出願番号2023168523
出願日2023-09-28
発明の名称画像処理装置、画像処理方法、及びプログラム
出願人日本電気株式会社
代理人個人
主分類G06T 3/00 20240101AFI20250402BHJP(計算;計数)
要約【課題】ユーザが、構造物に生じたひびや破損などの事象の変化を容易に判断することを可能にする。
【解決手段】画像処理装置は、それぞれが同じ事象を含む2以上の画像と、構造物の3次元データとに基づいて、2以上の画像それぞれの撮影時におけるカメラの位置及び姿勢を推定する姿勢推定部と、2以上の画像のそれぞれにおいて、事象の領域を選択する領域選択部と、推定されたカメラの位置及び姿勢と、2以上の画像のそれぞれにおいて選択された領域とに基づいて、3次元データの座標系における事象の位置を特定する3次元位置特定部と、特定された事象の位置を含む3次元データを投影し、事象が画像ごとに区別可能な態様で合成される投影画像を生成する投影部とを含む。
【選択図】図1
特許請求の範囲【請求項１】
それぞれが同じ事象を含む２以上の画像と、構造物の３次元データとに基づいて、前記２以上の画像それぞれの撮影時におけるカメラの位置及び姿勢を推定する姿勢推定部と、
２以上の画像のそれぞれにおいて、前記事象の領域を選択する領域選択部と、
前記推定されたカメラの位置及び姿勢と、前記２以上の画像のそれぞれにおいて選択された領域とに基づいて、前記３次元データの座標系における前記事象の位置を特定する３次元位置特定部と、
前記特定された事象の位置を含む３次元データを投影し、前記事象が前記画像ごとに区別可能な態様で合成される投影画像を生成する投影部とを備える画像処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記投影部は、前記投影画像において、前記事象ごとに、設定する透過率、及び割り当てる表示色の少なくとも一方を変える、請求項１に記載の画像処理装置。
【請求項３】
前記２以上の画像は、互いに異なる時間に撮影される、請求項１又は２に記載の画像処理装置。
【請求項４】
前記投影部は、前記投影画像において、撮影時間が古い画像が上又は下に重なるように、前記事象の位置をずらして重ねる、請求項３に記載の画像処理装置。
【請求項５】
前記投影部は、前記特定された３次元データの座標系における事象の位置から、各事象が属する面を投影面として決定し、該決定した投影面において前記投影画像に表される投影範囲を決定する、請求項１又は２に記載の画像処理装置。
【請求項６】
前記投影部は、前記特定された事象の位置を含む所定範囲の前記３次元データの各データ点の法線から、前記所定範囲が含まれる面の曲率を計算し、前記３次元データにおいて、前記所定範囲と連続する領域において前記計算した曲率と同じ曲率を有する面を、前記投影面として決定する、請求項５に記載の画像処理装置。
【請求項７】
前記投影部は、前記投影画像においてスケールを表示する、請求項１又は２に記載の画像処理装置。
【請求項８】
前記事象ごとに、該事象が含まれる画像を識別する情報、該画像内での前記事象の領域の情報、並びに前記推定された前記カメラの位置及び姿勢の情報とを記憶する事象データベースを更に有し、
前記姿勢推定部は、前記事象データベースに前記カメラの位置及び姿勢の情報が記憶される場合、前記事象データベースから前記カメラの位置及び姿勢の情報を取得し、
前記領域選択部は、前記事象データベースに前記事象の領域の情報が記憶される場合、前記事象データベースから前記事象の領域の情報を取得する、請求項１又は２に記載の画像処理装置。
【請求項９】
それぞれが同じ事象を含む２以上の画像と、構造物の３次元データとに基づいて、前記２以上の画像それぞれの撮影時におけるカメラの位置及び姿勢を推定し、
２以上の画像のそれぞれにおいて、前記事象の領域を選択し、
前記推定されたカメラの位置及び姿勢と、前記２以上の画像のそれぞれにおいて選択された領域とに基づいて、前記３次元データの座標系における前記事象の位置を特定し、
前記特定された事象の位置を含む３次元データを投影し、前記事象が前記画像ごとに区別可能な態様で合成される投影画像を生成することを有する画像処理方法。
【請求項１０】
それぞれが同じ事象を含む２以上の画像と、構造物の３次元データとに基づいて、前記２以上の画像それぞれの撮影時におけるカメラの位置及び姿勢を推定し、
２以上の画像のそれぞれにおいて、前記事象の領域を選択し、
前記推定されたカメラの位置及び姿勢と、前記２以上の画像のそれぞれにおいて選択された領域とに基づいて、前記３次元データの座標系における前記事象の位置を特定し、
前記特定された事象の位置を含む３次元データを投影し、前記事象が前記画像ごとに区別可能な態様で合成される投影画像を生成することを含む処理をコンピュータに実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、及びプログラムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
関連技術として、特許文献１は、橋梁などの建造物の点検に用いられる画像処理装置を開示する。特許文献１において、点検者は、構造物におけるひびの状態を観察又は点検するために、構造物におけるひびの部分を複数の観察点から撮影する。点検者は、撮影した複数の２次元画像を、画像処理装置に入力する。
【０００３】
画像処理装置は、構造物の少なくとも一部を近似する３次元メッシュを生成する。また、画像処理装置は、３次元メッシュを２次元平面に展開した２次元展開図を生成する。２次元展開図は、３次元メッシュが含む各部分平面が正射影されるように変換した図である。画像処理装置は、撮影された複数の画像を２次元展開図に対して座標変換し、座標変換した複数の画像を、座標値に基づいて合成することで、パノラマ画像を生成する。
【０００４】
特許文献１において、ユーザは、複数の２次元画像のうちの１つを参照し、ひびなどのオブジェクトの座標値と、そのオブジェクトに対する注釈を示すテキストとを入力することができる。特許文献１において、記憶された注釈は、パノラマ座標を持つ別の画像に重畳させて表示することができる。
【先行技術文献】
【特許文献】
【０００５】
特開２０１７－１６８０７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１において、画像処理装置は、同じ時期に撮影された複数の画像をパノラマ合成する。この場合、点検者などのユーザは、橋梁に生じたひびを、複数の画像を用いて確認することができる。しかしながら、特許文献１において、ひびなどの損傷が、数か月や数年などの単位で変化していないかどうかを確認することは考慮されていない。特許文献１では、複数の画像がパノラマ合成されるだけであるため、ユーザは、画像間で生じているひびや傷の変化を容易に判断することができない。
【０００７】
本開示は、上記事情に鑑み、ユーザが構造物に生じたひびや破損などの事象の変化を容易に判断できる画像処理装置、画像処理方法、及びプログラムを提供することを目的の１つとする。
【課題を解決するための手段】
【０００８】
本開示の第１の態様に係る画像処理装置は、それぞれが同じ事象を含む２以上の画像と、構造物の３次元データとに基づいて、前記２以上の画像それぞれの撮影時におけるカメラの位置及び姿勢を推定する姿勢推定部と、２以上の画像のそれぞれにおいて、前記事象の領域を選択する領域選択部と、前記推定されたカメラの位置及び姿勢と、前記２以上の画像のそれぞれにおいて選択された領域とに基づいて、前記３次元データの座標系における前記事象の位置を特定する３次元位置特定部と、前記特定された事象の位置を含む３次元データを投影し、前記事象が前記画像ごとに区別可能な態様で合成される投影画像を生成する投影部とを含む。
【０００９】
本開示の第２の態様に係る画像処理方法は、それぞれが同じ事象を含む２以上の画像と、構造物の３次元データとに基づいて、前記２以上の画像それぞれの撮影時におけるカメラの位置及び姿勢を推定し、２以上の画像のそれぞれにおいて、前記事象の領域を選択し、前記推定されたカメラの位置及び姿勢と、前記２以上の画像のそれぞれにおいて選択された領域とに基づいて、前記３次元データの座標系における前記事象の位置を特定し、前記特定された事象の位置を含む３次元データを投影し、前記事象が前記画像ごとに区別可能な態様で合成される投影画像を生成することを含む。
【００１０】
本開示の第３の態様に係るプログラムは、それぞれが同じ事象を含む２以上の画像と、構造物の３次元データとに基づいて、前記２以上の画像それぞれの撮影時におけるカメラの位置及び姿勢を推定し、２以上の画像のそれぞれにおいて、前記事象の領域を選択し、前記推定されたカメラの位置及び姿勢と、前記２以上の画像のそれぞれにおいて選択された領域とに基づいて、前記３次元データの座標系における前記事象の位置を特定し、前記特定された事象の位置を含む３次元データを投影し、前記事象が前記画像ごとに区別可能な態様で合成される投影画像を生成することを含む処理をコンピュータに実行させるためのものである。
【発明の効果】
（【００１１】以降は省略されています）

関連特許