特許ウォッチ

公開番号2025017488
公報種別公開特許公報(A)
公開日2025-02-06
出願番号2023120541
出願日2023-07-25
発明の名称画像処理装置
出願人東京計器株式会社
代理人個人,弁理士法人i.PARTNERS特許事務所
主分類G06T 3/14 20240101AFI20250130BHJP(計算;計数)
要約【課題】複数の車両が相対回転した場合であっても複数のカメラによる撮像画像をより適切に合成する画像処理装置を提供する。
【解決手段】連結部を有する少なくとも2つの車両に設けられる第1のカメラと第2のカメラとを備える移動装置と通信可能に接続される画像処理装置であって、第1のカメラにより撮像された第1の撮像画像と、第2のカメラにより撮像された第2の撮像画像とを取得する画像取得部と、少なくとも1つの連結部の回転量を取得する測定情報取得部と、第1のカメラと第2のカメラとの相対位置及び相対姿勢と第1のカメラと第2のカメラとの間に位置する連結部の回転軸の位置及び向きを示すカメラ間外部パラメータと、第1のカメラと第2のカメラの間に位置する連結部について取得された回転量とに基づいて、第1の撮像画像と第2の撮像画像とを合成すること合成処理部と、を備える。
【選択図】図5
特許請求の範囲【請求項１】
少なくとも２つの車両と、該少なくとも２つの車両を進行方向に連結し、回転軸周りに回転可能な少なくとも１つの連結部と、互いに異なる前記車両に設けられる第１のカメラと第２のカメラとを備える移動装置と通信可能に接続される画像処理装置であって、
前記第１のカメラにより撮像された第１の撮像画像と、前記第２のカメラにより撮像された第２の撮像画像とを取得する画像取得部と、
前記少なくとも１つの連結部の回転量を取得する測定情報取得部と、
前記第１のカメラと前記第２のカメラとの相対位置及び相対姿勢と前記第１のカメラと前記第２のカメラとの間に位置する連結部の回転軸の位置及び向きを示すカメラ間外部パラメータと、前記第１のカメラと前記第２のカメラの間に位置する連結部について取得された回転量とに基づいて、前記第１の撮像画像と前記第２の撮像画像とを合成すること合成処理部と
を備える画像処理装置。
続きを表示（約 1,300 文字）【請求項２】
特徴点が２次元状に配列されたパターンが第１のカメラ及び第２のカメラのそれぞれにより撮像された調整用撮像画像と、該撮像用画像が撮像された時点における前記第１のカメラと前記第２のカメラの間に位置する連結部の回転量とに基づいて、第１外部パラメータを調整する調整処理部を更に備え、
前記合成処理部は、前記調整された前記第１外部パラメータに基づいて、前記第１の撮像画像と前記第２の撮像画像とを合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記調整処理部は、前記第１外部パラメータに基づいて前記第２のカメラの座標系における前記第１のカメラによる撮像画像における特徴点の位置を算出し、該算出した特徴点が投影される第２のカメラによる撮像画像上の位置と、前記第２のカメラによる撮像画像上における前記算出された特徴点と同一の特徴点との距離が最小となるように前記第１外部パラメータを調整することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記調整処理部は、前記移動装置を移動させながら前記第１のカメラが前記パターンを撮像した複数の撮像画像のそれぞれについて前記パターンを基準とする前記第１のカメラの位置を地面に投影した位置を前記移動装置の位置として算出し、算出した複数の前記移動装置の位置に基づく近似曲線を前記移動装置の軌跡として算出し、算出した規制に基づいて前記移動装置と前記第１のカメラとの相対位置及び相対姿勢を示す第２外部パラメータを算出し、
前記合成処理部は、前記第１外部パラメータと前記第２外部パラメータとに基づいて、前記第１の撮像画像と前記第２の撮像画像とを合成することを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記調整処理部は、前記算出した軌跡に１軸を一致させるように前記移動装置の座標系を設定し、前記移動装置を移動させながら前記第１のカメラが前記パターンを撮像した複数の撮像画像のそれぞれについて、前記パターンを基準とする前記移動装置の相対位置及び相対姿勢を示す第３外部パラメータを算出し、算出した複数の第３外部パラメータに基づいて、前記第２外部パラメータを算出することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記調整処理部は、前記移動装置を移動させながら前記第１のカメラが前記パターンを撮像した複数の撮像画像のそれぞれについて前記パターンを基準とする前記第１のカメラの装置位置及び相対姿勢を示す第４外部パラメータを複数算出し、算出した複数の第４外部パラメータのそれぞれと前記複数の第３外部パラメータのそれぞれとに基づいて、前記第２外部パラメータを算出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記調整処理部は、複数の第３外部パラメータのそれぞれと前記複数の第４外部パラメータのそれぞれとに基づいて算出した外部パラメータの平均値を前記第２外部パラメータとして算出することを特徴とする請求項６に記載の画像処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、撮像画像を合成する技術に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
従来、複数の車両が互いに相対回転可能に連結された移動装置が知られている。このような移動装置は、作業者が容易に立ち入ることができない設備等の点検に用いられており、複数の車両のそれぞれにはカメラが備えられている。複数のカメラによる撮像画像は１つの合成画像に合成され、これによって、作業者は、広い視野範囲で点検対象の状態を容易に確認することができる。
【０００３】
なお、関連する技術として、異なる時刻において、同じ道路空間を覆う第１カメラと第２カメラにより取得される画像を調和させる画像処理方法、が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
特開２０２３－３１３０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、複数の車両が相対回転した場合であっても複数のカメラによる撮像画像をより適切に合成する技術を提供することである。
【課題を解決するための手段】
【０００６】
一実施形態は、少なくとも２つの車両と、該少なくとも２つの車両を進行方向に連結し、回転軸周りに回転可能な少なくとも１つの連結部と、互いに異なる前記車両に設けられる第１のカメラと第２のカメラとを備える移動装置と通信可能に接続される画像処理装置であって、前記第１のカメラにより撮像された第１の撮像画像と、前記第２のカメラにより撮像された第２の撮像画像とを取得する画像取得部と、前記少なくとも１つの連結部の回転量を取得する測定情報取得部と、前記第１のカメラと前記第２のカメラとの相対位置及び相対姿勢と前記第１のカメラと前記第２のカメラとの間に位置する連結部の回転軸の位置及び向きを示すカメラ間外部パラメータと、前記第１のカメラと前記第２のカメラの間に位置する連結部について取得された回転量とに基づいて、前記第１の撮像画像と前記第２の撮像画像とを合成すること合成処理部とを備える。
【図面の簡単な説明】
【０００７】
実施形態に係る移動装置の構成を示す概略平面図である。
実施形態に係る移動装置の構成を示す概略側面図である。
実施形態に係る制御システムの構成を示すブロック図である。
実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。
実施形態に係る画像処理装置の機能構成を示すブロック図である。
実施形態に係る世界座標系を示す図である。
実施形態に係るカメラ座標系を示す図である。
実施形態に係る移動装置座標系を示す図である。
実施形態に係るピンホールカメラモデルを示す図である。
実施形態に係るマーカーパターンを示す図である。
実施形態に係る第１調整処理の動作を示すフローチャートである。
実施形態に係る第２調整処理の動作を示すフローチャートである。
実施形態に係るモデル空間を示す図である。
実施形態に係るマスク処理がなされない撮像画像を示す図である。
実施形態に係るマスク処理がなされた撮像画像を示す図である。
実施形態に係る合成処理の動作を示すフローチャートである。
実施形態に係る回転情報を用いた合成画像を示す図である。
実施形態に係る回転情報を用いない合成画像を示す図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら、本発明の実施形態について説明する。
【０００９】
（１移動装置）
（１．１移動装置の構成）
本実施形態に係る移動装置について説明する。図１、図２は、それぞれ、本実施形態に係る移動装置の構成を示す概略平面図、概略側面図である。
【００１０】
図１、図２に示すように、移動装置１は、３つの車両１０Ａ～１０Ｃとこれらを連結する２つの連結部１２とを備える。３つの車両１０Ａ～１０Ｃは、それぞれ、２つの車輪１１を備える。車両１０Ａは移動装置１の直進方向における先頭に位置し、車両１０Ｃは移動装置１の直進方向における後尾に位置し、車両１０Ｂは車両１０Ａと車両１０Ｃとの間に位置する。車両１０Ａと車両１０Ｂとが連結部１２により連結され、車両１０Ｂと車両１０Ｃとが連結部１２により連結される。以降の説明において、３つの車両１０Ａ～１０Ｃを区別しない場合、車両１０と称する。
（【００１１】以降は省略されています）

関連特許