特許ウォッチ

公開番号2024015907
公報種別公開特許公報(A)
公開日2024-02-06
出願番号2022118285
出願日2022-07-25
発明の名称三次元データ生成方法、演算装置、及び、コンピュータプログラム
出願人学校法人立命館
代理人個人
主分類G01B 11/245 20060101AFI20240130BHJP(測定;試験)
要約【課題】物体表面の三次元の位置データを取得して三次元データを生成する際に、位置データを取得するセンサの位置関係が精度よく推定する演算装置を提供する。
【解決手段】三次元データ生成システムにおいて、演算装置10は、移動可能なセンサ30によって、第1の位置及び第2の位置夫々で得られた物体200表面のセンシングデータの入力を受け付け、前記データから、第1の位置と第2の位置との位置関係を求めるための特徴点抽出に用いる特徴のタイプを、機械学習されたモデルである特徴選択器によって決定し、決定したタイプの特徴を示す特徴量を用いて、第1の位置及び第2の位置夫々のセンシングデータから抽出した特徴点をマッチングさせることで位置関係を求め、第1の位置又は第1の位置との相対位置関係が既知である位置及び第2の位置又は第2の位置との相対位置関係が既知である位置夫々からの物体表面の三次元位置を表す位置データを合成する。
【選択図】図1
特許請求の範囲【請求項１】
物体表面を表す三次元データを生成する方法であって、
移動可能なセンサによって、第１の位置及び第２の位置それぞれにて得られた前記物体表面のセンシング結果を示すセンシングデータの入力を受け付け、
前記センシングデータから、前記第１の位置と前記第２の位置との位置関係を求めるための特徴点を抽出するのに用いる特徴のタイプを特徴選択器によって決定し、
決定された前記タイプの特徴を示す特徴量を用いて、前記第１の位置及び前記第２の位置それぞれの前記センシングデータの中からそれぞれの特徴点を抽出し、
前記第１の位置及び前記第２の位置それぞれの前記センシングデータにおける前記それぞれの特徴点をマッチングさせることにより前記位置関係を求め、
前記位置関係を用いて、前記第１の位置又は前記第１の位置との相対位置関係が既知である位置及び前記第２の位置又は前記第２の位置との相対位置関係が既知である位置それぞれからの前記物体表面の三次元位置を表す位置データを合成する、ことを備え、
前記特徴選択器は、前記センシングデータが入力されると特徴のタイプを出力するよう機械学習されたモデルを含み、
前記特徴のタイプを決定することは、前記モデルに前記センシングデータを入力して前記モデルからの出力を得ることを含む
三次元データ生成方法。
続きを表示（約 2,400 文字）【請求項２】
前記センシングデータは、前記センサによって得られた画像データを含む
請求項１に記載の三次元データ生成方法。
【請求項３】
前記センサは、対象物に対して撮影によって得られた画像データと表面までの距離を示す距離データとを出力するカメラを含む
請求項１に記載の三次元データ生成方法。
【請求項４】
前記センシングデータは、前記第１の位置及び前記第２の位置それぞれにおいて前記カメラによって撮影された前記物体を含む前記画像データであり、
前記位置データは、前記第１の位置及び前記第２の位置それぞれにおける前記カメラからの前記物体表面までの前記距離データから得られた前記物体表面の三次元座標を示す
請求項３に記載の三次元データ生成方法。
【請求項５】
前記位置データを合成することは、前記カメラによって異なる複数の位置で得られた複数の前記位置データを合成することを含み、
前記カメラによって前記複数の位置で得られた複数の前記画像データのうちの隣接する位置で得られた２つの前記画像データごとに、前記特徴のタイプを決定し、
前記隣接する位置で得られた前記画像データの、決定されたそれぞれの前記特徴のタイプを用いて、前記隣接する位置の前記位置関係を求め、
前記位置データを合成することは、前記隣接する位置ごとの前記位置関係を用いて、前記複数の前記位置データを構成することを含む
請求項４に記載の三次元データ生成方法。
【請求項６】
前記センサは、対象物を撮影することによって得られた画像データを前記センシングデータとして出力し、表面までの距離を示す距離データを前記位置データとして出力するカメラを含み、
前記センサは、移動しながら複数の時刻それぞれでの前記画像データ及び前記位置データを出力し、
前記位置データを合成することは、前記カメラが移動することによって複数の時刻で得られた複数の前記位置データを合成することを含み、
前記カメラが移動することによって前記複数の時刻で得られた複数の前記画像データのそれぞれについて、前記画像データと、その得られた時刻の直前の時刻に得られた画像データとから、前記特徴のタイプを決定し、
前記画像データと、前記直前の時刻に得られた画像データとについて、決定された前記タイプの特徴を示す特徴量を求めて前記位置関係を求め、
前記位置データを合成することは、前記複数の時刻それぞれの前記画像データの前記直前の時刻の前記画像データとの前記位置関係を用いて、前記複数の前記位置データを合成することを含む
請求項１に記載の三次元データ生成方法。
【請求項７】
物体表面を表す三次元データの生成処理を実行する演算装置であって、
移動可能なセンサによって、第１の位置及び第２の位置それぞれにて得られた前記物体表面のセンシング結果を示すセンシングデータの入力を受け付け、
前記センシングデータから、前記第１の位置と前記第２の位置との位置関係を求めるための特徴点を抽出するのに用いる特徴のタイプを特徴選択器によって決定し、
決定された前記タイプの特徴を示す特徴量を用いて、前記第１の位置及び前記第２の位置それぞれの前記センシングデータの中からそれぞれの特徴点を抽出し、
前記第１の位置及び前記第２の位置それぞれの前記センシングデータにおける前記それぞれの特徴点をマッチングさせることにより前記位置関係を求め、
前記位置関係を用いて、前記第１の位置又は前記第１の位置との相対位置関係が既知である位置及び前記第２の位置又は前記第２の位置との相対位置関係が既知である位置それぞれからの前記物体表面の三次元位置を表す位置データを合成する、ように構成され、
前記特徴選択器は、前記センシングデータが入力されると特徴のタイプを出力するよう機械学習されたモデルを含み、
前記特徴のタイプを決定することは、前記モデルに前記センシングデータを入力して前記モデルからの出力を得ることを含む
演算装置。
【請求項８】
物体表面を表す三次元データの生成処理をコンピュータに実行させるコンピュータプログラムであって、
前記コンピュータに、
移動可能なセンサによって、第１の位置及び第２の位置それぞれにて得られた前記物体表面のセンシング結果を示すセンシングデータの入力を受け付け、
前記センシングデータから、前記第１の位置と前記第２の位置との位置関係を求めるための特徴点を抽出するのに用いる特徴のタイプを特徴選択器によって決定し、
決定された前記タイプの特徴を示す特徴量を用いて、前記第１の位置及び前記第２の位置それぞれの前記センシングデータの中からそれぞれの特徴点を抽出し、
前記第１の位置及び前記第２の位置それぞれの前記センシングデータにおける前記それぞれの特徴点をマッチングさせることにより前記位置関係を求め、
前記位置関係を用いて、前記第１の位置又は前記第１の位置との相対位置関係が既知である位置及び前記第２の位置又は前記第２の位置との相対位置関係が既知である位置それぞれからの前記物体表面の三次元位置を表す位置データを合成する、ことを実行させ、
前記特徴選択器は、前記センシングデータが入力されると特徴のタイプを出力するよう機械学習されたモデルを含み、
前記特徴のタイプを決定することは、前記モデルに前記センシングデータを入力して前記モデルからの出力を得ることを含む
コンピュータプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、三次元データ生成方法、演算装置、及び、コンピュータプログラムに関する。
続きを表示（約 3,400 文字）【背景技術】
【０００２】
プラントなどの物体表面の三次元の位置を表す位置データである点群データをセンサによって取得し、点群データを用いて三次元データを生成することが行われている。例えば、下の非特許文献１，２には、撮影による画像データと対象物までの距離データとが得られるＲＧＢ－Ｄカメラをセンサとして用い、物体表面のセンシング結果を用いて物体表面の三次元データを生成するシステムを開示している。
【０００３】
ＲＧＢ－Ｄカメラを用いる場合、ＲＧＢ－Ｄカメラの撮影によって得られた画像データの特徴量から位置データを取得の際のカメラの位置及び姿勢などである位置関係を推定し、推定された位置関係を用いて点群データの合成を行うものである。非特許文献１，２に開示されているような従来の方法では、画像データから位置関係を推定するために用いる特徴のタイプは予め設定され、画像データに関わらず固定されたものである。
【先行技術文献】
【非特許文献】
【０００４】
Haonan Xu a, Junyi Hou a, Lei Yu a, Shumin Fei著、「3D Reconstruction system for collaborative scanning based on multiple RGB-D cameras」、Pattern Recognition Letters、Volume 128、Pages 505-512、２０１９年１２月
Qiang LV1, Huican LIN1, Guosheng WANG1, Heng WEI1, Yang WANG2著、「ORB-SLAM-based Tracing and 3D Reconstruction for Robot using Kinect 2.0」、29th Chinese Control And Decision Conference (CCDC)、Pages 3319-3324、２０１７年５月
【発明の概要】
【０００５】
複数の位置データ間の位置関係を画像データから推定するために用いる適切な特徴のタイプは、画像ごとによって異なる。そのため、非特許文献１，２に開示されているように特徴のタイプが画像データに関わらずに固定されていると、画像データによっては適切な特徴量が得られない場合もある。その結果、画像データによっては、センサの位置関係が精度よく推定されない場合がある。そこで、センサの位置関係が精度よく推定される三次元データ生成方法、演算装置、及び、コンピュータプログラムが望まれる。
【０００６】
ある実施の形態に従うと、三次元データ生成方法は、物体表面を表す三次元データを生成する方法であって、移動可能なセンサによって、第１の位置及び第２の位置のそれぞれにて得られた物体表面のセンシング結果を示すセンシングデータの入力を受け付け、センシングデータから、第１の位置と第２の位置との位置関係を求めるための特徴点を抽出するのに用いる特徴のタイプを特徴選択器によって決定し、決定されたタイプの特徴を示す特徴量を用いて、第１の位置及び第２の位置それぞれのセンシングデータの中からそれぞれの特徴点を抽出し、第１の位置及び第２の位置それぞれのセンシングデータにおけるそれぞれの特徴点をマッチングさせることにより位置関係を求め、位置関係を用いて、第１の位置又は第１の位置との相対位置関係が既知である位置及び第２の位置又は第２の位置との相対位置関係が既知である位置それぞれからの物体表面の三次元位置を表す位置データを合成する、ことを備え、特徴選択器は、センシングデータが入力されると特徴のタイプを出力するよう機械学習されたモデルを含み、特徴のタイプを決定することは、モデルにセンシングデータを入力してモデルからの出力を得ることを含む。
【０００７】
ある実施の形態に従うと、演算装置は、物体表面を表す三次元データの生成処理を実行する演算装置であって、移動可能なセンサによって、第１の位置及び第２の位置それぞれにて得られた物体表面のセンシング結果を示すセンシングデータの入力を受け付け、センシングデータから、第１の位置と第２の位置との位置関係を求めるための特徴点を抽出するのに用いる特徴のタイプを特徴選択器によって決定し、決定されたタイプの特徴を示す特徴量を用いて、第１の位置及び第２の位置それぞれのセンシングデータの中からそれぞれの特徴点を抽出し、第１の位置及び第２の位置それぞれのセンシングデータにおけるそれぞれの特徴点をマッチングさせることにより位置関係を求め、位置関係を用いて、第１の位置又は第１の位置との相対位置関係が既知である位置及び第２の位置又は第２の位置との相対位置関係が既知である位置それぞれからの物体表面の三次元位置を表す位置データを合成する、ように構成され、特徴選択器は、センシングデータが入力されると特徴のタイプを出力するよう機械学習されたモデルを含み、特徴のタイプを決定することは、モデルにセンシングデータを入力してモデルからの出力を得ることを含む。
【０００８】
ある実施の形態に従うと、コンピュータプログラムは、物体表面を表す三次元データの生成処理をコンピュータに実行させるコンピュータプログラムであって、コンピュータに、移動可能なセンサによって、第１の位置及び第２の位置それぞれにて得られた物体表面のセンシング結果を示すセンシングデータの入力を受け付け、センシングデータから、第１の位置と第２の位置との位置関係を求めるための特徴点を抽出するのに用いる特徴のタイプを特徴選択器によって決定し、決定されたタイプの特徴を示す特徴量を用いて、第１の位置及び第２の位置それぞれのセンシングデータの中からそれぞれの特徴点を抽出し、第１の位置及び第２の位置それぞれのセンシングデータにおけるそれぞれの特徴点をマッチングさせることにより位置関係を求め、位置関係を用いて、第１の位置又は第１の位置との相対位置関係が既知である位置及び第２の位置又は第２の位置との相対位置関係が既知である位置それぞれからの物体表面の三次元位置を表す位置データを合成する、ことを実行させ、特徴選択器は、センシングデータが入力されると特徴のタイプを出力するよう機械学習されたモデルを含み、特徴のタイプを決定することは、モデルにセンシングデータを入力してモデルからの出力を得ることを含む。
【０００９】
更なる詳細は、後述の実施形態として説明される。
【図面の簡単な説明】
【００１０】
図１は、実施の形態に係る三次元データ生成システム（以下、システム）の構成を表した概略図である。
図２は、図１のシステムにおいて、センサから演算装置に入力されるデータを説明するための図である。
図３は、システムに含まれる演算装置の概略構成図である。
図４は、実施の形態に係る三次元データの生成方法の一例を表した図である。
図５は、演算装置が用いる特徴選択器の一例であって、第１の例に係る特徴選択器の概略図である。
図６は、演算装置が用いる特徴選択器の一例であって、第２の例に係る特徴選択器の概略図である。
図７は、演算装置が用いる特徴選択器の一例であって、第３の例に係る特徴選択器の概略図である。
図８は、演算装置が用いる特徴選択器の一例であって、第４の例に係る特徴選択器の概略図である。
図９は、演算装置が用いる特徴選択器の一例であって、第５の例に係る特徴選択器の概略図である。
図１０は、演算装置が用いる特徴選択器の一例であって、第６の例に係る特徴選択器の概略図である。
図１１は、図４のステップＳ５の位置関係の推定の流れの一例を表した図である。
図１２は、発明者らが行った、実施の形態に係るシステムでの位置関係の推定の精度を検証する実験で用いた画像対を表した図である。
図１３は、発明者らが行った、実施の形態に係るシステムでの位置関係の推定の精度を検証する実験結果を表した図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許