特許ウォッチ

公開番号2024066079
公報種別公開特許公報(A)
公開日2024-05-15
出願番号2022175357
出願日2022-11-01
発明の名称計測装置、計測システム及び計測方法
出願人日本電気株式会社
代理人個人
主分類G06T 7/70 20170101AFI20240508BHJP(計算;計数)
要約【課題】3Dデータに含まれる点と画像を構成する画素との間で、正確な対応関係を構築する。
【解決手段】位置合わせ部1は、対象物を撮像して取得した画像データIMGと、対象物の3DデータDATと、を受け取り、画像データIMGと3DデータDATとの位置合わせを行い、位置合わせ後のデータDPAを出力する。画素選択部2は、画像データIMGに含まれる複数の画素から、注目画素を選択する。画素点対応付け部3は、位置合わせ後のデータDPAに含まれる3DデータDATの複数の点データから、注目画素近傍の3つ以上の点データを近傍点データとして選択し、近傍点データに基づいて1つの面を推定し、1つの面における注目画素の、複数の点データが属する空間における位置を算出する対応付けを行う。
【選択図】図5
特許請求の範囲【請求項１】
対象物を撮像して取得した画像データと、前記対象物の３Ｄデータと、を受け取り、前記画像データと前記３Ｄデータとの位置合わせを行い、位置合わせ後のデータを出力する位置合わせ部と、
前記画像データに含まれる複数の画素から、注目画素を選択する画素選択部と、
前記位置合わせ後のデータに含まれる前記３Ｄデータの複数の点データから、前記注目画素の近傍の３つ以上の点データを近傍点データとして選択し、前記近傍点データに基づいて１つの面を推定し、前記１つの面における前記注目画素の、前記複数の点データが属する空間における位置を算出する対応付けを行う画素点対応付け部と、を備える、
計測装置。
続きを表示（約 1,500 文字）【請求項２】
前記画素点対応付け部は、
前記画像データを取得した撮像装置が向く方向であって前記注目画素を通る視線方向と、前記複数の点データのそれぞれと、の間の垂線距離を算出し、
前記垂線距離が近い順に、前記近傍点データを選択する、
請求項１に記載の計測装置。
【請求項３】
前記視線方向は、前記注目画素の中央点を通る、
請求項２に記載の計測装置。
【請求項４】
前記視線方向に沿って見たときに、前記視線方向を中心とする所定の半径の円の内部に位置する点データを、前記近傍点データとして選択する、
請求項２又は３に記載の計測装置。
【請求項５】
前記画素選択部は、前記注目画素を複数選択し、
前記画素点対応付け部は、選択された複数の前記注目画素のそれぞれについて、前記対応付けを行う、
請求項１又は２に記載の計測装置。
【請求項６】
前記複数の注目画素は、第１の注目画素及び第２の注目画素を含み、
前記画素選択部は、前記画像データにおける前記対象物の計測対象となる事象の一端に位置する画素を第１の注目画素として選択し、他端に位置する画素を第２の注目画素として選択する、
請求項５に記載の計測装置。
【請求項７】
前記複数の注目画素は、第１の注目画素及び第２の注目画素を含み、
前記画素選択部は、前記画像データにおける前記対象物の計測対象となる事象を包含する、複数の画素からなる矩形領域の１つの角に位置する画素を第１の注目画素として選択し、前記第１の注目画素に対して対角の位置の画素を第２の注目画素として選択する、
請求項５に記載の計測装置。
【請求項８】
前記画像データ又は前記３Ｄデータ上に、前記矩形領域を表示する表示部をさらに備える、
請求項７に記載の計測装置。
【請求項９】
対象物を撮像して取得した画像データを出力する撮像装置と、
前記対象物の３Ｄデータを取得する３Ｄデータ取得装置と、
前記画像データと前記対象物の３Ｄデータとの対応付ける計測装置と、を備え、
前記計測装置は、
前記画像データと前記３Ｄデータとを受け取り、前記画像データと前記３Ｄデータとの位置合わせを行い、位置合わせ後のデータを出力する位置合わせ部と、
前記画像データに含まれる複数の画素から、注目画素を選択する画素選択部と、
前記位置合わせ後のデータに含まれる前記３Ｄデータの複数の点データから、前記注目画素の近傍の３つ以上の点データを近傍点データとして選択し、前記近傍点データに基づいて１つの面を推定し、前記１つの面における前記注目画素の、前記複数の点データが属する空間における位置を算出する対応付けを行う画素点対応付け部と、を備える、
計測システム。
【請求項１０】
対象物を撮像して取得した画像データと、前記対象物の３Ｄデータと、を受け取って、前記画像データと前記３Ｄデータとの位置合わせを行い、位置合わせ後のデータを出力し、
前記画像データに含まれる複数の画素から、注目画素を選択し、
前記位置合わせ後のデータに含まれる前記３Ｄデータの複数の点データから、前記注目画素の近傍の３つ以上の点データを近傍点データとして選択し、前記近傍点データに基づいて１つの面を推定し、前記１つの面における前記注目画素の、前記複数の点データが属する空間における位置を算出する対応付けを行う、計測方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、計測装置、計測システム及び計測方法に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
例えば、建物や橋梁などの各種の構造物及び物体を観測するために、様々な手法でこれらの構造物を計測する手法が知られている。こうした手法としては、例えば、構造物の３次元モデルに画像を投影して可視化する手法（特許文献１）、画像から構造物の経時変化を検出する手法（特許文献２）、自律運転車両のために前方を走行する車両の位置推定を行う手法（特許文献３）などが提案されている。
【０００３】
また、近年、レーザ光によって構造物の３次元構造を示す３Ｄデータを取得する、いわゆるＬｉＤＡＲ（Light Detection and Ranging）技術が普及している。ＬｉＤＡＲによって取得した３Ｄデータを、カメラ等で撮像して得られる構造物の画像データと組み合わせることで、構造物の精密解析が期待できる。これらの組み合わせ手法として、３Ｄデータにおいて構造物の各箇所の座標を示す点と画像を構成する画素との間の位置合わせを行う手法が提案さてれている（非特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
特表２００６－５０３３７９号公報
特開２０１７－０６２７７６号公報
特表２０２２－５３２６９５号公報
【非特許文献】
【０００５】
Jiaxin Li, Gim Hee Lee, ”DeepI2P: Image-to-Point Cloud Registration via Deep Classification”, arXiv, Internet, ２０２２年１０月１３日検索, <URL: https://arxiv.org/pdf/2104.03501.pdf>
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１の手法においては、３Ｄデータと画像との間の位置合わせが行えるものの、３Ｄデータの点と画像の画素とではデータの粗密や配列が異なっており、正確な対応を取ることができない。つまり、３Ｄデータの点と画素との間で１対１の対応関係が構築できないため、位置合わせ後の定量性が担保できず、厳密な解析を行うことができない。
【０００７】
よって、ＬｉＤＡＲによる３Ｄデータの点と画像の画素との間で、正確な対応関係を構築できる計測手法の確立が望まれている。
【０００８】
本開示は、上記の事情に鑑みて成されたものであり、３Ｄデータに含まれる点と画像を構成する画素との間で、正確な対応関係を構築することを目的とする。
【課題を解決するための手段】
【０００９】
本開示の一態様である計測装置は、対象物を撮像して取得した画像データと、前記対象物の３Ｄデータと、を受け取り、前記画像データと前記３Ｄデータとの位置合わせを行い、位置合わせ後のデータを出力する位置合わせ部と、前記画像データに含まれる複数の画素から、注目画素を選択する画素選択部と、前記位置合わせ後のデータに含まれる前記３Ｄデータの複数の点データから、前記注目画素近傍の３つ以上の点データを近傍点データとして選択し、前記近傍点データに基づいて１つの面を推定し、前記１つの面における前記注目画素の、前記複数の点データが属する空間における位置を算出する対応付けを行う画素点対応付け部と、を備えるものである。
【００１０】
本開示の一態様である計測システムは、対象物を撮像して取得した画像データを出力する撮像装置と、前記対象物の３Ｄデータを取得する３Ｄデータ取得装置と、前記画像データと前記対象物の３Ｄデータとの対応付ける計測装置と、を備え、前記計測装置は、前記画像データと前記３Ｄデータとを受け取り、前記画像データと前記３Ｄデータとの位置合わせを行い、位置合わせ後のデータを出力する位置合わせ部と、前記画像データに含まれる複数の画素から、注目画素を選択する画素選択部と、前記位置合わせ後のデータに含まれる前記３Ｄデータの複数の点データから、前記注目画素近傍の３つ以上の点データを近傍点データとして選択し、前記近傍点データに基づいて１つの面を推定し、前記１つの面における前記注目画素の、前記複数の点データが属する空間における位置を算出する対応付けを行う画素点対応付け部と、を備えるものである。
（【００１１】以降は省略されています）

関連特許