特許ウォッチ

公開番号2024009548
公報種別公開特許公報(A)
公開日2024-01-23
出願番号2022111156
出願日2022-07-11
発明の名称3次元形状計測装置
出願人大日本印刷株式会社,国立大学法人九州大学,公立大学法人広島市立大学,株式会社ノア
代理人個人,個人,個人
主分類G06T 7/521 20170101AFI20240116BHJP(計算;計数)
要約【課題】演算処理の負担を軽減することができる3次元形状計測装置を提供する。また、より精度の高い計測を行うことができる3次元形状計測装置を提供する。
【解決手段】3次元形状計測装置1は、線分の接続状態によって区別可能な特徴を有するノードとエッジとを有するグラフから構成される計測用パターン21を計測対象に投影する投影部20と、計測対象に投影された計測用パターン21を撮影する撮影部30と、撮影部30による撮影画像に基づいて計測対象の3次元形状を演算する演算部120と、を備え、投影部20が投影する計測用パターン21は、平面上へ平面の法線方向から投影した場合に糸巻型に歪曲した格子パターンを有する。
【選択図】図4
特許請求の範囲【請求項１】
線分の接続状態によって区別可能な特徴を有するノードとエッジとを有するグラフから構成される２次元パターンを計測対象に投影する投影部と、
前記計測対象に投影された前記２次元パターンを撮影する撮影部と、
前記撮影部による撮影画像に基づいて前記計測対象の３次元形状を演算する演算部と、
を備え、
前記投影部が投影する前記２次元パターンは、平面上へ前記平面の法線方向から投影した場合に糸巻型に歪曲した格子パターンを有する、３次元形状計測装置。
続きを表示（約 1,700 文字）【請求項２】
請求項１に記載の３次元形状計測装置において、
前記２次元パターンは、縦横の線分からなり、縦線分に接続する左右の横線分の段差と、横線分に接続する上下の縦線分の段差とによって前記各ノードが特徴を持つグラフ構造のパターンである、３次元形状計測装置。
【請求項３】
請求項１又は請求項２に記載の３次元形状計測装置において、
前記演算部は、
前記撮影部による撮影画像に基づいてノードを接続したグラフを作成するグラフ作成部と、
前記グラフ作成部が作成したグラフの前記各ノードの特徴量を推定する特徴量推定部と、
前記グラフ作成部が作成した前記グラフと、前記特徴量推定部が推定した前記各ノードの特徴量とに基づいて、前記２次元パターンに対応する前記撮影画像中の対応点の候補を各ノードについて複数推定する対応点推定部と、
対応点推定部が推定した前記対応点の候補から、隣接する対応点の関係を用いて対応点を選択する対応点選択部と、
を備える、３次元形状計測装置。
【請求項４】
請求項３に記載の３次元形状計測装置において、
前記対応点選択部が選択した対応点の情報を用いて前記投影部と前記撮影部との間の相対的な位置に関する情報を校正する自己校正部を備える、３次元形状計測装置。
【請求項５】
請求項３に記載の３次元形状計測装置において、
前記グラフ作成部と、前記特徴量推定部と、前記対応点推定部と、の内の少なくとも１つは、教師画像に加えて前記教師画像に改変を加えた改変教師画像を用いた深層学習を用いている、３次元形状計測装置。
【請求項６】
線分の接続状態によって区別可能な特徴を有するノードとエッジとを有するグラフから構成される２次元パターンを計測対象に投影する投影部と、
前記計測対象に投影された前記２次元パターンを撮影する撮影部と、
前記撮影部による撮影画像に基づいて前記計測対象の３次元形状を演算する演算部と、
を備え、
前記投影部が投影する前記２次元パターンは、縦横の線分からなり、縦線分に接続する左右の横線分の段差と、横線分に接続する上下の縦線分の段差とによって前記各ノードが特徴を持つグラフ構造のパターンである、３次元形状計測装置。
【請求項７】
請求項６に記載の３次元形状計測装置において、
前記２次元パターンは、平面上へ前記平面の法線方向から投影した場合に糸巻型に歪曲した格子パターンを有する、３次元形状計測装置。
【請求項８】
請求項６又は請求項７に記載の３次元形状計測装置において、
前記演算部は、
前記撮影部による撮影画像に基づいてノードを接続したグラフを作成するグラフ作成部と、
前記グラフ作成部が作成したグラフの前記各ノードの特徴量を推定する特徴量推定部と、
前記グラフ作成部が作成した前記グラフと、前記特徴量推定部が推定した前記各ノードの特徴量とに基づいて、前記２次元パターンに対応する前記撮影画像中の対応点の候補を各ノードについて複数推定する対応点推定部と、
対応点推定部が推定した前記対応点の候補から、隣接する対応点の関係を用いて対応点を選択する対応点選択部と、
を備える、３次元形状計測装置。
【請求項９】
請求項８に記載の３次元形状計測装置において、
前記対応点選択部が選択した対応点の情報を用いて前記投影部と前記撮影部との間の相対的な位置に関する情報を校正する自己校正部を備える、３次元形状計測装置。
【請求項１０】
請求項８に記載の３次元形状計測装置において、
前記グラフ作成部と、前記特徴量推定部と、前記対応点推定部と、の内の少なくとも１つは、教師画像に加えて前記教師画像に改変を加えた改変教師画像を用いた深層学習を用いている、３次元形状計測装置。

発明の詳細な説明【技術分野】
【０００１】
本開示は、３次元形状計測装置に関するものである。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
近年、３次元形状計測はスマートフォンの顔認証や自動運転技術、医療、工業等、様々な分野で利用されており、高精度、かつ、安定した復元が求められている。３次元形状計測は、主に受動ステレオ法、能動ステレオ法、ＴＯＦカメラの３つの方式がよく知られており、条件に応じて使用されるが、中でも、ワンショット方式の能動ステレオ法はプロジェクタとカメラだけで撮影でき、１枚の入力画像から計測が行えるため、小型の装置で高速な計測が可能である。
【０００３】
ワンショット方式の能動ステレオ法を用いる３次元形状計測装置を内視鏡に適用する技術が特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０１７－２１７２１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、内視鏡の撮影部に設けられている撮影レンズは、画角が非常に広い超広角レンズ、又は、魚眼レンズを用いて広い視野を確保していることから、撮影画像に生じる歪曲収差が非常に大きい。そのため、正確な計測を行うためには、画像処理によって歪曲収差を補正したり、計測結果を補正したりする必要があった。このような補正処理は演算処理の負担増となっていた。特に計測対象の３次元形状を演算する処理に、測定点の数を多くしてより詳細に３次元形状を計測したり、深層学習を用いて測定点の位置を推定したりする場合には、補正処理の演算処理の負担軽減が求められる。
【０００６】
また、特許文献１に開示されている手法では、投影されるパターンのノードで表現できる特徴が３種類だけであることから、得られる情報量が少なく、より精度の高い３次元形状の計測には不十分であった。
【０００７】
本開示の課題は、演算処理の負担を軽減することができる３次元形状計測装置を提供することである。
また、本開示の第２の課題は、より精度の高い計測を行うことができる３次元形状計測装置を提供することである。
【課題を解決するための手段】
【０００８】
本開示は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本開示の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
【０００９】
第１の開示は、線分の接続状態によって区別可能な特徴を有するノードとエッジとを有するグラフから構成される２次元パターン（２１）を計測対象に投影する投影部（２０）と、前記計測対象に投影された前記２次元パターン（２１）を撮影する撮影部（３０）と、前記撮影部（３０）による撮影画像に基づいて前記計測対象の３次元形状を演算する演算部（１２０）と、を備え、前記投影部（２０）が投影する前記２次元パターン（２１）は、平面上へ前記平面の法線方向から投影した場合に糸巻型に歪曲した格子パターンを有する、３次元形状計測装置（１）である。
【００１０】
第２の開示は、第１の開示に記載の３次元形状計測装置（１）において、前記２次元パターン（２１）は、縦横の線分からなり、縦線分に接続する左右の横線分の段差と、横線分に接続する上下の縦線分の段差とによって前記各ノードが特徴を持つグラフ構造のパターンである、３次元形状計測装置（１）である。
（【００１１】以降は省略されています）

関連特許