特許ウォッチ

公開番号2024095208
公報種別公開特許公報(A)
公開日2024-07-10
出願番号2022212319
出願日2022-12-28
発明の名称三次元データスケール付与システム及び三次元データスケール付与プログラム
出願人株式会社AB.do,国立大学法人信州大学
代理人弁理士法人綿貫国際特許・商標事務所
主分類G06T 19/00 20110101AFI20240703BHJP(計算;計数)
要約【課題】三次元データにスケールを付与できるシステム及びプログラムを提供する。
【解決手段】システムにおいて、クライアントPCは、測定対象物及び複数の基準物の点群データ又はモデルを取得し基準物として認定された点群データ又はモデルのうち基準物の外郭を構成する複数の頂点を検出し、各基準物において検出した複数の頂点の座標データ及び各基準物の各辺の長さに関するデータをサーバPCに送信する。サーバPCは、受信した複数の頂点の座標データに基づいて各基準物の形状を三次元データ上で再現し再現した基準物が各辺の長さデータとなるように各基準物の形状を三次元データ上で伸縮させねじれを加えるための変換行列を算出し、算出した変換行列をクライアントPCへ送信する。クライアントPCは、受信した変換行列に基づいて各基準物の点群データ又はモデルを伸縮させねじれを加えることにより点群データ又はモデル全体のスケールを設定する。
【選択図】図1
特許請求の範囲【請求項１】
点群データ又は点群に基づくワイヤーフレームに面を張ったモデルによって構成された三次元データにスケールを付与するシステムであって、
１又は複数のクライアントコンピュータと、
各前記クライアントコンピュータとの間でデータ通信可能に接続されているサーバコンピュータと、を具備し、
各前記クライアントコンピュータは、
測定対象物の周囲に、予め大きさ及び形状が判明している基準物を複数個配置してデジタルカメラによって前記複数の基準物を含めて前記測定対象物を様々な角度から撮影した画像データ、又は測定対象物の周囲に、予め大きさ及び形状が判明している基準物を複数個配置してレーザスキャナによって前記複数の基準物を含めて前記測定対象物をスキャンニングして取得した位置データから前記測定対象物及び各前記基準物の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルを取得する機能と、
前記点群データ又は点群に基づくワイヤーフレームに面を張ったモデルにおいて、各前記基準物における予め判明している大きさ及び形状に対し、所定の誤差範囲に含まれる大きさ及び形状を有する物体を基準物として認定する機能と、
基準物として認定された前記点群データ又は点群に基づくワイヤーフレームに面を張ったモデルのうち、基準物の外郭を構成する複数の頂点を検出する機能と、
前記点群データ又は点群に基づくワイヤーフレームに面を張ったモデルのうち、各基準物のそれぞれにおいて検出した複数の頂点の三次元データ上の座標データ、及び各基準物の各辺の長さに関するデータを前記サーバコンピュータに送信する機能と、を有し、
前記サーバコンピュータは、
前記クライアントコンピュータから受信した複数の頂点の三次元データ上の座標データに基づいてクライアントコンピュータ上の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルにおける各基準物の形状を三次元データ上で再現する機能と、
前記再現した基準物が、前記クライアントコンピュータから受信した各辺の長さデータとなるように、各基準物の形状を三次元データ上で伸縮させ及び／又はねじれを加えるための変換行列を算出する機能と、
算出した変換行列を前記クライアントコンピュータへ送信する機能と、を有し、
前記クライアントコンピュータは、
前記サーバコンピュータから受信した変換行列に基づいて各基準物の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルを伸縮させ及び／又はねじれを加えることにより、点群データ又は点群に基づくワイヤーフレームに面を張ったモデル全体のスケールを設定する機能を有することを特徴とする三次元データスケール付与システム。
続きを表示（約 5,600 文字）【請求項２】
請求項１記載の三次元データスケール付与システムにおける、クライアントコンピュータに読み取り可能なプログラムであって、
測定対象物の周囲に、予め大きさ及び形状が判明している基準物を複数個配置してデジタルカメラによって前記複数の基準物を含めて前記測定対象物を様々な角度から撮影した画像データ、又は測定対象物の周囲に、予め大きさ及び形状が判明している基準物を複数個配置してレーザスキャナによって前記複数の基準物を含めて前記測定対象物をスキャンニングして取得した位置データから前記測定対象物及び各前記基準物の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルを取得する機能と、
前記点群データにおいて、各前記基準物における予め判明している大きさ及び形状に対し、所定の誤差範囲に含まれる大きさ及び形状を有する物体を基準物として認定する機能と、
基準物として認定された前記点群データ又は点群に基づくワイヤーフレームに面を張ったモデルのうち、基準物の外郭を構成する複数の頂点を検出する機能と、
前記点群データ又は点群に基づくワイヤーフレームに面を張ったモデルのうち、各基準物のそれぞれにおいて検出した複数の頂点の三次元データ上の座標データ、及び各基準物の各辺の長さに関するデータを前記サーバコンピュータに送信する機能と、
前記サーバコンピュータから受信した変換行列に基づいて各基準物の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルを伸縮させ及び／又はねじれを加えることにより、点群データ又は点群に基づくワイヤーフレームに面を張ったモデル全体のスケールを設定する機能と、を前記クライアントコンピュータに実行させることを特徴とする三次元データスケール付与プログラム。
【請求項３】
請求項１記載の三次元データスケール付与システムにおける、サーバコンピュータに読み取り可能なプログラムであって、
前記クライアントコンピュータから受信した複数の頂点の三次元データ上の座標データに基づいてクライアントコンピュータ上の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルにおける各基準物の形状を三次元データ上で再現する機能と、
前記再現した基準物が、前記クライアントコンピュータから受信した各辺の長さデータとなるように、各基準物の形状を三次元データ上で伸縮させ及び／又はねじれを加えるための変換行列を算出する機能と、
算出した変換行列を前記クライアントコンピュータへ送信する機能と、を前記サーバコンピュータに実行させることを特徴とする三次元データスケール付与プログラム。
【請求項４】
点群データによって構成された三次元データにスケールを付与するシステムであって、
１又は複数のクライアントコンピュータと、
各前記クライアントコンピュータとの間でデータ通信可能に接続されているサーバコンピュータと、を具備し、
各前記クライアントコンピュータは、
測定対象物の周囲に、予め各辺の長さが判明している正多面体である基準物を複数個配置してデジタルカメラによって前記複数の基準物を含めて前記測定対象物を様々な角度から撮影した画像データ、又は測定対象物の周囲に、予め大きさ及び形状が判明している基準物を複数個配置してレーザスキャナによって前記複数の基準物を含めて前記測定対象物をスキャンニングして取得した位置データから前記測定対象物及び各前記基準物の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルを取得する機能と、
前記点群データ又は点群に基づくワイヤーフレームに面を張ったモデルにおいて、各前記基準物における予め判明している各辺の長さに対し、所定の誤差範囲に含まれる辺の長さを有する物体を基準物として認定する機能と、
基準物として認定された前記点群データ又は点群に基づくワイヤーフレームに面を張ったモデルのうち、基準物の外郭を構成する複数の頂点を検出する機能と、
前記点群データ又は点群に基づくワイヤーフレームに面を張ったモデルのうち、各基準物のそれぞれにおいて検出した複数の頂点の三次元データ上の座標データを前記サーバコンピュータに送信する機能と、を有し、
前記サーバコンピュータは、
前記クライアントコンピュータから受信した複数の頂点の三次元データ上の座標データに基づいてクライアントコンピュータ上の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルにおける各基準物の形状を三次元データ上で再現する機能と、
前記再現した基準物が、正多面体となるように、各基準物の形状を三次元データ上で伸縮させ及び／又はねじれを加えるための変換行列を算出する機能と、
算出した変換行列を前記クライアントコンピュータへ送信する機能と、を有し、
前記クライアントコンピュータは、
前記サーバコンピュータから受信した変換行列に基づいて各基準物の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルを伸縮させ及び／又はねじれを加えることにより、点群データ又は点群に基づくワイヤーフレームに面を張ったモデル全体のスケールを設定する機能を有することを特徴とする三次元データスケール付与システム。
【請求項５】
請求項４記載の三次元データスケール付与システムにおける、クライアントコンピュータに読み取り可能なプログラムであって、
測定対象物の周囲に、予め各辺の長さが判明している正多面体である基準物を複数個配置してデジタルカメラによって前記複数の基準物を含めて前記測定対象物を様々な角度から撮影した画像データ、又は測定対象物の周囲に、予め各辺の長さが判明している正多面体である基準物を複数個配置してレーザスキャナによって前記複数の基準物を含めて前記測定対象物をスキャンニングして取得した位置データから前記測定対象物及び各前記基準物の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルを取得する機能と、
前記点群データ又は点群に基づくワイヤーフレームに面を張ったモデルにおいて、各前記基準物における予め判明している各辺の長さに対し、所定の誤差範囲に含まれる辺の長さを有する物体を基準物として認定する機能と、
基準物として認定された前記点群データ又は点群に基づくワイヤーフレームに面を張ったモデルのうち、基準物の外郭を構成する複数の頂点を検出する機能と、
前記点群データ又は点群に基づくワイヤーフレームに面を張ったモデルのうち、各基準物のそれぞれにおいて検出した複数の頂点の三次元データ上の座標データを前記サーバコンピュータに送信する機能と、
前記サーバコンピュータから受信した変換行列に基づいて各基準物の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルを伸縮させ及び／又はねじれを加えることにより、点群データ又は点群に基づくワイヤーフレームに面を張ったモデル全体のスケールを設定する機能と、を前記クライアントコンピュータに実行させることを特徴とする三次元データスケール付与プログラム。
【請求項６】
請求項４記載の三次元データスケール付与システムにおける、サーバコンピュータに読み取り可能なプログラムであって、
前記クライアントコンピュータから受信した複数の頂点の三次元データ上の座標データに基づいてクライアントコンピュータ上の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルにおける各基準物の形状を三次元データ上で再現する機能と、
前記再現した基準物が、正多面体となるように、各基準物の形状を三次元データ上で伸縮させ及び／又はねじれを加えるための変換行列を算出する機能と、
算出した変換行列を前記クライアントコンピュータへ送信する機能と、を前記サーバコンピュータに実行させることを特徴とする三次元データスケール付与プログラム。
【請求項７】
点群データ又は点群に基づくワイヤーフレームに面を張ったモデルによって構成された三次元データにスケールを付与するシステムであって、
１又は複数のクライアントコンピュータと、
各前記クライアントコンピュータとの間でデータ通信可能に接続されているサーバコンピュータと、を具備し、
測定対象物の周囲に、２つの基準点が同一平面上に表示されており、該基準点の２点間の長さが判明しており且つ特殊模様が付された平面状基準物を複数配置してデジタルカメラによって前記複数の平面状基準物を含めて前記測定対象物を様々な角度から撮影した画像データ、又はレーザスキャナによって前記複数の平面状基準物を含めて前記測定対象物を様々な角度からスキャンニングして取得した位置データから前記測定対象物及び各前記平面状基準物の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルを取得する機能と、
前記点群データ又は点群に基づくワイヤーフレームに面を張ったモデルにおいて、各前記平面状基準物における特殊模様を有する物体を平面状基準物として認定する機能と、
平面状基準物として認定された前記点群データ又は点群に基づくワイヤーフレームに面を張ったモデルのうち、２つの基準点を検出する機能と、
前記点群データ又は点群に基づくワイヤーフレームに面を張ったモデルのうち、各前記平面状基準物の２つの基準点の三次元データ上の座標データを前記サーバコンピュータに送信する機能と、を有し、
前記サーバコンピュータは、
前記クライアントコンピュータから受信した各前記平面状基準物の２つの基準点の三次元データ上の座標データに基づいてクライアントコンピュータ上の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルにおける各平面状基準物の形状を三次元データ上で再現する機能と、
前記再現した平面状基準物の２つの基準点が予め設定された長さとなるように、各平面状基準物の形状を三次元データ上で伸縮させ及び／又はねじれを加えるための変換行列を算出する機能と、
算出した変換行列を前記クライアントコンピュータへ送信する機能と、を有し、
前記クライアントコンピュータは、
前記サーバコンピュータから受信した変換行列に基づいて各平面状基準物の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルを伸縮させ及び／又はねじれを加えることにより、点群データ又は点群に基づくワイヤーフレームに面を張ったモデル全体のスケールを設定する機能を有することを特徴とする三次元データスケール付与システム。
【請求項８】
請求項７記載の三次元データスケール付与システムにおける、クライアントコンピュータに読み取り可能なプログラムであって、
測定対象物の周囲に、２つの基準点が同一平面上に表示されており、該基準点の２点間の長さが判明しており且つ特殊模様が付された平面状基準物を複数配置してデジタルカメラによって前記複数の平面状基準物を含めて前記測定対象物を様々な角度から撮影した画像データ、又はレーザスキャナによって前記複数の平面状基準物を含めて前記測定対象物を様々な角度からスキャンニングして取得した位置データから前記測定対象物及び各前記平面状基準物の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルを取得する機能と、
前記点群データ又は点群に基づくワイヤーフレームに面を張ったモデルにおいて、各前記平面状基準物における特殊模様を有する物体を平面状基準物として認定する機能と、
平面状基準物として認定された前記点群データ又は点群に基づくワイヤーフレームに面を張ったモデルのうち、２つの基準点を検出する機能と、
前記点群データ又は点群に基づくワイヤーフレームに面を張ったモデルのうち、各前記平面状基準物の２つの基準点の三次元データ上の座標データを前記サーバコンピュータに送信する機能と、
前記サーバコンピュータから受信した変換行列に基づいて各平面状基準物の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルを伸縮させ及び／又はねじれを加えることにより、点群データ又は点群に基づくワイヤーフレームに面を張ったモデル全体のスケールを設定する機能と、を前記クライアントコンピュータに実行させることを特徴とする三次元データスケール付与プログラム。
【請求項９】
請求項７記載の三次元データスケール付与システムにおける、サーバコンピュータに読み取り可能なプログラムであって、
前記クライアントコンピュータから受信した各平面状基準物の２つの基準点の三次元データ上の座標データに基づいてクライアントコンピュータ上の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルにおける各平面状基準物の形状を三次元データ上で再現する機能と、
前記再現した平面状基準物の２つの基準点が予め設定された長さとなるように、各平面状基準物の形状を三次元データ上で伸縮させ及び／又はねじれを加えるための変換行列を算出する機能と、
算出した変換行列を前記クライアントコンピュータへ送信する機能と、を前記サーバコンピュータに実行させることを特徴とする三次元データスケール付与プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、複数枚の写真やレーザスキャンによる位置データから三次元データを生成した際に、三次元的に正確なスケールを付与するシステム及びプログラムに関する。
続きを表示（約 3,500 文字）【背景技術】
【０００２】
三次元データの生成については、特許文献１（特開２０１８－３６８９７号公報）に示すように、測定対象物の周囲から複数枚の写真を撮影し、この複数枚の写真に基づいて点群データを取得する方法が知られている。
【０００３】
特許文献１の画像処理方法によれば、複数のカメラで撮影したデータから点群データを抽出するが、その際カメラの位置、姿勢、焦点距離等のパラメータをカメラパラメータとして取得し、このカメラパラメータに基づいて視点からの距離を設定し、点群データの作成をしている。
【０００４】
特許文献１に示すような方法により点群データを取得したとしても、点群データに正確なスケールを与えることができない。点群データにはそもそもスケールが存在しておらず、撮影された各点の位置が合成されてプロットされているだけである。
例えば、特許文献１では観察視点と対象物との間の距離分布を示す距離画像（デプスマップ）を作成しているが、所定の観察視点からの点群データまでの距離を設定するだけであって、取得した点群データ全体を三次元的に設定しているものではない。
このため、正確なスケールを有する三次元データを取得することができなかった。
【０００５】
そこで、正確なスケールを有する三次元データを取得するために、特許文献２（特開２０２０－１６１０３４号公報）のような方法が提案されている。
特許文献２の方法によれば、測定対象物の周囲に、予め大きさ及び形状が判明している基準物を複数個配置し、デジタルカメラによって複数の基準物を含めて前記測定対象物を様々な角度から撮影した画像データ、又はレーザスキャナによって前記複数の基準物を含めて前記測定対象物を様々な角度からスキャンニングして取得した位置データをコンピュータに入力し、各基準物の判明している大きさ及び形状をコンピュータに入力し、コンピュータは、複数の画像データ又は複数の位置データから測定対象物及び各基準物が含まれる点群データを取得し、点群データにおいて、各基準物における入力された大きさ及び形状に対して所定の誤差範囲に含まれる大きさ及び形状を有する物体を基準物として認定し、認定した各基準物が、入力された大きさ及び形状となるように点群データを伸縮させ及び／又はねじれを加えることにより、点群データ全体のスケールを設定している。
【先行技術文献】
【特許文献】
【０００６】
特開２０１８－３６８９７号公報
特開２０２０－１６１０３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献２に記載した方法によると、生成した点群データに対して、認定した各基準物が入力された大きさ及び形状となるように点群データを伸縮させ及び／又はねじれを加えて、点群データにスケールを付与することを1つのコンピュータ内で実行している。
また、点群データを伸縮させ及び／又はねじれを加える手法、すなわち三次元データの座標を変換するための変換行列の算出方法は常に進化しており、最新の算出方法により算出された変換行列を使用する必要がある。しかし、変換行列の算出方法は企業秘密に属する内容であり、変換行列の算出方法を広く公開してしまうと最新の変換行列の算出方法を創出した企業や個人の利益が損なわれる可能性があるため、変換行列の算出方法は秘匿にしておきたいという要望がある。
【０００８】
一方、点群データにスケールを付与する方法を一般に広く利用してほしいという要望もあるが、従来の方法では、この方法を利用する者が個々に最新の変換行列の算出方法をアップデートしなくてはならず煩雑であるため、一般に広く利用してもらう際の障害になっているという課題もある。
【課題を解決するための手段】
【０００９】
そこで、本発明は上記課題を解決すべくなされ、その目的とするところは、変換行列の算出方法を秘匿にすることができ、且つ一般に広く利用可能な、三次元データにスケールを付与できるシステムを提供することにある。
【００１０】
本発明にかかる三次元データスケール付与システムによれば、点群データ又は点群に基づくワイヤーフレームに面を張ったモデルによって構成された三次元データにスケールを付与するシステムであって、1又は複数のクライアントコンピュータと、各前記クライアントコンピュータとの間でデータ通信可能に接続されているサーバコンピュータと、を具備し、各前記クライアントコンピュータは、測定対象物の周囲に、予め大きさ及び形状が判明している基準物を複数個配置してデジタルカメラによって前記複数の基準物を含めて前記測定対象物を様々な角度から撮影した画像データ、又は測定対象物の周囲に、予め大きさ及び形状が判明している基準物を複数個配置してレーザスキャナによって前記複数の基準物を含めて前記測定対象物をスキャンニングして取得した位置データから前記測定対象物及び各前記基準物の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルを取得する機能と、前記点群データ又は点群に基づくワイヤーフレームに面を張ったモデルにおいて、各前記基準物における予め判明している大きさ及び形状に対し、所定の誤差範囲に含まれる大きさ及び形状を有する物体を基準物として認定する機能と、基準物として認定された前記点群データ又は点群に基づくワイヤーフレームに面を張ったモデルのうち、基準物の外郭を構成する複数の頂点を検出する機能と、前記点群データ又は点群に基づくワイヤーフレームに面を張ったモデルのうち、各基準物のそれぞれにおいて検出した複数の頂点の三次元データ上の座標データ、及び各基準物の各辺の長さに関するデータを前記サーバコンピュータに送信する機能と、を有し、前記サーバコンピュータは、前記クライアントコンピュータから受信した複数の頂点の三次元データ上の座標データに基づいてクライアントコンピュータ上の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルにおける各基準物の形状を三次元データ上で再現する機能と、前記再現した基準物が、前記クライアントコンピュータから受信した各辺の長さデータとなるように、各基準物の形状を三次元データ上で伸縮させ及び／又はねじれを加えるための変換行列を算出する機能と、算出した変換行列を前記クライアントコンピュータへ送信する機能と、を有し、前記クライアントコンピュータは、前記サーバコンピュータから受信した変換行列に基づいて各基準物の点群データ又は点群に基づくワイヤーフレームに面を張ったモデルを伸縮させ及び／又はねじれを加えることにより、点群データ又は点群に基づくワイヤーフレームに面を張ったモデル全体のスケールを設定する機能を有することを特徴としている。
この構成を採用することによって、クライアントコンピュータ側では、点群データ又は点群に基づくワイヤーフレームに面を張ったモデルの基準物をどのように伸縮させ及び／又はねじれを加えるかについての変換行列を算出しなくてもよく、サーバコンピュータ側では最新の変換行列の算出方法をアップデートしておけば、クライアントコンピュータ側でも最新の変換行列の算出方法に基づいた変換行列を使用して三次元データにスケールを付与することができる。このように、サーバコンピュータ側のみで最新の変換行列の算出方法をアップデートするためクライアントコンピュータ側に対して変換行列の算出方法を秘匿にできる。
また、点群データ又は点群に基づくワイヤーフレームに面を張ったモデルはデータ量が大きいため、直接サーバコンピュータへ点群データ又は点群に基づくワイヤーフレームに面を張ったモデルを送信することは困難であるが、スケール付与に必要な各基準物のそれぞれにおいて検出した複数の頂点の三次元データ上の位置データのみをサーバコンピュータへ送信し、サーバコンピュータからは変換行列のみをクライアントコンピュータに送信するので、クライアントコンピュータとサーバコンピュータとの間のデータのやりとりも容易であり、スムーズに点群データ又は点群に基づくワイヤーフレームに面を張ったモデルのスケールを設定できる。
（【００１１】以降は省略されています）

関連特許