特許ウォッチ

公開番号2025071766
公報種別公開特許公報(A)
公開日2025-05-08
出願番号2024105877
出願日2024-07-01
発明の名称3D陰関数表現のための有向格子エンコーダ
出願人三菱電機株式会社
代理人弁理士法人深見特許事務所
主分類G06T 9/00 20060101AFI20250428BHJP(計算;計数)
要約【課題】ニューラルネットワークをトレーニングすることによって3次元(3D)オブジェクトを含む3Dシーンの陰関数表現を生成するための人工知能システムを提供する。
【解決手段】ニューラルネットワークは、オブジェクトの形状の3D点群を示すデータを、オブジェクトの複数の分解能を捕捉する格子ベースの特徴にエンコードするよう構成されるエンコーダと、デコーダとを含み、システムは、プロセッサと、命令が格納されたメモリとを備え、命令は、プロセッサに(i)3Dオブジェクトを含む3Dシーンの有向点群を示す入力データを受信させ、入力データは、3D点群の点の3D位置と、点の3D位置に近接する位置における3Dオブジェクトの表面に対する法線を定義する点の向きとを示し、命令は、さらに、プロセッサに、(ii)エンコーダおよびデコーダをトレーニングさせて、3Dオブジェクトの陰関数表現を生成させる。
【選択図】図1
特許請求の範囲【請求項１】
ニューラルネットワークをトレーニングすることによって３次元（３Ｄ）オブジェクトを含む３Ｄシーンの陰関数表現を生成するための人工知能（ＡＩ）システムであって、前記ニューラルネットワークは、前記オブジェクトの形状の３Ｄ点群を示すデータを、前記オブジェクトの複数の分解能を捕捉する格子ベースの特徴にエンコードするよう構成されるエンコーダと、前記格子ベースの特徴を、前記３Ｄシーンにおける任意の点から前記オブジェクトまでの距離にデコードするよう構成されるデコーダとを含み、前記ＡＩシステムは、
少なくとも１つのプロセッサと、命令を格納したメモリとを備え、前記命令は、前記ＡＩシステムの前記少なくとも１つのプロセッサに、
３Ｄオブジェクトを含む３Ｄシーンの有向点群を示す入力データを受信させ、前記入力データは、前記３Ｄ点群の点の３Ｄ位置と、前記点の前記３Ｄ位置に近接する位置における前記３Ｄオブジェクトの表面に対する法線を定義する前記点の向きとを示し、前記命令は、さらに、前記ＡＩシステムの前記少なくとも１つのプロセッサに、
前記３Ｄオブジェクトの陰関数表現を生成するために、前記点の前記位置および前記点の前記向きの両方を使用して前記エンコーダおよび前記デコーダをトレーニングさせ、
前記エンコーダおよび前記デコーダを含む前記３Ｄオブジェクトの前記陰関数表現を、有線または無線通信チャネルを介して送信させる、ＡＩシステム。
続きを表示（約 1,900 文字）【請求項２】
前記エンコーダは、前記３Ｄ点群の前記点の位置および前記点の前記向きのうちの１つまたは組合せを、前記オブジェクトの複数の分解能を捕捉する前記格子ベースの特徴に変換するようトレーニングされ、前記デコーダは、前記デコーダによって生成される前記３Ｄシーン内の点から前記オブジェクトまでの距離とグラウンドトゥルース距離との間の誤差の損失関数を低減するよう、前記格子ベースの特徴の補間上でトレーニングされる、請求項１に記載のＡＩシステム。
【請求項３】
前記エンコーダは、前記３Ｄ点群の前記点の位置を前記格子ベースの特徴に変換するようトレーニングされ、前記デコーダは、ネスト化された形状のセット内での前記補間上においてトレーニングされ、前記ネスト化された形状のセットは、前記格子ベースの特徴を囲み、対応するネスト化された形状の付近の前記点の前記向きに基づいて方向付けされる、請求項２に記載のＡＩシステム。
【請求項４】
前記エンコーダは、前記点の前記位置を、前記オブジェクトの複数の分解能を捕捉する前記格子ベースの特徴としてエンコードするようトレーニングされ、前記デコーダは、ネスト化された形状のセット内で補間によって表される方向付けされた特徴に基づいてトレーニングされ、前記ネスト化された形状のセットは、前記格子ベースの特徴を囲み、対応するネスト化された形状の付近の前記点の前記向きに基づいて方向付けされる、請求項１に記載のＡＩシステム。
【請求項５】
前記エンコーダおよび前記デコーダをトレーニングするために、前記プロセッサは、
前記エンコーダを使用して、前記入力データを、前記３Ｄオブジェクトの形状の複数の分解能を捕捉する特徴の八分木表現にエンコードするよう構成され、
前記八分木表現の各特徴を、軸周りに回転対称性を有する方向付けされた形状で囲むよう構成され、特徴を囲む方向付けされた形状の次元は、前記八分木表現上の囲まれた前記特徴のレベルによって支配され、前記方向付けされた形状の軸の向きは、囲まれた前記特徴の座標の近傍の点のサブセットの表面に対する法線によって支配され、前記プロセッサはさらに、
ボリュメトリック補間を用いて各方向付けされた形状内の特徴を補間して、前記八分木表現の前記特徴を更新するよう構成され、
前記デコーダを使用して、前記特徴の更新された前記八分木表現をデコードして、前記距離関数を生成するよう構成され、
前記ニューラルネットワークのパラメータを更新して、前記デコーダによって生成される前記３Ｄシーン内の点から前記オブジェクトまでの距離とグラウンドトゥルース距離との間の誤差の損失関数を最小にするよう構成される、請求項１に記載のＡＩシステム。
【請求項６】
回転対称性を有する前記方向付けされた形状は、円筒および球体のうちの１つ以上を含む、請求項５に記載のＡＩシステム。
【請求項７】
回転対称性を有する前記方向付けされた形状の各々は円筒であり、前記円筒は、１つまたは複数の格子ベースの特徴を囲み、前記円筒の各々の軸が、前記円筒の次元および囲まれた前記特徴の位置によって支配される表面の領域に対する法線に整列するように方向付けされた円筒である、請求項５に記載のＡＩシステム。
【請求項８】
回転対称性を有する前記方向付けされた形状の各々は、１つまたは複数の格子ベースの特徴を囲む円筒であり、前記プロセッサは、前記円筒の次元および囲まれた前記特徴の位置によって支配される表面の領域に対する法線に前記円筒の軸を整列させるように前記円筒を方向付けるよう構成される、請求項７に記載のＡＩシステム。
【請求項９】
前記補間はボリュメトリック補間であり、前記プロセッサは、前記円筒形表現の末端に対する点の近接性を測定する円筒補間係数を求めるよう構成される、請求項７に記載のＡＩシステム。
【請求項１０】
前記円筒補間係数は、（ｉ）前記円筒の頂面に対する前記点の距離と、前記円筒と前記円筒の対称軸に対する前記点の距離との体積における差とから計算される第１の係数と、（ｉｉ）前記円筒の底面に対する前記点の距離と、前記円筒と前記円筒の前記対称軸に対する前記点の距離との体積における差とから計算される第２の係数と、（ｉｉｉ）前記円筒の残りから計算される第３の係数とを含む、請求項９に記載のＡＩシステム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、概して、３次元シーンの陰関数表現を生成するための方法およびシステムを対象とする。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
３次元（３Ｄ）表面を表現するのには、多くの異なる方法がある。陰関数曲面表現では、座標ｘ、ｙ、およびｚを有する点は、Ｆ（ｘ，ｙ，ｚ）＝０である場合に、あるオブジェクトに属し、関数Ｆ(.)はそのオブジェクトを定義する。このタイプの３Ｄ表現は、簡潔で連続性を保証するので有利である。大抵の学習ベースの３Ｄ陰関数表現は、３Ｄ点をエンコードすることから始まり、次いで、それらの特徴を選択された表現にデコードし、F (.)を定義する。
【０００３】
２種類のエンコーダ、すなわち、（１）ここでは位置エンコーダとして示される、各点の３Ｄ座標のみを、より高次元のベクトル空間にマッピングすること、および（２）格子ベースと呼ばれる、それらの近傍についての情報を収集する３Ｄ点、が通常並列に使用される。多層パーセプトロン（ＭＬＰ）は、通常、デコーダのための好適な選択と見なされる。以前の、幾何学的エンコーダを使用する技法は、オブジェクトの基底の幾何学的特性の一部を考慮せず、その空間的局所化のみを利用し、したがって、不満足な３Ｄ表現を形成する。
【発明の概要】
【０００４】
したがって、陰関数曲面表現を生成するときにオブジェクトの基底の幾何学的特徴のすべてを考慮する方法およびシステムに対する、継続的な、まだ対処されていないニーズが存在する。様々な実施形態および実現形態は、ニューラルネットワークをトレーニングすることによって３次元（３Ｄ）オブジェクトを含む３Ｄシーンの陰関数表現を生成するための方法およびシステムを対象とし、当該ネットワークは、当該３Ｄオブジェクトの形状の３Ｄ点群を示すデータを、当該オブジェクトの複数の分解能を捕捉する格子ベースの特徴にエンコードするよう構成されるエンコーダと、当該格子ベースの特徴を、当該３Ｄシーンにおける任意の点から当該オブジェクトまでの距離にデコードするよう構成されるデコーダとを含む。
【０００５】
ある態様によれば、人工知能（ＡＩ）システムが提供される。本ＡＩシステムは、ニューラルネットワークをトレーニングすることによって３次元（３Ｄ）オブジェクトを含む３Ｄシーンの陰関数表現を生成し、当該ニューラルネットワークは、当該オブジェクトの形状の３Ｄ点群を示すデータを、当該オブジェクトの複数の分解能を捕捉する格子ベースの特徴にエンコードするよう構成されるエンコーダと、当該格子ベースの特徴を、当該３Ｄシーンにおける任意の点から当該オブジェクトまでの距離にデコードするよう構成されるデコーダとを含み、当該ＡＩシステムは、少なくとも１つのプロセッサと、命令を格納したメモリとを備え、当該命令は、当該ＡＩシステムの当該少なくとも１つのプロセッサに、（ｉ）３Ｄオブジェクトを含む３Ｄシーンの有向点群を示す入力データを受信させ、当該入力データは、当該３Ｄ点群の点の３Ｄ位置と、当該点の当該３Ｄ位置に近接する位置における当該３Ｄオブジェクトの表面に対する法線を定義する当該点の向きとを示し、当該命令は、さらに、当該ＡＩシステムの当該少なくとも１つのプロセッサに、（ｉｉ）当該３Ｄオブジェクトの陰関数表現を生成するために、当該点の当該位置および当該点の当該向きの両方を使用して当該エンコーダおよび当該デコーダをトレーニングさせ、（ｉｉｉ）当該エンコーダおよび当該デコーダを含む当該３Ｄオブジェクトの当該陰関数表現を、有線または無線通信チャネルを介して送信させる。
【０００６】
この入力データは、３Ｄオブジェクトを含む３Ｄシーンの有向点群を示し、いくつかの方法で取得することができる。ある実施形態によれば、それは、点群を出力するＲＧＢ－Ｄセンサから取得される。３Ｄ点の向きは、いくつかの方法で取得することができ、例えば、近傍の点を平面によって局所的に近似することによって、またはニューラルネットワークを使用して、取得することができる。同じ種類の３Ｄ点群は、他の可能性の中でもとりわけ、ピクセル当たりの深度を予測するニューラルネットワークを有するステレオカメラまたは単眼カメラなどの他のタイプのセンサから得ることができる。
【０００７】
入力データを取得する別の方法は、拡張現実／仮想現実に関連する。この実施形態によれば、オブジェクトを定義する三角メッシュがあり、３Ｄ点群は三角メッシュの角部から直接得ることができる。それぞれの３Ｄ点の向きは、それぞれの３Ｄ点近傍三角形の法線の平均によって与えられる。
【０００８】
一実施形態によれば、当該エンコーダは、当該３Ｄ点群の当該点の位置および当該点の当該向きのうちの１つまたは組合せを、当該オブジェクトの複数の分解能を捕捉する当該格子ベースの特徴に変換するようトレーニングされ、当該デコーダは、当該デコーダによって生成される当該３Ｄシーン内の点から当該オブジェクトまでの距離とグラウンドトゥルース距離との間の誤差の損失関数を低減するよう、当該格子ベースの特徴の補間上でトレーニングされる。
【０００９】
ある実施形態によれば、当該エンコーダは、当該３Ｄ点群の当該点の位置を当該格子ベースの特徴に変換するようトレーニングされ、当該デコーダは、ネスト化された形状のセット内での当該補間上においてトレーニングされ、当該ネスト化された形状のセットは、当該格子ベースの特徴を囲み、対応するネスト化された形状の付近の当該点の当該向きに基づいて方向付けされる。
【００１０】
ある実施形態によれば、当該エンコーダは、当該点の当該位置を、当該オブジェクトの複数の分解能を捕捉する当該格子ベースの特徴としてエンコードするようトレーニングされ、当該デコーダは、ネスト化された形状のセット内で補間によって表される方向付けされた特徴に基づいてトレーニングされ、当該ネスト化された形状のセットは、当該格子ベースの特徴を囲み、対応するネスト化された形状の付近の当該点の当該向きに基づいて方向付けされる。
（【００１１】以降は省略されています）

関連特許