特許ウォッチ

公開番号2025156045
公報種別公開特許公報(A)
公開日2025-10-14
出願番号2025044368
出願日2025-03-19
発明の名称ポイントクラウド分類
出願人富士通株式会社
代理人弁理士法人ITOH
主分類G06T 7/00 20170101AFI20251002BHJP(計算;計数)
要約【課題】ポイントクラウド分類を実行するコンピュータ実装された方法を提供する。
【解決手段】当該方法は、分類のためのポイントクラウドを選択し、選択されたポイントクラウドの複数の部分に関連付けられた、選択されたポイントクラウドの複数のサブセットを取得し、該複数のサブセットのグラフ構造表現を取得し、該グラフ構造表現は、各サブセットに関連付けられたノードと、該ノードを接続する1つ以上のエッジとを有し、グラフ構造表現をグラフエンコーダ畳み込みニューラルネットワークに入力することを有して、複数のサブセット間の構造関係をカプセル化するグラフ構造埋め込みを取得し、グラフ構造埋め込みからポイントクラウド表現を導出し、該ポイントクラウド表現を分類ニューラルネットワークに入力して、選択されたポイントクラウドの分類を取得することを有して、該ポイントクラウド表現を分類する、ことを有する。
【選択図】図6

特許請求の範囲【請求項１】
ポイントクラウド分類を実行するコンピュータ実装された方法であって、
分類のためのポイントクラウドを選択し、
前記選択されたポイントクラウドの複数の部分に関連付けられた前記選択されたポイントクラウドの複数のサブセットを取得し、
前記複数のサブセットのグラフ構造表現を取得し、当該グラフ構造表現は、各サブセットに関連付けられたノードと、該ノードを接続する１つ以上のエッジとを有し、
前記グラフ構造表現をグラフエンコーダ畳み込みニューラルネットワークに入力することを有して、前記複数のサブセット間の構造関係をカプセル化するグラフ構造埋め込みを取得し、
前記グラフ構造埋め込みからポイントクラウド表現を導出し、
前記ポイントクラウド表現を分類エンコーダニューラルネットワークに入力して、前記選択されたポイントクラウドの分類を取得することを有して、前記ポイントクラウド表現を分類する、
ことを有するコンピュータ実装された方法。
続きを表示（約 2,300 文字）【請求項２】
前記選択されたポイントクラウドを事前訓練された特徴エンコーダニューラルネットワークに入力することを有して、前記選択されたポイントクラウドの特徴埋め込みを取得する、ことを更に有する請求項１に記載のコンピュータ実装された方法。
【請求項３】
前記グラフ構造埋め込みからポイントクラウド表現を導出することは更に、前記グラフ構造埋め込みと前記特徴埋め込みとを連結して前記ポイントクラウド表現を作成することを有する、請求項２に記載のコンピュータ実装された方法。
【請求項４】
前記事前訓練された特徴エンコーダニューラルネットワークは形状エンコーダであり、前記特徴埋め込みは形状埋め込みである、請求項２又は３に記載のコンピュータ実装された方法。
【請求項５】
前記選択されたポイントクラウドの複数の部分に関連付けられた前記選択されたポイントクラウドの前記複数のサブセットを取得することは更に、前記選択されたポイントクラウドを教師なし部分分解モジュールに入力することを有し、前記教師な部分分解モジュールは、前記選択されたポイントクラウドの、前記複数のサブセットへの、教師なしセグメンテーションを実行する、請求項１に記載のコンピュータ実装された方法。
【請求項６】
前記複数のサブセットのグラフ構造表現を取得することは更に、複数の幾何学的に意味のある部品を、部分特徴エンコーダとグラフ作成モジュールとを有するグラフ構造誘導モジュールに入力することを有し、
前記部分特徴エンコーダは、部分特徴エンコーダニューラルネットワークであり、前記複数の部分に関連付けられた前記複数のサブセットのノード表現埋め込みとして前記ノードを生成し、
前記グラフ作成モジュールは、前記複数の部分に関連付けられた前記複数のサブセットのエッジ表現埋め込みとして前記エッジを生成する、
請求項１に記載のコンピュータ実装された方法。
【請求項７】
前記ポイントクラウド分類を実行することは、ポイントクラウド分類モデルのための訓練プロセスの一部であり、前記訓練プロセスは,
前記分類のためのポイントクラウドを選択することが、ソースドメインからの複数のポイントクラウドを有する訓練データから、既知の分類を持つポイントクラウドを選択することを有し、
前記ポイントクラウド表現を分類するステップにおいて、前記分類が、前記選択されたポイントクラウドの予測された分類である、
ことを有し、
前記予測された分類を、前記選択されたポイントクラウドの前記既知の分類と比較し、
前記比較に基づいて、前記グラフエンコーダ畳み込みニューラルネットワーク及び前記分類エンコーダニューラルネットワークのうちの一方の少なくとも１つのネットワーク重みを調整する、
ことを更に有する、請求項１に記載のコンピュータ実装された方法。
【請求項８】
前記予測された分類を前記既知の分類と比較するステップは、分類損失が最小であるかを判定することを有する、請求項７に記載のコンピュータ実装された方法。
【請求項９】
コンピュータ上で実行されるときに、前記コンピュータに、ポイントクラウド分類のプロセスを有する方法を実行させるコンピュータプログラムであって、前記プロセスは、
分類のためのポイントクラウドを選択し、
前記選択されたポイントクラウドの複数の部分に関連付けられた前記選択されたポイントクラウドの複数のサブセットを取得し、
前記複数のサブセットのグラフ構造表現を取得し、当該グラフ構造表現は、各サブセットに関連付けられたノードと、該ノードを接続する１つ以上のエッジとを有し、
前記グラフ構造表現をグラフエンコーダ畳み込みニューラルネットワークに入力することを有して、前記複数のサブセット間の構造関係をカプセル化するグラフ構造埋め込みを取得し、
前記グラフ構造埋め込みからポイントクラウド表現を導出し、
前記ポイントクラウド表現を分類エンコーダニューラルネットワークに入力して、前記選択されたポイントクラウドの分類を取得することを有して、前記ポイントクラウド表現を分類する、
ことを有する、コンピュータプログラム。
【請求項１０】
メモリと該メモリに接続されたプロセッサとを有する情報処理装置であって、前記プロセッサは、ポイントクラウド分類を有するプロセスを実行するように構成され、前記プロセスは、
分類のためのポイントクラウドを選択し、
前記選択されたポイントクラウドの複数の部分に関連付けられた前記選択されたポイントクラウドの複数のサブセットを取得し、
前記複数のサブセットのグラフ構造表現を取得し、当該グラフ構造表現は、各サブセットに関連付けられたノードと、該ノードを接続する１つ以上のエッジとを有し、
前記グラフ構造表現をグラフエンコーダ畳み込みニューラルネットワークに入力することを有して、前記複数のサブセット間の構造関係をカプセル化するグラフ構造埋め込みを取得し、
前記グラフ構造埋め込みからポイントクラウド表現を導出し、
前記ポイントクラウド表現を分類エンコーダニューラルネットワークに入力して、前記選択されたポイントクラウドの分類を取得することを有して、前記ポイントクラウド表現を分類する、
ことを有する、情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ポイントクラウド分類器を訓練及び使用することに関し、特に、コンピュータ実装された方法、コンピュータプログラム、及び情報プログラミング装置に関する。
続きを表示（約 3,600 文字）【背景技術】
【０００２】
シーンのコンテンツに意味のあるラベルを自動的に割り当てる３次元（３Ｄ）シーン解析は、ますます重要になっている技術であり、写真測量、遠隔センシング、コンピュータビジョン、及びロボット工学にわたる広い応用性を有する。３Ｄポイントクラウドデータの利用可能性の増加により、当該分野では、特に例えば自律運転、拡張現実、医療撮像、及び地理情報システムなどの用途のために、３Ｄポイントクラウドを正確に分類できることが重要になっている。
【０００３】
当該分野における中核的な問題は、ポイントクラウド分類モデルは、特定のラベル付けされたソースドメインデータセットにて訓練されるが、使用時には、多数の、見たことのない、ラベル付けされていないターゲットドメインにて特徴を分類することを要求されることである。実際には、典型的に、訓練のためのソースドメインは、大量のラベル付けされた、傷のない（きれいな）例を有するデータセットであり、一方で、ターゲットドメインは、少ない数のラベル付けされた例のみ有するか、ラベル付けされた例を全く有しないかのいずれかである、見たことのないデータセットであり、ノイズの多いデータポイントを含むのが通常である。例えば、ターゲットデータセットは、異なる又は一貫性のないデータ取得プロセスを含み得る。従って、特徴を正確に分類するために、分類モデルは、他のラベル付けされたドメイン上で訓練されただけであるにもかかわらず、新しい見たことのないラベル付けされていないドメインで特徴を正確に分類することを可能にする、あるレベルのドメイン一般化を有しなければならない。例えば、自律運転の特定の例では、車両の周囲の環境を表すために３Ｄポイントクラウドが使用される。ここで、例えば特定の都市のデータセットなどの１つのドメイン上で訓練された分類モデルが、環境の多様さに起因して、例えば異なる都市などの異なるドメインにおける特徴を正確に分類することの困難さに直面することがある。
【０００４】
ポイントクラウド分類モデルの精度を向上させる重要な側面は、３Ｄドメイン一般化のレベルを向上させることに関する。本質的に、当該アプローチは、ソースドメインにおけるデータの一般化可能な特徴を識別して学習することを通じて分類モデルの性能を改善する機械学習技術であり、その結果、ターゲットドメインにおいて、それら一般化可能な特徴がいっそう良好に識別され得るようになる。具体的には、これは、それら一般化可能な特徴が、ソースドメインと共通のラベル空間を共有する見たことのないラベル付けされていないターゲットドメインにおいて、より正確且つ容易に識別されることができるように、ソースドメインのラベル付けされた特徴データにおける様々な表現及び関係を識別して学習することを含み得る。それら一般化された特徴の識別の改善は、ターゲットドメインにおける特徴の分類精度の改善に直接つながる。
【０００５】
ポイントクラウド分類の精度を改善することが望まれる。
【発明の概要】
【０００６】
第１の態様によれば、ポイントクラウド分類を実行するコンピュータ実装された方法がここに開示され、当該方法は、
分類のためのポイントクラウドを選択し、
前記選択されたポイントクラウドの複数の部分に関連付けられた前記選択されたポイントクラウドの複数のサブセットを取得し、
前記複数のサブセットのグラフ構造表現を取得し、当該グラフ構造表現は、各サブセットに関連付けられたノードと、該ノードを接続する１つ以上のエッジとを有し、
前記グラフ構造表現をグラフエンコーダ畳み込みニューラルネットワークに入力することを有して、前記複数のサブセット間の構造関係をカプセル化するグラフ構造埋め込みを取得し、
前記グラフ構造埋め込みからポイントクラウド表現を導出し、
前記ポイントクラウド表現を分類エンコーダニューラルネットワークに入力して、前記選択されたポイントクラウドの分類を取得することを有して、前記ポイントクラウド表現を分類する、
ことを有する。
【０００７】
本発明は、特定の実施形態に関して記述される。他の実施形態も以下の請求項の範囲内にある。例えば、本発明のステップは、異なる順序で実行されてもよく、なおも所望の結果を達成し得る。
【０００８】
当業者が理解することには、相互に排他的である場合を除いて、上記態様のうちのいずれかの態様に関して説明された特徴は、必要な変更を加えて任意の他の態様にも適用され得る。また、相互に排他的である場合を除いて、ここに説明される特徴は、任意の態様に適用されることができ、及び／又はここに説明される任意の他の特徴と組み合わされることができる。
【図面の簡単な説明】
【０００９】
以下、例として添付の図面を参照する。
比較となる方法を示す図である。
比較となる方法を示す図である。
比較となる方法を示す図である。
比較となる方法を示す図である。
プロセスを示す図である。
方法を示す図である。
プロセスを示す図である。
プロセスを示す図である。
プロセスを示す図である。
訓練プロセスを示す図である。
方法を示す図である。
実施形態を理解するのに有用な図である。
結果の表である。
結果の表である。
装置を示す図である。
【発明を実施するための形態】
【００１０】
図１は、第１の比較となる方法（比較方法１）を示す図である。比較方法１は、ＭｅｔａＳｅｔｓ（Ｈｕａｎｇ）として参照され得る（Huang et al.，2022，‘MetaSets：Meta-Learning on Point Sets for Generalizable Representations’）。比較方法１は、ポイントクラウドを分類するための方法であり、異なるポイントセット間をうまく移動できる一般化可能な表現を学習することを狙いとする。特に、これは、３Ｄドメイン一般化（3D domain generalization，３ＤＤＧ）に関係し、３ＤＤＧは、一般化された特徴を学習することによって、１つ以上の異なるラベル付けされていない見たことのない（１つ以上の）３Ｄポイントクラウドターゲットドメイン上で分類を行うときに、ラベル付けされた３Ｄポイントクラウドソースドメイン上で訓練されたモデルの性能を改善することを狙いとする機械学習技術である。３ＤＤＧは、合成データを使用して訓練されたモデルを、自律運転や先進運転支援システム（ＡＤＡＳ）などのような用途における様々な現実世界シナリオに転移すること（ｓｉｍ－ｔｏ－ｒｅａｌ）の助けとなる。ポイントクラウド上でこの形態の教師なしドメイン一般化を達成することを試みるために、比較方法１は、特定のソースドメインにおけるポイントセットを、各々が異なるジオメトリ事前分布を持つ幾つかの異なるデータ変換／拡張にかけ、そして、特定のジオメトリ事前分布を含む慎重に設計された異なる変換されたポイントセットのこのグループに対して行われる分類タスクからポイントクラウド表現をメタ学習することを試みる。図１は、メタ学習アプローチのフレームワークを示しており、入力として使用される異なるデータ変換／拡大の例が、ランダムドロッピング、不均一密度、パースペクティブ、プロジェクションなどであるフレームワークにおける特定のメタタスクを含んでいる。各々が異なるジオメトリ事前分布を持つ多数の異なるデータ変換／拡大を実行することにより、比較方法１は、見たことのないターゲットドメインからのものと同様のジオメトリ事前分布を含む可能性がより高く持った、より大きいジオメトリ事前分布のセットを誘導することができるＭｅｔａＳｅｔを提供することを狙いとする。従って、斯くして、これは、改善されたドメイン一般化が可能な分類方法を提供することを狙っている。しかしながら、このアプローチの欠点は、ケースごとに、処理のために完全なポイントクラウドを単一のモノリシックなエンティティとして取り、そうする際に、オブジェクト内に固有の入り組んだ複雑性及びニュアンスを無視し、ドメインに関係なく持続するオブジェクトの固有の幾何学的構造を無視することである。故に、比較方法１の分類精度を改善することが望ましい。
（【００１１】以降は省略されています）

関連特許