特許ウォッチ

公開番号2024121937
公報種別公開特許公報(A)
公開日2024-09-09
出願番号2023029188
出願日2023-02-28
発明の名称ノイズ除去装置及びプログラム
出願人KDDI株式会社
代理人個人,個人
主分類G06T 17/00 20060101AFI20240902BHJP(計算;計数)
要約【課題】過平滑化を抑制して適切に3次元モデルからノイズ除去を行うノイズ除去装置を提供する。
【解決手段】少なくとも各点の座標の情報を含む3次元モデルのノイズ除去を行うノイズ除去装置であって、前記3次元モデルの各点の法線を算出する第1処理11と、前記各点について、その周辺点の法線より前記3次元モデルの局所形状特徴量を算出する第2処理12と、前記各点の局所形状特徴量より各点の法線を最適化することで最適化法線を得る第3処理13と、前記各点の最適化法線より各点の座標を最適化したものとして、前記3次元モデルに対するノイズ除去の結果を得る第4処理14と、を実行する。
【選択図】図1
特許請求の範囲【請求項１】
少なくとも各点の座標の情報を含む３次元モデルのノイズ除去を行うノイズ除去装置であって、
前記３次元モデルの各点の法線を算出する第１処理と、
前記各点について、その周辺点の法線より前記３次元モデルの局所形状特徴量を算出する第２処理と、
前記各点の局所形状特徴量より各点の法線を最適化することで最適化法線を得る第３処理と、
前記各点の最適化法線より各点の座標を最適化したものとして、前記３次元モデルに対するノイズ除去の結果を得る第４処理と、を実行することを特徴とするノイズ除去装置。
続きを表示（約 1,400 文字）【請求項２】
前記各点の局所形状特徴量より、前記３次元モデルにおける各点の局所近傍領域の形状を、平面に該当するか否かの判定結果を少なくとも含むものとして分類する第５処理をさらに実行し、
前記第３処理では、前記分類された結果を用いて、平面に該当する点の法線は等方的に均一化することで最適化し、平面には該当しない点の法線は非等方的に均一化することで最適化することを特徴とする請求項１に記載のノイズ除去装置。
【請求項３】
前記第２処理では、局所形状において接する円の情報を含むものとして、前記局所形状特徴量を算出し、
前記第３処理では、前記最適化法線を得るために法線に加える変動成分として、前記接する円の接線方法の成分が含まれることを許容する度合いを、当該接線方向の垂直成分が含まれることを許容する度合いよりも大きくすることで、前記平面には該当しない点の法線を非等方的に均一化することを特徴とする請求項２に記載のノイズ除去装置。
【請求項４】
前記第２処理では、各点及びその近傍点の法線ベクトルを列挙したテンソルから固有値及び固有ベクトルを算出して、当該固有値及び固有ベクトルを各点の局所形状特徴量とすることを特徴とする請求項１に記載のノイズ除去装置。
【請求項５】
前記第２処理では、各点及びその近傍点の法線ベクトルを列挙したテンソルから固有値及び固有ベクトルを算出して、当該固有値及び固有ベクトルを各点の局所形状特徴量とし、
前記第５処理では、前記固有値に対する閾値判定を用いて前記分類することを特徴とする請求項２に記載のノイズ除去装置。
【請求項６】
前記第３処理では、各点及びその近傍点の法線ベクトルを列挙した行列の核ノルムを最小化することに基づいて前記最適化することを特徴とする請求項１に記載のノイズ除去装置。
【請求項７】
前記第４処理では、各点及びその近傍点について、対応する最適化法線ベクトルの方向と、各点とその近傍点とを結ぶベクトルの方向と、の違いが垂直に近いほど値が小さくなる第３コストを少なくとも含むコストを用いて、当該コストを最小化するようにすることで前記最適化することを特徴とする請求項１に記載のノイズ除去装置。
【請求項８】
前記第４処理では、各点とその近傍点との距離が大きくなるほど値が大きくなる第２コストを少なくとも含むコストを用いて、当該コストを最小化するようにすることで前記最適化することを特徴とする請求項１に記載のノイズ除去装置。
【請求項９】
前記３次元モデルにおける各点及びその近傍点の関係をグラフ化し、グラフのエッジに重みを付与する第６処理をさらに実行し、
前記第４処理では、前記グラフの重みも用いて前記第２コストを算出することを特徴とする請求項８に記載のノイズ除去装置。
【請求項１０】
前記第６処理では、前記グラフのエッジの重みに予め所与の値を付したうえで、前記局所形状特徴に基づいて各エッジの近傍の局所形状が平面から乖離している度合いがより大きいと推定されるほど、当該エッジの重みを前記所与の値からより小さいものへと更新することを特徴とする請求項９に記載のノイズ除去装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、３次元モデルのノイズ除去装置及びプログラムに関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
コンピュータグラフィクスや自動運転などに用いられる3次元（3D）空間の形状情報は、点やメッシュの集合である3Dモデル（以下、特に点やメッシュを区別しない場合は単に「3Dモデル」と表記）として記録される。これら3Dモデルは、カメラ画像や深度センサ、Lidar（ライダー：光検出と測距）といったセンサ情報から生成されるが、その記録過程においてノイズが含まれるため、得られた3Dモデルデータは被写体の真の3D形状情報をよく表現できないことが想定される。この課題を解決するために、3Dモデルの形状情報のノイズを除去する様々な技術が提案されている。特に、非特許公報１では、「ノイズがない真の被写体の表面に比べて、ノイズを含む3Dモデル（以下、「ノイズ付き3Dモデル」と表記）の表面は細かな凹凸があるため、局所的な法線ベクトルが滑らかでない」という仮定に基づいたノイズ除去手法を提案している。具体的には、ノイズ付き3Dモデルの近傍頂点間を辺で結んだグラフ構造と、頂点ごとに算出される法線ベクトルに着目し、辺で接続される頂点間の局所的な法線ベクトルの類似度を高めるように、法線ベクトルを滑らかにすることでノイズ除去を実現している。また、当該更新では、当該グラフのエッジで接続されている頂点間の座標値の類似度を高める（変動を抑える）といった他の制約を設けた最適化を同時に行うことによって、法線ベクトルの滑らかさと頂点座標値の滑らかさの両立を可能としている。
【先行技術文献】
【非特許文献】
【０００３】
Chinthaka Dinesh, Gene Cheung, and Ivan V. Baji´c, "Pointcloud denoising via feature graph laplacian regularization," IEEE Transactions on Image Processing, vol. 29, pp. 4143―4158, 2020.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術のノイズ除去では平滑化を一律的に用いているために、本来の形状が平面的ではない箇所（曲面的な箇所や尖っている箇所など）にまでも一律的な平滑化を適用することで、ノイズ除去と同時に本来の形状が損なわれた結果が得られてしまう場合があった。
【０００５】
すなわち、前述の通り非特許文献１に記載の従来技術は、グラフ構造に基づく2点間の法線ベクトルや座標の類似度を高めるように設計されている。これは処理対象となる3Dモデル表面を局所的にみると、点が平面上に分布していると仮定していることに他ならない。一方で、実際の3Dモデルを考慮すると、局所的に見た場合においても、平面的な点の分布で近似することが難しい形状をもつ場合がある。例えば、ノイズを含みながらも緩やかに湾曲する曲面に対して非特許文献１の処理を適用してしまうと、表面に分布する頂点の法線の類似度を過剰に高め、平面に近い形に修正することで3Dモデルの形状情報を過平滑化してしまい、結果として形状を損ねてしまうことが起こる。これは、「従来技術は、3Dモデルの表面形状に対する平滑化作用の強度をエッジで接続された2点間の特徴量のみに基づき、等方的に平面となるように処理をしている」ことに起因する。
【０００６】
上記従来技術の課題に鑑み、本発明は、ノイズ付き3Dデータに対して適切な形でノイズ除去を行うことができるノイズ除去装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を達成するため、本発明は、少なくとも各点の座標の情報を含む３次元モデルのノイズ除去を行うノイズ除去装置であって、前記３次元モデルの各点の法線を算出する第１処理と、前記各点について、その周辺点の法線より前記３次元モデルの局所形状特徴量を算出する第２処理と、前記各点の局所形状特徴量より各点の法線を最適化することで最適化法線を得る第３処理と、前記各点の最適化法線より各点の座標を最適化したものとして、前記３次元モデルに対するノイズ除去の結果を得る第４処理と、を実行することを特徴とする。また、当該装置に対応するプログラムであることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、局所形状特徴に基づいて法線を予め最適化したうえで、対応する座標を最適化してノイズ除去結果を得るので、局所形状特徴を考慮しない従来技術の場合における過平滑化を抑制したノイズ除去結果を得ることが可能となる。
【図面の簡単な説明】
【０００９】
一実施形態に係るノイズ除去装置の機能ブロック図である。
本実施形態の適用例を示す図である。
曲面上の点の法線についての非等方的な均一化による最適化の例を示す図である。
グラフ重み最適化部での処理内容の説明例を示す図である。
一般的なコンピュータにおけるハードウェア構成を示す図である。
【発明を実施するための形態】
【００１０】
図１は、一実施形態に係るノイズ除去装置10の機能ブロック図である。ノイズ除去装置10は、法線ベクトル算出部11、局所形状特徴量算出部12、法線ベクトル最適化部13、頂点座標最適化部14、局所形状分類部21及びグラフ重み最適化部22を備え、その全体的な動作として、ノイズ付き3Dモデルを法線ベクトル算出部11において入力として読み込み、これに対してノイズ除去を適用した結果であるノイズ除去された3Dモデルを出力する。当該入出力されるいずれの3Dモデルも、何らかの物体等の3D形状（3D表面形状）を意味するものとして、少なくとも、当該表面上の各点p
i
(i=1,2,…,N;Nは点の総数)とその3D座標の情報を含む。
（【００１１】以降は省略されています）

関連特許