特許ウォッチ

公開番号2025084676
公報種別公開特許公報(A)
公開日2025-06-03
出願番号2024140646
出願日2024-08-22
発明の名称3Dモデリングに用いるコンピュータプログラム製品およびその移動体除去方法
出願人台達電子工業股ふん有限公司,DELTA ELECTRONICS,INC.
代理人弁理士法人コスモス国際特許商標事務所
主分類G06T 17/00 20060101AFI20250527BHJP(計算;計数)
要約【課題】 3Dモデリングに用いるコンピュータプログラム製品およびその移動体除去方法を提供する。
【解決手段】特徴点検出プロセスにより、元画像シーケンス内の各元画像内の複数の特徴点を検出するステップ、領域分割プロセスにより、各元画像を複数の領域に分割するステップ、各元画像の前記領域からターゲット領域(target region)および1つ以上の非ターゲット領域を決定するステップ、前記元画像シーケンス内の連続する2つのフレームの元画像における前記これらの特徴点に基づいて、特徴点マッチングプロセスにより、前記連続する2つのフレームの元画像の各非ターゲット領域が移動領域であるかどうかを判定するステップ、および各元画像の前記非ターゲット領域内の前記移動領域と判定された領域を特徴のない領域に置き換えることにより、一連の静止画像を得るステップを含む3Dモデリングに用いる移動体除去方法。
【選択図】図3
特許請求の範囲【請求項１】
３Ｄモデリングに用いる移動体除去方法であって、
特徴点検出プロセスにより、元画像シーケンスにおける元画像のそれぞれについて、複数の特徴点を検出するステップと、
領域分割プロセスにより、前記元画像のそれぞれを複数の領域に分割するステップと、
前記元画像のそれぞれにおける前記複数の領域からターゲット領域（ｔａｒｇｅｔｒｅｇｉｏｎ）および１つ以上の非ターゲット領域を特定するステップと、
前記元画像シーケンスの連続する２つのフレームの元画像における前記複数の特徴点に基づいて、特徴点マッチングプロセスにより、前記連続する２つのフレームの元画像の前記非ターゲット領域のそれぞれが移動領域であるかどうかを判定するステップと、
前記元画像のそれぞれの前記非ターゲット領域における前記移動領域と判定された領域を特徴なし領域に置き換えることにより、静止画像シーケンスを得るステップとを含む
移動体除去方法。
続きを表示（約 1,800 文字）【請求項２】
前記元画像シーケンスの連続する２つのフレームの元画像における前記複数の特徴点に基づいて、前記特徴点マッチングプロセスにより、前記連続する２つのフレームの元画像の前記非ターゲット領域のそれぞれが前記移動領域であるかどうかを判定するステップは、
前記連続する２つのフレームの元画像における前記複数の特徴点に基づいて、前記特徴点マッチングプロセスにより、前記特徴点に関する複数のマッチングペア（ｍａｔｃｈｐａｉｒ）を得るステップと、
前記連続する２つのフレームの元画像における前記ターゲット領域内の前記複数のマッチングペアに基づいて、変換行列（ｔｒａｎｓｆｏｒｍａｔｉｏｎｍａｔｒｉｘ）を推定するステップと、
前記連続する２つのフレームの元画像の非ターゲット領域のそれぞれについて、前記非ターゲット領域内の前記複数のマッチングペアおよび前記変換行列に基づいて、平均投影誤差を計算するステップと、
前記連続する２つのフレームの元画像の非ターゲット領域のそれぞれについて、前記平均投影誤差を閾値と比較することにより、前記非ターゲット領域のそれぞれが前記移動領域であるかどうかを判定するステップと、
を含む、
請求項１に記載の移動体除去方法。
【請求項３】
前記変換行列を推定するステップの前に、前記連続する２つのフレームの元画像における前記ターゲット領域内の前記複数のマッチングペアの数に基づいて、前記連続する２つのフレームの元画像における前記ターゲット領域のホモグラフィ（ｈｏｍｏｇｒａｐｈｙ）関係を検査するステップと、
をさらに含む、
請求項２に記載の移動体除去方法。
【請求項４】
前記連続する２つのフレームの元画像の非ターゲット領域のそれぞれについて、前記非ターゲット領域内の前記複数のマッチングペアおよび前記変換行列に基づいて、前記平均投影誤差を計算するステップは、
前記非ターゲット領域内のマッチングペアのそれぞれについて、前記変換行列を用いて前記マッチングペアにおける第１特徴点を投影点に投影し、前記投影点と前記マッチングペアにおける第２特徴点との間のユークリッド距離（Ｅｕｃｌｉｄｅａｎｄｉｓｔａｎｃｅ）を計算するステップと、
前記マッチングペアの前記ユークリッド距離の平均を前記平均投影誤差とするステップと、
を含む、
請求項２に記載の移動体除去方法。
【請求項５】
前記平均投影誤差を前記閾値と比較するステップの前に、
前記連続する２つのフレームの元画像の前記ターゲット領域の前記マッチングペアおよび前記変換行列に基づいて、前記ターゲット領域の前記平均投影誤差、および前記ターゲット領域に対応する標準偏差（ｓｔａｎｄａｒｄｄｅｖｉａｔｉｏｎ）を計算するステップと、
前記連続する２つのフレームの元画像の前記ターゲット領域の前記平均投影誤差および前記標準偏差に基づいて前記閾値を決定するステップと、
をさらに含む、
請求項２に記載の移動体除去方法。
【請求項６】
前記特徴点のそれぞれは、特徴記述子（ｆｅａｔｕｒｅｄｅｓｃｒｉｐｔｏｒ）を有する、
請求項１に記載の移動体除去方法。
【請求項７】
前記特徴点マッチングプロセスは、前記連続する２つのフレームの元画像内の前記特徴記述子を比較して、前記特徴点に関する複数のマッチングペアを得るステップを含む、
請求項６に記載の移動体除去方法。
【請求項８】
前記特徴点検出プロセスは、スケール不変特徴変換（ＳＩＦＴ）アルゴリズムを用いるステップを含む、
請求項６に記載の移動体除去方法。
【請求項９】
前記領域分割プロセスは、ビジョントランスフォーマーアダプター（ＶｉＴ－Ａｄａｐｔｅｒ）を用いるステップを含む、
請求項１に記載の移動体除去方法。
【請求項１０】
前記特徴点マッチングプロセスは、ブルートフォースマッチャー（ＢＦＭａｔｃｈｅｒ）を用いるステップを含む、
請求項１に記載の移動体除去方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、３Ｄモデリング技術に関するものであり、特に、３Ｄモデリングに用いるコンピュータプログラム製品およびその移動体除去方法に関するものである。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
無人航空機（ＵＡＶ）は、地形的な制約を克服して任務を遂行する能力を備えており、プロの人材が任務を遂行するのを補助し、効率を効果的に向上させることもできるため、近年市場全体が活況を呈している。建設／エンジニアリング／鉱業、エネルギー／運輸／公共施設、および精密農業などの分野で急速に発展していることが知られており、特に、無人航空機を用いて地形、風景、建物の３Ｄモデリングを行うことは、近年の主流のアプリケーションの１つとなっている。
【０００３】
従来の無人航空機の３Ｄモデリングは、高解像度カメラを搭載した無人航空機を用いて、測定される静止体、或いは景色に対して異なる位置で異なる角度の連続撮影を行い、各画像上の特徴点を用いて無人航空機の３Ｄ座標を推定し、次いで測定される３Ｄ座標を逆推定し、３Ｄモデルを作成する。
【０００４】
図１は無人航空機を用いた３Ｄモデリング撮影の概略図である。図１に示すように、無人航空機は、空中の第１の位置１００から飛行経路１０２に沿って第２の位置１０４まで飛行し、次いで飛行経路１０６に沿って第３の位置１０８まで飛行する。これらの３つの位置でターゲット体１１０に撮影を行い、モデリングに用いる第１の画像１２０、第２の画像１３０、および第３の画像１４０がそれぞれ得られる。ターゲット体１１０上の特徴点Ａ１１２および特徴点Ｂ１１４は、複数の光線１１６によって、第１の画像１２０のａ
１
点１２２およびｂ
１
点１２４、第２の画像１３０のａ
２
点１３２およびｂ
２
点１３４、第３の画像１４０のａ
３
点１４２およびｂ
３
点１４４にそれぞれ投影される。次いで、各画像の特徴的な類似度を計算し、多視点角度の光線を３Ｄ空間に逆投影することにより、特徴点Ａ１１２および特徴点Ｂ１１４の３Ｄ座標を推定することができ、３Ｄ点群の型式で表すことができる。
【０００５】
上述の３Ｄ座標の計算は、異なる角度で撮影された画像の共役点の投影が３Ｄ空間内の同一点で交差するという原理に基づいている。しかしながら、上述の撮影プロセスは一定時間持続する必要があるため（長さ３０メートルの橋梁を例にすると、約１０分の撮影が必要である）、撮影中に移動体（例えば、電車または高速鉄道）が通過した場合、異なるフレーム画像におけるこれらの移動体の光線投影は正確な位置で交差することができず、構築された３Ｄモデル内にノイズが含まれることになる。
【０００６】
図２は、３Ｄモデリングのノイズの原因を示している。図２に示すように、無人航空機は、飛行経路２０２に沿って空中のある位置２００から別の位置２０４まで飛行し、これら２つの位置で同一の物体に撮影を行い、モデリング用の第１の画像２１４と第２の画像２２４をそれぞれ取得する。この期間中、物体はＡ点２１０からＡ’点２２０まで移動する。無人航空機が移動する前に、Ａ点２１０は、光線２１２を介して第１の画像２１４上のａ点２１６に投影される。無人航空機が移動した前に、Ａ’点２２０は、光線２２２を介して第２の画像２２４上のａ’点２２６に投影される。上述の３Ｄモデリング原理に基づいて、ａ点２１６とａ’点２２６の画像特性は類似しているため、これらを３Ｄ空間に逆投影すると、Ａ＊点２３０で交差することになる。しかしながら、Ａ＊点２３０の位置はＡ点２１０でもＡ’点２２０でもないため、ノイズが発生する。
【０００７】
実際には、無人航空機の撮影では撮影シーンへの物体の出入りを制限することができないため、最終的な３Ｄモデルの精度を確保するには、３Ｄモデリング後に手動で１つずつノイズを除去する必要があるが、この除去プロセスは面倒で時間がかかる。現在、モデリング後に３Ｄモデルに対してノイズ除去処理を行う方法があるが、これは初期の３Ｄモデリングで得られた投影関係に依存しているため、ある状況においてはこのような方法は失敗する。例えば、入力画像に特殊な外観（サイズが大きすぎるなど）の移動体を有する場合、初期モデリングエラーが発生し、その後のモデルに対してノイズ除去処理が無効になる可能性がある。
【０００８】
今後、無人航空機を用いたさまざまな３Ｄモデリングの需要が高まることが予想されるため、３Ｄモデリングに用いることができる移動体除去ソリューションの設計はますます重要な課題となっている。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本開示の目的は、３Ｄモデリングに用いるコンピュータプログラム製品およびその移動体除去方法を提供することにある。
【課題を解決するための手段】
【００１０】
本開示に係る移動体除去方法は、３Ｄモデリングに用いる移動体除去方法であって、特徴点検出プロセスにより、元画像シーケンスにおける元画像のそれぞれについて、複数の特徴点を検出するステップと、領域分割プロセスにより、元画像のそれぞれを複数の領域に分割するステップと、元画像のそれぞれにおける複数の領域からターゲット領域（ｔａｒｇｅｔｒｅｇｉｏｎ）および１つ以上の非ターゲット領域を特定するステップと、元画像シーケンスの連続する２つのフレームの元画像における複数の特徴点に基づいて、特徴点マッチングプロセスにより、連続する２つのフレームの元画像の非ターゲット領域のそれぞれが移動領域であるかどうかを判定するステップと、元画像のそれぞれの非ターゲット領域における移動領域と判定された領域を特徴なし領域に置き換えることにより、静止画像シーケンスを得るステップとを含む。
（【００１１】以降は省略されています）

関連特許