特許ウォッチ

公開番号2024057165
公報種別公開特許公報(A)
公開日2024-04-24
出願番号2022163699
出願日2022-10-12
発明の名称演算システム、学習方法、及び、学習プログラム
出願人日本電気株式会社
代理人個人
主分類G01S 17/86 20200101AFI20240417BHJP(測定;試験)
要約【課題】効率的な空間学習を実現する演算システム、学習方法、及び、学習プログラムを提供する。
【解決手段】演算システム3において更新部33Aは、第1差分量及び第2差分量に基づいて、空間推定モデル41を更新する。第1差分量は、第1教師信号と第1推定信号との差分量である。第1教師信号は、対象空間(つまり、教師空間)において放射波の経路上の空間構造について放射波を用いてセンサ21によって観測された空間分布信号である。第1推定信号は、第1教師信号と比較するための信号であり、推定された空間分布信号である。第2差分量は、第2教師信号と第2推定信号との差分量である。第2教師信号は、センサ21と種類の異なるセンサ22によって観測された観測信号である。第2推定信号は、第2教師信号と比較するための信号であり、第2教師信号と同様の形式の信号である。
【選択図】図6
特許請求の範囲【請求項１】
対象空間において放射波の経路上の空間構造について前記放射波を用いて第１センサによって観測された、空間分布信号を第１教師信号として取得する第１取得部と、
前記経路上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデルに入力し、前記空間推定モデルから、前記複数のサンプル点から前記放射波を放射する物体が存在する確率に関連する推定密度を取得する第１サンプリング部と、
前記複数のサンプル点のそれぞれの位置に関する情報と前記複数のサンプル点のそれぞれの推定密度とに基づいて、前記第１教師信号と比較するための第１推定信号を形成する第１形成部と、
前記第１教師信号と前記第１推定信号との差分量である第１差分量を算出する第１評価部と、
前記対象空間において前記第１センサと種類が異なり前記第１センサと視点の異なる位置に配設された、第２センサによって観測され、且つ、前記空間構造以外の空間特性パラメータに関して観測された、観測信号を第２教師信号として取得する第２取得部と、
前記第２センサが前記観測信号を得るために観測した観測点の位置に関する情報を前記空間推定モデルに入力し、前記空間特性パラメータに関連するパラメータ値を取得する第２サンプリング部と、
前記パラメータ値から、前記第２教師信号と比較するための第２推定信号を形成する第２形成部と、
前記第２教師信号と前記第２推定信号との差分量である第２差分量を算出する第２評価部と、
前記第１差分量及び前記第２差分量に基づいて、前記空間推定モデルを更新する更新部と、
を具備する演算システム。
続きを表示（約 2,300 文字）【請求項２】
前記更新部は、前記第１推定信号のデータ構造と前記第２推定信号のデータ構造とが異なる場合、前記第１差分量及び前記第２差分量に重み付けを行い、重み付け後の前記第１差分量及び前記第２差分量を合算した合算値に基づいて、前記空間推定モデルを更新する、
請求項１記載の演算システム。
【請求項３】
前記空間分布信号は、前記経路上に放射された放射波に基づいて得られる、基準点から前記経路上の各地点までの距離に対する、各地点における放射波の強度を表す信号である、
請求項１又は２に記載の演算システム。
【請求項４】
前記空間分布信号は、ＬｉＤＡＲ（Light Detection and Ranging）によって観測された信号である、
請求項１又は２に記載の演算システム。
【請求項５】
前記放射波は、前記基準点に向かって基準方位から放射され、
前記複数のサンプル点は、前記基準点から前記基準方位に伸びる直線の上の複数の主サンプル点と、前記直線と直交する方向に広がる放射波領域内にあり且つ前記直線の上から外れた複数の副サンプル点とを含む、
請求項３記載の演算システム。
【請求項６】
前記第１形成部は、前記複数のサンプル点のそれぞれの位置に関する情報と前記複数のサンプル点のそれぞれの推定密度との関係を空間分布の形式に変換する、
請求項１又は２に記載の演算システム。
【請求項７】
演算システムによって実行される学習方法であって、
対象空間において放射波の経路上の空間構造について前記放射波を用いて第１センサによって観測された、空間分布信号を第１教師信号として取得することと、
前記経路上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデルに入力し、前記空間推定モデルから、前記複数のサンプル点から前記放射波を放射する物体が存在する確率に関連する推定密度を取得することと、
前記複数のサンプル点のそれぞれの位置に関する情報と前記複数のサンプル点のそれぞれの推定密度とに基づいて、前記第１教師信号と比較するための第１推定信号を形成することと、
前記第１教師信号と前記第１推定信号との差分量である第１差分量を算出することと、
前記対象空間において前記第１センサと種類が異なり前記第１センサと視点の異なる位置に配設された、第２センサによって観測され、且つ、前記空間構造以外の空間特性パラメータに関して観測された、観測信号を第２教師信号として取得することと、
前記第２センサが前記観測信号を得るために観測した観測点の位置に関する情報を前記空間推定モデルに入力し、前記空間特性パラメータに関連するパラメータ値を取得することと、
前記パラメータ値から、前記第２教師信号と比較するための第２推定信号を形成することと、
前記第２教師信号と前記第２推定信号との差分量である第２差分量を算出することと、
前記第１差分量及び前記第２差分量に基づいて、前記空間推定モデルを更新することと、
を含む学習方法。
【請求項８】
前記更新することは、前記第１推定信号のデータ構造と前記第２推定信号のデータ構造とが異なる場合、前記第１差分量及び前記第２差分量に重み付けを行い、重み付け後の前記第１差分量及び前記第２差分量を合算した合算値に基づいて、前記空間推定モデルを更新することを含む、
請求項７記載の学習方法。
【請求項９】
対象空間において放射波の経路上の空間構造について前記放射波を用いて第１センサによって観測された、空間分布信号を第１教師信号として取得することと、
前記経路上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデルに入力し、前記空間推定モデルから、前記複数のサンプル点から前記放射波を放射する物体が存在する確率に関連する推定密度を取得することと、
前記複数のサンプル点のそれぞれの位置に関する情報と前記複数のサンプル点のそれぞれの推定密度とに基づいて、前記第１教師信号と比較するための第１推定信号を形成することと、
前記第１教師信号と前記第１推定信号との差分量である第１差分量を算出することと、
前記対象空間において前記第１センサと種類が異なり前記第１センサと視点の異なる位置に配設された、第２センサによって観測され、且つ、前記空間構造以外の空間特性パラメータに関して観測された、観測信号を第２教師信号として取得することと、
前記第２センサが前記観測信号を得るために観測した観測点の位置に関する情報を前記空間推定モデルに入力し、前記空間特性パラメータに関連するパラメータ値を取得することと、
前記パラメータ値から、前記第２教師信号と比較するための第２推定信号を形成することと、
前記第２教師信号と前記第２推定信号との差分量である第２差分量を算出することと、
前記第１差分量及び前記第２差分量に基づいて、前記空間推定モデルを更新することと、
を含む処理を、演算システムに実行させる学習プログラム。
【請求項１０】
前記更新することは、前記第１推定信号のデータ構造と前記第２推定信号のデータ構造とが異なる場合、前記第１差分量及び前記第２差分量に重み付けを行い、重み付け後の前記第１差分量及び前記第２差分量を合算した合算値に基づいて、前記空間推定モデルを更新することを含む、
請求項９記載の学習プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、演算システム、学習方法、及び、学習プログラムに関する。
続きを表示（約 3,700 文字）【背景技術】
【０００２】
３次元の深さ情報を得ることのできる光学的な観測システムとして、ＬｉＤＡＲ（Light Detection and Ranging）が知られている。現在一般に、ＬｉＤＡＲは、被写体に向かって光線（光ビーム）を当て、被写体から反射した光線（反射光）の往復時間又は光信号の位相差などの情報を利用することによって、距離情報を得ることができる。被写体から反射した光は空間に広く拡散される。このため、被写体が存在する方位（水平方向及び垂直方向）の決定には、例えば、スキャナを駆動させるか、又は、光学系を用いた角度分解が行われる。これにより、被写体の方位情報が得られる。これらの組み合わせにより、ＬｉＤＡＲは、３次元情報を得ることができる。
【０００３】
また、３次元の空間を推定する空間推定システムが提案されている（例えば、非特許文献１，２）。非特許文献１には、「微分可能レンダリング」の一種であり、且つ、深層学習のフレームワークを利用して空間内の物体密度分布関数を学習する、「ＮｅＲＦ（Representing Scenes as Neural Radiance Fields for View Synthesis）」と呼ばれる技術が開示されている。この技術によれば、多視点から撮影された画像を教師として用いることにより、学習モデルは、被写体の３次元構造を学習することができる。学習後のモデルは、新しい視点情報が入力されると、その視点の像を生成できる。
【０００４】
また、非特許文献１の“ＮｅＲＦ”と呼ばれる手法とＬｉＤＡＲとを組み合わせた手法が、非特許文献２に開示されている。非特許文献２に開示の技術によれば、ＬｉＤＡＲから得られる被写体の深度情報を非特許文献１と同様の学習フレームワークに適用することが可能になり、これにより、空間構造（空間分布）を学習できる。
【０００５】
ここで、“ＮｅＲＦ”の学習方法および学習モデルは、“微分可能レンダリング”と呼ばれるより広い枠組みの手法のうちの一つに分類されている。“ＮｅＲＦ”は非特許文献１内での呼称であるが、近年この技術の派生技術が多数発表報告されている。その中には、ニューラルネットワーク層を用いず、深層学習のフレームワークのみを活用した、学習モデルが含まれており、この学習モデルも“ＮｅＲＦ”と同様の機能を実現している。このため、本開示では、これらの学習モデルを含むより抽象度の高い表現として、“ＲａｄｉａｎｃｅＦｉｅｌｄ（以降「ＲＦ」で記載）”を用いることがある。すなわち、本開示では、学習モデルは、ＮｅＲＦで採用されていたMLP（ＭｕｌｔｉＬａｙｅｒＰｅｒｃｅｐｔｒｏｎ）に限定されない。
【先行技術文献】
【非特許文献】
【０００６】
ＢｅｎＭｉｌｄｅｎｈａｌｌ，ＰｒａｔｕｌＰ．Ｓｒｉｎｉｖａｓａｎ，ＭａｔｔｈｅｗＴａｎｃｉｋ，ＪｏｎａｔｈａｎＴ．Ｂａｒｒｏｎ，ＲａｖｉＲａｍａｍｏｏｒｔｈｉ，ＲｅｎＮｇ, “ＮｅＲＦ：ＲｅｐｒｅｓｅｎｔｉｎｇＳｃｅｎｅｓａｓＮｅｕｒａｌＲａｄｉａｎｃｅＦｉｅｌｄｓｆｏｒＶｉｅｗＳｙｎｔｈｅｓｉｓ” ，ＥＣＣＶ２０２０（Ｏｒａｌ）,［2022年10月7日検索］，インターネット＜URL：https://arxiv.org/pdf/2003.08934.pdf＞
ＫｏｎｓｔａｎｔｉｎｏｓＲｅｍａｔａｓ，ＡｎｄｒｅｗＬｉｕ，ＰｒａｔｕｌＰ．Ｓｒｉｎｉｖａｓａｎ，ＪｏｎａｔｈａｎＴ．Ｂａｒｒｏｎ，ＡｎｄｒｅａＴａｇｌｉａｓａｃｃｈｉ，ＴｈｏｍａｓＦｕｎｋｈｏｕｓｅｒ，ＶｉｔｔｏｒｉｏＦｅｒｒａｒｉ, “ＵｒｂａｎＲａｄｉａｎｃｅＦｉｅｌｄｓ”，ＣＶＰＲ２０２２,［2022年10月7日検索］，インターネット＜URL：https://arxiv.org/pdf/2111.14643.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明者は、非特許文献１および非特許文献２に開示されている技術では、空間学習が効率的に行われていない可能性があることを見いだした。例えば、非特許文献１および非特許文献２の技術では、あるピクセルの「レンダリング」の過程において、光線の経路上の密度分布を線積分する操作がある。そして、この操作の際に、距離方向の情報が１点の情報（換言すれば、０次元の情報）に圧縮されてしまう。このため、元の距離方向に分布する豊富な情報を有効に活用できていない。すなわち、非特許文献１および非特許文献２の技術は、１つにセンサ（カメラ、ＬｉＤＡＲ）が得ている情報を充分活用できていない。
【０００８】
本明細書に開示される実施形態が達成しようとする目的の１つは、上述された課題を含む複数の課題のうち少なくとも１つを解決することに寄与する、演算システム、学習方法、及び、学習プログラムを提供することにある。なお、この目的は、本明細書に開示される複数の実施形態が達成しようとする複数の目的の１つに過ぎないことに留意されるべきである。その他の目的又は課題と新規な特徴は、本明細書の記述又は添付図面から明らかにされる。
【課題を解決するための手段】
【０００９】
１つの態様では、演算システムは、対象空間において放射波の経路上の空間構造について前記放射波を用いて第１センサによって観測された、空間分布信号を第１教師信号として取得する第１取得部と、
前記経路上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデルに入力し、前記空間推定モデルから、前記複数のサンプル点から前記放射波を放射する物体が存在する確率に関連する推定密度を取得する第１サンプリング部と、
前記複数のサンプル点のそれぞれの位置に関する情報と前記複数のサンプル点のそれぞれの推定密度とに基づいて、前記第１教師信号と比較するための第１推定信号を形成する第１形成部と、
前記第１教師信号と前記第１推定信号との差分量である第１差分量を算出する第１評価部と、
前記対象空間において前記第１センサと種類が異なり前記第１センサと視点の異なる位置に配設された、第２センサによって観測され、且つ、前記空間構造以外の空間特性パラメータに関して観測された、観測信号を第２教師信号として取得する第２取得部と、
前記第２センサが前記観測信号を得るために観測した観測点の位置に関する情報を前記空間推定モデルに入力し、前記空間特性パラメータに関連するパラメータ値を取得する第２サンプリング部と、
前記パラメータ値から、前記第２教師信号と比較するための第２推定信号を形成する第２形成部と、
前記第２教師信号と前記第２推定信号との差分量である第２差分量を算出する第２評価部と、
前記第１差分量及び前記第２差分量に基づいて、前記空間推定モデルを更新する更新部と、
を具備する。
【００１０】
他の態様では、学習方法は、演算システムによって実行される学習方法であって、
対象空間において放射波の経路上の空間構造について前記放射波を用いて第１センサによって観測された、空間分布信号を第１教師信号として取得することと、
前記経路上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデルに入力し、前記空間推定モデルから、前記複数のサンプル点から前記放射波を放射する物体が存在する確率に関連する推定密度を取得することと、
前記複数のサンプル点のそれぞれの位置に関する情報と前記複数のサンプル点のそれぞれの推定密度とに基づいて、前記第１教師信号と比較するための第１推定信号を形成することと、
前記第１教師信号と前記第１推定信号との差分量である第１差分量を算出することと、
前記対象空間において前記第１センサと種類が異なり前記第１センサと視点の異なる位置に配設された、第２センサによって観測され、且つ、前記空間構造以外の空間特性パラメータに関して観測された、観測信号を第２教師信号として取得することと、
前記第２センサが前記観測信号を得るために観測した観測点の位置に関する情報を前記空間推定モデルに入力し、前記空間特性パラメータに関連するパラメータ値を取得することと、
前記パラメータ値から、前記第２教師信号と比較するための第２推定信号を形成することと、
前記第２教師信号と前記第２推定信号との差分量である第２差分量を算出することと、
前記第１差分量及び前記第２差分量に基づいて、前記空間推定モデルを更新することと、
を含む。
（【００１１】以降は省略されています）

関連特許