特許ウォッチ

公開番号2024057166
公報種別公開特許公報(A)
公開日2024-04-24
出願番号2022163700
出願日2022-10-12
発明の名称演算システム、学習方法、及び、学習プログラム
出願人日本電気株式会社
代理人個人
主分類G06T 7/50 20170101AFI20240417BHJP(計算;計数)
要約【課題】効率的な空間学習を実現する演算システム、学習方法、及び、学習プログラムを提供する。
【解決手段】演算システム7において評価部72Dは、教師信号と推定信号との差分量を算出する。この教師信号は、複数の放射基準方位から放射されセンサ61に到達する放射波領域において注目領域に沿った空間構造について放射波を用いてセンサ61によって観察された空間分布信号が積算された値である。注目領域は、複数の放射基準方位と交わる曲線領域又は曲面領域である。この推定信号は、サンプリング部72Bが注目領域の上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデルに入力することにより、空間推定モデル41から得た、複数のサンプル点の推定密度を積算することによって、算出される。
【選択図】図12
特許請求の範囲【請求項１】
複数の放射基準方位から放射されセンサに到達する放射波が広がる放射波領域において前記複数の放射基準方位と交わる曲線領域又は曲面領域である注目領域に沿った空間構造について前記放射波を用いて前記センサによって観察された空間分布信号を教師信号として取得する取得部と、
前記教師信号を用いて空間推定モデルの学習を実行する学習部と、
を具備し、
前記学習部は、
前記注目領域の上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデルに入力し、前記空間推定モデルから、前記複数のサンプル点に前記放射波を放射する物体が存在する確率に関連する推定密度を取得することと、
前記複数のサンプル点にそれぞれ対応する複数の推定密度を積算して推定信号を算出することと、
前記教師信号と前記推定信号とに基づいて、差分量を算出することと、
前記差分量に基づいて、前記空間推定モデルを更新することと、
を含む処理を実行する、
演算システム。
続きを表示（約 1,600 文字）【請求項２】
前記センサからの距離がそれぞれ異なる複数の前記注目領域のそれぞれを表し且つ第１パラメータを含む関数が、前記学習部の計算グラフに接続されており、
前記処理は、前記差分量に基づいて、前記第１パラメータを更新することを含む、
請求項１記載の演算システム。
【請求項３】
前記第１パラメータが最適化された前記関数を用いて、該関数によって表現される注目領域の形状に基づいて、空間の放射波に対する屈折率分布を推定する推定部をさらに具備する、
請求項２記載の演算システム。
【請求項４】
前記センサは、ＬｉＤＡＲ（Light Detection and Ranging）である、
請求項１から３のいずれか１項に記載の演算システム。
【請求項５】
演算システムによって実行される学習方法であって、
複数の放射基準方位から放射されセンサに到達する放射波が広がる放射波領域において前記複数の放射基準方位と交わる曲線領域又は曲面領域である注目領域に沿った空間構造について前記放射波を用いて前記センサによって観察された空間分布信号を教師信号として取得することと、
前記教師信号を用いて空間推定モデルの学習を実行することと、
を含み、
前記空間推定モデルの学習を実行することは、
前記注目領域の上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデルに入力し、前記空間推定モデルから、前記複数のサンプル点に前記放射波を放射する物体が存在する確率に関連する推定密度を取得することと、
前記複数のサンプル点にそれぞれ対応する複数の推定密度を積算して推定信号を算出することと、
前記教師信号と前記推定信号とに基づいて、差分量を算出することと、
前記差分量に基づいて、前記空間推定モデルを更新することと、
を含む、
学習方法。
【請求項６】
前記センサからの距離がそれぞれ異なる複数の前記注目領域のそれぞれを表し且つ第１パラメータを含む関数が、前記学習の計算グラフに接続されており、
前記学習方法は、前記差分量に基づいて、前記第１パラメータを更新することを含む、
請求項５記載の学習方法。
【請求項７】
複数の放射基準方位から放射されセンサに到達する放射波が広がる放射波領域において前記複数の放射基準方位と交わる曲線領域又は曲面領域である注目領域に沿った空間構造について前記放射波を用いて前記センサによって観察された空間分布信号を教師信号として取得することと、
前記教師信号を用いて空間推定モデルの学習を実行することと、
を含む処理を演算システムに実行させ、
前記空間推定モデルの学習を実行することは、
前記注目領域の上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデルに入力し、前記空間推定モデルから、前記複数のサンプル点に前記放射波を反射する物体が存在する確率に関連する推定密度を取得することと、
前記複数のサンプル点にそれぞれ対応する複数の推定密度を積算して推定信号を算出することと、
前記教師信号と前記推定信号とに基づいて、差分量を算出することと、
前記差分量に基づいて、前記空間推定モデルを更新することと、
を含む、
学習プログラム。
【請求項８】
前記センサからの距離がそれぞれ異なる複数の前記注目領域のそれぞれを表し且つ第１パラメータを含む関数が、前記学習の計算グラフに接続されており、
前記空間推定モデルの学習を実行することは、前記差分量に基づいて、前記第１パラメータを更新することを含む、
請求項７記載の学習プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、演算システム、学習方法、及び、学習プログラムに関する。
続きを表示（約 3,200 文字）【背景技術】
【０００２】
３次元の深さ情報を得ることのできる光学的な観測システムとして、ＬｉＤＡＲ（Light Detection and Ranging）が知られている。現在一般に、ＬｉＤＡＲは、被写体に向かって光線（光ビーム）を当て、被写体から反射した光線（反射光）の往復時間又は光信号の位相差などの情報を利用することによって、距離情報を得ることができる。被写体から反射した光は空間に広く拡散される。このため、被写体が存在する方位（水平方向及び垂直方向）の決定には、例えば、スキャナを駆動させるか、又は、光学系を用いた角度分解が行われる。これにより、被写体の方位情報が得られる。これらの組み合わせにより、ＬｉＤＡＲは、３次元情報を得ることができる。
【０００３】
また、３次元の空間を推定する空間推定システムが提案されている（例えば、非特許文献１，２）。非特許文献１には、「微分可能レンダリング」の一種であり、且つ、深層学習のフレームワークを利用して空間内の物体密度分布関数を学習する、「ＮｅＲＦ（Representing Scenes as Neural Radiance Fields for View Synthesis）」と呼ばれる技術が開示されている。この技術によれば、多視点から撮影された画像を教師として用いることにより、学習モデルは、被写体の３次元構造を学習することができる。学習後のモデルは、新しい視点情報が入力されると、その視点の像を生成できる。
【０００４】
また、非特許文献１の“ＮｅＲＦ”と呼ばれる手法とＬｉＤＡＲとを組み合わせた手法が、非特許文献２に開示されている。非特許文献２に開示の技術によれば、ＬｉＤＡＲから得られる被写体の深度情報を非特許文献１と同様の学習フレームワークに適用することが可能になり、これにより、空間構造（空間分布）を学習できる。
【０００５】
ここで、“ＮｅＲＦ”の学習方法および学習モデルは、“微分可能レンダリング”と呼ばれるより広い枠組みの手法のうちの一つに分類されている。“ＮｅＲＦ”は非特許文献１内での呼称であるが、近年この技術の派生技術が多数発表報告されている。その中には、ニューラルネットワーク層を用いず、深層学習のフレームワークのみを活用した、学習モデルが含まれており、この学習モデルも“ＮｅＲＦ”と同様の機能を実現している。このため、本開示では、これらの学習モデルを含むより抽象度の高い表現として、“ＲａｄｉａｎｃｅＦｉｅｌｄ（以降「ＲＦ」で記載）”を用いることがある。すなわち、本開示では、学習モデルは、ＮｅＲＦで採用されていたMLP（ＭｕｌｔｉＬａｙｅｒＰｅｒｃｅｐｔｒｏｎ）に限定されない。
【先行技術文献】
【非特許文献】
【０００６】
ＢｅｎＭｉｌｄｅｎｈａｌｌ，ＰｒａｔｕｌＰ．Ｓｒｉｎｉｖａｓａｎ，ＭａｔｔｈｅｗＴａｎｃｉｋ，ＪｏｎａｔｈａｎＴ．Ｂａｒｒｏｎ，ＲａｖｉＲａｍａｍｏｏｒｔｈｉ，ＲｅｎＮｇ, “ＮｅＲＦ：ＲｅｐｒｅｓｅｎｔｉｎｇＳｃｅｎｅｓａｓＮｅｕｒａｌＲａｄｉａｎｃｅＦｉｅｌｄｓｆｏｒＶｉｅｗＳｙｎｔｈｅｓｉｓ” ，ＥＣＣＶ２０２０（Ｏｒａｌ）,［2022年10月7日検索］，インターネット＜URL：https://arxiv.org/pdf/2003.08934.pdf＞
ＫｏｎｓｔａｎｔｉｎｏｓＲｅｍａｔａｓ，ＡｎｄｒｅｗＬｉｕ，ＰｒａｔｕｌＰ．Ｓｒｉｎｉｖａｓａｎ，ＪｏｎａｔｈａｎＴ．Ｂａｒｒｏｎ，ＡｎｄｒｅａＴａｇｌｉａｓａｃｃｈｉ，ＴｈｏｍａｓＦｕｎｋｈｏｕｓｅｒ，ＶｉｔｔｏｒｉｏＦｅｒｒａｒｉ, “ＵｒｂａｎＲａｄｉａｎｃｅＦｉｅｌｄｓ”，ＣＶＰＲ２０２２,［2022年10月7日検索］，インターネット＜URL：https://arxiv.org/pdf/2111.14643.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明者は、非特許文献１および非特許文献２に開示されている技術では、空間学習が効率的に行われていない可能性があることを見いだした。例えば、非特許文献１および非特許文献２の技術では、あるピクセルの「レンダリング」の過程において、光線の経路上の密度分布を線積分する操作がある。そして、この操作の際に、距離方向の情報が１点の情報（換言すれば、０次元の情報）に圧縮されてしまう。このため、元の距離方向に分布する豊富な情報を有効に活用できていない。すなわち、非特許文献１および非特許文献２の技術は、１つにセンサ（カメラ、ＬｉＤＡＲ）が得ている情報を充分活用できていない。
【０００８】
本明細書に開示される実施形態が達成しようとする目的の１つは、上述された課題を含む複数の課題のうち少なくとも１つを解決することに寄与する、演算システム、学習方法、及び、学習プログラムを提供することにある。なお、この目的は、本明細書に開示される複数の実施形態が達成しようとする複数の目的の１つに過ぎないことに留意されるべきである。その他の目的又は課題と新規な特徴は、本明細書の記述又は添付図面から明らかにされる。
【課題を解決するための手段】
【０００９】
１つの態様では、演算システムは、複数の放射基準方位から放射されセンサに到達する放射波が広がる放射波領域において前記複数の放射基準方位と交わる曲線領域又は曲面領域である注目領域に沿った空間構造について前記放射波を用いて前記センサによって観察された空間分布信号を教師信号として取得する取得部と、
前記教師信号を用いて空間推定モデルの学習を実行する学習部と、
を具備し、
前記学習部は、
前記注目領域の上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデルに入力し、前記空間推定モデルから、前記複数のサンプル点に前記放射波を放射する物体が存在する確率に関連する推定密度を取得することと、
前記複数のサンプル点にそれぞれ対応する複数の推定密度を積算して推定信号を算出することと、
前記教師信号と前記推定信号とに基づいて、差分量を算出することと、
前記差分量に基づいて、前記空間推定モデルを更新することと、
を含む処理を実行する。
【００１０】
他の態様では、学習方法は、演算システムによって実行される学習方法であって、
複数の放射基準方位から放射されセンサに到達する放射波が広がる放射波領域において前記複数の放射基準方位と交わる曲線領域又は曲面領域である注目領域に沿った空間構造について前記放射波を用いて前記センサによって観察された空間分布信号を教師信号として取得することと、
前記教師信号を用いて空間推定モデルの学習を実行することと、
を含み、
前記空間推定モデルの学習を実行することは、
前記注目領域の上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデルに入力し、前記空間推定モデルから、前記複数のサンプル点に前記放射波を放射する物体が存在する確率に関連する推定密度を取得することと、
前記複数のサンプル点にそれぞれ対応する複数の推定密度を積算して推定信号を算出することと、
前記教師信号と前記推定信号とに基づいて、差分量を算出することと、
前記差分量に基づいて、前記空間推定モデルを更新することと、
を含む。
（【００１１】以降は省略されています）

関連特許