特許ウォッチ

公開番号2024172132
公報種別公開特許公報(A)
公開日2024-12-12
出願番号2023089663
出願日2023-05-31
発明の名称学習装置、深度推定装置、深度推定モデルの生成方法、深度推定方法、及びプログラム
出願人日本電信電話株式会社,学校法人東京理科大学
代理人弁理士法人志賀国際特許事務所
主分類G01S 7/52 20060101AFI20241205BHJP(測定;試験)
要約【課題】深度推定に任意の音波を使用可能としつつ、実用的な観点において支障なく深度推定を行う。
【解決手段】深度推定用に予め定められる推定用音波と、予め定められる補助音波とを含む第1音波を、予め定められる学習用深度計測対象空間に出力することにより生じる反響を形成する音波の特徴を示す第1入力データと、前記推定用音波である第2音波を前記学習用深度計測対象空間に出力することにより生じる反響を形成する音波の特徴を示す第2入力データと、前記学習用深度計測対象空間の深度画像データとを1組の教師データとし、前記深度画像データを正解ラベルとする学習処理によって、前記教師データに含まれる前記第2入力データを入力とする場合に、当該第2入力データに対応する前記正解ラベルを出力する深度推定モデルを生成する学習部、を備える。
【選択図】図1
特許請求の範囲【請求項１】
深度推定用に予め定められる推定用音波と、予め定められる補助音波とを含む第１音波を、予め定められる学習用深度計測対象空間に出力することにより生じる反響を形成する音波の特徴を示す第１入力データと、前記推定用音波である第２音波を前記学習用深度計測対象空間に出力することにより生じる反響を形成する音波の特徴を示す第２入力データと、前記学習用深度計測対象空間の深度画像データとを１組の教師データとし、前記深度画像データを正解ラベルとする学習処理によって、前記教師データに含まれる前記第２入力データを入力とする場合に、当該第２入力データに対応する前記正解ラベルを出力する深度推定モデルを生成する学習部、
を備える学習装置。
続きを表示（約 2,600 文字）【請求項２】
補助モデル係数が適用されることで補助モデルになる第１関数近似器と、
深度推定モデル係数が適用されることで前記深度推定モデルになる第２関数近似器と、を備え、
前記学習部は、
前記学習処理において、前記補助モデルに、前記教師データに含まれる前記第１入力データを入力として与えることにより得られる第１深度画像データと、当該教師データに含まれる前記正解ラベルとの相違を示す第１損失値と、前記深度推定モデルに、当該教師データに含まれる前記第２入力データを入力として与えることにより得られる第２深度画像データと、当該教師データに含まれる前記正解ラベルとの相違を示す第２損失値とを算出し、繰り返し行う前記学習処理において、前記学習処理の処理ステップ数に応じた比率で、前記第１損失値と、前記第２損失値とを統合して統合損失値を算出し、算出した統合損失値に基づいて、新たな前記深度推定モデル係数を算出する、
請求項１に記載の学習装置。
【請求項３】
前記第１関数近似器と、前記第２関数近似器とは、同一の構成であり、前記補助モデル係数と、前記深度推定モデル係数とは、同一の値である、
請求項２に記載の学習装置。
【請求項４】
任意に定められる任意深度計測対象空間に、深度推定用に予め定められる推定用音波を出力することにより生じる反響を形成する音波を示す推定用反響データを取得する制御部と、
前記推定用音波と、予め定められる補助音波とを含む第１音波を、予め定められる学習用深度計測対象空間に出力することにより生じる反響を形成する音波の特徴を示す第１入力データと、前記推定用音波である第２音波を前記学習用深度計測対象空間に出力することにより生じる反響を形成する音波の特徴を示す第２入力データと、前記学習用深度計測対象空間の深度画像データとを１組の教師データとし、前記深度画像データを正解ラベルとする学習処理によって、前記教師データに含まれる前記第２入力データを入力とする場合に、当該第２入力データに対応する前記正解ラベルを出力するように生成された深度推定モデルと、前記制御部が取得する前記推定用反響データとによって、前記任意深度計測対象空間に対応する推定深度画像データを生成する深度推定部と、
を備える深度推定装置。
【請求項５】
深度推定用に予め定められる推定用音波と、予め定められる補助音波とを含む第１音波を、予め定められる学習用深度計測対象空間に出力することにより生じる反響を形成する音波の特徴を示す第１入力データと、前記推定用音波である第２音波を前記学習用深度計測対象空間に出力することにより生じる反響を形成する音波の特徴を示す第２入力データと、前記学習用深度計測対象空間の深度画像データとを１組の教師データとし、前記深度画像データを正解ラベルとする学習処理によって、前記教師データに含まれる前記第２入力データを入力とする場合に、当該第２入力データに対応する前記正解ラベルを出力する深度推定モデルを生成する学習ステップ
を含む深度推定モデルの生成方法。
【請求項６】
任意に定められる任意深度計測対象空間に、深度推定用に予め定められる推定用音波を出力することにより生じる反響を形成する音波を示す推定用反響データを取得する推定用反響データ取得ステップと、
前記推定用音波と、予め定められる補助音波とを含む第１音波を、予め定められる学習用深度計測対象空間に出力することにより生じる反響を形成する音波の特徴を示す第１入力データと、前記推定用音波である第２音波を前記学習用深度計測対象空間に出力することにより生じる反響を形成する音波の特徴を示す第２入力データと、前記学習用深度計測対象空間の深度画像データとを１組の教師データとし、前記深度画像データを正解ラベルとする学習処理によって、前記教師データに含まれる前記第２入力データを入力とする場合に、当該第２入力データに対応する前記正解ラベルを出力するように生成された深度推定モデルと、前記推定用反響データ取得ステップによって取得された前記推定用反響データとによって、前記任意深度計測対象空間に対応する推定深度画像データを生成する深度推定ステップと、
を含む深度推定方法。
【請求項７】
コンピュータを、
深度推定用に予め定められる推定用音波と、予め定められる補助音波とを含む第１音波を、予め定められる学習用深度計測対象空間に出力することにより生じる反響を形成する音波の特徴を示す第１入力データと、前記推定用音波である第２音波を前記学習用深度計測対象空間に出力することにより生じる反響を形成する音波の特徴を示す第２入力データと、前記学習用深度計測対象空間の深度画像データとを１組の教師データとし、前記深度画像データを正解ラベルとする学習処理によって、前記教師データに含まれる前記第２入力データを入力とする場合に、当該第２入力データに対応する前記正解ラベルを出力する深度推定モデルを生成する学習手段、
として機能させるためのプログラム。
【請求項８】
コンピュータを、
任意に定められる任意深度計測対象空間に、深度推定用に予め定められる推定用音波を出力することにより生じる反響を形成する音波を示す推定用反響データを取得する制御手段、
前記推定用音波と、予め定められる補助音波とを含む第１音波を、予め定められる学習用深度計測対象空間に出力することにより生じる反響を形成する音波の特徴を示す第１入力データと、前記推定用音波である第２音波を前記学習用深度計測対象空間に出力することにより生じる反響を形成する音波の特徴を示す第２入力データと、前記学習用深度計測対象空間の深度画像データとを１組の教師データとし、前記深度画像データを正解ラベルとする学習処理によって、前記教師データに含まれる前記第２入力データを入力とする場合に、当該第２入力データに対応する前記正解ラベルを出力するように生成された深度推定モデルと、前記制御手段が取得する前記推定用反響データとによって、前記任意深度計測対象空間に対応する推定深度画像データを生成する深度推定手段、
として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、学習装置、深度推定装置、深度推定モデルの生成方法、深度推定方法、及びプログラムに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
自律移動ロボットの経路計画や空間のレイアウトモデリングなど、空間の奥行きの情報を示す深度マップを活用した実用技術は枚挙に暇がない。深度を計測する場合、一般には赤外光やレーザー、ステレオカメラなどを用いた深度計測用の光学計測機器が用いられることが多いが、高精度なデバイスは比較的高価であったり、厳しい設置条件があったりすることも多く、常に利用可能であるとは限らない。
【０００３】
これに対して、通常のＲＧＢカメラで撮影した単眼ＲＧＢ画像から、機械学習を用いて深度マップを推定する単眼深度推定に関する試みも数多く報告されている。ただし、視認性の低い場所やプライバシー性の高い場所、あるいはカメラによる撮影が禁止されている場所などのように、必ずしもカメラを利用できない空間も存在する。
【０００４】
このように、カメラを利用することができない空間における深度推定方式として、例えば、誘引音を計測対象空間に発信することにより、誘引音の反射波として得られる音響信号を利用して深度を推定する手法が報告されている（例えば、特許文献１参照）。また、ステレオＲＧＢ画像と、ステレオ反響音とを利用して、深度を推定する手法なども報告されている（例えば、非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
国際公開第２０２０／２３５０２２号
【非特許文献】
【０００６】
Chenghao Zhang, Kun Tian, Bolin Ni, Gaofeng Meng, Bin Fan, Zhaoxiang Zhang, and Chunhong Pan, “Stereo Depth Estimation with Echoes”, In Proc. European Conference on Computer Vision (ECCV), 2022.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
反響を利用する深度推定は、例えば、スピーカ等の音波を生成して出力する音波出力装置と、マイク等の音波を集めて電気信号に変換する音波測定装置とを用いて行われる。音波出力装置が出力する音波は、音波出力装置から遠ざかるにつれて広がり、周辺の壁や窓、家具などの物体表面で反射することにより反響を形成して音波測定装置へ到達する。そのため、音波が、音波出力装置によって出力されてから、音波測定装置に到達するまでの時間である到達時間は、音波を反射する物体表面の位置や形状によって差が生じることになる。したがって、音波の到達時間差は屋内空間の３次元構造に関する情報を示すことになり、この３次元構造に関する情報から深度を推定することができる。
【０００８】
精度の良い深度の推定を行うためには、反響を形成する音波の精度を高める必要がある。しかし、例えば、音波として、可聴周波数帯域の音波を用いる場合、反響を形成する音波の精度を高めるためには、音量を一定量以上にする必要があり、仮に、騒音レベルの音量が必要になると、人が存在しない空間といった特定の空間でしか深度推定ができないといった実用上の問題が生じることになる。
【０００９】
この場合、例えば、非可聴周波数帯域の音波である超音波を生成することができる音波出力装置を用いることで、騒音に関する問題を解消することができる。しかしながら、超音波を用いる場合、可聴周波数帯域の音波よりも雑音の影響を受けやすくなるなどの別の問題がある等、非可聴周波数帯域の音波を用いたからといって、直ちに反響を形成する音波の精度を高めることができるわけではない。また、深度推定に用いる音波出力装置を、非可聴周波数帯域の音波を生成する音波出力装置に制限してしまうという問題も生じることになる。
【００１０】
本発明は、深度推定に任意の音波を使用可能としつつ、実用的な観点において支障なく深度推定を行うことができる技術の提供を目的としている。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許