特許ウォッチ

公開番号2024043785
公報種別公開特許公報(A)
公開日2024-04-02
出願番号2022148974
出願日2022-09-20
発明の名称情報処理装置、情報処理方法、及びプログラム
出願人本田技研工業株式会社,国立大学法人広島大学
代理人個人,個人,個人,個人
主分類G06T 19/00 20110101AFI20240326BHJP(計算;計数)
要約【課題】外観と幾何形状ともに一貫性を持つ写実的な画像を生成し、観測視点に応じた輝度変化を反映した画像を生成する情報処理装置、情報処理方法及びプログラムを提供する。
【解決手段】制御装置、情報処理装置及び学習装置を含む情報処理システムにおいて、情報処理装置は、オブジェクトを把持又は操作可能なエンドエフェクタの姿勢データと、ある視点から前記オブジェクトを観測する際の視線の方向データと、前記視点の位置データとを取得する取得部と、前記姿勢データの次元数を減らした低次元姿勢データを生成するデータ変換部242と、予め学習された機械学習モデルを用いて、前記低次元姿勢データ、前記方向データ及び前記位置データを基に、前記エンドエフェクタによって前記オブジェクトが把持又は操作されるシーンが前記視点から観測された場合に生成される画像であって、前記オブジェクトの密度を含む画像を生成する画像生成部243と、を備える。
【選択図】図4
特許請求の範囲【請求項１】
オブジェクトを把持又は操作可能なエンドエフェクタの姿勢データと、ある視点から前記オブジェクトを観測する際の視線の方向データと、前記視点の位置データとを取得する取得部と、
前記姿勢データの次元数を減らした低次元姿勢データを生成する第１生成部と、
予め学習された機械学習モデルを用いて、前記低次元姿勢データ、前記方向データ、及び前記位置データを基に、前記エンドエフェクタによって前記オブジェクトが把持又は操作されるシーンが前記視点から観測された場合に生成され得る画像であって、前記オブジェクトの密度を含む画像を生成する第２生成部と、
を備える情報処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記姿勢データには、前記エンドエフェクタに設けられた複数の関節の其々の位置及び向きが要素として含まれ、
前記第１生成部は、多変量解析により前記姿勢データに含まれる複数の前記要素を減らすことで、前記低次元姿勢データを生成する、
請求項１に記載の情報処理装置。
【請求項３】
前記第２生成部は、
前記機械学習モデルを用いて、前記低次元姿勢データ、前記方向データ、及び前記位置データから、前記視線上における前記シーンの色及び密度を推定し、
前記シーンの色及び密度を前記視線上において可視化することで、前記画像を生成する、
請求項１又は２に記載の情報処理装置。
【請求項４】
前記機械学習モデルは、前記低次元姿勢データ、前記方向データ、及び前記位置データに対して、正解となる前記画像がラベル付けられたトレーニングデータセットに基づいて学習されたニューラルレイディアンスフィールズである、
請求項３に記載の情報処理装置。
【請求項５】
前記第２生成部は、
前記低次元姿勢データ、前記方向データ、及び前記位置データの其々を高次元化し、
高次元化された前記低次元姿勢データ、前記方向データ、及び前記位置データを前記ニューラルレイディアンスフィールズに入力し、
高次元化された前記低次元姿勢データ、前記方向データ、及び前記位置データが入力されたことに応じて前記ニューラルレイディアンスフィールズが出力した前記シーンの色及び密度に基づいて、前記画像を生成する、
請求項４に記載の情報処理装置。
【請求項６】
カメラによって撮像された前記シーンの画像と、前記第２生成部によって生成された画像とに基づいて、前記エンドエフェクタの姿勢を制御する制御部を更に備える、
請求項１又は２に記載の情報処理装置。
【請求項７】
コンピュータを用いた情報処理方法であって、
オブジェクトを把持又は操作可能なエンドエフェクタの姿勢データと、ある視点から前記オブジェクトを観測する際の視線の方向データと、前記視点の位置データとを取得すること、
前記姿勢データの次元数を減らした低次元姿勢データを生成すること、
予め学習された機械学習モデルを用いて、前記低次元姿勢データ、前記方向データ、及び前記位置データを基に、前記エンドエフェクタによって前記オブジェクトが把持又は操作されるシーンが前記視点から観測された場合に生成され得る画像であって、前記オブジェクトの密度を含む画像を生成すること、
を含む情報処理方法。
【請求項８】
コンピュータに実行させるためのプログラムであって、
オブジェクトを把持又は操作可能なエンドエフェクタの姿勢データと、ある視点から前記オブジェクトを観測する際の視線の方向データと、前記視点の位置データとを取得すること、
前記姿勢データの次元数を減らした低次元姿勢データを生成すること、
予め学習された機械学習モデルを用いて、前記低次元姿勢データ、前記方向データ、及び前記位置データを基に、前記エンドエフェクタによって前記オブジェクトが把持又は操作されるシーンが前記視点から観測された場合に生成され得る画像であって、前記オブジェクトの密度を含む画像を生成すること、
を含むプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
多層パーセプトロン（Multilayer Perceptrons：ＭＬＰｓ）を含む機械学習モデルを用いて、あるオブジェクト又はシーンを任意の視点から観測した際に得られる画像（ビュー）を生成又は合成するコンピューティングシステムが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
国際公開第２０２２／０２６６９２号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら従来の技術では、機械学習モデルに対して互いに種類の異なる複数のデータを入力する際に、それらデータの次元数に偏りが生じる場合、機械学習モデルの学習が失敗する場合があった。この結果、オブジェクト又はシーンの外観及び幾何形状が写実的でない画像が生成されたり、又は観測視点に応じた輝度変化が反映されていない画像が生成されたりする場合があった。
【０００５】
本発明は、このような事情を考慮してなされたものであり、外観と幾何形状ともに一貫性を持つ写実的な画像や、観測視点に応じた輝度変化を反映した画像を生成することができる情報処理装置、情報処理方法、及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
本発明に係る情報処理装置、情報処理方法、及びプログラムは以下の構成を採用した。
（１）本発明の第１の態様は、オブジェクトを把持又は操作可能なエンドエフェクタの姿勢データと、ある視点から前記オブジェクトを観測する際の視線の方向データと、前記視点の位置データとを取得する取得部と、前記姿勢データの次元数を減らした低次元姿勢データを生成する第１生成部と、予め学習された機械学習モデルを用いて、前記低次元姿勢データ、前記方向データ、及び前記位置データを基に、前記エンドエフェクタによって前記オブジェクトが把持又は操作されるシーンが前記視点から観測された場合に生成され得る画像であって、前記オブジェクトの密度を含む画像を生成する第２生成部と、を備える情報処理装置である。
【０００７】
（２）本発明の第２の態様は、第１の態様において、前記姿勢データには、前記エンドエフェクタに設けられた複数の関節の其々の位置及び向きが要素として含まれ、前記第１生成部は、多変量解析により前記姿勢データに含まれる複数の前記要素を減らすことで、前記低次元姿勢データを生成するものである。
【０００８】
（３）本発明の第３の態様は、第１又は第２の態様において、前記第２生成部は、予め学習された機械学習モデルを用いて、前記低次元姿勢データ、前記方向データ、及び前記位置データから、前記視線上における前記シーンの色及び密度を推定し、前記シーンの色及び密度を前記視線上において可視化することで、前記画像を生成するものである。
【０００９】
（４）本発明の第４の態様は、第３の態様において、前記機械学習モデルは、前記低次元姿勢データ、前記方向データ、及び前記位置データに対して、正解となる前記画像がラベル付けられたトレーニングデータセットに基づいて学習されたニューラルレイディアンスフィールズであるものである。
【００１０】
（５）本発明の第５の態様は、第４の態様において、前記第２生成部は、前記低次元姿勢データ、前記方向データ、及び前記位置データの其々を高次元化し、高次元化された前記低次元姿勢データ、前記方向データ、及び前記位置データを前記ニューラルレイディアンスフィールズに入力し、高次元化された前記低次元姿勢データ、前記方向データ、及び前記位置データが入力されたことに応じて前記ニューラルレイディアンスフィールズが出力した前記シーンの色及び密度に基づいて、前記画像を生成するものである。
（【００１１】以降は省略されています）

関連特許