特許ウォッチ

公開番号2025102036
公報種別公開特許公報(A)
公開日2025-07-08
出願番号2023219221
出願日2023-12-26
発明の名称遠隔操作制御装置、遠隔操作制御方法、およびプログラム
出願人本田技研工業株式会社
代理人個人,個人,個人,個人
主分類B25J 3/00 20060101AFI20250701BHJP(手工具;可搬型動力工具;手工具用の柄;作業場設備;マニプレータ)
要約【課題】複数物体を扱うことができる遠隔操作制御装置、遠隔操作制御方法、およびプログラムを提供することを目的とする。
【解決手段】ロボットあるいは前記ロボットの周辺環境の情報を取得する環境センサによって得られた第1センサ値と、操作者センサによって得られた操作者の動きである第2センサ値と、に基づいて操作者の動作を推定する意図推定部と、第1の操作対象物体と、第2の対象物体の間の関係性を取得する関係性取得部と、推定された操作者の動作と、関係性取得部が取得した情報と、に基づいて制御指令を生成する制御指令生成部と、を備える遠隔操作制御装置。
【選択図】図3
特許請求の範囲【請求項１】
操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
前記ロボットあるいは前記ロボットの周辺環境の情報を取得する環境センサによって得られた第１センサ値と、操作者センサによって得られた前記操作者の動きである第２センサ値と、に基づいて前記操作者の動作を推定する意図推定部と、
第１の操作対象物体と、第２の対象物体の間の関係性を取得する関係性取得部と、
推定された前記操作者の動作と、前記関係性取得部が取得した情報と、に基づいて制御指令を生成する制御指令生成部と、
を備える遠隔操作制御装置。
続きを表示（約 2,100 文字）【請求項２】
前記第２センサ値に含まれる前記操作者の指関節角度と手首姿勢とに基づいて、前記ロボットの全身の関節角を推定するロボット全身関節角推定部、をさらに備え、
前記制御指令生成部は、推定された前記ロボットの全身の関節角も用いて制御指令を生成する、
請求項１に記載の遠隔操作制御装置。
【請求項３】
前記第１センサ値に基づいて、前記第１の操作対象物体と前記第２の対象物体それぞれの姿勢を推定する物体姿勢推定部、をさらに備え、
前記制御指令生成部は、推定された前記第１の操作対象物体と前記第２の対象物体それぞれの姿勢も用いて制御指令を生成する、
請求項１または請求項２に記載の遠隔操作制御装置。
【請求項４】
前記制御指令生成部は、
前記操作者の動作のうち一部の自由度に対して適切な制御指令を生成することで、操作者の動作の自由度を減らして制御指令を生成する、
請求項１または請求項２に記載の遠隔操作制御装置。
【請求項５】
前記第２の対象物体は、前記第１の操作対象物体と操作において関係がある物体である、
請求項１または請求項２に記載の遠隔操作制御装置。
【請求項６】
前記関係性取得部は、
前記操作対象物体が複数存在する場合、前記操作対象物体同士の間、または操作対象物体と周辺環境の間の関係性を予め記述されているデータベースから前記対象物体を前記第１センサ値から特定した情報を用いて関係性情報を取得する、
請求項１または請求項２に記載の遠隔操作制御装置。
【請求項７】
前記関係性取得部は、
前記第１センサ値に含まれる画像を用いて検出された物体に関する識別情報と、関心領域の位置と大きさと、前記関心領域内の輝度を用いて、前記操作対象物体それぞれの外観特徴量と幾何特徴量を抽出し、抽出した前記操作対象物体それぞれの前記外観特徴量と前記幾何特徴量を用いて、前記第１の操作対象物体と前記第２の対象物体の間の関係性を取得して関係性をテキストで出力する、
請求項１または請求項２に記載の遠隔操作制御装置。
【請求項８】
前記第２センサ値に含まれる前記操作者の指関節角度と手首姿勢とに基づいて、前記ロボットの全身の関節角を推定するロボット全身関節角推定部と、
前記第１センサ値に基づいて、前記第１の操作対象物体と前記第２の対象物体それぞれの姿勢を推定する物体姿勢推定部、をさらに備え、
前記関係性取得部は、
前記第１センサ値に含まれる画像を用いて検出された物体に関する識別情報と、関心領域の位置と大きさと、前記関心領域内の輝度を用いて、前記操作対象物体それぞれの外観特徴量と幾何特徴量を抽出し、抽出した前記操作対象物体それぞれの前記外観特徴量と前記幾何特徴量を用いて、前記第１の操作対象物体と前記第２の対象物体の間の関係性を取得して関係性をテキストで出力し、
前記制御指令生成部は、
推定された前記操作者の動作と、推定された前記ロボットの全身の関節角と、推定された前記第１の操作対象物体と前記第２の対象物体それぞれの姿勢との組をエンコードして第１の特徴ベクトルを生成し、
前記関係性取得部が出力するテキストをエンコードして第２の特徴ベクトルを生成して、
前記第１の特徴ベクトルと、前記第２の特徴ベクトルとを関連付けて、関連付けたデータをエンコードすることで、前記ロボットの関節角軌道列である制御指令を生成する、
請求項１に記載の遠隔操作制御装置。
【請求項９】
操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作を行う遠隔操作制御方法であって、
意図推定部は、前記ロボットあるいは前記ロボットの周辺環境の情報を取得する環境センサによって得られた第１センサ値と、操作者センサによって得られた前記操作者の動きである第２センサ値と、に基づいて前記操作者の動作を推定し、
関係性取得部は、第１の操作対象物体と、第２の対象物体の間の関係性を取得し、
制御指令生成部は、推定された前記操作者の動作と、前記関係性取得部が取得した情報と、に基づいて制御指令を生成する、
遠隔操作制御方法。
【請求項１０】
操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作を行う遠隔操作制御装置のコンピュータに、
前記ロボットあるいは前記ロボットの周辺環境の情報を取得する環境センサによって得られた第１センサ値と、操作者センサによって得られた前記操作者の動きである第２センサ値と、に基づいて前記操作者の動作を推定させ、
第１の操作対象物体と、第２の対象物体の間の関係性を取得させ、
推定された前記操作者の動作と、取得した第１の操作対象物体と、第２の対象物体の間の関係性の情報と、に基づいて制御指令を生成させる、
プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、遠隔操作制御装置、遠隔操作制御方法、およびプログラムに関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
多指ハンド（二指含む）を有するロボットの遠隔操作を非外骨格式の操作インタフェースで行うためには、物体毎に決められた操作に合わせて、ロボット軌道を制約することで操作性が向上する。
【０００３】
例えば、特許文献１に記載の技術では、操作者の動きを認識し、ロボットに操作者の動きを伝えてロボットを操作するロボット遠隔操作において、意図推定部が、ロボットあるいはロボットの周辺環境に設置された環境センサによって得られたロボット環境センサ値と、操作者センサによって得られた操作者の動きである操作者センサ値とに基づいて操作者の動作を推定し、制御指令生成部が、推定された操作者の動作に基づいて、操作者の動作のうち一部の自由度に対して適切な制御指令を生成することで、操作者の動作の自由度を減らして制御指令を生成する。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－１５７１０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、複数物体を扱う遠隔操作が困難であると課題があった。
【０００６】
本発明は、上記の問題点に鑑みてなされたものであって、複数物体を扱うことができる遠隔操作制御装置、遠隔操作制御方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
（１）上記目的を達成するため、本発明の一態様に係る遠隔操作制御装置は、操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、前記ロボットあるいは前記ロボットの周辺環境の情報を取得する環境センサによって得られた第１センサ値と、操作者センサによって得られた前記操作者の動きである第２センサ値と、に基づいて前記操作者の動作を推定する意図推定部と、第１の操作対象物体と、第２の対象物体の間の関係性を取得する関係性取得部と、推定された前記操作者の動作と、前記関係性取得部が取得した情報と、に基づいて制御指令を生成する制御指令生成部と、を備える遠隔操作制御装置である。
【０００８】
（２）上記（１）の本発明の一態様に係る遠隔操作制御装置において、前記第２センサ値に含まれる前記操作者の指関節角度と手首姿勢とに基づいて、前記ロボットの全身の関節角を推定するロボット全身関節角推定部、をさらに備え、前記制御指令生成部は、推定された前記ロボットの全身の関節角も用いて制御指令を生成する、ようにしてもよい。
【０００９】
（３）上記（１）または（２）の本発明の一態様に係る遠隔操作制御装置において、前記第１センサ値に基づいて、前記第１の操作対象物体と前記第２の対象物体それぞれの姿勢を推定する物体姿勢推定部、をさらに備え、前記制御指令生成部は、推定された前記第１の操作対象物体と前記第２の対象物体それぞれの姿勢も用いて制御指令を生成する、
ようにしてもよい。
【００１０】
（４）上記（１）から（３）のうちのいずれか１つの本発明の一態様に係る遠隔操作制御装置において、前記制御指令生成部は、前記操作者の動作のうち一部の自由度に対して適切な制御指令を生成することで、操作者の動作の自由度を減らして制御指令を生成する、ようにしてもよい。
（【００１１】以降は省略されています）

関連特許