特許ウォッチ

公開番号2024123388
公報種別公開特許公報(A)
公開日2024-09-12
出願番号2023030741
出願日2023-03-01
発明の名称遠隔制御装置、遠隔制御システム、遠隔制御方法、および、プログラム
出願人三菱電機株式会社
代理人弁理士法人深見特許事務所
主分類B25J 3/00 20060101AFI20240905BHJP(手工具;可搬型動力工具;手工具用の柄;作業場設備;マニプレータ)
要約【課題】装置を追加することなくマニピュレータ側で発生する音を操作者に伝える技術を提供する。
【解決手段】マニピュレータを遠隔で制御する装置として機能するコンピュータが実行する処理は、動作指示情報を受信するステップ(S610)と、当該動作指示情報に応じた指令をマニピュレータに送信するステップ(S620)と、カメラから撮影画像を受信するステップ(S630)と、動作指示情報に基づいて動作音の画像を選択するステップ(S640)と、動作音の画像と撮影画像とを合わせて提示画像を生成するステップ(S650)と、提示画像を出力するステップ(S660)とを含む。
【選択図】図6
特許請求の範囲【請求項１】
物体を扱うマニピュレータが指示に応じて動作する時に発する音として予め取得された音を画像で表示する画像データを格納している記憶部と、
前記マニピュレータに対する指示の入力を受け付ける入力部と、
前記指示の入力に基づいて動作する前記マニピュレータの撮影により得られる撮影画像を受信する受信部と、
前記指示に対応する前記画像データに基づく画像と、前記受信された撮影画像とを有する提示画像を生成する生成部と、
前記提示画像を表示する表示部とを備える、遠隔制御装置。
続きを表示（約 1,600 文字）【請求項２】
前記記憶部は、複数の指示の各々に対応する各前記画像データを格納しており、
前記入力部は、前記複数の指示のうちのいずれかの指示の入力を受け付け、
前記提示画像を生成することは、
受け付けられた指示に対応する画像データを各前記画像データから選択することと、
前記選択された画像データに基づく画像と、前記撮影画像とを有する提示画像を生成することを含む、請求項１に記載の遠隔制御装置。
【請求項３】
各前記画像データは、前記複数の指示の各々について予め準備された異なる大きさの画像を表示するための画像データを含み、
前記提示画像を生成することは、各前記指示に応じた画像データに基づく画像と、前記撮影画像とを有する提示画像を生成することを含む、請求項２に記載の遠隔制御装置。
【請求項４】
前記異なる大きさの画像を表示するための画像データは、前記マニピュレータの動作音の大きさ、前記動作音の周波数の少なくともいずれかに応じて規定されている、請求項３に記載の遠隔制御装置。
【請求項５】
各前記画像データは、前記複数の指示の各々について予め準備された異なる色の画像を表示するための画像データを含み、
前記提示画像を生成することは、各前記指示に応じた画像データに基づく画像と、前記撮影画像とを有する提示画像を生成することを含む、請求項３に記載の遠隔制御装置。
【請求項６】
前記マニピュレータと前記物体との間に作用する触覚力を含む触覚データを触覚センサから受信する受信部をさらに備え、
各前記画像データは、一以上の前記触覚データについてそれぞれ予め準備された画像を表示するための一以上の接触音画像データを含み、
前記提示画像を生成することは、前記受信される触覚データに基づいて、当該触覚データについて予め準備された前記接触音画像データに基づく画像と、前記撮影画像とを有する提示画像を生成することを含む、請求項１に記載の遠隔制御装置。
【請求項７】
前記提示画像を生成することは、
前記触覚力に応じて、前記触覚データについて予め準備された画像の大きさを変更することと、
前記触覚力に応じて、前記触覚データについて予め準備された画像の色を変更することとのいずれかを含む、請求項６に記載の遠隔制御装置。
【請求項８】
前記マニピュレータの近傍で取得された音の信号を受信する音声受信部をさらに備え、
前記記憶部は、前記マニピュレータから発せられる音について予め準備された画像を表示するための音画像データをさらに格納しており、
前記提示画像を生成することは、受信された音の信号についての前記画像データに基づく画像と、前記撮影画像とを有する提示画像を生成することを含む、請求項１に記載の遠隔制御装置。
【請求項９】
前記音画像データは、前記マニピュレータから発せられる異音を表わす画像を表示する異音画像データを含み、
前記提示画像を生成することは、前記音の信号が前記マニピュレータの音として予め取得された音の信号と異なることに基づいて、前記異音画像データに基づく画像と、前記撮影画像とを有する提示画像を生成することを含む、請求項８に記載の遠隔制御装置。
【請求項１０】
前記音は、前記マニピュレータの環境音を含み、
前記音画像データは、前記マニピュレータの環境音を示すデータとして予め準備された環境音画像データを含み、
前記提示画像を生成することは、前記環境音画像データに基づく画像と、前記撮影画像とを有する提示画像を生成することを含む、請求項８に記載の遠隔制御装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示はマニピュレータの制御に関し、より特定的には、マニピュレータの遠隔制御に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
ロボット技術やＡＩ（Artificial Intelligence）技術が進歩し、様々な環境で自律的に動作するロボットが活用されるようになってきている。例えば搬送用ロボットでは、工場内の搬送で使われる無人搬送車（ＡＧＶ：Automated Guided Vehicle）や飲食店において飲食物を搬送するロボットの開発が進められている。
【０００３】
しかし、人間とロボットとを同一空間で活動させようとすると多くの問題が発生する。例えば、既存の病院は人間用に建設されており、安全性の観点から搬送ロボットの動作範囲が制限される。また、入院患者の増減、急患対応時または災害発生時には、病院はレイアウトを動的に変更させる必要があり、搬送経路を固定化する手段の採用は困難である。そのため、自律動作型のロボットを使う場合には、搬送経路を制限するといった多数の制約が必要となる。一方で、先進国の人口減少による労働力不足に対処するために、又は、危険地域での作業のために、ロボットの活用ニーズは存在し、その手段の一つとして遠隔で操作されるロボットのニーズが存在する。
【０００４】
遠隔操作においてロボットを介して高度な作業を実施するためには、ロボットのハンド部（以下「マニピュレータ」という。）に触覚センサ（たとえば、圧力センサや力覚センサ）を多用し、その情報を操作者に伝えるシステムが提案されている（たとえば特許文献１参照）。また、マニピュレータが含まれる撮影画像を撮影するカメラと、触覚センサから得られた触覚データをもとに生成した触覚画像を映像に重ね合わせることで操作性を向上させるシステムが提案されている（たとえば特許文献２参照）。さらに、マニピュレータの力覚データの情報を文字情報に変換して画像に重ね合わせることで操作者に伝えるシステムが提案されている（特許文献３）。
【先行技術文献】
【特許文献】
【０００５】
特開２００９－６６６８３号公報
国際公開第２０１９／０５９３６４号パンフレット
特開２０１９－２０９３９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
マニピュレータを遠隔で制御するための上記のようなシステムでは、操作者（所謂オペレータ）がマニピュレータを容易に遠隔操作できるようにするためには、マニピュレータが動作したときに発生する動作音や、マニピュレータの周囲で発生した音を操作者に伝えることが望まれる。
【０００７】
しかしながら、マニピュレータ側で発生する音を遠隔地にいる操作者に伝えるためには、マニピュレータ側の音を集めるマイクや、操作者側で音を出力するためのスピーカが必要となる。したがって、装置を追加することなくマニピュレータ側で発生する音を操作者に伝える技術が必要とされている。
【０００８】
また、操作者の環境によっては、操作者がイヤホンやヘッドホンを装着する必要があり、長時間の操作では、イヤホンやヘッドホンも負担になり得る。したがって、操作者の負担を増やすことなくマニピュレータ側で発生する音を操作者に伝える技術が必要とされている。
【０００９】
さらに、マニピュレータ側で発生した音を操作者側に伝えるためには、映像データと音データとを同期して伝送するための制御が必要となり、システムの複雑性が増加することになる。また、音データを伝送すると通信帯域幅が圧迫されることになる。したがって、システムを複雑化することなくまた通信帯域を圧迫することなくマニピュレータ側で発生する音を操作者に伝える技術が必要とされている。
【００１０】
本開示は、上記のような背景に鑑みてなされたものであり、ある局面に従う目的の一つは、装置を追加することなくマニピュレータ側で発生する音を操作者に伝える技術を提供することである。
（【００１１】以降は省略されています）

関連特許