特許ウォッチ

公開番号2025015880
公報種別公開特許公報(A)
公開日2025-01-31
出願番号2023118752
出願日2023-07-21
発明の名称画像処理装置、ロボットハンド操作システム、画像処理方法、および画像処理プログラム
出願人日本電気株式会社
代理人個人,個人
主分類G06T 19/00 20110101AFI20250124BHJP(計算;計数)
要約【課題】特殊なディスプレイを用いることなく、ロボットハンドと対象物との距離感の把握が容易になる画像処理装置等を提供する。
【解決手段】画像処理装置は、ロボットハンド座標を取得するロボットハンド座標取得手段と、ロボットハンドの移動方向を取得するロボットハンド移動方向取得手段と、デプスカメラからロボットハンドのデプス画像を取得するデプス画像取得手段と、色彩画像を取得する色彩画像取得手段と、デプスカメラの位置とデプス画像とに基づいて、色彩画像の各画素の画素座標を算出する画素座標算出手段と、ロボットハンドの座標と移動方向とを用いて、ロボットハンドの移動方向に垂直で、所定の距離にある仮想平面を算出する仮想平面算出手段と、仮想平面上の予め定めた部分を用いて仮想平面画像を生成する仮想平面画像生成手段と、仮想平面画像と色彩画像との合成画像を生成する合成画像生成手段と、を有する。
【選択図】図1
特許請求の範囲【請求項１】
基準点に対して移動することが可能なロボットハンドのロボットハンド座標を取得するロボットハンド座標取得手段と、
前記ロボットハンドの移動方向を取得するロボットハンド移動方向取得手段と、
前記ロボットハンドを撮影するデプスカメラから前記ロボットハンドのデプス画像を取得するデプス画像取得手段と、
前記デプスカメラから前記ロボットハンドの色彩画像を取得する色彩画像取得手段と、
前記デプスカメラの位置と前記デプス画像とに基づいて、前記色彩画像を構成する各画素の画素座標を算出する画素座標算出手段と、
前記ロボットハンドの座標と、前記ロボットハンドの移動方向とを用いて、前記ロボットハンドの移動方向に垂直で、前記ロボットハンドから予め定めた距離にある仮想平面を算出する仮想平面算出手段と、
前記仮想平面の予め定めた部分を用いて仮想平面画像を生成する仮想平面画像生成手段と、
前記仮想平面画像と前記色彩画像とを合成した合成画像を生成する合成画像生成手段と、
を有することを特徴とする画像処理装置。
続きを表示（約 1,600 文字）【請求項２】
前記仮想平面算出手段が、
前記ロボットハンドからの距離が異なる複数の前記仮想平面を算出する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記仮想平面画像生成手段が、
複数の前記仮想平面画像を互いに異なる色で生成する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記仮想平面算出手段が、
複数の前記仮想平面の間隔を前記ロボットハンドの移動速度に応じて設定する、
ことを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記仮想平面画像生成手段が、
前記仮想平面画像をワイヤーフレームとして生成する、
ことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項６】
前記ロボットハンドが爪の開閉を行う構成である際に、
前記仮想平面画像生成手段が、
前記爪の開き幅に対応するように前記仮想平面画像を生成する、
ことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項７】
前記色彩画像の中に前記ロボットハンドとは別の物体が存在する際に、
前記合成画像生成手段が、
前記仮想平面画像のうちの、前記物体に手前にある部分だけを前記色彩画像と合成する、
ことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項８】
請求項１乃至３のいずれか一項に記載の画像処理装置と、
前記ロボットハンドと、
前記ロボットハンドとは離れた場所に設けられ、前記合成画像を表示する表示装置と前記ロボットハンドを操作するロボットハンドコントローラとを備えたロボットハンド操作部と、
を有することを特徴とするロボットハンド操作システム。
【請求項９】
コンピュータが、
基準点に対して移動することが可能なロボットハンドのロボットハンド座標を取得し、
前記ロボットハンドの移動方向を取得し、
前記ロボットハンドを撮影するデプスカメラから前記ロボットハンドのデプス画像を取得し、
前記デプスカメラから前記ロボットハンドの色彩画像を取得し、
前記デプスカメラの位置と前記デプス画像とに基づいて、前記色彩画像を構成する各画素の画素座標を算出し、
前記ロボットハンドの座標と、前記ロボットハンドの移動方向とを用いて、前記ロボットハンドの移動方向に垂直で、前記ロボットハンドから予め定めた距離にある仮想平面を算出し、
前記仮想平面の予め定めた部分を用いて仮想平面画像を生成し、
前記仮想平面画像と前記色彩画像とを合成した合成画像を生成する、
ことを特徴とする画像処理方法。
【請求項１０】
基準点に対して移動することが可能なロボットハンドのロボットハンド座標を取得する処理と、
前記ロボットハンドの移動方向を取得する処理と、
前記ロボットハンドを撮影するデプスカメラから前記ロボットハンドのデプス画像を取得する処理と、
前記デプスカメラから前記ロボットハンドの色彩画像を取得する処理と、
前記デプスカメラの位置と前記デプス画像とに基づいて、前記色彩画像を構成する各画素の画素座標を算出する処理と、
前記ロボットハンドの座標と、前記ロボットハンドの移動方向とを用いて、前記ロボットハンドの移動方向に垂直で、前記ロボットハンドから予め定めた距離にある仮想平面を算出する処理と、
前記仮想平面の予め定めた部分を用いて仮想平面画像を生成する処理と、
前記仮想平面画像と前記色彩画像とを合成した合成画像を生成する処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、画像処理装置、ロボットハンド操作システム、画像処理方法、および画像処理プログラムに関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
近年、ロボットの遠隔操作の需要が高まっている。このようなロボットの遠隔操作においては、ロボットから離れた場所に設けられたロボットコントローラとディスプレイが利用される。ロボットハンドを備えたロボットの操作では、例えば、ディスプレイにロボットハンドと対象物を含む画像が表示される。そして、オペレータが、この画像を見ながら、ロボットハンドを操作する。この際、オペレータによるロボットハンドと対象物との距離感の把握が課題となる。
【０００３】
上記の課題を解決するための技術が、例えば特許文献１に開示されている。この技術では、建設機械と離れた場所に、建設機械のコックピットと同様の運転席と、操作杆と、建設機械の撮影部によって撮影された風景を映し出すディスプレイ部が設けられる。建設機械としては、例えば、バケット（ロボットハンドに相当）を備えた油圧ショベル（バックホウ）が用いられる。建設機械は、操作杆の操縦によって遠隔操作される。そして、上記のディスプレイ部として、例えば、３台の表示装置が横一列に配置される。このような画像を表示することで、バケットと施工対象物の位置関係認識が容易になる。また、特許文献１には、１台の横長の表示装置や、円環状に湾曲した表示装置を用いることでも同様な効果が得られるとされている。
【先行技術文献】
【特許文献】
【０００４】
特開２０１９－２１４８９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の技術では、複数の表示装置を横に配列したり、横長の表示装置を用いたり、円環状に湾曲した表示装置を用いたりする必要があった。つまり、特殊なディスプレイを構成する必要があった。
【０００６】
本開示は、上記の問題点に鑑みてなされたものであり、特殊なディスプレイを用いることなく、ロボットハンドと対象物との距離感の把握が容易になる画像処理装置等を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、本開示の画像処理装置は、基準点に対して移動することが可能なロボットハンドのロボットハンド座標を取得するロボットハンド座標取得手段と、前記ロボットハンドの移動方向を取得するロボットハンド移動方向取得手段と、前記ロボットハンドを撮影するデプスカメラから前記ロボットハンドのデプス画像を取得するデプス画像取得手段と、前記デプスカメラから前記ロボットハンドの色彩画像を取得する色彩画像取得手段と、前記デプスカメラの位置と前記デプス画像とに基づいて、前記色彩画像を構成する各画素の画素座標を算出する画素座標算出手段と、前記ロボットハンドの座標と、前記ロボットハンドの移動方向とを用いて、前記ロボットハンドの移動方向に垂直で、前記ロボットハンドから予め定めた距離にある仮想平面を算出する仮想平面算出手段と、前記仮想平面の上の予め定めた部分を用いて仮想平面画像を生成する仮想平面画像生成手段と、前記仮想平面画像と前記色彩画像とを合成した合成画像を生成する合成画像生成手段と、を有する。
【０００８】
また、本開示のロボットハンド操作システムは、上記の画像処理装置と、前記ロボットハンドと、前記ロボットハンドとは離れた場所に設けられ、前記合成画像を表示する表示装置と前記ロボットハンドを操作するロボットハンドコントローラとを備えたロボットハンド操作部と、を有する。
【０００９】
また、本開示の画像処理方法は、コンピュータが、基準点に対して移動することが可能なロボットハンドのロボットハンド座標を取得し、前記ロボットハンドの移動方向を取得し、前記ロボットハンドを撮影するデプスカメラから前記ロボットハンドのデプス画像を取得し、前記デプスカメラから前記ロボットハンドの色彩画像を取得し、前記デプスカメラの位置と前記デプス画像とに基づいて、前記色彩画像を構成する各画素の画素座標を算出し、前記ロボットハンドの座標と、前記ロボットハンドの移動方向とを用いて、前記ロボットハンドの移動方向に垂直で、前記ロボットハンドから予め定めた距離にある仮想平面を算出し、前記仮想平面の上の予め定めた部分を用いて仮想平面画像を生成し、前記仮想平面画像と前記色彩画像とを合成した合成画像を生成する。
【００１０】
また、本開示の画像処理プログラムは、基準点に対して移動することが可能なロボットハンドのロボットハンド座標を取得する処理と、前記ロボットハンドの移動方向を取得する処理と、前記ロボットハンドを撮影するデプスカメラから前記ロボットハンドのデプス画像を取得する処理と、前記デプスカメラから前記ロボットハンドの色彩画像を取得する処理と、前記デプスカメラの位置と前記デプス画像とに基づいて、前記色彩画像を構成する各画素の画素座標を算出する処理と、前記ロボットハンドの座標と、前記ロボットハンドの移動方向とを用いて、前記ロボットハンドの移動方向に垂直で、前記ロボットハンドから予め定めた距離にある仮想平面を算出する処理と、前記仮想平面の上の予め定めた部分を用いて仮想平面画像を生成する処理と、前記仮想平面画像と前記色彩画像とを合成した合成画像を生成する処理と、をコンピュータに実行させる。
【発明の効果】
（【００１１】以降は省略されています）

関連特許