公開番号2023106284 公報種別公開特許公報(A) 公開日2023-08-01 出願番号2022133499 出願日2022-08-24 発明の名称組立ロボットの遠隔操作環境のデジタルツインモデリング方法及びシステム 出願人青島理工大学,QINGDAO UNIVERSITY OF TECHNOLOGY,山東大学,SHANDONG UNIVERSITY,河北工業大学 代理人個人 主分類B25J 19/04 20060101AFI20230725BHJP(手工具;可搬型動力工具;手工具用の柄;作業場設備;マニプレータ) 要約【課題】本発明は組立ロボットの遠隔操作環境のデジタルツインモデリング方法に関する。 【解決手段】遠隔操作環境の画像を収集するステップと、組立中の部品に基づいて組立済みの部品リストを取得するステップと、上記リストに基づいて現在組立体の三次元モデルを生成し、且つ現在組立体の画像収集装置座標系での姿勢情報を計算するステップと、ロボット座標系と画像収集装置座標系との座標変換関係を決定するステップと、座標変換関係に基づいてロボットの画像収集装置座標系での姿勢情報を決定するステップと、現在組立体及びロボットの画像収集装置座標系での姿勢情報に基づいて現在組立体とロボットとの相対位置関係を決定するステップと、現在組立体とロボットとの相対位置関係に基づいて遠隔操作環境のデジタルツインモデルを確立するステップと、を含む。 【選択図】図1 特許請求の範囲【請求項１】 組立ロボットの遠隔操作環境のデジタルツインモデリング方法であって、 画像収集装置により遠隔操作環境の画像を収集するステップと、 画像中の現在組立中の部品を識別し、組立体の組立順序を問い合わせて、現在組立中の部品に基づいて組立済みの部品リストを取得するステップと、 組立済みの部品リストに基づいて現在組立体の三次元モデルを生成し、且つ現在組立体の画像収集装置座標系での姿勢情報を計算するステップと、 ロボットの三次元モデルをロードして、ロボット座標系と画像収集装置座標系との座標変換関係を決定するステップと、 座標変換関係に基づいて画像中のロボットに対して方位標定を行って、ロボットの画像収集装置座標系での姿勢情報を決定するステップと、 現在組立体の画像収集装置座標系での姿勢情報及びロボットの画像収集装置座標系での姿勢情報に基づいて現在組立体とロボットとの相対位置関係を決定するステップと、 現在組立体の三次元モデル、ロボットの三次元モデル及び現在組立体とロボットとの相対位置関係に基づいて遠隔操作環境のデジタルツインモデルを確立するステップと、を含むことを特徴とする組立ロボットの遠隔操作環境のデジタルツインモデリング方法。 続きを表示（約 3,500 文字）【請求項２】 前記画像収集装置が収集した画像は深度画像を含み、画像中の現在組立中の部品を識別する前記ステップは具体的に、 深度画像中の組立体の異なる部品の領域を異なるカラータグで標識して、実例分割画像を生成し、 実例分割画像のカラータグを統計し、現在組立中の部品を識別することを特徴とする請求項１に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法。 【請求項３】 組立済みの部品リストに基づいて現在組立体の三次元モデルを生成する前記ステップは具体的に、 組立済みの部品リストにおける各部品の三次元モデルをロードし、 予め定義された組立体の各部品間の制約関係に応じてリストにおける各部品の組立体上での位置を決定し、 リストにおける各部品の組立体上での位置に基づいて各部品の三次元モデルの位置を調整して、現在組立体の三次元モデルを生成することを特徴とする請求項２に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法。 【請求項４】 現在組立体の画像収集装置座標系での姿勢情報を計算する前記ステップは具体的に、 深度画像を前処理して、背景を除去して、現在組立体の深度画像を保存し、 画像収集装置の内部参照及びイメージングモデルを利用して現在組立体の深度画像を組立体ポイントクラウドに変換し、 組立体ポイントクラウドをポイントクラウド特徴抽出ネットワークに入力して組立体ポイントクラウド特徴を抽出し、 組立体ポイントクラウド特徴を事前に訓練された姿勢推定ネットワークに入力し、組立体の画像収集装置座標系での姿勢情報を出力することを特徴とする請求項２に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法。 【請求項５】 前記姿勢推定ネットワークの事前訓練過程は、 初期情報を決定し、初期視点における組立体の三次元モデルポイントクラウドのタグ姿勢情報を抽出して記録し、タグ姿勢情報が三次元モデルポイントクラウドにおける各点の回転行列R i 及びオフセット行列T i を含み、iが三次元モデルポイントクラウドにおける各点のインデックスであり、 ポイントクラウド変換を行い、組立体の三次元モデルの初期視点と異なる他の視点における組立体の深度画像を抽出し、且つ画像収集装置の内部参照及びイメージングモデルを利用して該組立体の深度画像を組立体ポイントクラウドに変換し、 姿勢予測を行い、組立体ポイントクラウドをポイントクラウド特徴抽出ネットワークに入力し、ポイントクラウドの各点の特徴を出力して、ポイントクラウドの各点の特徴を姿勢推定ネットワークに入力し、各点の姿勢予測情報を予測し、前記各点の姿勢予測情報が予測回転行列R' i 及び予測オフセット行列T' i を含み、 各点の姿勢予測情報とタグ姿勢情報とのユークリッド距離を計算して、ユークリッド距離に基づいて信頼度を生成し、信頼度が設定された閾値よりも小さい場合、画像更新ステップを実行し、信頼度が設定された閾値よりも大きく又は訓練回数が設定値に達する場合、現在視点における組立体の最適な姿勢予測情報を出力し、訓練が完了したかどうかを判断し、完了しなければポイントクラウド変換ステップに戻って、次の視点における組立体の深度画像を取り替えて訓練し続け、完了すれば画像更新ステップを実行し、 画像更新を行い、予測回転行列R' i 及び予測オフセット行列T' i を入力として組立体ポイントクラウドに対して変位及び回転変換を行って、組立体ポイントクラウドの三次元座標を更新し、更新後の組立体ポイントクラウドをポイントクラウド特徴抽出ネットワークに入力して訓練し続けることを特徴とする請求項４に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法。 【請求項６】 前記画像収集装置はＲＧＢ－Ｄカメラであり、収集された画像は更にＲＧＢ画像を含み、ロボット座標系と画像収集装置座標系との座標変換関係を決定する前記ステップは具体的に、 ロボットの関節に位置決め標識物を設置し、 ロボットを制御してポイントツーポイント間欠運動を行わせ、各間欠運動点において、ロボットコントローラにより位置決め標識物のロボット座標系での座標P i (x wi ,y wi , z wi )を読み取るとともに、位置決め標識物の特徴点のＲＧＢ画像での画素座標Z i (u i , v i )を識別し、 位置決め標識物の特徴点のＲＧＢ画像での画素座標Z i (u i , v i )及びＲＧＢ－Ｄカメラのイメージングモデルに基づいて、ＲＧＢ－Ｄカメラにおける深度カメラとカラーカメラとの位置関係を利用して、位置決め標識物の特徴点のカメラ座標系での三次元座標P' i (x ci ,y ci , z ci )を求め、 ４つ以上の間欠運動点の位置決め標識物のロボット座標系での座標P i (x wi ,y wi , z wi )及び位置決め標識物の特徴点のカメラ座標系での三次元座標P' i (x ci ,y ci , z ci )を取得して、ロボット座標系とカメラ座標系との変換行列を計算することを特徴とする請求項２に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法。 【請求項７】 ロボットを制御してポイントツーポイント間欠運動を行わせるステップにおいて、ポイントツーポイント間欠運動の軌跡を複数の正方形として設定することを特徴とする請求項６に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法。 【請求項８】 組立ロボットの遠隔操作環境のデジタルツインモデリングシステムであって、 遠隔操作環境の画像を収集するための画像収集装置と、 組立体の各部品の三次元モデル、各部品の制約関係及び組立体の組立順序が事前にロードされる組立体デジタルモジュールと、 画像中の現在組立中の部品を識別し及び組立体の組立順序を問い合わせて、現在組立中の部品に基づいて組立済みの部品リストを取得し、且つ組立済みの部品リストに基づいて現在組立体の三次元モデルを生成するための組立体再構築モジュールと、 現在組立体の画像収集装置座標系での姿勢情報を計算するための組立体位置決めモジュールと、 ロボットの三次元モデルが事前にロードされるロボットデジタルモジュールと、 ロボット座標系と画像収集装置座標系との座標変換関係を決定し、且つ座標変換関係に基づいて画像中のロボットに対して方位標定を行って、ロボットの画像収集装置座標系での姿勢情報を決定するためのロボット位置決めモジュールと、 現在組立体の画像収集装置座標系での姿勢情報及びロボットの画像収集装置座標系での姿勢情報に基づいて現在組立体とロボットとの相対位置関係を決定し、且つ現在組立体の三次元モデル、ロボットの三次元モデル及び現在組立体とロボットとの相対位置関係に基づいて遠隔操作環境のデジタルツインモデルを確立するためのデジタルツインモデル再構築モジュールと、を備えることを特徴とする組立ロボットの遠隔操作環境のデジタルツインモデリングシステム。 【請求項９】 前記画像収集装置はＲＧＢ－Ｄカメラであることを特徴とする請求項８に記載の組立ロボットの遠隔操作環境のデジタルツインモデリングシステム。 【請求項１０】 メモリと、プロセッサと、メモリに記憶され且つプロセッサにおいて実行され得るコンピュータプログラムとを備える電子機器であって、 前記プロセッサが前記プログラムを実行するとき、請求項１～７のいずれか１項に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法を実現することを特徴とする電子機器。
特許ウォッチ
