特許ウォッチ

公開番号2025011445
公報種別公開特許公報(A)
公開日2025-01-24
出願番号2023113566
出願日2023-07-11
発明の名称情報処理システム、情報処理方法およびプログラム
出願人オムロン株式会社
代理人弁理士法人深見特許事務所
主分類G05B 23/02 20060101AFI20250117BHJP(制御;調整)
要約【課題】生産設備の異常な動作の原因調査を適切に支援可能な情報処理システムを提供する。
【解決手段】情報処理システムは、対象期間における制御装置の制御状態を表す1以上の変数の値の第1時系列データを記憶するデータベースを備える。情報処理システムは、制御装置によって制御されない物体の第1仮想モデルの運動をシミュレートし、対象期間における第1仮想モデルの位置姿勢の第2時系列データをデータベースに格納する。情報処理システムは、第1仮想モデルと制御対象の第2仮想モデルとを含む仮想画像を生成する。仮想画像において、第2時系列データが示す指定時刻の位置姿勢をとるように第1仮想モデルが可視化され、第1時系列データが示す指定時刻の1以上の変数の値に対応する制御対象の状態を有するように第2仮想モデルが可視化される。
【選択図】図1
特許請求の範囲【請求項１】
情報処理システムであって、
対象期間における制御装置の制御状態を表す１以上の変数の値の第１時系列データを記憶する１以上のデータベースと、
前記第１時系列データと、前記対象期間における前記制御装置の制御対象と前記制御装置によって制御されない物体との従属関係と、前記物体の物理特性とに基づいて、前記対象期間における前記物体の第１仮想モデルの運動をシミュレートするシミュレータと、
前記シミュレータによるシミュレーション結果から、前記対象期間における前記第１仮想モデルの位置姿勢の第２時系列データを取得し、前記第２時系列データを前記１以上のデータベースに格納するデータ取得モジュールと、
前記第１仮想モデルと前記制御対象の第２仮想モデルとが重ねて可視化される仮想画像を生成する第１可視化モジュールとを備え、
前記第１可視化モジュールは、前記仮想画像において、
前記第２時系列データが示す指定時刻の位置姿勢をとるように前記第１仮想モデルを可視化し、
前記第１時系列データが示す前記指定時刻の前記１以上の変数の値に対応する前記制御対象の状態を有するように前記第２仮想モデルを可視化する、情報処理システム。
続きを表示（約 2,100 文字）【請求項２】
前記物体を撮影することにより得られた動画に基づいて、前記対象期間における前記物体の形状変化を解析する形状解析モジュールを備え、
前記データ取得モジュールは、前記形状解析モジュールによる解析結果から、前記対象期間における前記物体の形状の第３時系列データを取得し、前記第３時系列データを前記１以上のデータベースに格納し、
前記第１可視化モジュールは、前記仮想画像において、前記第３時系列データが示す前記指定時刻の形状を有するように前記第１仮想モデルを可視化する、請求項１に記載の情報処理システム。
【請求項３】
前記シミュレータは、
前記対象期間のうちの第１区間において、前記第１時系列データが示す前記１以上の変数の値に基づいて、前記第２仮想モデルの動作をシミュレートし、前記第２仮想モデルに追従するように前記第１仮想モデルの運動をシミュレートし、
前記対象期間のうち前記第１区間以外の第２区間において、前記物理特性に基づいて、前記第１仮想モデルの運動をシミュレートする、請求項１に記載の情報処理システム。
【請求項４】
前記指定時刻における前記１以上の変数の値が可視化された第１ウィンドウのデータを生成する１以上の第２可視化モジュールと、
前記第１ウィンドウと、前記仮想画像を含む第２ウィンドウとをディスプレイ上に並べて表示させる表示コントローラとをさらに備える、請求項１に記載の情報処理システム。
【請求項５】
前記１以上の第２可視化モジュールは、前記１以上の変数の値の推移を示すグラフを可視化する波形表示モジュールと、前記制御装置における前記制御対象を制御するための制御プログラムの実行状況を可視化するプログラム表示モジュールとの少なくとも１つを含む、請求項４に記載の情報処理システム。
【請求項６】
前記制御対象を撮影することにより得られた動画のうち前記指定時刻におけるフレームを含む第１ウィンドウのデータを生成する動画再生モジュールと、
前記第１ウィンドウと、前記仮想画像を含む第２ウィンドウとをディスプレイ上に並べて表示させる表示コントローラとをさらに備える、請求項１に記載の情報処理システム。
【請求項７】
対象期間における制御装置の制御状態を表す１以上の変数の値の第１時系列データを記憶する１以上のデータベースを用いた情報処理方法であって、
１以上のプロセッサが、前記第１時系列データと、前記対象期間における前記制御装置の制御対象と前記制御装置によって制御されない物体との従属関係と、前記物体の物理特性とに基づいて、前記対象期間における前記物体の第１仮想モデルの運動をシミュレートすることと、
前記１以上のプロセッサが、シミュレーション結果から、前記対象期間における前記第１仮想モデルの位置姿勢の第２時系列データを取得し、前記第２時系列データを前記１以上のデータベースに格納することと、
前記１以上のプロセッサが、前記第１仮想モデルと前記制御対象の第２仮想モデルとが重ねて可視化される仮想画像を生成することとを備え、
前記仮想画像を生成することは、
前記１以上のプロセッサが、前記仮想画像において、前記第２時系列データが示す指定時刻の位置姿勢をとるように前記第１仮想モデルを可視化することと、
前記１以上のプロセッサが、前記仮想画像において、前記第１時系列データが示す前記指定時刻の前記１以上の変数の値に対応する前記制御対象の状態を有するように前記第２仮想モデルを可視化することとを含む、情報処理方法。
【請求項８】
対象期間における制御装置の制御状態を表す１以上の変数の値の第１時系列データを記憶する１以上のデータベースを用いた情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法は、
前記第１時系列データと、前記対象期間における前記制御装置の制御対象と前記制御装置によって制御されない物体との従属関係と、前記物体の物理特性とに基づいて、前記対象期間における前記物体の第１仮想モデルの運動をシミュレートすることと、
シミュレーション結果から、前記対象期間における前記第１仮想モデルの位置姿勢の第２時系列データを取得し、前記第２時系列データを前記１以上のデータベースに格納することと、
前記第１仮想モデルと前記制御対象の第２仮想モデルとが重ねて可視化される仮想画像を生成することとを備え、
前記仮想画像を生成することは、
前記仮想画像において、前記第２時系列データが示す指定時刻の位置姿勢をとるように前記第１仮想モデルを可視化することと、
前記仮想画像において、前記第１時系列データが示す前記指定時刻の前記１以上の変数の値に対応する前記制御対象の状態を有するように前記第２仮想モデルを可視化することとを含む、プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、情報処理システム、情報処理方法およびプログラムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
生産設備の異常な動作の原因調査を支援する装置が開発されている。特開２０２２－９９３４１号公報（特許文献１）は、稼働部の状態と制御信号の入出力データとを記録したログデータに基づいて、仮想的な制御対象の動作を再現させた動作再現模擬データを生成し、動作再現模擬データを表示部に表示する技術を開示している。特許文献１に開示の技術は、さらに、ワークの初期状態とログデータとに基づいて、指定時刻におけるワークの状態も再現する。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－９９３４１号公報
【非特許文献】
【０００４】
"Pixel2Mesh++", ［online］, ［令和５年６月５日検索］、インターネット〈URL：https://github.com/walsvid/Pixel2MeshPlusPlus〉
Rana Hanocka, Gal Metzer, Raja Giryes, Daniel Cohen-Or, "Point2Mesh A Self-Prior for Deformable Meshes", ［online］, ［令和５年６月５日検索］、インターネット〈URL：https://ranahanocka.github.io/point2mesh/〉
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示の技術によれば、ワークの状態は、ワークと稼働部とが接触していることを前提として再現される。生産設備に異常が発生した場合、ワークは、稼働部から離れ得る。例えば、ワークは、ロボットハンドから離れて自由落下し得る。特許文献１に開示の技術では、このようなワークの状態は再現されない。
【０００６】
物体の自由落下のような物理現象をシミュレートする物理シミュレーションが知られている。しかしながら、物理シミュレーションでは、物体の将来の運動のみがシミュレートされる。すなわち、物理シミュレーションでは、時刻を戻すことができない。そのため、物理シミュレーションを行ないながら異常な動作の原因を調査する場合、ユーザは、再現時刻を戻して、物体の状態を確認できない。
【０００７】
本開示は、上記の問題に鑑みてなされたものであり、その目的は、生産設備の異常な動作の原因調査を適切に支援可能な情報処理システム、情報処理方法およびプログラムを提供することである。
【課題を解決するための手段】
【０００８】
本開示の一例によれば、情報処理システムは、１以上のデータベースと、シミュレータと、データ取得モジュールと、第１可視化モジュールとを備える。１以上のデータベースは、対象期間における制御装置の制御状態を表す１以上の変数の値の第１時系列データを記憶する。シミュレータは、第１時系列データと、対象期間における制御装置の制御対象と制御装置によって制御されない物体との従属関係と、物体の物理特性とに基づいて、対象期間における物体の第１仮想モデルの運動をシミュレートする。データ取得モジュールは、シミュレータによるシミュレーション結果から、対象期間における第１仮想モデルの位置姿勢の第２時系列データを取得し、第２時系列データを１以上のデータベースに格納する。第１可視化モジュールは、第１仮想モデルと制御対象の第２仮想モデルとが重ねて可視化される仮想画像を生成する。第１可視化モジュールは、仮想画像において、第２時系列データが示す指定時刻の位置姿勢をとるように第１仮想モデルを可視化し、第１時系列データが示す指定時刻の１以上の変数の値に対応する制御対象の状態を有するように第２仮想モデルを可視化する。
【０００９】
この開示によれば、仮想画像において第１仮想モデルが可視化されるときには、シミュレータによって第１仮想モデルの運動がシミュレートされない。そのため、第１可視化モジュールは、時刻が戻されたとしても、仮想画像において、戻された後の時刻の位置姿勢をとるように第１仮想モデルを可視化できる。これにより、ユーザは、時刻を戻したり、進めたりしながら、対象期間における物体の第１仮想モデルおよび制御対象の第２仮想モデルを含む仮想画像を確認できる。その結果、ユーザは、対象期間における生産設備の異常の原因を調査しやすくなる。すなわち、情報処理システムは、生産設備の異常な動作の原因調査を適切に支援できる。
【００１０】
上述の開示において、情報処理システムは、物体を撮影することにより得られた動画に基づいて、対象期間における物体の形状変化を解析する形状解析モジュールを備える。データ取得モジュールは、形状解析モジュールによる解析結果から、対象期間における物体の形状の第３時系列データを取得し、第３時系列データを１以上のデータベースに格納する。第１可視化モジュールは、仮想画像において、第３時系列データが示す指定時刻の形状を有するように第１仮想モデルを可視化する。
（【００１１】以降は省略されています）

関連特許