特許ウォッチ

公開番号2025010046
公報種別公開特許公報(A)
公開日2025-01-20
出願番号2024105406
出願日2024-06-28
発明の名称状態管理非同期ランタイムのリアルタイム視覚化
出願人オムロン株式会社
代理人個人,個人,個人
主分類G06F 11/30 20060101AFI20250109BHJP(計算;計数)
要約【課題】複数の並列パイプラインで複数の画像処理サイクルを処理するようにハードウェアリソースを構成するシステム、装置及び方法を提供する。
【解決手段】電子システムによって画像データを処理する方法は、トリガの時間的シーケンスに関連付けられる、実装される複数の画像処理サイクルの各画像処理サイクルが、1以上のそれぞれのトリガイベントに応答して作成され、複数の画像処理サイクルの複数の入力/出力(I/O)信号を取得し、複数のサイクルステータス信号を生成する。各サイクルステータス信号は、予め定められた分解能よりも高い時間分解能を有するタイムスタンプのシーケンスに関連付けられ、I/O信号に基づくそれぞれの画像処理サイクルの進捗を示す。方法はまた、画像処理サイクルを実行している間、動的かつリアルタイムに、複数のサイクルステータス信号をユーザインターフェースの少なくとも第1の時間軸に関して同時に視覚化する。
【選択図】図8
特許請求の範囲【請求項１】
メモリおよび１以上のプロセッサを有する電子システムで実施される、画像処理サイクルをリアルタイムで追跡するための方法であって、前記方法が、
トリガの時間的シーケンスに関連付けられた複数の画像処理サイクルを実行することを備え、各画像処理サイクルは、１以上のそれぞれのトリガイベントに応答して作成され、
前記複数の画像処理サイクルの複数の入力／出力（Ｉ／Ｏ）信号を取得することを備え、
前記Ｉ／Ｏ信号に基づいて複数のサイクルステータス信号を生成することを備え、各サイクルステータス信号は、タイムスタンプのシーケンスに関連付けられ、それぞれの画像処理サイクルの進捗を示し、前記タイムスタンプのシーケンスは、予め定められた解像度よりも高い時間分解能を有し、
前記画像処理サイクルを実行しながら、動的かつリアルタイムに、前記複数のサイクルステータス信号をユーザインターフェースの少なくとも時間軸に関して同時に視覚化することを備える、
方法。
続きを表示（約 1,500 文字）【請求項２】
前記複数の画像処理サイクルに関連付けられる全体的なシステム性能を示す１以上のメトリック信号を取得することと、
前記複数のサイクルステータス信号と同時に１以上のメトリック信号を視覚化することと
を備え、
前記１以上のメトリック信号の各々は、前記時間軸に関して表示される、
請求項１に記載の方法。
【請求項３】
外れ値基準に基づいて、少なくとも１つのメトリック信号の外れ値を検出することと、
前記外れ値の検出に応答して、前記ユーザインターフェースで前記外れ値に関連付けられる前記少なくとも１つのメトリック信号の一部を強調することと
を備える、
請求項２に記載の方法。
【請求項４】
前記少なくとも１つのメトリック信号が２以上のメトリック信号を含み、前記方法は、
前記２以上のメトリック信号の相関を監視することをさらに備え、前記外れ値基準が前記相関のバリエーションに関連付けられる、
請求項３に記載の方法。
【請求項５】
前記少なくとも１つのメトリック信号は、ＣＰＵ使用レベル、ＣＰＵ動作時間、コア温度、画像取得時間、メモリ使用量、スレッド数、ネットワークトラフィックおよびネットワーク帯域幅のうちの１以上を含み、
前記外れ値の検出に応答して、前記複数の画像処理サイクルのサブセットによるＣＰＵ使用に対するアクションを開始することをさらに備える、
請求項３に記載の方法。
【請求項６】
前記複数のサイクルステータス信号と同時に前記複数のＩ／Ｏ信号のサブセットを視覚化することをさらに備え、前記複数のＩ／Ｏ信号のサブセットの各々が前記時間軸に関して表示される、
請求項１に記載の方法。
【請求項７】
複数のシステム設定、前記複数のサイクルステータス信号、前記複数のＩ／Ｏ信号および前記１以上のメトリック信号のサブセットに基づいて、１以上の統計信号を生成することと、
前記１以上の統計信号を前記複数のサイクルステータス信号と同時に非時間軸に関して視覚化することと
を備える、
請求項１に記載の方法。
【請求項８】
前記複数のサイクルステータス信号を視覚化することが、
前記複数のサイクルステータス信号の各々を積み重ねて表示することをさらに備え、前記複数のサイクルステータス信号が、同じ前記時間軸に関して同期して表示される、
請求項１に記載の方法。
【請求項９】
前記時間軸が単一の時間軸を含み、前記複数のサイクルステータス信号を視覚化することは、各サイクル状態信号に対して、
前記それぞれのステータス信号のアクティブ部分と、関連するアクティブ持続時間とを特定すること、および、
前記関連するアクティブ持続時間に従って、前記それぞれのサイクルステータス信号のアクティブ部分を前記単一の時間軸に関して一の行に表示することをさらに備える、
請求項１に記載の方法。
【請求項１０】
第１の画像処理サイクルの第１のサイクルステータス信号のアクティブ部分と第２の画像処理サイクルの第２のサイクル状態信号のアクティブ部分とが前記単一の時間軸上で互いに重なるという判定に従って、前記第１の画像処理サイクルおよび前記第２の画像処理サイクルの少なくとも一方が異常状態に遭遇すると判定することをさらに備える、
請求項９に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
（関連出願）
本出願は、２０２３年６月２０日に出願された「状態管理非同期ランタイム」と題する米国特許出願第18/217,417号の一部継続出願であり、その優先権を主張し、その全体が参照により本明細書に組み込まれる。
続きを表示（約 3,700 文字）【０００２】
開示される実施形態は、一般に電子回路に関し、より具体的には、複数の並列パイプライン（parallel pipelines）で複数の画像処理サイクルを処理するようにハードウェアリソースを構成するためのシステム、装置および方法に関する。
【背景技術】
【０００３】
コンピュータプロセッサは、並列処理、パイプライン処理、ソフトウェアタスクのオーバーラップ、専用のハードウェアアクセラレーションを実装し、処理能力を高めている。このような処理強化技術は、しばしば、サイクルからサイクルまでの変化が殆どまたは全くない機能的に同一または類似のジョブを実行する再現性の高いサイクルに限定されることが多い。コンピュータプロセッサは、レジスタモデル（register model）を使用して構成され、一貫して単一の構成を適用してランタイム実行を駆動する。例えば、プロセッサパイプラインは、しばしば、固定数のステージを有する。複数のステージは、交互に実行にされ（staggered）、現在のサイクルのステージは、しばしば、前のサイクルの区別できるステージ（distinct stage）と同時に実行される。既存のコンピュータ資源を十分に活用しながら、柔軟性が高く高効率な並列処理メカニズムを開発することは有益である。
【発明の概要】
【０００４】
本出願の様々な実施形態は、ヘビーデューティな産業用マシンビジョンアプリケーション（heavy-duty industrial machine vision applications）のために、並列パイプラインで画像データを処理するように構成されたコア高性能ランタイムエンジンに向けられている。マシンビジョンアプリケーションは、電子機器(例えば、１以上のカメラを含むイメージングデバイス)に適用され、画像処理、コード読み取り、製品情報抽出および刷品質検証を含むがこれらに限定されない機能を実行する。具体的には、状態管理された非同期のパイプラインアーキテクチャ（state-managed asynchronous pipelined architecture）が、これらのマシンビジョンアプリケーションの画像処理用電子機器に適用される。複数の画像処理サイクルが複数のパイプラインで並列に実行され、ボトルネックなしにハードウェアの能力を活用する。各画像処理サイクルは、複数のスレッドで任意にトリガされ、交互に実行される複数のタイムクリティカルなステージおよびオペレーションを含む。いくつかの実施形態では、トリガイベントは、前の画像処理サイクルがまだ進行中である間に受信され、前の画像処理サイクルとは独立して実施される異なるパイプラインに割り当てられた全く異なる画像処理サイクルに対応する。いくつかの先行技術の実装では、画像処理ジョブのステージは、利用可能なハードウェア能力を使用し、他の画像処理ジョブまたは同じ画像処理ジョブの他のステージをキュー（queue）で待たせる可能性がある。逆に、このアプリケーションでは、状態管理された非同期のパイプラインアーキテクチャは、利用可能なハードウェア能力を活用し、複数の画像処理サイクルを互いに独立した並列パイプラインで実行することで性能の向上をもたらし、この性能の向上が、画像装置のプロセッサコアの数に応じて直線的に上昇する。
【０００５】
一態様において、画像処理方法は、メモリと１以上のプロセッサとを有する電子デバイス(例えば、イメージングデバイス)において実施される。本方法は、トリガのテンポラル（時間的）シーケンス（temporal sequence）に関連する複数の画像処理サイクルを識別することを含む。各画像処理サイクルは、１以上のそれぞれのトリガイベントに応答して作成される。本方法はさらに、複数の画像処理サイクルを複数の並列パイプラインに割り当てること(例えば、各画像処理サイクルがそれぞれの並列パイプラインに割り当てられる)と、各並列パイプラインについて、サイクルデータプール（cycle data pool）からそれぞれのサイクルデータコンテナ（cycle data container）を引き出すこととを含む。本方法はさらに、それぞれの残りの並列パイプラインにおける残りの画像処理サイクルの処理とは独立して、第１の並列パイプラインにおいて第１の画像処理サイクルを処理して第１のレポートデータを生成することを含む。本方法はさらに、例えば、さらなる処理(保存、分類、分析および/または視覚化など)のために、第１のレポートデータをクライアントデバイスに提供することをさらに含む。
【０００６】
いくつかの実施形態では、サイクルデータプールは、複数の画像処理サイクルを識別する前に、既定の予め定められた数のサイクルデータコンテナを含む。それぞれの画像処理サイクルに割り当てられると、各並列パイプラインは、新しいサイクルデータコンテナの作成を待つことなく、予め定められた数のサイクルデータコンテナのうちの１つを直接使用する。状況によっては、予め定められた数のサイクルデータコンテナは、異なるパイプラインで完全に使用され、新しいパイプラインのためにサイクルデータコンテナを引っ張ることはできない。いくつかの実施形態では、第１の画像処理サイクルを処理することは、１以上のそれぞれのトリガイベントに関連する画像データを第１のサイクルデータコンテナに入力することと、第１のレポートデータを含む第１のサイクルデータを生成することと、第１のサイクルデータを第１のサイクルデータコンテナに記憶することとをさらに含む。
【０００７】
いくつかの実施形態では、イメージングデバイスは、有線または無線の通信リンクを介してクライアントデバイス(例えば、ラップトップコンピュータ、デスクトップコンピュータまたは携帯電話)に通信可能に結合される。マシンビジョンアプリケーションのユーザインターフェースは、クライアントデバイスで、イメージングデバイスから収集されたレポートデータをユーザフレンドリな方法で提示することを可能にする。いくつかの実施形態では、クライアントデバイスは、イメージングデバイスから離れて位置し、サーバを介してイメージングデバイスに結合される。ウェブベースのユーザインターフェースは、クライアントデバイスで、サーバを介してイメージングデバイスにより報告されるレポートデータを遠隔でレビューすることを可能にする。
【０００８】
このアプリケーションのいくつかの実装は、特にファクトリーオートメーションおよび品質管理のようなセクターで見られる、複雑なマルチプロセスアプリケーションのパフォーマンス最適化および分析を対象とする。いくつかの実装は、マシンビジョンシステム、バーコード読み取り、ラベル検証システムなど、高精度のイベントロギングおよびインタラクティブチューニングを必要とするシステムに焦点を当てる。時間データ、デジタルデータ、アナログデータ、画像データなど、さまざまなイベントタイプのリアルタイム計測、データ統合、およびインタラクティブ分析のための先進的なシステムが提供される。いくつかの実装は、直感的なビジュアルインターフェースの使用と、システムの性能と信頼性を向上させるためのリアルタイムシステムパラメータ調整のための潜在的な機械学習手法を包含する。
【０００９】
より具体的には、別の態様では、画像処理サイクルをリアルタイムでトラック（track）するために、メモリと１以上のプロセッサを有する電子システムで、方法が実施される。この方法は、トリガの時間的シーケンスに関連付けられた複数の画像処理サイクルを実施することを含み、各画像処理サイクルは、１以上のそれぞれのトリガイベントに応答して作成される。本方法はさらに、複数の画像処理サイクルの複数の入力／出力（Ｉ／Ｏ）信号を取得し、Ｉ／Ｏ信号に基づいて複数のサイクルステータス信号を生成することを含む。各サイクルステータス信号は、タイムスタンプのシーケンスに関連付けられ、それぞれの画像処理サイクルの進捗を示す。タイムスタンプのシーケンスは、予め定められた解像度よりも高い時間分解能を有する。本方法はさらに、画像処理サイクルを実行しながら、動的かつリアルタイムに、複数のサイクルステータス信号をユーザインターフェースの少なくとも第１の時間軸に関して同時に視覚化することを含む。
【００１０】
いくつかの実施形態に従って、電子システムは、１以上のプロセッサと、メモリと、メモリに記憶された１以上のプログラムとを含む。プログラムは、１以上のプロセッサにより実行されるように構成される。１以上のプログラムは、本明細書に記載された方法のいずれかを実行するための命令を含む。
（【００１１】以降は省略されています）

関連特許