特許ウォッチ

公開番号2025092415
公報種別公開特許公報(A)
公開日2025-06-19
出願番号2024178680
出願日2024-10-11
発明の名称外部記述から映像コンテキストを抽出する方法
出願人株式会社日立製作所
代理人青稜弁理士法人
主分類G06V 20/70 20220101AFI20250612BHJP(計算;計数)
要約【課題】新しい組立ラインや新しい工場のような新しい産業環境においてAIソリューションの拡張を容易にする方法及びシステムを提供する。
【解決手段】方法は、ゼロショット画像ラベラーを動画に対して実行して、動画の画像に対応する複数のラベルを生成し、画像のラベルの各々に対して画像埋め込みベクトルを計算し、動画を処理し、検査されたイベントグラフからコンテキストラベルを決定するために、画像埋め込みベクトルでコンテキストデータベースを参照することによって、現在および以前の画像に対して決定されたコンテキストラベルに基づいて、画像の各々に対応するラベルの各々を置き換えるためのコンテキストラベルを生成する。イベントグラフのノードは、動画の持続時間の間に起こり得るイベントを示す。方法はまた、複数のラベルの各々を、生成されたコンテキストラベルで置き換えるステップを含む。
【選択図】図2
特許請求の範囲【請求項１】
外部記述から映像コンテキストを抽出する方法において、
処理用の入力ビデオを受信し、
前記入力ビデオに対して、前記入力ビデオの複数の画像に対応する複数のラベルを生成するゼロショット画像ラベラーを実行し、
前記複数のラベルに対し、画像埋め込みベクトルを計算し、
検査されたイベントグラフからコンテキストラベルを決定するために、前記画像埋め込みベクトルでコンテキストデータベースを参照することによって、現在の画像および以前の画像に対して時間的に決定されたコンテキストラベルに基づいて、前記複数の画像の各々に対応するラベルの各々を置き換えるためのコンテキストラベルを生成し、前記イベントグラフのノードは、ビデオの持続時間の間に起こり得るイベントを示すものであり、
前記複数のラベルのそれぞれを、前記生成されたコンテキストラベルに置き換える
外部記述から映像コンテキストを抽出する方法。
続きを表示（約 1,900 文字）【請求項２】
請求項１の外部記述から映像コンテキストを抽出する方法において、
前記コンテキストデータベースは、前記画像埋め込みベクトルと、前記検査されたイベントグラフの各ノードとのコンテキスト情報との関連付けを管理する、
外部記述から映像コンテキストを抽出する方法。
【請求項３】
請求項１の外部記述から映像コンテキストを抽出する方法において、
前記複数の画像の各々に対応する前記ラベルの各々を置き換えるためにコンテキストラベルを生成することは、
前記画像埋め込みベクトルから最小の距離を有する前記コンテキストデータベース内のイベント埋め込みベクトルに関連付けられた検査されたイベントグラフからノードを決定し、
ノードに関連付けられたコンテキスト情報からコンテキストラベルを生成する、
外部記述から映像コンテキストを抽出する方法。
【請求項４】
請求項３の外部記述から映像コンテキストを抽出する方法において、
前記ノードの各々は、前記コンテキストデータベースの推定継続時間と関連付けられており、
前記画像埋め込みベクトルと前記イベント埋め込みベクトルとの間の計算された距離は、推定された継続時間と比較して、同じコンテキストラベルに関連付けられた時間内のビデオの画像と現在および以前の画像との間の時間の継続時間に基づいて重み付けされる
外部記述から映像コンテキストを抽出する方法。
【請求項５】
請求項１記載の外部記述から映像コンテキストを抽出する方法において、
前記コンテキストデータベースは、前記検査されたイベントグラフ内の禁止された手続きを管理するものであり、
前記生成されたコンテキストラベルに、禁止された手順の1つが含まれている場合、標準操作手順の不遵守に関する警告を発する
外部記述から映像コンテキストを抽出する方法。
【請求項６】
請求項１記載の外部記述から映像コンテキストを抽出する方法において、
さらに、前記生成されたコンテキストラベルからタスクを特定し、
特定されたタスクに関連付けられ、生成されたコンテキストラベルにわたるビデオの長さから、特定されたタスクのサイクルタイム計算を行う
外部記述から映像コンテキストを抽出する方法。
【請求項７】
請求項１記載の外部記述から映像コンテキストを抽出する方法において、
異常イベントを示す生成されたコンテキストラベルの1つ以上について、異常イベントが発生したことを示す表示を提供する
外部記述から映像コンテキストを抽出する方法。
【請求項８】
請求項１記載の外部記述から映像コンテキストを抽出する方法において、
生成された前記コンテキストラベルを動画と一緒に保存し、検索エンジンで動画をインデックス化する
外部記述から映像コンテキストを抽出する方法。
【請求項９】
外部記述から映像コンテキストを抽出するシステムにおいて、
コンテキストデータベースとプロセッサとを有し、
前記プロセッサは、
処理用の入力ビデオを受信し、
前記入力ビデオに画像ラベラーを実行し、前記入力ビデオの複数の画像に対応する複数のラベルを生成し、
前記複数の画像の各ラベルに対してゼロショット画像埋め込みベクトルを計算し、
検査されたイベントグラフからコンテキストラベルを決定するために、画像埋め込みベクトルでコンテキストデータベースを参照することによって、現在の画像および以前の画像に対して時間的に決定されたコンテキストラベルに基づいて、前記複数の画像の各々に対応するラベルの各々を置き換えるコンテキストラベルを生成し、
前記イベントグラフのノードは、ビデオの持続時間の間に起こり得るイベントを示すものであり、
前記複数のラベルのそれぞれを、生成されたコンテキストラベルに置き換える
外部記述から映像コンテキストを抽出するシステム。
【請求項１０】
請求項９に記載の外部記述から映像コンテキストを抽出するシステムにおいて、
前記コンテキストデータベースは、前記イベント埋め込みベクトルと、前記検査済みイベントグラフ内の各ノードとのコンテキスト情報との関連付けを管理する、
外部記述から映像コンテキストを抽出するシステム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、一般にビデオシステム、より具体的には、外部記述からビデオコンテキストを抽出するシステムおよび方法に向けられている。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
多くの産業用アプリケーションでは、作業員と産業資産や工具との相互作用を含む活動を観察し、推論を導き出す必要がある。例えば、作業者が反復タスクを実行するのを観察し、作業者がタスクの各サイクルを完了するのにかかる時間と、同じタスクの複数のサイクルにわたるそのような時間の変動を計算する必要がある。これはサイクルタイム計算と呼ばれる。
【０００３】
別の例では、作業者が産業活動の標準作業手順（standard operating procedure：SOP）を維持しているか、違反しているかを観察する必要性がある。例えば、SOPは、違反があった場合、ラインの監督者や適切な当局に報告する必要がある場合、部品を組み立てるため、厳密に定義された手順を指示することができる。
【０００４】
より一般的な例としては、産業環境を観察し、資産と労働者の状態の組み合わせから、ある事象の発生について、一定の結論を導き出すことができる。従来、このような観察と推論のプロセスはラインの監督者自身が行っている。しかしながら、監督者は同時にすべての作業場所にいることができないため非効率的である。またヒューマンエラーやバイアスが発生しやすい。このような背景の下、産業用IoT（IIoT）の登場により、産業環境（工場など）を記録するセンサー（ビデオカメラなど）を設置し、そのデータから人工知能（AI）を使って工場で何が起こっているかを推論して、観測を行うケースが増えている。推論には、資産と作業員の状態の組み合わせに基づいて、工場で発生している事象に関する何らかの結論を含むことができる。推論はまた、作業員の行動、および SOP の遵守または違反、サイクル時間などの作業員のタスクに関連する主要業績評価指標（Key Performance Indicators：KPI）を推論することもできる。
【０００５】
画像データに関してAIを使用した一般的なアプローチは、画像分類を使用することである。異なる分類は、サイクルタイム計算のための「サイクル開始」と「サイクル停止」、SOP遵守のための「正常動作」、「禁止動作」、「不明動作」、または一般化されたイベントベースの分析のための「イベントA」開始などである。このような分類機械学習（ML）モデルを訓練するためには、ラベル付けされた画像を含む訓練データを準備する必要がある。画像にラベル付けするためには、その画像のコンテキストを理解する必要がある。多くの場合、これは産業分野の専門家だけが行うことができる専門的な業務である。
【０００６】
図１は、機械学習（ML）モデルをトレーニングする画像ラベリングのための関連技術システムの一例を示す図である。図１に示すように、データエンジニア401は、産業ドメインの専門家101と共同セッションを行う必要があり、専門家101は、入力ビデオ201からの画像を見て、各画像において、どのような産業活動が起こっているかを説明する。をラベルとして入力ビデオの画像に付ける。専門家101の説明というコンテキスト情報に基づいて、データエンジニア401は、入力された入力ビデオの画像にコンテキスト情報をラベル付けし、コンテキスト付き画像ラベル301を作成する。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
予想されるように、上述したプロセスは、産業ドメインの専門家とデータエンジニアの間の人間の手動の対話のため、スケーラブルではない。例えば、産業活動は高度に専門化されているため、新しい産業用組立ラインや新しい工場にビデオ解析ソリューションを導入するたびに、産業ドメインの専門家とデータエンジニアの間の人間の対話作業を行う必要がある。というのも、SOPコンプライアンスという共通の問題があったとしても、SOPが意味するものは組立ラインや工場によって異なるため、それに応じてデータをトレーニングする必要があるからである。一般に公開されている画像に利用可能なデータベースがあるが、あらゆるデータのバリエーションを含む大規模なラベル付き画像データベースは、産業シナリオには利用できないことを念頭におく必要がある。大規模なラベル付き画像データベースが産業シナリオに利用できない主な理由は、画像に含まれる機密情報にある。そのため、新しい産業シナリオごとにトレーニングを行う必要がある。
【０００８】
関連技術の実装は、新しい組立ラインや新しい工場のような新しい産業環境においてAIソリューションを拡張するための時間の増加や、データエンジニアを雇用するための関連コストに悩まされている。
【課題を解決するための手段】
【０００９】
例示的な実装では、産業ドメインの専門家からの自然言語入力に基づいて計算された産業活動に関するドメインコンテキストが利用され、さらに、データエンジニアを必要とせずに、その産業活動の後続のインスタンスを観察するビデオ内の画像に自動的にドメインコンテキストのラベルを付ける方法を含む。
【００１０】
上記課題を解決する外部記述から映像コンテキストを抽出する方法の一態様は、外部記述から映像コンテキストを抽出する方法において、処理用の入力ビデオを受信し、入力ビデオに対して、入力ビデオの複数の画像に対応する複数のラベルを生成するゼロショット画像ラベラーを実行し、複数のラベルに対し、画像埋め込みベクトルを計算し、検査されたイベントグラフからコンテキストラベルを決定するために、画像埋め込みベクトルでコンテキストデータベースを参照することによって、現在の画像および以前の画像に対して時間的に決定されたコンテキストラベルに基づいて、画像の各々に対応するラベルの各々を置き換えるためのコンテキストラベルを生成する。イベントグラフのノードは、ビデオの持続時間の間に起こり得るイベントを示すものである。複数のラベルのそれぞれを、生成されたコンテキストラベルに置き換える。
（【００１１】以降は省略されています）

関連特許