特許ウォッチ

公開番号2025030490
公報種別公開特許公報(A)
公開日2025-03-07
出願番号2023135834
出願日2023-08-23
発明の名称処理システム、処理方法、プログラム、及び記憶媒体
出願人株式会社東芝
代理人弁理士法人iX
主分類G06T 7/20 20170101AFI20250228BHJP(計算;計数)
要約【課題】作業をより精度良く推定可能な、処理システム、処理方法、プログラム、及び記憶媒体を提供することである。
【解決手段】実施形態に係る処理システムは、作業者が写る第1画像から推定された前記作業者の姿勢に基づいて、第1グラフデータを生成する。前記第1グラフデータは、前記作業者の複数の関節にそれぞれ対応する複数の第1ノードと、前記作業者の複数の骨格にそれぞれ対応する複数の第1エッジと、を含む。前記処理システムは、グラフニューラルネットワーク(GNN)を含むニューラルネットワークに前記第1グラフデータを入力する。前記処理システムは、前記ニューラルネットワークから出力された結果を用いて、前記作業者によって実行されている作業を推定する。
【選択図】図1
特許請求の範囲【請求項１】
作業者が写る第１画像から推定された前記作業者の姿勢に基づいて、前記作業者の複数の関節にそれぞれ対応する複数の第１ノードと、前記作業者の複数の骨格にそれぞれ対応する複数の第１エッジと、を含む第１グラフデータを生成し、
グラフニューラルネットワーク（ＧＮＮ）を含むニューラルネットワークに前記第１グラフデータを入力し、前記ニューラルネットワークから出力された結果を用いて、前記作業者によって実行されている作業を推定する、処理システム。
続きを表示（約 1,300 文字）【請求項２】
前記第１画像の後に取得された第２画像から推定された前記作業者の姿勢に基づいて、複数の第１ノード及び複数の第１エッジを含む第２グラフデータを生成し、
前記第１グラフデータの入力の後に、前記ニューラルネットワークに前記第２グラフデータを入力し、前記ニューラルネットワークから出力された前記結果を用いて、前記作業を推定する、請求項１に記載の処理システム。
【請求項３】
前記ニューラルネットワークは、前記ＧＮＮと、前記ＧＮＮからの出力が入力されるLong Short Term Memory （ＬＳＴＭ）ネットワークと、を含む、請求項２に記載の処理システム。
【請求項４】
前記第１画像の後に取得された第２画像から推定された前記作業者の姿勢に基づいて、複数のノード及び複数のエッジを含む第２グラフデータを生成し、
前記第１グラフデータにおける前記複数のノードと、前記第２グラフデータにおける前記複数のノードと、がそれぞれ複数のエッジによって接続されたグラフデータを、前記ニューラルネットワークに入力し、前記ニューラルネットワークから出力された前記結果を用いて、前記作業を推定する、請求項１に記載の処理システム。
【請求項５】
前記姿勢に加えて、物品が写る前記第１画像から推定された前記物品の状態に基づいて、前記第１グラフデータを生成し、
前記第１グラフデータは、前記複数の第１ノード、前記複数の第１エッジ、及び前記物品が取り得る複数の前記状態にそれぞれ対応する複数の第２ノードを含む、請求項１～４のいずれか１つに記載の処理システム。
【請求項６】
前記姿勢に加えて、物品が写る前記第１画像から推定された前記物品への作業箇所に基づいて、前記第１グラフデータを生成し、
前記第１グラフデータは、前記複数の第１ノード、前記複数の第１エッジ、及び前記物品の複数の箇所にそれぞれ対応する複数の第３ノードを含む、請求項１～４のいずれか１つに記載の処理システム。
【請求項７】
前記第１グラフデータに含まれる前記複数のノードは、前記第１画像における前記複数の関節のそれぞれの座標を示す、請求項１～４のいずれか１つに記載の処理システム。
【請求項８】
前記第１画像が取得された時刻と、前記時刻における前記作業の推定結果と、を表示装置に表示させる、請求項１～４のいずれか１つに記載の処理システム。
【請求項９】
処理装置に、
作業者が写る第１画像から推定された前記作業者の姿勢に基づいて、前記作業者の複数の関節にそれぞれ対応する複数の第１ノードと、前記作業者の複数の骨格にそれぞれ対応する複数の第１エッジと、を含む第１グラフデータを生成させ、
グラフニューラルネットワーク（ＧＮＮ）を含むニューラルネットワークに前記第１グラフデータを入力し、前記ニューラルネットワークから出力された結果を用いて、前記作業者によって実行されている作業を推定させる、
処理方法。
【請求項１０】
前記処理装置に、請求項９に記載の処理方法を実行させるプログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、処理システム、処理方法、プログラム、及び記憶媒体に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
実行されている作業を自動的に推定するシステムがある。このシステムについて、作業をより精度良く推定可能な技術が求められている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１７－９１２４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、作業をより精度良く推定可能な、処理システム、処理方法、プログラム、及び記憶媒体を提供することである。
【課題を解決するための手段】
【０００５】
実施形態に係る処理システムは、作業者が写る第１画像から推定された前記作業者の姿勢に基づいて、第１グラフデータを生成する。前記第１グラフデータは、前記作業者の複数の関節にそれぞれ対応する複数の第１ノードと、前記作業者の複数の骨格にそれぞれ対応する複数の第１エッジと、を含む。前記処理システムは、グラフニューラルネットワーク（ＧＮＮ）を含むニューラルネットワークに前記第１グラフデータを入力する。前記処理システムは、前記ニューラルネットワークから出力された結果を用いて、前記作業者によって実行されている作業を推定する。
【図面の簡単な説明】
【０００６】
図１は、実施形態に係る処理システムの構成を示す模式図である。
図２（ａ）は、作業者及び物品を示す模式図である。図２（ｂ）は、撮像装置によって取得される画像の一例である。
図３は、図２（ｂ）に示す画像に対して、姿勢推定が実行された結果を示す。
図４は、第１グラフデータの構造を例示する模式図である。
図５は、ニューラルネットワークの構造を例示する模式図である。
図６（ａ）は、第１グラフデータの具体的構造を説明するための図である。図６（ｂ）は、特徴ベクトルを例示する図である。
図７（ａ）～図７（ｃ）は、特徴ベクトルの具体例を示す図である。
図８は、実施形態に係る処理方法の一例を示すフローチャートである。
図９は、実施形態に係る処理システムによる出力結果を例示する模式図である。
図１０は、グラフデータの別の構造を例示する模式図である。
図１１（ａ）及び図１１（ｂ）は、グラフデータの別の構造を例示する模式図である。
図１２は、ニューラルネットワークの別の構造を例示する模式図である。
図１３は、ＬＳＴＭネットワークの具体的構造を例示する模式図である。
図１４は、作業の推定結果の精度を示す表である。
図１５は、実行される作業を例示する表である。
図１６は、第１グラフデータの構造を例示する模式図である。
図１７は、第１グラフデータの構造を例示する模式図である。
図１８は、ニューラルネットワークの別の構造を例示する模式図である。
図１９は、ニューラルネットワークの別の構造を例示する模式図である。
図２０は、実施形態に係る処理方法の別の一例を示すフローチャートである。
図２１は、ハードウェア構成を示す模式図である。
【発明を実施するための形態】
【０００７】
以下に、本発明の各実施形態について図面を参照しつつ説明する。図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
【０００８】
図１は、実施形態に係る処理システムの構成を示す模式図である。
実施形態に係る処理システムは、作業者が行っている作業を画像から推定するために用いられる。図１に示すように、処理システム１は、撮像装置１０、処理装置２０、記憶装置３０、入力装置４０、及び出力装置５０を含む。
【０００９】
撮像装置１０は、作業を実行している作業者を撮像し、画像を取得する。処理装置２０は、取得された画像を処理し、実行されている作業を推定する。記憶装置３０は、画像又は動画の他に、処理装置２０による処理に必要なデータを記憶する。入力装置４０は、ユーザが処理装置２０にデータを入力するために用いられる。処理装置２０は、処理によって得られたデータをユーザが認識できるように、出力装置５０に出力させる。
【００１０】
以下で、具体例を参照しつつ、処理システム１による処理を説明する。
（【００１１】以降は省略されています）

関連特許