特許ウォッチ

公開番号2025030491
公報種別公開特許公報(A)
公開日2025-03-07
出願番号2023135835
出願日2023-08-23
発明の名称処理システム、処理方法、プログラム、及び記憶媒体
出願人株式会社東芝
代理人弁理士法人iX
主分類G06T 7/20 20170101AFI20250228BHJP(計算;計数)
要約【課題】作業をより精度良く推定可能な、処理システム、処理方法、プログラム、及び記憶媒体を提供する。
【解決手段】実施形態に係る処理システムは、作業者及び物品が写る第1画像から、前記作業者の姿勢を推定する。前記処理システムは、前記第1画像から、前記物品の状態と、前記作業者による前記物品への作業箇所と、から選択される1つ以上を推定する。前記処理システムは、前記状態及び前記作業箇所から選択される前記1つ以上と、前記姿勢と、に基づいて、複数のノード及び複数のエッジを含む第1グラフデータを生成する。前記処理システムは、グラフニューラルネットワーク(GNN)を含むニューラルネットワークに前記第1グラフデータを入力する。前記処理システムは、前記ニューラルネットワークから出力された結果を用いて、前記作業者によって実行されている作業を推定する。
【選択図】図1
特許請求の範囲【請求項１】
作業者及び物品が写る第１画像から、前記作業者の姿勢を推定し、
前記第１画像から、前記物品の状態と、前記作業者による前記物品への作業箇所と、から選択される１つ以上を推定し、
前記状態及び前記作業箇所から選択される前記１つ以上と、前記姿勢と、に基づいて、複数のノード及び複数のエッジを含む第１グラフデータを生成し、
グラフニューラルネットワーク（ＧＮＮ）を含むニューラルネットワークに前記第１グラフデータを入力し、前記ニューラルネットワークから出力された結果を用いて、前記作業者によって実行されている作業を推定する、処理システム。
続きを表示（約 1,700 文字）【請求項２】
前記第１画像からは、前記状態が推定され、
前記第１グラフデータは、前記作業者の複数の関節にそれぞれ対応する複数の第１ノードと、前記作業者の複数の骨格にそれぞれ対応する複数の第１エッジと、前記物品が取り得る複数の前記状態にそれぞれ対応する複数の第２ノードとを含む、請求項１に記載の処理システム。
【請求項３】
前記第１グラフデータにおいて、前記複数の第２ノードのそれぞれは、前記複数の第１ノードのいずれかとエッジによって接続される、請求項２に記載の処理システム。
【請求項４】
前記第１グラフデータは、
前記複数の第１ノード及び前記複数の第１エッジを含む第１データと、
前記複数の第２ノード及びそれぞれが前記第２ノード同士の関連性を示す複数の第２エッジを含み、前記第１データとは分離された第２データと、
を含み、
前記第１データ及び前記第２データが、前記ニューラルネットワークに入力される、請求項２に記載の処理システム。
【請求項５】
前記ＧＮＮは、第１ＧＮＮ及び第２ＧＮＮを含み、
前記ニューラルネットワークにおいて、前記第１データが前記第１ＧＮＮに入力され、前記第１ＧＮＮから出力された結果と、前記第２データが前記第２ＧＮＮに入力され、前記第２ＧＮＮから出力された結果と、が全結合層に入力され、
前記全結合層から出力された結果を用いて、前記作業を推定する、請求項４に記載の処理システム。
【請求項６】
前記第１画像から、前記作業箇所が推定され、
前記第１グラフデータは、前記作業者の複数の関節にそれぞれ対応する複数の第１ノードと、前記作業者の複数の骨格にそれぞれ対応する複数の第１エッジと、前記物品の複数の箇所にそれぞれ対応する複数の第３ノードとを含む、請求項１に記載の処理システム。
【請求項７】
前記第１画像からは、前記状態及び前記作業箇所の両方が推定され、
前記第１グラフデータは、前記作業者の複数の関節にそれぞれ対応する複数の第１ノードと、前記作業者の複数の骨格にそれぞれ対応する複数の第１エッジと、前記物品が取り得る複数の前記状態にそれぞれ対応する複数の第２ノードと、前記物品の複数の箇所にそれぞれ対応する複数の第３ノードとを含む、請求項１に記載の処理システム。
【請求項８】
前記作業者及び前記物品が写る第２画像から、前記作業者の姿勢を推定し、
前記第２画像から、前記物品の状態と、前記作業者による前記物品への作業箇所と、から選択される１つ以上を推定し、
前記第２画像から推定された結果を用いて、複数のノード及び複数のエッジを含む第２グラフデータを生成し、
前記第１グラフデータに加えて前記ニューラルネットワークに前記第２グラフデータを入力し、前記ニューラルネットワークから出力された結果を用いて前記作業を推定する、
請求項１に記載の処理システム。
【請求項９】
前記第１グラフデータの前記複数のノードと、前記第２グラフデータの前記複数のノードと、は複数のエッジによってそれぞれ接続され、
前記第１グラフデータと前記第２グラフデータが、前記ニューラルネットワークに入力される、請求項８に記載の処理システム。
【請求項１０】
前記第２画像は、前記第１画像の後に得られた画像であり、
前記第２グラフデータは、前記第１グラフデータの後に前記ニューラルネットワークに入力され、
前記ニューラルネットワークにおいて、前記第１グラフデータが前記ＧＮＮに入力され、前記ＧＮＮから出力された結果が、Long Short Term Memory（ＬＳＴＭ）ネットワークに入力され、その後に、前記第２グラフデータが前記ＧＮＮに入力され、前記ＧＮＮから出力された結果が、前記ＬＳＴＭネットワークに入力される、請求項８に記載の処理システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、処理システム、処理方法、プログラム、及び記憶媒体に関する。
続きを表示（約 2,900 文字）【背景技術】
【０００２】
実行されている作業を自動的に推定するシステムがある。このシステムについて、作業をより精度良く推定可能な技術が求められている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１７－９１２４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、作業をより精度良く推定可能な、処理システム、処理方法、プログラム、及び記憶媒体を提供することである。
【課題を解決するための手段】
【０００５】
実施形態に係る処理システムは、作業者及び物品が写る第１画像から、前記作業者の姿勢を推定する。前記処理システムは、前記第１画像から、前記物品の状態と、前記作業者による前記物品への作業箇所と、から選択される１つ以上を推定する。前記処理システムは、前記状態及び前記作業箇所から選択される前記１つ以上と、前記姿勢と、に基づいて、複数のノード及び複数のエッジを含む第１グラフデータを生成する。前記処理システムは、グラフニューラルネットワーク（ＧＮＮ）を含むニューラルネットワークに前記第１グラフデータを入力する。前記処理システムは、前記ニューラルネットワークから出力された結果を用いて、前記作業者によって実行されている作業を推定する。
【図面の簡単な説明】
【０００６】
図１は、実施形態に係る処理システムの構成を示す模式図である。
図２（ａ）は、作業者及び物品を示す模式図である。図２（ｂ）は、撮像装置によって取得される画像の一例である。
図３は、実施形態に係る処理方法の一例を示すフローチャートである。
図４（ａ）～図４（ｃ）は、実施形態に係る処理システムによる処理を説明するための図である。
図５（ａ）～図５（ｃ）は、実施形態に係る処理システムによる処理を説明するための図である。
図６（ａ）～図６（ｃ）は、実施形態に係る処理システムによる処理を説明するための図である。
図７（ａ）～図７（ｄ）は、実施形態に係る処理システムによる処理を説明するための図である。
図８（ａ）及び図８（ｂ）は、実施形態に係る処理システムによる処理を説明するための図である。
図９（ａ）～図９（ｃ）は、実施形態に係る処理システムによる処理を説明するための図である。
図１０（ａ）～図１０（ｄ）は、実施形態に係る処理システムによる処理を説明するための図である。
図１１は、物品位置の推定方法を示すフローチャートである。
図１２は、追跡処理を行う際の位置の推定結果を説明するための模式図である。
図１３は、実施形態に係る処理システムによる処理を説明するための図である。
図１４（ａ）～図１４（ｄ）は、実施形態に係る処理システムによる処理を説明するための図である。
図１５（ａ）～図１５（ｄ）は、実施形態に係る処理システムによる処理を説明するための図である。
図１６は、追跡処理の概要を示すフローチャートである。
図１７は、追跡処理における更新処理を示すフローチャートである。
図１８（ａ）～図１８（ｃ）は、実施形態に係る処理システムによる処理を説明するための画像である。
図１９（ａ）～図１９（ｃ）は、実施形態に係る処理システムによる処理を説明するための画像である。
図２０は、作業箇所の推定方法を説明するための模式図である。
図２１は、作業箇所の推定方法を示すフローチャートである。
図２２は、第１グラフデータの構造を例示する模式図である。
図２３は、第１グラフデータの構造を例示する模式図である。
図２４は、第１グラフデータの構造を例示する模式図である。
図２５は、ニューラルネットワークの構造を例示する模式図である。
図２６（ａ）は、第１グラフデータの具体的構造を説明するための図である。図２６（ｂ）は、特徴ベクトルを例示する図である。
図２７（ａ）～図２７（ｆ）は、特徴ベクトルの具体例を示す図である。
図２８は、ニューラルネットワークの別の構造を例示する模式図である。
図２９は、グラフデータの別の構造を例示する模式図である。
図３０（ａ）及び図３０（ｂ）は、グラフデータの別の構造を例示する模式図である。
図３１は、ニューラルネットワークの別の構造を例示する模式図である。
図３２は、ニューラルネットワークの別の構造を例示する模式図である。
図３３は、ＬＳＴＭネットワークの具体的構造を例示する模式図である。
図３４は、実施形態に係る処理システムによる出力結果を例示する模式図である。
図３５は、ハードウェア構成を示す模式図である。
【発明を実施するための形態】
【０００７】
以下に、本発明の各実施形態について図面を参照しつつ説明する。図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
【０００８】
図１は、実施形態に係る処理システムの構成を示す模式図である。
実施形態に係る処理システムは、作業者が行っている作業を画像から推定するために用いられる。図１に示すように、処理システム１は、撮像装置１０、処理装置２０、記憶装置３０、入力装置４０、及び出力装置５０を含む。
【０００９】
図２（ａ）は、作業者及び物品を示す模式図である。図２（ｂ）は、撮像装置によって取得される画像の一例である。
例えば図２（ａ）に示すように、運び台Ｃの上に、物品Ａ１が置かれている。作業者Ｗは、物品Ａ１に対して予め定められた作業を行う。物品Ａ１は、半製品、製品に用いられるユニットなどである。撮像装置１０は、作業者Ｗ及び物品Ａ１を撮像し、画像を取得する。図２（ｂ）は、撮像装置１０により取得された画像ＩＭＧを示す。
【００１０】
好ましくは、撮像装置１０は、壁又は天井などに取り付けられ、上方から作業者Ｗ及び物品Ａ１を撮像する。これにより、作業者Ｗ及び物品Ａ１が写り易くなる。撮像装置１０による撮像の向きは、真下でも良いし、鉛直方向に対して傾斜していても良い。撮像装置１０は、画像を繰り返し取得する。又は、撮像装置１０は、動画を取得しても良い。この場合、動画から静止画が繰り返し切り出される。撮像装置１０は、画像又は動画を記憶装置３０に保存する。
（【００１１】以降は省略されています）

関連特許