特許ウォッチ

公開番号2025084109
公報種別公開特許公報(A)
公開日2025-06-02
出願番号2024202032
出願日2024-11-20
発明の名称作業手技認識・解析システム及び方法
出願人三顧股ふん有限公司
代理人個人,個人
主分類G06T 7/20 20170101AFI20250526BHJP(計算;計数)
要約【課題】作業中の作業者の作業領域における少なくとも1つの手部の動作の正確性を評価する手技動作解析モデルを含む作業手技認識・解析システム及び方法を提供する。
【解決手段】作業手技認識・解析システム1は、画像取得モジュール、認識モジュール及び動作解析モジュールを含む。画像取得モジュールは、作業領域に設けられ、作業中の作業者の作業領域における少なくとも1つの手部の動作の連続画像を捕捉するために用いられる。認識モジュールは、画像取得モジュールに接続され、2次元関節認識モデル、関節3次元座標認識モデル及び手部骨格関節モデル方向包括的最適化モデルを含み、連続画像に基づき作業者の手部の関節位置を認識して手部関節位置座標を生成するために用いられる。動作解析モジュールは、手部関節位置座標を受信して、作業者の手部関節位置座標及び標準作業手技パラメータセットに基づき解析及び比較を行い、解析・比較結果を取得する。
【選択図】図1
特許請求の範囲【請求項１】
作業中の作業者の作業領域における少なくとも１つの手部の動作の正確性を評価するために用いられる作業手技認識・解析システムであって、
前記作業領域に設けられ、前記作業中の前記作業者の前記作業領域における前記少なくとも１つの手部の動作の連続画像を捕捉するために用いられる画像取得モジュールと、
前記画像取得モジュールに接続される認識モジュールであって、
前記連続画像に基づいて、前記作業者の手部の関節位置を認識するために用いられる２次元関節認識モデルと、
前記２次元関節認識モデルに接続されており、複数の前記画像取得モジュールが捕捉した前記作業中の前記作業者の前記作業領域における前記少なくとも１つの手部の動作の異なる角度からの複数の前記連続画像により、前記作業者の前記手部の関節位置に対応する手部関節位置座標を生成するために用いられ、前記手部関節位置座標は３次元座標である関節３次元座標認識モデルと、
前記関節３次元座標認識モデルに接続されており、前記作業者の指骨長の制約及び指骨関節の制約に基づき、前記手部関節位置座標について包括的な最適化処理を行うことで、前記手部関節位置座標の精度を向上させるために用いられる手部骨格関節モデル方向包括的最適化モデル、
を含み、前記２次元関節認識モデル、前記関節３次元座標認識モデル及び前記手部骨格関節モデル方向包括的最適化モデルは、第１機械学習法により作業手技データセットを訓練することで構築される認識モジュールと、
前記認識モジュールに接続される動作解析モジュールであって、前記手部関節位置座標を受信して、前記作業者の前記手部関節位置座標及び標準作業手技パラメータセットに基づき解析及び比較を行い、解析・比較結果を取得することで、前記作業中の前記作業者の前記作業領域における前記少なくとも１つの手部の動作の正確性を評価するために用いられる手技動作解析モデルを含み、前記手技動作解析モデルは、第２機械学習法により標準作業手技データセットを訓練することで構築される動作解析モジュール、
を含む作業手技認識・解析システム。
続きを表示（約 1,700 文字）【請求項２】
前記３次元座標については、三角測量法により、各前記画像取得モジュールからの出射線の交点を算出するか、中点法により、各前記画像取得モジュールからの前記出射線の最短距離の中点を交点の近似値として算出する請求項１に記載の作業手技認識・解析システム。
【請求項３】
前記動作解析モジュールは、更に、
前記画像取得モジュールが捕捉した前記連続画像内の前記手部関節位置座標に基づき、第３機械学習法により様々な種別の手部の動作を認識及び分類するために用いられる動作種別認識モデルを含む請求項１に記載の作業手技認識・解析システム。
【請求項４】
前記動作解析モジュールは、更に、
前記手部関節位置座標と前記標準作業手技パラメータセットについて解析及び比較を行うことで、前記作業者の前記少なくとも１つの手部の動作及び作業手順が正しいか否かを判断するために用いられる動作・順序正確性認識モデルを含む請求項１に記載の作業手技認識・解析システム。
【請求項５】
更に、
前記動作解析モジュールに接続されて、前記作業中の前記作業者の前記作業領域における前記手部関節位置座標と前記標準作業手技パラメータセットを解析及び比較して得られた前記解析・比較結果に基づき、通知メッセージを発することで前記作業者に注意を促すために用いられる注意喚起モジュールを含む請求項１に記載の作業手技認識・解析システム。
【請求項６】
前記通知メッセージは、更に、音声通知及びランプ通知を含む請求項５に記載の作業手技認識・解析システム。
【請求項７】
前記作業中の前記作業者の前記作業領域における前記手部関節位置座標と前記標準作業手技パラメータセットを解析及び比較して得られた前記解析・比較結果が不一致である場合には、前記注意喚起モジュールが前記音声通知を発し、前記音声通知はエラー注意警告である請求項６に記載の作業手技認識・解析システム。
【請求項８】
前記画像取得モジュールはカメラを含み、前記カメラは前記作業領域に設けられる請求項１に記載の作業手技認識・解析システム。
【請求項９】
前記作業領域には、実験作業台、無菌作業台及び細胞作業台が含まれる請求項１に記載の作業手技認識・解析システム。
【請求項１０】
前記第１機械学習法、前記第２機械学習法及び前記第３機械学習法は、更に、人工ニューラルネットワーク（ＡｒｔｉｆｉｃｉａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＡＮＮ）、畳み込みニューラルネットワーク（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＣＮＮｓ）、回帰型ニューラルネットワーク（ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＲＮＮｓ）、決定木（ＤｅｃｉｓｉｏｎＴｒｅｅｓ）、サポートベクターマシン（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅｓ，ＳＶＭ）、ランダムフォレスト（ＲａｎｄｏｍＦｏｒｅｓｔｓ）、ｋ近傍法（Ｋ－ＮｅａｒｅｓｔＮｅｉｇｈｂｏｒｓ，ＫＮＮ）、ｋ平均法（Ｋ－ＭｅａｎｓＣｌｕｓｔｅｒｉｎｇ）、主成分解析（ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ，ＰＣＡ）、線形回帰（ＬｉｎｅａｒＲｅｇｒｅｓｓｉｏｎ）、ロジスティック回帰（ＬｏｇｉｓｔｉｃＲｅｇｒｅｓｓｉｏｎ）、勾配ブースティングマシン（ＧｒａｄｉｅｎｔＢｏｏｓｔｉｎｇＭａｃｈｉｎｅｓ）、深層信念ネットワーク（ＤｅｅｐＢｅｌｉｅｆＮｅｔｗｏｒｋｓ，ＤＢＮ）、再帰型ニューラルネットワーク（ＲｅｃｕｒｓｉｖｅＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＲｅｃＮＮ）、強化学習（ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ）、オートエンコーダ（Ａｕｔｏｅｎｃｏｄｅｒｓ）、ガウス過程（ＧａｕｓｓｉａｎＰｒｏｃｅｓｓｅｓ）及び複素ニューラルネットワーク（ＣｏｍｐｌｅｘＮｅｕｒａｌＮｅｔｗｏｒｋｓ）のうちの少なくとも１つを含む請求項３に記載の作業手技認識・解析システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、作業手技認識・解析システム及び方法に関し、特に、機械学習に関連する作業手技認識・解析システム及び方法に関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
細胞治療とは、生物学、細胞学及び分子生物学を利用する方法であり、損傷又は喪失した組織や器官の機能を修復、置換又は改善するものである。近年、「特定医療技術、検査・検証、医療機器の実施又は使用に関する管理法（特管法と略称）」の可決に伴い、細胞治療の発展が加速している。細胞治療とは、主に、人為的に加工した「ヒト細胞」を患者の体内に投与することで、患者の体内で所望の細胞（例えば、膝軟骨）を成長させたり、患者の体内の病変細胞（例えば、癌細胞）を攻撃したりするものである。詳述すると、現在の一般的な細胞治療では、主に、患者の体内の細胞を採取して、無菌及び無塵の作業空間で細胞を活性化及び増殖させるとともに、細胞製剤を製造して患者の体内に投与することで、治療及び修復の効果を達成する。
【０００３】
細胞治療に用いられる細胞製剤の製造工程では、作業環境を一定の清浄度に維持する必要がある。作業台及び器材は、細胞製剤が汚染されて細胞治療の効能に影響を及ぼさないよう、いずれも無菌状態とせねばならない。また、作業者の作業手技、作業手順及び作業習慣は、細胞製剤の品質に密接に関係する。例えば、作業者は、自身の作業習慣に起因して、作業過程で頻繁に細胞培養シャーレの上方で手部を行き来させるため、手部の病原菌が細胞培養シャーレ内に落下してしまう。或いは、作業者の作業が不適切なために、ピペット（Ｐｉｐｅｔｔｅ）を用いて細胞培養液を吸い取る際の手の動きが速くなりすぎる結果、細胞培養液がピペット内に急速に流入して、ピペット内の埃や異物が細胞培養シャーレ内に混入してしまう。上記の要因は、いずれも細胞製剤の製造工程で汚染を発生させる恐れがある。また、細胞の継代培養過程において、細胞の収集プロセスが正しくなかった場合（例えば、古い細胞培養液を廃棄する際に誤って細胞を吸い取った場合や、吸い取った細胞の体積が不正確だった場合）には、培養される細胞の成長密度及びコンフルエンシーがバッチごとに異なってしまい、細胞培養の品質に影響を及ぼしたり、バッチ間誤差が発生したりする。
【０００４】
加えて、作業者は、作業を行う過程で、作業の動作が連続的であることや、作業者自身の作業習慣に起因して、異常に気付かない場合がある。また、作業環境内の病原菌や埃は肉眼では見えないため、速やかに異常を感知することができず、往々にして、数日間を経て最終的に回収する時点になってから、初めて製造工程での製品汚染に気付くことになる。よって、総括すると、細胞治療に関係する作業過程では、作業者の作業手技、作業手順及び作業習慣の正確性がいずれも製品の品質に直接的な影響を及ぼす。しかしながら、現在のところ、市場には、細胞治療に関係する作業の正確性を確認するための手部認識技術が存在しない。
【０００５】
そのほか、従来技術では、単一画像内での手技動作の手部関節点に基づき動作の正確性を解析及び評価する手部認識システムを有しているが、実際の作業過程では、単一画像内の手部が重なり合ったり、認識システムの死角が生じたりする結果、手部関節点間の距離認識に歪みが生じ、解析結果が不正確になることが多い。また、従来の手部認識システムでは、単一画像内の手部関節点についての距離認識が歪むため、連続画像の認識及び検出に利用する場合にはなおさら歪みが生じ、精度がいっそう低下する恐れがある。
【０００６】
よって、上述した従来の課題を解決するために、新たな作業手技認識・解析システム及び方法を研究開発する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
以上に鑑みて、本発明は、上述した従来の課題を解決するために、作業手技認識・解析システム及び方法を提供する。
【課題を解決するための手段】
【０００８】
本発明は、作業中の作業者の作業領域における少なくとも１つの手部の動作の正確性を評価するために使用可能な作業手技認識・解析システムを提供する。作業手技認識・解析システムは、画像取得モジュール、認識モジュール及び動作解析モジュールを含む。画像取得モジュールは作業領域に設けられる。画像取得モジュールは、作業中の作業者の作業領域における少なくとも１つの手部の動作の連続画像を捕捉するために用いられる。認識モジュールは画像取得モジュールに接続される。認識モジュールは、２次元関節認識モデル、関節３次元座標認識モデル及び手部骨格関節モデル方向包括的最適化モデルを含む。２次元関節認識モデルは、連続画像に基づいて、作業者の手部の関節位置を認識するために用いられる。関節３次元座標認識モデルは、２次元関節認識モデルに接続されており、複数の画像取得モジュールが捕捉した作業中の作業者の作業領域における少なくとも１つの手部の動作の異なる角度からの複数の連続画像により、作業者の手部の関節位置に対応する手部関節位置座標を生成するために用いられる。手部関節位置座標は３次元座標である。手部骨格関節モデル方向包括的最適化モデルは、関節３次元座標認識モデルに接続されており、作業者の指骨長の制約及び指骨関節の制約に基づき、手部関節位置座標について包括的な最適化処理を行うことで、手部関節位置座標の精度を向上させるために用いられる。２次元関節認識モデル、関節３次元座標認識モデル及び手部骨格関節モデル方向包括的最適化モデルは、第１機械学習法により作業手技データセットを訓練することで構築される。また、動作解析モジュールは認識モジュールに接続される。動作解析モジュールは、手部関節位置座標を受信して、作業者の手部関節位置座標及び標準作業手技パラメータセットに基づき解析及び比較を行い、解析・比較結果を取得することで、作業中の作業者の作業領域における少なくとも１つの手部の動作の正確性を評価するために用いられる手技動作解析モデルを含む。手技動作解析モデルは、第２機械学習法により標準作業手技データセットを訓練することで構築される。
【０００９】
３次元座標については、三角測量法により、各画像取得モジュールからの出射線の交点を算出するか、中点法により、各画像取得モジュールからの前記出射線の最短距離の中点を交点の近似値として算出する。
【００１０】
動作解析モジュールは、更に、画像取得モジュールが捕捉した連続画像内の手部関節位置座標に基づき、第３機械学習法により様々な種別の手部の動作を認識及び分類するために用いられる動作種別認識モデルを含む。
（【００１１】以降は省略されています）

関連特許