特許ウォッチ

公開番号2025138371
公報種別公開特許公報(A)
公開日2025-09-25
出願番号2024037419
出願日2024-03-11
発明の名称作業支援システム、スマートグラス、作業支援方法およびプログラム
出願人日本電気株式会社
代理人個人,個人
主分類G06Q 10/20 20230101AFI20250917BHJP(計算;計数)
要約【課題】作業支援を適切に行うことができる作業支援システム、スマートグラス、作業支援方法およびプログラムを提供する。
【解決手段】作業支援システムは、画像撮像部と視線検知部とを有するスマートグラスを用いた作業支援システムであって、確認すべき複数の物体と各物体の確認の状態とを示す一覧情報を記憶する記憶部と、視線検知部が検知した視線に基づいて画像撮像部が撮像した画像から確認対象の物体を選択する選択部と、一覧情報と、選択した物体に対する画像認識結果とに基づき、一覧情報が示すいずれかの物体に選択した物体が一致しているか否かを判定する判定部と、一致している場合に一覧情報が含む当該物体の確認の状態を更新する更新部と、を備える。
【選択図】図14
特許請求の範囲【請求項１】
画像撮像部と視線検知部とを有するスマートグラスを用いた作業支援システムであって、
確認すべき複数の物体と前記各物体の確認の状態とを示す一覧情報を記憶する記憶部と、
前記視線検知部が検知した視線に基づいて前記画像撮像部が撮像した画像から確認対象の物体を選択する選択部と、
前記一覧情報と、選択した前記物体に対する画像認識結果とに基づき、前記一覧情報が示すいずれかの前記物体に選択した前記物体が一致しているか否かを判定する判定部と、
一致している場合に前記一覧情報が含む当該物体の前記確認の状態を更新する更新部と、
を備える作業支援システム。
続きを表示（約 1,600 文字）【請求項２】
前記スマートグラスは、実際の光景に重ねて所定の画像を表示する画像表示部を有し、
前記一覧情報が示す前記物体に選択した前記物体が一致していなかった場合、選択された前記物体を前記画像表示部によって強調表示するハイライト表示部を
さらに備える請求項１に記載の作業支援システム。
【請求項３】
前記一覧情報が示す前記物体に選択した前記物体が一致していなかった場合、前記一覧情報の一部または全部を前記画像表示部に表示する表示制御部を
さらに備える請求項２に記載の作業支援システム。
【請求項４】
前記表示制御部は、前記一覧情報が示す前記物体に、選択された前記物体に一致したと判定されていないものがある場合に、前記選択部による前記選択が所定時間以上行われていないとき、所定の情報を前記画像表示部に表示する
請求項３に記載の作業支援システム。
【請求項５】
前記一覧情報は、確認すべき前記物体のシリアル番号を示す情報を含み、
前記判定部は、前記一覧情報が示す前記物体のシリアル番号と、前記画像認識結果として得た選択した前記物体のシリアル番号とを比較した結果に基づいて、前記一致しているか否かの判定を行う
請求項４に記載の作業支援システム。
【請求項６】
前記一覧情報は、所定の作業の前に確認すべき前記各物体を示す情報と、前記作業の後に確認すべき前記各物体を示す情報との少なくとも一方を含む
請求項５に記載の作業支援システム。
【請求項７】
前記一覧情報は、前記各物体を撮像した各画像を示す画像情報を含む
請求項６に記載の作業支援システム。
【請求項８】
画像撮像部と、
視線検知部と、
確認すべき複数の物体と前記各物体の確認の状態とを示す一覧情報を記憶する記憶部と、
前記視線検知部が検知した視線に基づいて前記画像撮像部が撮像した画像から確認対象の物体を選択する選択部と、
前記一覧情報と、選択した前記物体に対する画像認識結果とに基づき、前記一覧情報が示すいずれかの前記物体に選択した前記物体が一致しているか否かを判定する判定部と、
一致している場合に前記一覧情報が含む当該物体の前記確認の状態を更新する更新部と、
を備えるスマートグラス。
【請求項９】
画像撮像部と視線検知部とを有するスマートグラスを用いて、
確認すべき複数の物体と前記各物体の確認の状態とを示す一覧情報を記憶するステップと、
前記視線検知部が検知した視線に基づいて前記画像撮像部が撮像した画像から確認対象の物体を選択するステップと、
前記一覧情報と、選択した前記物体に対する画像認識結果とに基づき、前記一覧情報が示すいずれかの前記物体に選択した前記物体が一致しているか否かを判定するステップと、
一致している場合に前記一覧情報が含む当該物体の前記確認の状態を更新するステップと、
を含む作業支援方法。
【請求項１０】
画像撮像部と視線検知部とを有するスマートグラスを用いて、
確認すべき複数の物体と前記各物体の確認の状態とを示す一覧情報を記憶するステップと、
前記視線検知部が検知した視線に基づいて前記画像撮像部が撮像した画像から確認対象の物体を選択するステップと、
前記一覧情報と、選択した前記物体に対する画像認識結果とに基づき、前記一覧情報が示すいずれかの前記物体に選択した前記物体が一致しているか否かを判定するステップと、
一致している場合に前記一覧情報が含む当該物体の前記確認の状態を更新するステップと、
をコンピュータに実行させるプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、作業支援システム、スマートグラス、作業支援方法およびプログラムに関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
特許文献１には、スマートグラスを用いて物品のピッキング作業を支援するシステムが記載されている。このシステムでは、例えば次のようにしてピッキング作業が行われる。まず、サーバからスマートグラスへピッキング対象の物品のピッキング指示が送信される。スマートグラスは、ピッキング指示を受信したら、受信したピッキング指示に含まれる情報に基づいて、ピッキングを指示するピッキング指示画面を、現実の風景と重畳してディスプレイに表示する。作業者は、ピッキング指示画面に表示されたロケーションの情報を参考に、そのロケーションが示す棚の位置に移動する。そして、指示された棚へ移動後、スマートグラスは、作業者の視線の変化に応じて、カメラを介して、物品に貼付されているマーカを撮影する。スマートグラスは、撮影したマーカに基づいて、マーカが貼付されている物品を特定する。
【先行技術文献】
【特許文献】
【０００３】
国際公開第２０１８／１４６９５９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されているシステムでは、サーバから受信した作業対象を特定した作業指示に基づいてスマートグラスで作業支援が行われる。そのため、例えば、作業対象が複数あり、作業者が任意の順序で作業対象に対する作業を行いたい場合には、作業支援を適切に行うことができないことがあるという課題があった。
【０００５】
本開示は、上記の課題を解決する作業支援システム、スマートグラス、作業支援方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の作業支援システムは、画像撮像部と視線検知部とを有するスマートグラスを用いた作業支援システムであって、確認すべき複数の物体と前記各物体の確認の状態とを示す一覧情報を記憶する記憶部と、前記視線検知部が検知した視線に基づいて前記画像撮像部が撮像した画像から確認対象の物体を選択する選択部と、前記一覧情報と、選択した前記物体に対する画像認識結果とに基づき、前記一覧情報が示すいずれかの前記物体に選択した前記物体が一致しているか否かを判定する判定部と、一致している場合に前記一覧情報が含む当該物体の前記確認の状態を更新する更新部と、を備える。
【０００７】
本開示のスマートグラスは、画像撮像部と、視線検知部と、確認すべき複数の物体と前記各物体の確認の状態とを示す一覧情報を記憶する記憶部と、前記視線検知部が検知した視線に基づいて前記画像撮像部が撮像した画像から確認対象の物体を選択する選択部と、前記一覧情報と、選択した前記物体に対する画像認識結果とに基づき、前記一覧情報が示すいずれかの前記物体に選択した前記物体が一致しているか否かを判定する判定部と、一致している場合に前記一覧情報が含む当該物体の前記確認の状態を更新する更新部と、を備える。
【０００８】
本開示の作業支援方法は、画像撮像部と視線検知部とを有するスマートグラスを用いて、確認すべき複数の物体と前記各物体の確認の状態とを示す一覧情報を記憶するステップと、前記視線検知部が検知した視線に基づいて前記画像撮像部が撮像した画像から確認対象の物体を選択するステップと、前記一覧情報と、選択した前記物体に対する画像認識結果とに基づき、前記一覧情報が示すいずれかの前記物体に選択した前記物体が一致しているか否かを判定するステップと、一致している場合に前記一覧情報が含む当該物体の前記確認の状態を更新するステップと、を含む。
【０００９】
本開示のプログラムは、画像撮像部と視線検知部とコンピュータとを有するスマートグラスを用いて、確認すべき複数の物体と前記各物体の確認の状態とを示す一覧情報を記憶するステップと、前記視線検知部が検知した視線に基づいて前記画像撮像部が撮像した画像から確認対象の物体を選択するステップと、前記一覧情報と、選択した前記物体に対する画像認識結果とに基づき、前記一覧情報が示すいずれかの前記物体に選択した前記物体が一致しているか否かを判定するステップと、一致している場合に前記一覧情報が含む当該物体の前記確認の状態を更新するステップと、をコンピュータに実行させる。
【発明の効果】
【００１０】
本開示の作業支援システム、スマートグラス、作業支援方法およびプログラムによれば、作業支援を適切に行うことができる
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許