特許ウォッチ

公開番号2025005368
公報種別公開特許公報(A)
公開日2025-01-16
出願番号2024011340
出願日2024-01-29
発明の名称移動体、撮影方法、プログラム、情報処理装置
出願人株式会社リコー
代理人個人,個人
主分類H04N 23/61 20230101AFI20250108BHJP(電気通信技術)
要約【課題】移動体の位置や姿勢の誤差等により事前に設定された位置に移動体が正確に停止することができなかった場合でも、移動体が対象物を確実に撮影する技術を提供すること。
【解決手段】本発明は、自律移動時に予め設定されている位置に到達したとき、対象物を撮影する移動体であって、前記位置において前記対象物が撮影された第1の画像データに画像処理を行い、前記第1の画像データにおける前記対象物の座標を出力する画像処理部と、前記画像処理部により出力された前記第1の画像データにおける前記対象物の座標に基づいて、前記対象物を撮影する撮影条件を補正する撮影条件補正部と、前記撮影条件補正部が補正した前記撮影条件で前記対象物を撮影する撮影制御部と、を有する。
【選択図】図1
特許請求の範囲【請求項１】
自律移動時に予め設定されている位置に到達したとき、対象物を撮影する移動体であって、
前記位置において前記対象物が撮影された第１の画像データに画像処理を行い、前記第１の画像データにおける前記対象物の座標を出力する画像処理部と、
前記画像処理部により出力された前記第１の画像データにおける前記対象物の座標に基づいて、前記対象物を撮影する撮影条件を補正する撮影条件補正部と、
前記撮影条件補正部が補正した前記撮影条件で前記対象物を撮影する撮影制御部と、
を有する移動体。
続きを表示（約 1,900 文字）【請求項２】
前記画像処理部は、前記画像処理を行う前に、前記対象物が撮影されている第２の画像データを取得し、取得した前記第２の画像データのうち前記対象物が写っている一部の範囲をテンプレート画像として、前記第１の画像データにテンプレートマッチングを行うことで、前記第１の画像データにおける前記対象物の座標を出力する請求項１に記載の移動体。
【請求項３】
前記第２の画像データから特徴点を検出し、前記特徴点の数が閾値以上になるように前記テンプレート画像のサイズを決定するサイズ決定部を有する請求項２に記載の移動体。
【請求項４】
操作者が前記第１の画像データに対し指定した、前記対象物が写っている座標を、前記第１の画像データが撮影された位置に対応付けて予め記憶しておき、
前記画像処理部は、自律移動時に前記第１の画像データが撮影された前記位置に対応付けられている、前記対象物が写っている座標に基づいて、自律移動時に撮影された前記第１の画像データからテンプレート画像を取得し、
自律移動時に撮影された前記第１の画像データに、前記テンプレート画像でテンプレートマッチングを行うことで、前記第１の画像データにおける前記対象物の座標を出力する請求項１に記載の移動体。
【請求項５】
過去の自律移動時に撮影した複数の第１の画像データであって、位置と対象物が写っている座標と撮影された時刻が、それぞれの前記第１の画像データに対応づけられており、
前記画像処理部は、過去の自律移動時に撮影した前記複数の第１の画像データの中から、自律移動時の時刻と最も近い時刻が対応付けられている前記第１の画像データを取得し、前記対象物が写っている座標に基づいて、前記第１の画像データから前記テンプレート画像を取得する請求項４に記載の移動体。
【請求項６】
過去の自律移動時に撮影した複数の第１の画像データであって、位置と対象物が写っている座標と撮影された際の天候が、それぞれの前記第１の画像データに対応づけられており、
前記画像処理部は、過去の自律移動時に撮影した前記複数の第１の画像データの中から、自律移動時の天候と最も近い天候が対応付けられている前記第１の画像データを取得し、前記対象物が写っている座標に基づいて、前記第１の画像データから前記テンプレート画像を取得する請求項４に記載の移動体。
【請求項７】
過去の自律移動時に撮影した複数の第１の画像データであって、位置と対象物が写っている座標が、それぞれの前記第１の画像データに対応づけられており、
前記画像処理部は、自律移動時に撮影された前記第１の画像データと最も類似する、過去に撮影された前記第１の画像データを特定し、特定した前記第１の画像データを取得して、前記対象物が写っている座標に基づいて、前記第１の画像データから前記テンプレート画像を取得する請求項４に記載の移動体。
【請求項８】
前記移動体が自律移動する前に、前記位置において前記対象物が閾値以上のサイズで写るように操作者が設定した、パン、チルト、及びズーム率を保存しておき、
自律移動時に前記撮影条件補正部は、前記画像処理部により特定された前記第１の画像データにおける前記対象物の座標を含むように撮影手段のパンとチルトを補正し、
前記撮影制御部は、補正された前記パンとチルト、及び、保存されている前記ズーム率を用いて前記対象物を撮影する請求項１～７のいずれか１項に記載の移動体。
【請求項９】
前記対象物が撮影されている第２の画像データ及び前記第２の画像データよりも高倍率の前記対象物の画像が予め保存されており、
前記画像処理部は、前記対象物の画像を縮小した画像をテンプレート画像として使用する請求項２に記載の移動体。
【請求項１０】
前記移動体が自律移動する前に、
前記位置において前記対象物が閾値以上のサイズで写るように操作者が設定した、パン、チルト、及びズーム率にて撮影された前記対象物の画像、及び、前記操作者が設定した、パン、チルト及び１倍のズーム率にて撮影された、前記第２の画像データを保存しておき、
前記画像処理部は、前記対象物の画像を、前記対象物の画像に対する前記第２の画像データの倍率の比で縮小した画像をテンプレート画像として使用する請求項９に記載の移動体。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、移動体、撮影方法、プログラム、及び情報処理装置に関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
工場や倉庫等の拠点に設置され、拠点内を自律的に移動可能な移動体が知られている。このような移動体は、例えば点検ロボットやサービスロボットとして用いられる。移動体は、作業者の代わりに拠点内の予め設定されている位置で設備を点検する等のタスクを行うことができる。
【０００３】
作業者の代わりに拠点内の予め設定されている位置で設備を点検するタスクとして、点検の対象物を撮影する点検のタスクが知られている（例えば、特許文献１参照）。特許文献１には、事前に設定された移動経路を順にたどりながら走行し、点検ポイントに到達すると一時停止して対象物を撮影する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、対象物が画角から外れてしまう問題があった。移動体の位置や姿勢の誤差等により事前に設定された位置に移動体が正確に停止することは困難である。このため、点検等の対象物を撮影する条件が同じであっても、移動体の停止位置や姿勢及び撮影装置の光軸の向きによっては対象物が画角から外れてしまう又は中央から大きくずれるおそれがある。
【０００５】
本発明は、上記課題に鑑み、移動体の位置や姿勢の誤差等により事前に設定された位置に移動体が正確に停止することができなかった場合でも、移動体が対象物を確実に撮影する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題に鑑み、本発明は、自律移動時に予め設定されている位置に到達したとき、対象物を撮影する移動体であって、前記位置において前記対象物が撮影された第１の画像データに画像処理を行い、前記第１の画像データにおける前記対象物の座標を出力する画像処理部と、前記画像処理部により出力された前記第１の画像データにおける前記対象物の座標に基づいて、前記対象物を撮影する撮影条件を補正する撮影条件補正部と、前記撮影条件補正部が補正した前記撮影条件で前記対象物を撮影する撮影制御部と、を有する。
【発明の効果】
【０００７】
移動体の位置や姿勢の誤差等により事前に設定された位置に移動体が正確に停止することができなかった場合でも、移動体が対象物を確実に撮影する技術を提供することができる。
【図面の簡単な説明】
【０００８】
本実施形態の移動体が点検対象物を撮影する処理を説明する図である。
通信システムの全体構成の一例を示す図である。
移動体の外観斜視図の一例である。
移動体のハードウェア構成の一例を示すブロック図である。
表示装置の一例のハードウェア構成を示すブロック図である。
通信システムの機能構成の一例を示す図である。
目的地候補管理テーブルの一例を示す概念図である。
経路情報管理テーブルの一例を示す概念図である。
地図情報管理テーブルの一例を示す概念図である。
補正情報管理テーブルの一例を示す概念図である。
画像データ管理テーブルの一例を示す概念図である。
目的地候補の登録処理の一例を示すシーケンス図である。
操作画面の一例を示す図である。
移動体の手動操作処理の一例を示すシーケンス図である。
移動体の移動状態に応じた目的地候補の登録処理の一例を示すフローチャートである。
移動体の目的地の設定処理の一例を示すシーケンス図である。
選択画面の一例を示す図である。
選択画面の一例を示す図である。
移動体の自律移動処理の一例を示すフローチャートである。
目的地候補の登録時に操作者が移動体に点検対象物の目標画像と１倍画像を撮影させる処理を説明するフローチャート図の一例である。
目的地候補の登録時において保存された目標画像と１倍画像の一例を示す図である。
サイズ決定部が１倍画像の中央付近の品質を判断する処理を説明するフローチャート図の一例である。
自律移動時において移動体が点検対象物を撮影する処理を説明するフローチャート図の一例である。
図２３のステップＳ１１２の、パンとチルトの変更量の算出を説明する図である。
図２３のステップＳ１１４のテンプレートマッチングについて詳細に説明するフローチャート図の一例である。
図２５の処理を説明するためのいくつかの画像を示す図の一例である。
図２５のステップＳ１２２の処理を説明する図である。
操作者が表示装置に表示させた点検結果表示画面の一例を示す図である。
表示装置が表示する補正画面の一例を示す図である。
操作者が点検対象物の画像の補正を行う際に表示装置が行う処理を説明するフローチャート図の一例である。
画像処理部が補正情報を使用してテンプレート画像を切り出す処理を説明するフローチャート図の一例である。
画像処理部が補正情報を使用してテンプレート画像を切り出す処理を説明するフローチャート図の一例である。
第２実施形態における通信システムの機能ブロック図の一例である。
目的地候補の登録時において操作者が移動体に点検対象物の目標画像と１倍画像を撮影させる処理を説明するシーケンス図の一例である。
自律移動時において移動体が点検対象物を撮影する処理を説明するシーケンス図の一例である。
表示装置がＨＭＤである場合の表示装置のハードウェアブロック図の一例である。
ＨＭＤである表示装置が表示した画像データの一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態の一例として移動体、及び、移動体が行う撮影方法について図面を参照しながら説明する。
【００１０】
[第１実施形態]
＜移動体の処理の概略＞
本実施形態の移動体は、予め設定されている点検ポイントに到達した場合、その場で撮影した画像データからテンプレートマッチングにより点検対象物を検出する。移動体は、取得した点検対象物の座標に基づいて撮影条件の補正を行い、補正した撮影条件で点検対象物を撮影する。
（【００１１】以降は省略されています）

関連特許