特許ウォッチ

公開番号2024077198
公報種別公開特許公報(A)
公開日2024-06-07
出願番号2022189123
出願日2022-11-28
発明の名称改札システム、乗車券システム及び乗客画像特定方法
出願人株式会社日立製作所,東京地下鉄株式会社
代理人ポレール弁理士法人
主分類G06Q 50/40 20240101AFI20240531BHJP(計算;計数)
要約【課題】多数の乗客画像の中から改札異常の生じたユーザ端末を所持する乗客の乗客画像を特定可能な改札システムを提供する。
【解決手段】改札異常の生じた第1のグループデータの乗客画像が撮像された駅とは別の駅構内の改札領域を撮像した画像から作成されたグループデータである関連グループデータを特定し、第1のグループデータの乗客画像と関連グループデータの乗客画像との画像類似度に基づき、第1のグループデータまたは関連グループデータのユーザIDに乗客画像を割り当て、改札異常を生じさせたユーザ端末を所持する乗客の乗客画像を特定する。
【選択図】図4A
特許請求の範囲【請求項１】
ユーザ端末の位置を示す位置データを蓄積する端末追跡部と、
前記端末追跡部に蓄積された位置データから、前記ユーザ端末を所持する乗客の入場駅と出場駅とを特定して当該乗客の旅程データを構築する旅程構築部と、
駅構内の所定の改札領域を撮像した画像から前記改札領域を通過する乗客を特定して追跡する人物追跡部と、
前記画像から前記改札領域を互いに接近した状態で通過した乗客のグループを作成し、グループごとに当該グループに含まれる乗客の乗客画像と、前記端末追跡部に蓄積された位置データに基づき特定される、当該グループが前記改札領域を通過した通過期間に前記改札領域を通過したユーザ端末に対応するユーザＩＤとをグループデータとして登録するグループ作成部と、
前記グループデータに改札異常が生じていると判定される場合には、前記改札異常の生じた第１のグループデータの乗客画像が撮像された駅とは別の駅構内の前記改札領域を撮像した画像から作成されたグループデータである関連グループデータを特定し、前記第１のグループデータの乗客画像と前記関連グループデータの乗客画像との画像類似度に基づき、前記第１のグループデータまたは前記関連グループデータのユーザＩＤに乗客画像を割り当て、前記改札異常を生じさせたユーザ端末を所持する乗客の乗客画像を特定する特定部と、を有し、
前記端末追跡部、前記旅程構築部、前記人物追跡部、前記グループ作成部及び前記特定部はそれぞれ、ストレージ装置に格納されたプログラムをプロセッサにより実行することで所定の処理を行うことを特徴とする改札システム。
続きを表示（約 2,900 文字）【請求項２】
請求項１において、
前記グループ作成部は、グループデータとして登録されたユーザＩＤに対応するユーザ端末の位置データから当該グループが前記改札領域を通過した通過期間における第１の時系列特徴量を、前記画像から推定される乗客画像の位置情報から当該グループが前記改札領域を通過した通過期間における第２の時系列特徴量を算出し、前記第１の時系列特徴量と前記第２の時系列特徴量との類似度が所定値以上である場合、前記第２の時系列特徴量を算出した乗客画像を、前記第１の時系列特徴量を算出したユーザＩＤの割当可能画像として特定することを特徴とする改札システム。
【請求項３】
請求項１において、
前記第１のグループデータの改札異常は、無効チケットの所持であり、
前記特定部は、前記第１のグループデータ以外に、無効チケットを所持するユーザＩＤまたは、前記無効チケットを所持するユーザＩＤに対応するユーザ端末とは前記位置データに基づき区別不可能なユーザ端末に対応するユーザＩＤを含むグループデータを前記関連グループデータとして特定することを特徴とする改札システム。
【請求項４】
請求項１において、
前記第１のグループデータの改札異常は、前記第１のグループデータにおける乗客画像の数とユーザＩＤの数との不一致であり、
前記特定部は、前記第１のグループデータの乗客となりうる、前記第１のグループデータの乗客画像が撮像された駅とは別の駅構内の前記改札領域を撮像した画像から作成されたグループデータであって、前記旅程データに異常が生じているユーザ端末に対応するユーザＩＤを含むグループデータを前記関連グループデータとして特定することを特徴とする改札システム。
【請求項５】
請求項４において、
前記特定部は、前記改札異常を生じさせたユーザ端末を所持する乗客の乗客画像が撮像された駅を出場駅として前記旅程データを更新することを特徴とする改札システム。
【請求項６】
請求項１において、
前記グループ作成部は、直前に前記改札領域を通過した乗客から、所定値未満の時間差で前記改札領域を通過した乗客を同じグループとし、同じグループとする時間差は、前記ユーザ端末の位置データの測位精度に基づき定められることを特徴とする改札システム。
【請求項７】
改札システムと、
前記改札システムと接続され、運賃の精算を行う運賃精算システムとを有し、
前記改札システムは、
ユーザ端末の位置を示す位置データを蓄積する端末追跡部と、
前記端末追跡部に蓄積された位置データから、前記ユーザ端末を所持する乗客の入場駅と出場駅とを特定して当該乗客の旅程データを構築する旅程構築部と、
駅構内の所定の改札領域を撮像した画像から前記改札領域を通過する乗客を特定して追跡する人物追跡部と、
前記画像から前記改札領域を互いに接近した状態で通過した乗客のグループを作成し、グループごとに当該グループに含まれる乗客の乗客画像と、前記端末追跡部に蓄積された位置データに基づき特定される、当該グループが前記改札領域を通過した通過期間に前記改札領域を通過したユーザ端末に対応するユーザＩＤとをグループデータとして登録するグループ作成部と、
前記グループデータに改札異常が生じていると判定される場合には、前記改札異常の生じた第１のグループデータの乗客画像が撮像された駅とは別の駅構内の前記改札領域を撮像した画像から作成されたグループデータである関連グループデータを特定し、前記第１のグループデータの乗客画像と前記関連グループデータの乗客画像との画像類似度に基づき、前記第１のグループデータまたは前記関連グループデータのユーザＩＤに乗客画像を割り当て、前記改札異常を生じさせたユーザ端末を所持する乗客の乗客画像を特定する特定部と、
乗客の旅程データに基づき、前記運賃精算システムに運賃請求を行う精算依頼部と、
を有し、
前記端末追跡部、前記旅程構築部、前記人物追跡部、前記グループ作成部、前記特定部及び前記精算依頼部はそれぞれ、ストレージ装置に格納されたプログラムをプロセッサにより実行することで所定の処理を行うことを特徴とする乗車券システム。
【請求項８】
請求項７において、
駅員が確認可能な運用端末を有し、
前記運用端末は、前記特定部が特定した前記改札異常を生じさせたユーザ端末を所持する乗客の乗客画像を他の乗客画像とは識別可能に表示することを特徴とする乗車券システム。
【請求項９】
端末追跡部と旅程構築部と人物追跡部とグループ作成部と特定部とを備える改札システムを備え、
前記端末追跡部は、ユーザ端末の位置を示す位置データを蓄積し、
前記旅程構築部は、前記端末追跡部に蓄積された位置データから、前記ユーザ端末を所持する乗客の入場駅と出場駅とを特定して当該乗客の旅程データを構築し、
前記人物追跡部は、駅構内の所定の改札領域を撮像した画像から前記改札領域を通過する乗客を特定して追跡し、
前記グループ作成部は、前記画像から前記改札領域を互いに接近した状態で通過した乗客のグループを作成し、グループごとに当該グループに含まれる乗客の乗客画像と、前記端末追跡部に蓄積された位置データに基づき特定される、当該グループが前記改札領域を通過した通過期間に前記改札領域を通過したユーザ端末に対応するユーザＩＤとをグループデータとして登録し、
前記特定部は、前記グループデータに改札異常が生じていると判定される場合には、前記改札異常の生じた第１のグループデータの乗客画像が撮像された駅とは別の駅構内の前記改札領域を撮像した画像から作成されたグループデータである関連グループデータを特定し、前記第１のグループデータの乗客画像と前記関連グループデータの乗客画像との画像類似度に基づき、前記第１のグループデータまたは前記関連グループデータのユーザＩＤに乗客画像を割り当て、前記改札異常を生じさせたユーザ端末を所持する乗客の乗客画像を特定する、
ことを特徴とする乗客画像特定方法。
【請求項１０】
請求項９において、
前記グループ作成部は、グループデータとして登録されたユーザＩＤに対応するユーザ端末の位置データから当該グループが前記改札領域を通過した通過期間における第１の時系列特徴量を、前記画像から推定される乗客画像の位置情報から当該グループが前記改札領域を通過した通過期間における第２の時系列特徴量を算出し、前記第１の時系列特徴量と前記第２の時系列特徴量との類似度が所定値以上である場合、前記第２の時系列特徴量を算出した乗客画像を、前記第１の時系列特徴量を算出したユーザＩＤの割当可能画像として特定することを特徴とする乗客画像特定方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、改札システム、乗車券システム及び乗客画像特定方法に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
特許文献１には、旅客が所持するモバイルデバイスを測位することによって旅客の移動経路を収集して旅程を構築することが開示されている。これにより、交通事業者はチケット専用媒体の発行や改札機の設置を不要として旅客への運賃請求が可能になり、旅客はチケット専用媒体の管理が不要にすることができる。
【０００３】
特許文献２には、人物の特定が曖昧なセンサ、具体的には人物が所持するモバイル端末が無線信号発信機から受信した無線信号の受信強度と組み合わせて、多視点から撮影された映像中の人物を簡易に特定して、人物の行動を監視する技術が開示されている。あらかじめ取得された各画像に映る同一人物の位置と、同時に取得された当該人物を検知したセンサデータとを組み合わせた訓練データを生成しておく。連続する時系列に取得された各映像に映る人物の位置におけるセンサデータの推定値を訓練データに基づいて算出し、推定値と取得されたセンサデータとの類似度の時系列変化に基づいて、人物の識別情報を特定する。
【先行技術文献】
【特許文献】
【０００４】
国際公開第２０２１／１３００２４号
特開２０１８－６１１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
モバイルデバイスにインストールされた乗車券アプリケーションにより公共交通機関を利用可能にすることにより乗客の利便性を増すことができる一方で、モバイルデバイスに不調が生じたり、乗車券アプリケーションが無効となっていたり（以下、無効チケットの所持ともいう）といった改札異常への対処が必要となる。
【０００６】
発明者らはこのような改札異常の生じたモバイルデバイスを所持する乗客を特定する手段として、駅構内に設けたカメラからの画像（動画像）を用いて改札異常の生じたモバイルデバイスを所持する乗客を特定することで改札機能を実現することを検討した。例えば、特許文献２はモバイル端末を所持する人物の映像を特定する技術が開示されている。しかしながら、公共交通機関の改札機能を実現するには、比較的狭い領域（通路）をおよそ同じ方向に移動する多数の乗客の中から改札異常の生じたモバイルデバイスを所持する乗客を特定する必要がある。特許文献２の技術では、センサデータの識別精度で識別できないほど近接し、同様の振る舞いをする人物同士を識別することは困難である。
【課題を解決するための手段】
【０００７】
本発明の一実施の態様である改札システムは、ユーザ端末の位置を示す位置データを蓄積する端末追跡部と、端末追跡部に蓄積された位置データから、ユーザ端末を所持する乗客の入場駅と出場駅とを特定して当該乗客の旅程データを構築する旅程構築部と、駅構内の所定の改札領域を撮像した画像から改札領域を通過する乗客を特定して追跡する人物追跡部と、画像から改札領域を互いに接近した状態で通過した乗客のグループを作成し、グループごとに当該グループに含まれる乗客の乗客画像と、端末追跡部に蓄積された位置データに基づき特定される、当該グループが改札領域を通過した通過期間に改札領域を通過したユーザ端末に対応するユーザＩＤとをグループデータとして登録するグループ作成部と、グループデータに改札異常が生じていると判定される場合には、改札異常の生じた第１のグループデータの乗客画像が撮像された駅とは別の駅構内の改札領域を撮像した画像から作成されたグループデータである関連グループデータを特定し、第１のグループデータの乗客画像と関連グループデータの乗客画像との画像類似度に基づき、第１のグループデータまたは関連グループデータのユーザＩＤに乗客画像を割り当て、改札異常を生じさせたユーザ端末を所持する乗客の乗客画像を特定する特定部と、を有し、端末追跡部、旅程構築部、人物追跡部、グループ作成部及び特定部はそれぞれ、ストレージ装置に格納されたプログラムをプロセッサにより実行することで所定の処理を行う。
【発明の効果】
【０００８】
多数の乗客画像の中から改札異常の生じたユーザ端末を所持する乗客の乗客画像を特定可能な改札システムを提供する。
【０００９】
その他、本願が開示する課題、およびその解決方法は、発明を実施するための形態の欄、および図面により明らかにされる。
【図面の簡単な説明】
【００１０】
改札システムが適用される駅の様子を示す図である。
「無効チケットタイプ」の改札異常の事例である。
乗客画像を特徴量空間にプロットした図である。
乗客画像を特徴量空間にプロットした図である。
「電池切れタイプ」の改札異常の事例である。
改札システムの機能ブロック図である。
情報処理装置のブロック図である。
改札機能のフローチャートである。
グループ作成フローチャートである。
「電池切れタイプ」の改札異常対応処理のフローチャートである。
「無効チケットタイプ」の改札異常対応処理のフローチャートである。
クラスタリング処理のフローチャートである。
グループデータ（画像）のデータ構造例である。
グループデータ（ユーザＩＤ）のデータ構造例である。
ユーザ割当情報（初期値）の例である。
画像割当情報（初期値）の例である。
ユーザ割当情報（処理結果）の例である。
画像割当情報（処理結果）の例である。
旅程データのデータ構造例である。
運用端末への表示画面例である。
ユーザ端末への問い合わせ画面例である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許