特許ウォッチ

公開番号2024083602
公報種別公開特許公報(A)
公開日2024-06-21
出願番号2024066640,2023550828
出願日2024-04-17,2021-09-29
発明の名称情報処理装置、情報処理方法及びプログラム
出願人日本電気株式会社
代理人個人
主分類G06T 7/00 20170101AFI20240614BHJP(計算;計数)
要約【課題】学習済モデルを用いて画像から人物の身体のキーポイントを抽出する技術において、キーポイントの一部が見えていない画像が学習データの中に含まれている場合に推定精度が低下する問題を軽減する。
【解決手段】教師画像において人物の身体の見えているキーポイントの位置の指定を受け付ける受付部と、教師画像と、各人物の位置と、各人物の身体の複数のキーポイント各々が教師画像において見えているか否かを示すラベルと、受け付けたキーポイントの位置とを関連付けた学習データを取得する取得部と、を有する情報処理装置を提供する。
【選択図】図9
特許請求の範囲【請求項１】
教師画像において人物の身体の見えているキーポイントの位置の指定を受け付ける受付手段と、
前記教師画像と、各人物の位置と、各人物の身体の複数のキーポイント各々が前記教師画像において見えているか否かを示すラベルと、前記受け付けたキーポイントの位置とを関連付けた学習データを取得する取得手段と、
を有する情報処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記学習データにおいて、前記教師画像において見えていないキーポイントの前記教師画像内の位置は示されない請求項１に記載の情報処理装置。
【請求項３】
前記学習データは、前記教師画像において人物毎の見えていない前記キーポイント各々の状態をさらに含む請求項１又は２に記載の情報処理装置。
【請求項４】
前記状態は、画像外に位置する状態、画像内に位置するが他の物体に隠れている状態、画像内に位置するが自身の部位に隠れている状態を含む請求項３に記載の情報処理装置。
【請求項５】
前記状態は、前記教師画像もしくは前記処理画像において見えていない前記キーポイントを隠している物体の数を示す請求項３に記載の情報処理装置。
【請求項６】
前記学習データを学習した推定モデルに基づき、各人物の位置を示す情報、処理画像に含まれる各人物の複数の前記キーポイント各々が前記処理画像において見えているか否かを示す情報、及び、前記処理画像において見えている前記キーポイントの前記処理画像内の位置を算出するためのキーポイント各々の位置に関係する情報、を推定する推定手段、
をさらに有する請求項１～５のいずれか１項に記載の情報処理装置。
【請求項７】
前記学習データを学習した推定モデルに基づき、処理画像に含まれる各人物の複数のキーポイント各々の前記処理画像内の位置を推定する推定手段をさらに有する請求項１～５のいずれか１項に記載の情報処理装置。
【請求項８】
コンピュータが、
教師画像において人物の身体の見えているキーポイントの位置の指定を受け付ける受付工程と、
前記教師画像と、各人物の位置と、各人物の身体の複数のキーポイント各々が前記教師画像において見えているか否かを示すラベルと、前記受け付けたキーポイントの位置とを関連付けた学習データを取得する取得工程と、
を実行する情報処理方法。
【請求項９】
前記コンピュータが、
前記学習データを学習した推定モデルに基づき、処理画像に含まれる各人物の複数のキーポイント各々の前記処理画像内の位置を推定する推定工程をさらに実行する請求項８に記載の情報処理方法。
【請求項１０】
コンピュータを、
教師画像において人物の身体の見えているキーポイントの位置の指定を受け付ける受付手段、
前記教師画像と、各人物の位置と、各人物の身体の複数のキーポイント各々が前記教師画像において見えているか否かを示すラベルと、前記受け付けたキーポイントの位置とを関連付けた学習データを取得する取得手段、
として機能させるプログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
特許文献１及び非特許文献１には、学習済モデルを用いて画像から人物の身体のキーポイントを抽出する技術が開示されている。
【０００３】
特許文献１の技術では、身体の一部が他の遮蔽物に隠れて見えていない画像を学習データとする場合、見えていない部分のキーポイントの位置情報も正解データとして与える。このようにすることで、他の遮蔽物で隠れて見えていないキーポイントも検出可能になると記載されている。
【０００４】
非特許文献１の技術では、画像を格子状に分割したマップに対して、人の位置（人の中心位置）を尤度として示すマップと、人の位置を示すマップ位置に位置の修正量及び人のサイズを示したマップと、人の位置を示すマップ位置に関節の種類毎の相対位置を示したマップと、関節の種類毎に関節位置を尤度として示すマップと、関節位置を示すマップ位置に関節位置の修正量を示したマップとを、出力するニューラルネットワークを構成する。そして、非特許文献１の技術では、入力を画像とし、上記の各マップを出力するニューラルネットワークを用いて、画像から人の関節位置を推定する。なお、非特許文献１の技術については、以下で、図面を用いてより詳細に説明する。
【先行技術文献】
【特許文献】
【０００５】
特開２００４－２９５４３６号公報
【非特許文献】
【０００６】
Xingyi Zhou他、Objects as Points、［Online］、提出日２０１９年４月１６日、検索日２０２１年４月２３日、https://arxiv.org/abs/1904.07850
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来技術の場合、キーポイントの一部が見えていない画像が学習データの中に含まれていると、推定精度が低下するという問題がある。以下、理由を説明する。
【０００８】
まず、学習データは、図１に示すように、人物が含まれる教師画像と、人物の身体の複数のキーポイント各々の教師画像内の位置を示す正解ラベルとを紐付けたデータとなる。図中、丸印で、複数のキーポイント各々の教師画像内の位置を示している。なお、図示するキーポイントの種類及び数は一例であり、これに限定されない。
【０００９】
キーポイントの一部が見えていない教師画像を学習データとして利用する場合、従来技術においては、図２に示すように、見えているキーポイントの教師画像内の位置のみならず、見えていないキーポイントの教師画像内の位置をも示す正解ラベルを用意して学習することとなる。図２では、手前に位置する人物の足元が遮蔽物により隠れて見えていない。しかし、この人物の足元のキーポイントがこの人物の足元を隠す遮蔽物上で指定されている。例えば、オペレータが、人物の身体の見えている部分に基づき、見えていないキーポイントの教師画像内の位置を予測し、図２に示すような正解ラベルを作成する。
【００１０】
このように構成した場合、見えていないキーポイントに関しては、そのキーポイントの外観の特徴が示されていない画像パターンでそのキーポイントの位置を学習することとなる。また、画像において実際に見えていないキーポイントの教師画像内の位置をオペレータが予測して正解ラベルを作成することになるので、実際のキーポイントの位置とずれが発生する恐れがある。例えばこれらの理由から、従来技術の場合、キーポイントの一部が見えていない画像が学習データの中に含まれていると、推定精度が低下するという問題がある。
（【００１１】以降は省略されています）

関連特許