特許ウォッチ

公開番号2024054680
公報種別公開特許公報(A)
公開日2024-04-17
出願番号2022161081
出願日2022-10-05
発明の名称情報処理装置、情報処理装置の制御方法、及びコンピュータプログラム
出願人キヤノン株式会社
代理人個人,個人,個人
主分類G06T 7/00 20170101AFI20240410BHJP(計算;計数)
要約【課題】画像認識に係る処理を改善することである。
【解決手段】物体の種別名を表す種別情報、及び物体の空間中の三次元的な位置情報からなる物体特性情報を、少なくとも2以上含む、物体特性群情報を入力する物体特性群情報入力手段と、物体の種別名を表す種別情報を、物体の空間中の三次元的な位置情報と関連づけて保持する物体配置特性データベースと、前記物体特性群情報入力手段で入力された前記物体特性群情報と前記物体配置特性データベースとに基づき、前記物体特性群情報に含まれる情報に関連する情報を予測する予測手段と、前記物体特性群情報入力手段が入力した前記物体特性群情報と、前記予測手段の予測結果とに基づいて、前記物体配置特性データベースを更新する物体配置特性データベース更新手段と、を有する。
【選択図】図8

特許請求の範囲【請求項１】
物体の種別名を表す種別情報、及び物体の空間中の三次元的な位置情報からなる物体特性情報を、少なくとも２以上含む、物体特性群情報を入力する物体特性群情報入力手段と、
物体の種別名を表す種別情報を、物体の空間中の三次元的な位置情報と関連づけて保持する物体配置特性データベースと、
前記物体特性群情報入力手段で入力された前記物体特性群情報と前記物体配置特性データベースとに基づき、前記物体特性群情報に含まれる情報に関連する情報を予測する予測手段と、
前記物体特性群情報入力手段が入力した前記物体特性群情報と、前記予測手段の予測結果とに基づいて、前記物体配置特性データベースを更新する物体配置特性データベース更新手段と、
を有する情報処理装置。
続きを表示（約 2,100 文字）【請求項２】
前記物体特性群情報入力手段で入力された前記位置情報は、前記物体の空間中の三次元位置、前記物体間の空間中の三次元の相対位置、前記物体の空間中の三次元位置を表すラベル、及び前記物体間の空間中の三次元の相対位置を表すラベルの少なくともいずれか一つである、
ことを特徴とする請求項１に記載の情報処理装置
【請求項３】
前記物体特性群情報入力手段は、入力された前記物体特性群情報に含まれる前記種別情報又は前記位置情報の少なくとも一方をマスキングするか、又は別の種別情報又は位置情報に変更するかのどちらか一方を実施した改変物体特性群情報を生成し、
前記予測手段は、前記物体特性群情報入力手段が入力した前記物体特性群情報に含まれる物体に関連する情報又は前記物体特性群情報に含まれる物体の関係性として、前記種別情報又は前記位置情報の少なくとも一方を周囲の物の配置関係に基づいて予測し、
前記物体配置特性データベース更新手段は、前記予測手段の予測結果と、前記物体特性群情報入力手段が入力した前記物体特性群情報との差が減少するように、前記物体配置特性データベースを更新する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記物体特性群情報入力手段は、少なくとも２以上の前記物体特性群情報と、該２以上の前記物体特性群情報が関連する場所か否かを表すフラグとを入力し、
前記予測手段は、前記物体特性群情報に含まれる物体の関係性に関連する情報として、前記物体特性群情報入力手段が入力した前記前記物体特性群情報が関連した場所であるか否かの値を周囲の物の配置関係に基づいて予測し、
前記物体配置特性データベース手段は、前記物体特性群情報入力手段が入力した前記フラグと予測手段の予測結果の前記フラグとの差が減少するように、前記物体配置特性データベースを更新する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
画像から空間の物体ラベル付き三次元空間を復元し、前記復元した三次元空間における物体の種別情報と位置情報を前記物体特性群情報として類推する類推手段を有する、
ことを特徴とする請求項１に記載の情報処理装置
【請求項６】
物の配置関係を認識して特定のタスクを解くためのタスクデータベースを有し、
前記物体特性群情報入力手段は、さらに特定のタスクの正解データである教師データを入力し、
前記予測手段は、前記物体特性群情報と前記物体配置特性データベース、及び前記タスクデータベースに基づき、前記物体特性群情報に含まれる物体に関連する情報又は前記物体特性群情報に含まれる物体の関係性に関連する情報を予測データとして予測し、
前記物体特性群情報入力手段が入力した教師データと、前記予測手段が予測した予測データとの差が減少するように、前記物体配置特性データベース又は前記タスクデータベースの少なくともどちら一方を学習する学習手段を有する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記物体特性群情報に含まれる物体の関係性に関連する情報とは、前記物体特性群情報が生成された場所のカテゴリのことであり、
前記教師データとは、前記物体特性群情報が生成された場所のカテゴリを表す場所ラベルであり、
前記タスクデータベースとは、前記物体特性群情報が生成された場所ラベルを予測する場所予測データベースであり、
前記予測手段は、前記物体特性群情報と前記物体配置特性データベース、及び前記場所予測データベースに基づき、前記物体特性群情報が生成された場所ラベルを予測し、
前記予測手段が予測する場所ラベルと、前記入力した場所ラベルとの差が減少するように前記物体配置特性データベース又は場所予測データベースの少なくともどちらか一方を学習する学習手段を有する、
ことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記物体配置特性データベースとは、ニューラルネットワークモデルである、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項９】
空間の三次元形状モデルの三次元形状データを保持する三次元形状データ保持手段と、
前記三次元形状データから複数の物体を抽出し、その物体の種別情報と位置情報と合わせて物体特性群情報を生成する物体特性群情報算出手段と、を有する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
画像を入力する画像入力手段と、
前記画像から三次元形状データを生成する三次元形状データ生成手段と、
前記画像から画素の物体ラベルを行う物体認識手段と、
前記三次元形状データと前記物体ラベルとに基づき、前記三次元形状データに前記物体ラベルを割り当てる三次元形状データラベリング手段と、を有する、
ことを特徴とする請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理装置の制御方法、及びコンピュータプログラムに関するものである。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
近年、画像認識により、画像に写っている物体の種別や位置といった物体特性を機械が認識することができるようになってきている。特許文献１では、画像から物体を取り囲むバウンディングボックスと物体種別を出力するようにデータベースを更新していた。
【先行技術文献】
【特許文献】
【０００３】
特表２０１９－５１７７０１号公報
【非特許文献】
【０００４】
Ｊａｃｏｂ．ｅｔ．ａｌ，ＢＥＲＴ：Ｐｒｅ－ｔｒａｉｎｉｎｇｏｆＤｅｅｐＢｉｄｉｒｅｃｔｉｏｎａｌＴｒａｎｓｆｏｒｍｅｒｓｆｏｒＬａｎｇｕａｇｅＵｎｄｅｒｓｔａｎｄｉｎｇ，ａｒＸｉｖ２０１８
Ｗａｌｄ．ｅｔ．ａｌ，Ｌｅａｒｎｉｎｇ３ＤＳｅｍａｎｔｉｃＳｃｅｎｅＧｒａｐｈｓｆｒｏｍ３ＤＩｎｄｏｏｒＲｅｃｏｎｓｔｒｕｃｔｉｏｎｓ，ＣＶＰＲ２０２０
Ｇｌｏｒｏｔ．ｅｔ．ａｌ，Ｕｎｄｅｒｓｔａｎｄｉｎｇｔｈｅｄｉｆｆｉｃｕｌｔｙｏｆｔｒａｉｎｉｎｇｄｅｅｐｆｅｅｄｆｏｒｗａｒｄｎｅｕｒａｌｎｅｔｗｏｒｋｓ．ＡＩＳｔａｔｓ２０１０
Ｋａｉｍｉｎｇ．ｅｔ．ａｌ，ＤｅｌｖｉｎｇＤｅｅｐｉｎｔｏＲｅｃｔｉｆｉｅｒｓ：ＳｕｒｐａｓｓｉｎｇＨｕｍａｎ－ＬｅｖｅｌＰｅｒｆｏｒｍａｎｃｅｏｎＩｍａｇｅＮｅｔＣｌａｓｓｉｆｉｃａｔｉｏｎ，ＣＶＰＲ２０１５
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、画像認識においては、画像に写っているのにもかかわらず、物体が認識されないことがあった。また、このような認識タスク毎にデータベースを一から構築する必要があり、手間がかかった。このため、従来、画像認識に係る処理に改善の余地があった。
【０００６】
本発明は以上を鑑みて、画像認識に係る処理を改善することを１つの目的とする。
【課題を解決するための手段】
【０００７】
本発明の１側面としての情報処理装置は、物体の種別名を表す種別情報、及び物体の空間中の三次元的な位置情報からなる物体特性情報を、少なくとも２以上含む、物体特性群情報を入力する物体特性群情報入力手段と、物体の種別名を表す種別情報を、物体の空間中の三次元的な位置情報と関連づけて保持する物体配置特性データベースと、前記物体特性群情報入力手段で入力された前記物体特性群情報と前記物体配置特性データベースとに基づき、前記物体特性群情報に含まれる情報に関連する情報を予測する予測手段と、前記物体特性群情報入力手段が入力した前記物体特性群情報と、前記予測手段の予測結果とに基づいて、前記物体配置特性データベースを更新する物体配置特性データベース更新手段と、を有する。
【発明の効果】
【０００８】
本発明によれば、画像認識に係る処理を改善することができる。
【図面の簡単な説明】
【０００９】
本発明に係る情報処理装置を利用する状況を説明する図である。
実施例１の情報処理装置の機能構成を示すブロック図である。
実施例１の情報処理装置のハードウェア構成を示す図である。
実施例１の概念を示す図である。
実施例１の情報処理装置の処理の流れを示すフローチャートである。
実施例１の情報処理装置の予測処理の詳細の流れを示すフローチャートである。
変形例２の情報処理装置の機能構成を示すブロック図である。
変形例３の概念を示す図である。
図８に示したタスクデータベースのバリエーションを示す図である。
実施例２の情報処理装置の機能構成を示すブロック図である。
実施例２の情報処理装置の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一又は同様の構成に同一の参照番号を付し、重複した説明は省略する。
（【００１１】以降は省略されています）

関連特許