特許ウォッチ

公開番号2025012476
公報種別公開特許公報(A)
公開日2025-01-24
出願番号2023115333
出願日2023-07-13
発明の名称情報処理装置、撮像装置、情報処理方法及びプログラム
出願人キヤノン株式会社
代理人個人
主分類G06T 7/00 20170101AFI20250117BHJP(計算;計数)
要約【課題】画像内のオブジェクトのカテゴリを精度よく推定する。
【解決手段】画像に対してモデルを適用して、特徴量を抽出する抽出処理を行う抽出手段と、前記特徴量に基づいて、前記画像内のオブジェクトについて、各カテゴリに分類される確からしさを表す尤度を推定する推定処理を行う推定手段と、前記画像の正解情報と、前記推定処理により推定された各カテゴリの尤度と、に基づいて、各カテゴリの尤度誤差を算出する第1の算出手段と、各カテゴリの尤度誤差に基づいて、カテゴリ全体の尤度の誤差を表す全体尤度誤差を算出する第2の算出手段と、前記全体尤度誤差に基づいて、前記モデルの学習を行う学習手段と、を有し、前記第2の算出手段は、前記全体尤度誤差を算出する際に、各カテゴリの尤度誤差に対し、対象とするカテゴリごとに、前記対象とするカテゴリと他のカテゴリとの関係性に基いた重み付けをする。
【選択図】図7
特許請求の範囲【請求項１】
画像に対してモデルを適用して、特徴量を抽出する抽出処理を行う抽出手段と、
前記特徴量に基づいて、前記画像内のオブジェクトについて、各カテゴリに分類される確からしさを表す尤度を推定する推定処理を行う推定手段と、
前記画像の正解情報と、前記推定処理により推定された各カテゴリの尤度と、に基づいて、各カテゴリの尤度誤差を算出する第１の算出手段と、
各カテゴリの尤度誤差に基づいて、カテゴリ全体の尤度の誤差を表す全体尤度誤差を算出する第２の算出手段と、
前記全体尤度誤差に基づいて、前記モデルの学習を行う学習手段と、
を有し、
前記第２の算出手段は、前記全体尤度誤差を算出する際に、各カテゴリの尤度誤差に対し、対象とするカテゴリごとに、前記対象とするカテゴリと他のカテゴリとの関係性に基いた重み付けをすることを特徴とする情報処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記第１の算出手段は、同一の正解カテゴリをもつ複数の前記画像に対して、前記抽出処理と、前記推定処理とを行って得られた、各カテゴリの尤度に基づいて、各カテゴリの尤度誤差を算出し、
前記第２の算出手段は、各カテゴリの尤度誤差に対し、対象とするカテゴリごとに、前記対象とするカテゴリと前記正解カテゴリとの関係性に基いた重み付けをすることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記モデルの学習の対象とする、前記画像と当該画像の正解情報とを含む、学習データ群を解析した結果に基づいて、前記重み付けを調整する調整手段、
を更に有することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記画像の正解カテゴリと、前記推定処理により推定されたカテゴリとの組み合わせごとに、前記推定処理により推定された尤度を集計した結果に基づいて、前記重み付けを調整する調整手段、
を更に有することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記調整手段は、正解カテゴリが第１のカテゴリである画像についての、前記推定処理により推定された第２のカテゴリの尤度に基づく第１の誤差と、正解カテゴリが前記第２のカテゴリである画像についての、前記推定処理により推定された前記第１のカテゴリに基づく第２の誤差と、を算出し、前記第１の誤差と前記第２の誤差との差分を集計した結果に基づいて、前記重み付けを調整することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記調整手段は、前記差分が大きい場合、前記第１のカテゴリと前記第２のカテゴリの組み合わせについては、前記重み付けを小さくすることを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記調整手段は、前記差分が小さく、且つ、前記第１の誤差と前記第２の誤差が共に大きい場合、前記第１のカテゴリと前記第２のカテゴリの組み合わせについては、前記重み付けを大きくすることを特徴とする請求項５に記載の情報処理装置。
【請求項８】
カテゴリの組み合わせごとの前記重み付けを保持する保持手段、
を更に有し、
前記第２の算出手段は、対象とするカテゴリと別のカテゴリとの組み合わせに応じた前記重み付けを、前記保持手段から取得することを特徴する請求項１に記載の情報処理装置。
【請求項９】
カテゴリの組み合わせに応じた前記重み付けを、ユーザからの操作に応じて調整する調整手段
を更に有することを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
カテゴリの組み合わせに応じた前記重み付けを、外部ソフトウェアから入力された情報に応じて調整する調整手段
を更に有することを特徴とする請求項８に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、機械学習に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
デジタルカメラには、カメラが自動的に検出した被写体や、ユーザが任意で選択した被写体に適した画像を取得するためのさまざまな機能が搭載されている。例えば、自動的に焦点を合わせるオートフォーカス（ＡＦ）機能、自動的に明るさを調整するオートエクスポージャー（ＡＥ）機能、自動的に適切な色に調整するオートホワイトバランス（ＡＷＢ）機能がある。また、選択された被写体を後のフレームにおいても追従し続けることで、その被写体にフォーカスを合わせ続けたり、明るさや色を調整し続けたりする、追尾機能を有するカメラも知られている。これらの機能では入力画像において、被写体が存在する領域と、その被写体のカテゴリを推定することで、精度の高い処理を行うことが可能である。特許文献１には、畳み込みネットワークを用いて入力画像における物体を適切なクラスに分類する方法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２０－６４６０４号公報
【０００４】
Ｍｕｌｔｉ－ＴａｓｋＬｅａｒｎｉｎｇａｓＭｕｌｔｉ－ＯｂｊｅｃｔｉｖｅＯｐｔｉｍｉｚａｔｉｏｎ，ＩｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ（ＮｅｕｒＩＰＳ）２０１８
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ディープネット（あるいはディープニューラルネット、ディープラーニング）と呼ばれる多階層のニューラルネットワークを用いて物体のカテゴリを分類するカテゴリ分類の学習を行うためには、カテゴリの学習画像とＧＴ情報を準備して、学習を行う必要がある。なおここでは、ＧＴ（ＧｒｏｕｎｄＴｒｕｔｈ）情報は、学習画像内の位置と大きさを示した枠情報とする。学習画像として、実際に撮影された画像を使用する場合、あるカテゴリのＧＴ内に特定の別のカテゴリが頻繁に含まれるケースが存在する。例えば、バイクのＧＴ内には、人が含まれていることが多い。このような特定のカテゴリ間における関係性は学習を行う際に考慮されていない。そのためＧＴ内に複数のカテゴリが重なったデータが含まれるデータセットを用いてマルチカテゴリ分類のための学習を行うと、ユーザが本来意図しているカテゴリとは別のカテゴリのものをカテゴリの特徴として学習されてしてしまうおそれがある。その結果、最終的なモデルの精度が向上しないという課題がある。
【０００６】
そこで本発明は上記課題に鑑み、画像内のオブジェクトのカテゴリの推定の精度を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、画像に対してモデルを適用して、特徴量を抽出する抽出処理を行う抽出手段と、前記特徴量に基づいて、前記画像内のオブジェクトについて、各カテゴリに分類される確からしさを表す尤度を推定する推定処理を行う推定手段と、前記画像の正解情報と、前記推定処理により推定された各カテゴリの尤度と、に基づいて、各カテゴリの尤度誤差を算出する第１の算出手段と、各カテゴリの尤度誤差に基づいて、カテゴリ全体の尤度の誤差を表す全体尤度誤差を算出する第２の算出手段と、前記全体尤度誤差に基づいて、前記モデルの学習を行う学習手段と、を有し、前記第２の算出手段は、前記全体尤度誤差を算出する際に、各カテゴリの尤度誤差に対し、対象とするカテゴリごとに、前記対象とするカテゴリと他のカテゴリとの関係性に基いた重み付けをすることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画像内のオブジェクトのカテゴリの推定の精度を向上させることができる。
【図面の簡単な説明】
【０００９】
カメラシステムの全体構成例を示す図である。
学習装置のハードウェア構成例を示す図である。
カメラの機能構成例を示す図である。
カメラにより実行される処理を示すフローチャートである。
ニューラルネットワークのネットワーク構造を示す図である。
学習装置の機能構成例を示す図である。
学習装置により実行される処理を示すフローチャートである。
学習画像の例を示す図である。
学習装置の機能構成例を示す図である。
学習装置の機能構成例を示す図である。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して、本発明の実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。なお、図面間で符号の同じものは同じ動作をするとして重ねての説明を省く。
（【００１１】以降は省略されています）

関連特許