特許ウォッチ

公開番号2023071259
公報種別公開特許公報(A)
公開日2023-05-23
出願番号2021183913
出願日2021-11-11
発明の名称推論装置
出願人キヤノン株式会社
代理人弁理士法人秀和特許事務所
主分類G06T 7/00 20170101AFI20230516BHJP(計算;計数)
要約【課題】抽象度の異なる複数の分類結果を短時間で得ることを可能にする。
【解決手段】本発明の推論装置は、画像のデータを入力する入力層と、N個の中間層と、N個の出力層とを有し、第1の中間層は、入力層により出力されたデータから第1の特徴量を抽出し、第Mの中間層は、第M-1の中間層により出力された第M-1の特徴量から第Mの特徴量を抽出することが可能であり、第1の出力層は、第1の中間層により出力された第1の特徴量に応じて、画像に含まれる対象物を第1の抽象度で分類することが可能であり、第Mの出力層は、第Mの中間層により出力された第Mの特徴量に応じて、対象物を第M-1の抽象度よりも低い第Mの抽象度で分類することが可能であるニューラルネットワークによる推論を行うように制御する制御手段を有する。
【選択図】図2
特許請求の範囲【請求項１】
画像のデータを入力して出力する入力層と、
第１の中間層から第Ｎの中間層（Ｎは２以上の整数）までのＮ個の中間層と、
第１の出力層から第Ｎの出力層までのＮ個の出力層と
を有し、
前記Ｎ個の中間層のうちの前記第１の中間層は、前記入力層により出力された前記データから第１の特徴量を抽出して、前記第１の特徴量を出力し、
前記Ｎ個の中間層のうちの第Ｍの中間層（Ｍは２以上かつＮ以下の整数）は、前記第Ｍ－１の中間層により出力された前記第Ｍ－１の特徴量から第Ｍの特徴量を抽出して、前記第Ｍの特徴量を出力することが可能であり、
前記Ｎ個の出力層のうちの第１の出力層は、前記第１の中間層により出力された前記第１の特徴量に応じて、前記画像に含まれる対象物を第１の抽象度で分類して、当該分類の結果である第１の分類結果を出力することが可能であり、
前記Ｎ個の出力層のうちの第Ｍの出力層は、前記第Ｍの中間層により出力された前記第Ｍの特徴量に応じて、前記対象物を第Ｍ－１の抽象度よりも低い第Ｍの抽象度で分類して、当該分類の結果である第Ｍの分類結果を出力することが可能である
ニューラルネットワークによる推論を行うように制御する制御手段を有する
ことを特徴とする推論装置。
続きを表示（約 970 文字）【請求項２】
１つ以上の抽象度を決定する決定手段をさらに有し、
前記制御手段は、前記決定手段が決定した抽象度の分類結果を得るように制御する
ことを特徴とする請求項１に記載の推論装置。
【請求項３】
前記決定手段は、１つの抽象度を決定し、
前記制御手段は、前記決定手段が決定した抽象度以上である１つ以上の抽象度の分類結果を得るように制御する
ことを特徴とする請求項２に記載の推論装置。
【請求項４】
前記決定手段は、前記推論により得られる分類結果の用途に応じて異なる抽象度を決定する
ことを特徴とする請求項２または３に記載の推論装置。
【請求項５】
前記制御手段は、第Ｐの分類結果（Ｐは１以上かつＮ－１以下の整数）が特定の分類結果である場合には、前記推論を中断するように制御する
を特徴とする請求項１～４のいずれか１項に記載の推論装置。
【請求項６】
前記制御手段は、前記特定の分類結果として、前記推論装置の動作モードに応じて異なる分類結果を使用する
ことを特徴とする請求項５に記載の推論装置。
【請求項７】
前記制御手段は、第Ｐの分類結果（Ｐは１以上かつＮ－１以下の整数）が前回の推論時と同じ場合には、前記推論を中断するように制御する
ことを特徴とする請求項１～６のいずれか１項に記載の推論装置。
【請求項８】
前記制御手段は、前記第Ｐの分類結果が前回の推論時と同じ場合には、第Ｑの分類結果（ＱはＰ＋１以上かつＮ以下の整数）も前回の推論時と同じとみなす
ことを特徴とする請求項７に記載の推論装置。
【請求項９】
前記制御手段は、第Ｐの分類結果（Ｐは１以上かつＮ－１以下の整数）の信頼度に基づ
いて、前記推論を継続するか否かを切り替えるように制御する
ことを特徴とする請求項１～８のいずれか１項に記載の推論装置。
【請求項１０】
前記制御手段は、前記第Ｐの分類結果の信頼度が低いと判断される場合には、前記推論を継続するように制御する
ことを特徴とする請求項９に記載の推論装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、推論装置に関し、特に撮像装置で使用される推論装置に関するものである。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
従来、ニューラルネットワークによる推論を行う推論装置が知られている。特に画像認識を行う推論装置においては、いわゆる畳み込みニューラルネットワーク（ＣＮＮ：ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）がよく用いられている。
【０００３】
ＣＮＮによれば、入力された画像データに対して中間層の処理および全結合層の処理が順次施されることにより、画像に含まれた対象物を認識した最終的な推論結果が得られる。中間層では、複数の特徴量抽出処理層が階層的に接続されており、各処理層において、前階層から入力された入力データに対して畳み込み演算処理、活性化処理、プーリング処理が実行される。中間層では、各処理層における処理を繰り返すことで、入力画像データに含まれた特徴量が高次元で抽出される。全結合層では、中間層の演算結果データが結合され、最終的な推論結果が得られる。
【０００４】
このようなニューラルネットワークの演算は大きく学習フェーズと推論フェーズから成り立っている。学習フェーズでは、多くの画像データを用いてその傾向を抽出し、画像認識の作業精度を高める処理（学習）が行われ、推論フェーズでは、新たな未知の画像データに対し、学習結果を基に答えを導き出す処理（推論）が行われる。例えばＣＮＮの学習で修正される重みを持つ層は、畳み込み層と全結合層の２種類である。これら重みは、畳み込み層ではフィルタ数値として、全結合層では重み係数またはバイアスとして使用される演算用のパラメータ値である。
【０００５】
ここで、撮像装置がニューラルネットワークによる推論を行うことで被写体を分類し、分類結果に基づいてオートフォーカス（ＡＦ：ＡｕｔｏＦｏｃｕｓ）を行う場合を考える。この場合において、分類の抽象度を切り替えて推論を行うことがある。例えば、特定の動物の瞳にのみフォーカスを合わせたい場合には、被写体を詳細に（具体的に）分類する必要がある。一方で、種別問わず動物であればフォーカスを合わせたい場合には、フォーカスを合わせる対象が特定の動物に偏らないよう、被写体を大まかに（抽象的）に分類する必要がある。
【０００６】
特許文献１には、第１のＣＮＮによる認識処理と、第２のＣＮＮによる詳細認識処理とを行うことが開示されている。
【先行技術文献】
【特許文献】
【０００７】
特開２０１９－９６００６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、分類の抽象度の切り替えに応じてニューラルネットワークを切り替えるのでは、抽象度の切り替えのたびに推論の演算をはじめから行わなければならず、切り替え後の抽象度の分類結果を得るまでに時間を要してしまう。ＡＦなどでは動作の連続性が要求されるため、短時間で所望の抽象度の分類結果が得られることが好ましい。
【０００９】
本発明は、抽象度の異なる複数の分類結果を短時間で得ることを可能にすることを目的
とする。
【課題を解決するための手段】
【００１０】
本発明の推論装置は、画像のデータを入力して出力する入力層と、第１の中間層から第Ｎの中間層（Ｎは２以上の整数）までのＮ個の中間層と、第１の出力層から第Ｎの出力層までのＮ個の出力層とを有し、前記Ｎ個の中間層のうちの前記第１の中間層は、前記入力層により出力された前記データから第１の特徴量を抽出して、前記第１の特徴量を出力し、前記Ｎ個の中間層のうちの第Ｍの中間層（Ｍは２以上かつＮ以下の整数）は、前記第Ｍ－１の中間層により出力された前記第Ｍ－１の特徴量から第Ｍの特徴量を抽出して、前記第Ｍの特徴量を出力することが可能であり、前記Ｎ個の出力層のうちの第１の出力層は、前記第１の中間層により出力された前記第１の特徴量に応じて、前記画像に含まれる対象物を第１の抽象度で分類して、当該分類の結果である第１の分類結果を出力することが可能であり、前記Ｎ個の出力層のうちの第Ｍの出力層は、前記第Ｍの中間層により出力された前記第Ｍの特徴量に応じて、前記対象物を第Ｍ－１の抽象度よりも低い第Ｍの抽象度で分類して、当該分類の結果である第Ｍの分類結果を出力することが可能であるニューラルネットワークによる推論を行うように制御する制御手段を有する。
【発明の効果】
（【００１１】以降は省略されています）

関連特許