特許ウォッチ

公開番号2024048123
公報種別公開特許公報(A)
公開日2024-04-08
出願番号2022154003
出願日2022-09-27
発明の名称評価方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 7/60 20170101AFI20240401BHJP(計算;計数)
要約【課題】画像解析システム全体の出力の正確さを定量的に評価するための技術を提供すること。
【解決手段】評価画像を画像解析システムに入力して出力値を求め、期待値と出力値とを比較することにより出力の正確さを求め、要因と出力の正確さとの関係に基づいて、画像解析システムの特性を評価する。
【選択図】図1
特許請求の範囲【請求項１】
画像解析システムの評価方法であって、
前記画像解析システムは、
画像取得手段と画像解析手段と出力手段を備え、
前記評価方法は、
評価画像を前記画像解析システムに入力して出力値を求める工程と、
期待値と前記出力値とを比較することにより出力の正確さを求める工程と、
要因と前記出力の正確さとの関係に基づいて、前記画像解析システムの特性を評価する工程と
を有することを特徴とする評価方法。
続きを表示（約 960 文字）【請求項２】
前記評価方法は、更に要因に基づいて評価画像と期待値とを複数生成する工程を有することを特徴とする請求項１に記載の評価方法。
【請求項３】
前記出力値は二値であり、
前記出力の正確さがPR(Precision-Recall)曲線の曲線下面積(AUC:Area Under Curve)であることを特徴とする請求項１に記載の評価方法。
【請求項４】
前記要因は、外部環境要因と内部処理要因の少なくともひとつであることを特徴とする請求項１に記載の評価方法。
【請求項５】
前記外部環境要因は、評価画像の、照度と照明の色と彩度とコントラストと輝度とシャープネスとホワイトバランスとノイズと圧縮率との少なくともひとつであることを特徴とする請求項４に記載の評価方法。
【請求項６】
前記外部環境要因は、評価画像における物体の、形状と大きさと色と位置と密度との少なくともひとつに基づくことを特徴とする請求項４に記載の評価方法。
【請求項７】
前記外部環境要因は、評価画像における領域の、形状と大きさと色と位置との少なくともひとつに基づくことを特徴とする請求項４に記載の評価方法。
【請求項８】
前記外部環境要因は、評価画像の撮影画角とオクルージョンとの少なくともひとつであることを特徴とする請求項４に記載の評価方法。
【請求項９】
前記内部処理要因は、前記外部環境要因に応じて異なる特性を持つ複数の解析処理であることを特徴とする請求項４に記載の評価方法。
【請求項１０】
画像解析システムの評価方法であって、
前記画像解析システムは、
画像取得手段と画像解析手段と出力手段を備え、
前記評価方法は、
評価画像を前記画像解析システムに入力して出力値を求める工程と、
期待値と前記出力値とを比較することにより出力の正確さを求める工程と、
前記画像解析システムの設定値と前記出力の正確さとの関係に基づいて、設定の容易さを示す設定値域を求める工程と
を有することを特徴とする評価方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像解析システムの評価技術に関するものである。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
機械学習技術の発展により、機械学習技術を搭載したシステムも増加している。従来より、機械学習技術の精度を評価する方法が提案されてきた。例えば、非特許文献１には、適合率や再現率という評価指標を用いてパラメータに依存する精度を定量的に評価する方法が開示されている。
【先行技術文献】
【非特許文献】
【０００３】
Information Retrieval － C. J. van Rijsbergen 1979
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１には、機械学習技術単体での精度を評価する方法は開示されているものの、機械学習技術を搭載したシステムにおいて、他の前後処理を含めたシステム全体を定量的に評価する方法については開示されていない。本発明は、画像解析システム全体の出力の正確さを定量的に評価するための技術を提供する。
【課題を解決するための手段】
【０００５】
本発明の一様態は、画像解析システムの評価方法であって、前記画像解析システムは、画像取得手段と画像解析手段と出力手段を備え、前記評価方法は、評価画像を前記画像解析システムに入力して出力値を求める工程と、期待値と前記出力値とを比較することにより出力の正確さを求める工程と、要因と前記出力の正確さとの関係に基づいて、前記画像解析システムの特性を評価する工程とを有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、画像解析システム全体の出力の正確さを定量的に評価することができる。
【図面の簡単な説明】
【０００７】
システム構成の一例を示す図。
画像解析システムの構成例を示す図。
評価システムの構成例を示す図。
処理の流れの例を示す図。
精度要因評価の例を示す図。
設定評価の例を示す図。
設定要因評価の例を示す図。
コンピュータ装置のハードウェア構成例を示す図。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【０００９】
［第１の実施形態］
本実施形態では、情報処理装置が撮像装置であるケースについて説明するが、情報処理装置は撮像装置に限らない。例えば、情報処理装置は、撮像機能を有するデスクトップ型／ノート型ＰＣ（パーソナルコンピュータ）、撮像機能を有するタブレット端末装置、スマートフォン、などの端末装置であっても良い。
【００１０】
先ず、本実施形態に係るシステムの構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、画像解析システム１０１と、評価システム１０２と、を有し、画像解析システム１０１と評価システム１０２とは有線および／または無線のネットワークを介して互いにデータ通信が可能なように構成されている。
（【００１１】以降は省略されています）

関連特許