特許ウォッチ

公開番号2025027325
公報種別公開特許公報(A)
公開日2025-02-27
出願番号2023132043
出願日2023-08-14
発明の名称情報処理装置、情報処理方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 7/00 20170101AFI20250219BHJP(計算;計数)
要約【課題】画像の深度情報に関する予測にロバスト性を持たせるための技術を提供すること。
【解決手段】画像の深度マップと、該画像における深度情報の正解ラベルと、を取得し、深度マップが有する深度情報を変更した変更深度マップを生成し、正解ラベルが有する深度情報を変更した変更正解ラベルを生成する。画像、深度マップ、正解ラベル、変更深度マップ、変更正解ラベル、を含む学習データを出力する。
【選択図】図3
特許請求の範囲【請求項１】
画像の深度マップと、該画像における深度情報の正解ラベルと、を取得する取得手段と、
前記深度マップが有する深度情報を変更した変更深度マップを生成する第１生成手段と、
前記正解ラベルが有する深度情報を変更した変更正解ラベルを生成する第２生成手段と、
前記画像、前記深度マップ、前記正解ラベル、前記変更深度マップ、前記変更正解ラベル、を含む学習データを出力する出力手段と
を備えることを特徴とする情報処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記第１生成手段は、前記深度マップが有するデフォーカス量に複数のオフセット量のそれぞれを適用して変化させることで複数の変更深度マップを生成し、
前記第２生成手段は、前記正解ラベルが有するデフォーカス量に前記複数のオフセット量のそれぞれを適用して変化させることで複数の変更正解ラベルを生成することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記複数のオフセット量は、適用するデフォーカス量に応じて異なることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
さらに、
元画像の画像サイズと、該元画像の縮小画像である前記画像の画像サイズと、の比率に基づいて、オフセット量の可能量を求める手段を備え、
前記第１生成手段は、前記深度マップが有するデフォーカス量に、前記可能量に基づく複数のオフセット量のそれぞれを適用して変化させることで複数の変更深度マップを生成し、
前記第２生成手段は、前記正解ラベルが有するデフォーカス量に、前記可能量に基づく複数のオフセット量のそれぞれを適用して変化させることで複数の変更正解ラベルを生成することを特徴とする請求項２に記載の情報処理装置。
【請求項５】
さらに、
前記可能量が示す値の範囲内でユーザ操作に応じて設定された値に応じた複数のオフセット量を取得するオフセット量取得手段を備え、
前記第１生成手段は、前記深度マップが有するデフォーカス量に前記オフセット量取得手段が取得した複数のオフセット量のそれぞれを適用して変化させることで複数の変更深度マップを生成し、
前記第２生成手段は、前記正解ラベルが有するデフォーカス量に前記オフセット量取得手段が取得した複数のオフセット量のそれぞれを適用して変化させることで複数の変更正解ラベルを生成することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記深度マップは、前記画像における主被写体に対応するデフォーカス量のマップであることを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記深度マップは、前記画像における主被写体に対応するデフォーカス量のうち信頼度に基づくデフォーカス量のマップであることを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記正解ラベルは、前記深度マップが有するデフォーカス量のうち合焦状態から規定範囲内のデフォーカス量を含むことを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記正解ラベルは、前記深度マップにおいて前記画像の特定領域と重複する領域のデフォーカス量を含むことを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記正解ラベルは、前記深度マップが有するデフォーカス量のうち信頼度に基づくデフォーカス量を含むことを特徴とする請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、学習技術に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
撮影レンズの焦点位置を自動調節する焦点調節機能を備えたカメラが普及している。その焦点調節を行う方法として、位相差ＡＦ方式やコントラストＡＦ方式など様々なＡＦ方式が実用化されている。位相差ＡＦ方式は、視差のある２つの像からピント面のズレ量を直接算出することができるので、コントラストＡＦ方式に比べ素早くピント合わせできるといった特徴がある。
【０００３】
また、近年では、画像認識の分野に関する研究が盛んに行われており、ニューラルネットワークを用いて画像中の物体領域を検出する手法が多様に提案されている。リアルタイムに取得された撮像画像において、物体検出を行いながら精度よく被写体を追尾することは、本分野における大きな課題となっている。画像認識を行うニューラルネットワークに入力するパラメータとしては、ＲＧＢのカラー画像であることが多いが、加えて奥行き方向の情報も入力することで、３次元的なコンテクストを考慮した物体認識を実現することができる。前述のピント面のズレ量も一種の奥行き情報と考えることができ、同様にニューラルネットワークを用いて物体認識を行うことができる。
【０００４】
ニューラルネットワークの性能、特に汎化性能を向上させるためには、大量の学習データが必要とされることが知られている。一方で、少量の学習データでも汎化性能を上げる手法としてデータオーギュメンテーション（ＤＡ）手法が良く用いられる。ＤＡとは、学習画像データに対し、ボケ、ブレ、画像合成、回転、平行移動、拡大縮小、上下左右反転、ノイズの付与、色調変化、明暗変化などを加え、学習データを人為的にデータ拡張する手法である。
【０００５】
デフォーカス量のような画像の深度情報を予測するようなタスクでは、画像撮影時に深度情報にノイズが意図せず入ってしまった場合、間違った深度を予測する可能性がある。このため、ニューラルネットワークの学習時には深度情報に対するＤＡを行うことで、ロバスト性を持たせることが必要である。
【０００６】
特許文献１には、三次元モデルにおける描画パラメータを変化させ、変化させた描画パラメータに基づいて認識対象の学習データ（画像と正解ラベル）を生成する手法が提案されている。なお、以下では正解ラベルをＧＴ（ＧｒｏｕｎｄＴｒｕｔｈの略称）と呼称する場合がある。
【先行技術文献】
【特許文献】
【０００７】
特開２０１８－１６３５５４
【発明の概要】
【発明が解決しようとする課題】
【０００８】
画像の深度情報の予測タスクにおいては、深度情報に対するＤＡを行わなければ、深度情報の予測にロバスト性を持たせることができない。特に学習データとして深度情報に偏りがある場合、ニューラルネットワークによる予測結果が偏る場合がある。実際、画像中の主被写体のデフォーカス量を推定するようなタスクにおいては、主被写体へ合焦された画像が多くなる。このため、デフォーカス量の分布として合焦近傍を示す値に学習データが偏るという課題があった。本発明は、画像の深度情報に関する予測にロバスト性を持たせるための技術を提供する。
【課題を解決するための手段】
【０００９】
本発明の一様態は、画像の深度マップと、該画像における深度情報の正解ラベルと、を取得する取得手段と、前記深度マップが有する深度情報を変更した変更深度マップを生成する第１生成手段と、前記正解ラベルが有する深度情報を変更した変更正解ラベルを生成する第２生成手段と、前記画像、前記深度マップ、前記正解ラベル、前記変更深度マップ、前記変更正解ラベル、を含む学習データを出力する出力手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明の構成によれば、画像の深度情報に関する予測にロバスト性を持たせるための技術を提供することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許