特許ウォッチ

公開番号2025054997
公報種別公開特許公報(A)
公開日2025-04-08
出願番号2023164269
出願日2023-09-27
発明の名称画像処理装置、方法、およびシステム
出願人サクサ株式会社
代理人個人
主分類G06T 5/77 20240101AFI20250401BHJP(計算;計数)
要約【課題】欠落領域を修正する際、撮影状況に応じた表情が表現された画像を得る。
【解決手段】本人画像選択部16Cが、蓄積回路17に予め蓄積されている複数の参照画像30のうちから、対象人物の顔を含む本人画像を選択し、特定画像選択部16Dが、選択された本人画像のうちから、対象画像20が撮影された状況と一致または類似する状況下で撮影された画像を特定画像として選択し、画像抽出部16Bが、選択された特定画像から欠落領域の修正に用いる対応領域の画像を抽出し、画像修正部16Eが、抽出された対応領域の画像を用いて欠落領域を修正する。
【選択図】図1
特許請求の範囲【請求項１】
人物の顔を含むとともに各種の状況下で撮影された複数の参照画像を、予め蓄積するように構成された蓄積部と、
顔に視認できない欠落領域が存在する対象人物を含む対象画像を記憶する記憶部と、
前記蓄積部に蓄積されている前記複数の参照画像から、前記対象人物の顔を含む特定画像を選択し、前記特定画像を用いて前記対象画像の前記欠落領域を修正するように構成された制御部とを備え、
前記制御部は、
前記複数の参照画像のうちから、前記対象人物の顔を含む本人画像を選択するように構成された本人画像選択部と、
選択された前記本人画像のうちから、前記対象画像が撮影された状況と一致または類似する状況下で撮影された画像を、前記特定画像として選択するように構成された特定画像選択部と、
選択された前記特定画像から前記欠落領域の修正に用いる対応領域の画像を抽出するように構成された画像抽出部と、
抽出された前記対応領域の画像を用いて前記欠落領域を修正するように構成された画像修正部とを含む
ことを特徴とする画像処理装置。
続きを表示（約 2,300 文字）【請求項２】
請求項１に記載の画像処理装置において、
前記画像抽出部は、前記対象画像から前記対象人物の顔を示す対象顔画像を抽出し、
前記本人画像選択部は、前記画像抽出部で抽出された前記対象顔画像を、前記複数の参照画像のそれぞれと照合することにより、前記複数の参照画像のうちから前記対象人物が含まれる本人画像を選択するように構成されている
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記蓄積部は、さらに、前記複数の参照画像のそれぞれについて、当該参照画像に含まれる前記人物を示す人物キーワードを予め記憶し、
前記記憶部は、前記対象画像とともに、前記対象画像に含まれる前記対象人物を示す人物キーワードを記憶し、
前記本人画像選択部は、前記複数の参照画像のうちから、前記記憶部で記憶されている前記人物キーワードと一致する人物キーワードが付与されている参照画像を、前記本人画像として選択する
ことを特徴とする画像処理装置。
【請求項４】
請求項１～請求項３のいずれかに記載の画像処理装置において、
前記画像抽出部は、前記対象画像から前記対象人物の背景を示す対象背景画像を抽出し、
前記特定画像選択部は、前記画像抽出部で抽出された前記対象背景画像を、前記本人画像のそれぞれと照合することにより、前記本人画像のうちから背景が前記対象背景画像と一致または類似する画像を前記特定画像として選択する
ことを特徴とする画像処理装置。
【請求項５】
請求項１～請求項３のいずれかに記載の画像処理装置において、
前記蓄積部は、さらに、前記複数の参照画像のそれぞれについて、当該参照画像が撮影された状況を示す状況キーワードを記憶し、
前記記憶部は、前記対象画像とともに、前記対象画像が撮影された状況を示す状況キーワードを記憶し、
前記特定画像選択部は、前記本人画像のうちから、前記記憶部で記憶されている状況キーワードと一致または類似する状況キーワードが付与されている本人画像を、前記特定画像として選択する
ことを特徴とする画像処理装置。
【請求項６】
請求項１～請求項３のいずれかに記載の画像処理装置において、
前記蓄積部は、さらに、各種の背景を撮影した複数の参照背景画像を予め蓄積するとともに、前記複数の参照背景画像のそれぞれについて、当該参照背景画像の背景と対応する状況キーワードを予め記憶し、
前記画像抽出部は、前記対象画像から前記対象人物の背景を示す対象背景画像を抽出し、
前記特定画像選択部は、前記画像抽出部で抽出された前記対象背景画像を、前記複数の参照背景画像のそれぞれと照合することにより、前記複数の参照背景画像のうちから背景が前記対象背景画像と一致または類似する参照背景画像の状況キーワードを、前記対象画像が撮影された状況を示す前記状況キーワードとして取得する
ことを特徴とする画像処理装置。
【請求項７】
人物の顔を含むとともに各種の状況下で撮影された複数の参照画像を、予め蓄積するように構成された蓄積部と、顔に視認できない欠落領域が存在する対象人物を含む対象画像を記憶する記憶部と、前記蓄積部に蓄積されている前記複数の参照画像から、前記対象人物の顔を含む特定画像を選択し、前記特定画像を用いて前記対象画像の前記欠落領域を修正するように構成された制御部とを備えるコンピュータで用いられる画像処理方法であって、
前記制御部が、前記複数の参照画像のうちから、前記対象人物の顔を含む本人画像を選択するように構成された本人画像選択ステップと、
前記制御部が、選択された前記本人画像のうちから、前記対象画像が撮影された状況と一致または類似する状況下で撮影された画像を、前記特定画像として選択するように構成された特定画像選択ステップと、
前記制御部が、選択された前記特定画像から前記欠落領域の修正に用いる対応領域の画像を抽出するように構成された画像抽出ステップと、
前記制御部が、抽出された前記対応領域の画像を用いて前記欠落領域を修正するように構成された画像修正ステップとを含む
ことを特徴とする画像処理方法。
【請求項８】
通信網を介してデータ通信可能に接続された画像処理装置と蓄積装置とを備え、
前記蓄積装置は、人物の顔を含むとともに各種の状況下で撮影された複数の参照画像を、予め蓄積するように構成されており、
前記画像処理装置は、顔に視認できない欠落領域が存在する対象人物を含む対象画像を記憶する記憶回路と、前記蓄積装置に蓄積されている前記複数の参照画像から、前記対象人物の顔を含む特定画像を選択し、前記特定画像を用いて前記対象画像の前記欠落領域を修正するように構成された制御部とを備え、
前記制御部は、
前記複数の参照画像のうちから、前記対象人物の顔を含む本人画像を選択する本人画像選択部と、
選択された前記本人画像のうちから、前記対象画像が撮影された状況と一致または類似する状況下で撮影された画像を、前記特定画像として選択するように構成された特定画像選択部と、
選択された前記対象画像のうち、前記欠落領域を含む修正領域を、前記特定画像のうち前記修正領域と対応する領域の画像を用いて修正するように構成された画像修正部とを含む
ことを特徴とする画像処理システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、人物の顔画像のうち視認できない欠落領域を含む対象領域を、予め蓄積されている本人の顔画像で修正する画像処理技術に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
行事やイベントなどで人物の画像を撮影した際、マスクやサングラスなどの遮蔽物の装着により、視認できない欠落領域が生じ、人物の顔が明瞭に視認できない画像が撮影されてしまう場合がある。
従来、特許文献１には、ＨＭＤ（Head Mounted Display：ヘッドマウントディスプレイ）を装着してＶＲ（Virtual Reality：バーチャルリアリティ）を体験している人物を現実空間内で撮影した画像と、ＶＲ空間の映像とを合成することによって、あたかもＶＲ空間内にいる人物の自撮り画像を生成する技術が開示されている。その際、顔画像のうちＨＭＤ部分を予め用意したその人物の顔画像の一部で修正している。
【先行技術文献】
【特許文献】
【０００３】
特開２０１９－１２１０７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述した特許文献１の技術によれば、マスクやサングラスなどの遮蔽物の装着により、視認できない欠落領域を含む対象画像については、予め用意したその人物の顔画像から欠落領域に相当する部分画像を抽出し、この部分画像で対象顔画像のうち欠落領域を修正することにより、欠落領域のない画像を得ることができる。
【０００５】
一方、行事やイベントなどで人物の画像を撮影した場合、撮影した状況によって人物の表情は変化する。特に目元や口元の表情は撮影画像の風情や余韻となる。しかしながら、上記技術では、撮影状況が異なっていても予め用意した同一の部分画像で一律に修正されるため、撮影状況に応じた表情が表現されず、臨場感のない画像が生成されてしまうという問題点があった。
【０００６】
本発明はこのような課題を解決するためのものであり、欠落領域を修正する際、撮影状況に応じた表情が表現された画像を得ることができる画像処理技術を提供することを目的としている。
【課題を解決するための手段】
【０００７】
このような目的を達成するために、本発明にかかる画像処理装置は、人物の顔を含むとともに各種の状況下で撮影された複数の参照画像を、予め蓄積するように構成された蓄積部と、顔に視認できない欠落領域が存在する対象人物を含む対象画像を記憶する記憶部と、前記蓄積部に蓄積されている前記複数の参照画像から、前記対象人物の顔を含む特定画像を選択し、前記特定画像を用いて前記対象画像の前記欠落領域を修正するように構成された制御部とを備え、前記制御部は、前記複数の参照画像のうちから、前記対象人物の顔を含む本人画像を選択するように構成された本人画像選択部と、選択された前記本人画像のうちから、前記対象画像が撮影された状況と一致または類似する状況下で撮影された画像を、前記特定画像として選択するように構成された特定画像選択部と、選択された前記特定画像から前記欠落領域の修正に用いる対応領域の画像を抽出するように構成された画像抽出部と、抽出された前記対応領域の画像を用いて前記欠落領域を修正するように構成された画像修正部とを含んでいる。
【０００８】
また、本発明にかかる上記画像処理装置の一構成例は、前記画像抽出部が、前記対象画像から前記対象人物の顔を示す対象顔画像を抽出し、前記本人画像選択部は、前記画像抽出部で抽出された前記対象顔画像を、前記複数の参照画像のそれぞれと照合することにより、前記複数の参照画像のうちから前記対象人物が含まれる本人画像を選択するように構成されている。
【０００９】
また、本発明にかかる上記画像処理装置の一構成例は、前記蓄積部が、さらに、前記複数の参照画像のそれぞれについて、当該参照画像に含まれる前記人物を示す人物キーワードを予め記憶し、前記記憶部は、前記対象画像とともに、前記対象画像に含まれる前記対象人物を示す人物キーワードを記憶し、前記本人画像選択部は、前記複数の参照画像のうちから、前記記憶部で記憶されている前記人物キーワードと一致する人物キーワードが付与されている参照画像を、前記本人画像として選択するように構成されている。
【００１０】
また、本発明にかかる上記画像処理装置の一構成例は、前記画像抽出部が、前記対象画像から前記対象人物の背景を示す対象背景画像を抽出し、前記特定画像選択部は、前記画像抽出部で抽出された前記対象背景画像を、前記本人画像のそれぞれと照合することにより、前記本人画像のうちから背景が前記対象背景画像と一致または類似する画像を前記特定画像として選択するように構成されている。
（【００１１】以降は省略されています）

関連特許