特許ウォッチ

公開番号2024058372
公報種別公開特許公報(A)
公開日2024-04-25
出願番号2022165685
出願日2022-10-14
発明の名称プログラム、画像処理方法、及び画像処理装置
出願人大日本印刷株式会社
代理人個人,個人
主分類G06T 7/194 20170101AFI20240418BHJP(計算;計数)
要約【課題】グリーンバック等を用いることなく、撮影画像から背景領域を精度良く除去することが可能なプログラム等を提供する。
【解決手段】コンピュータは撮影画像を取得する。コンピュータは、撮影画像を入力した場合に、前記撮影画像から背景領域が除去された背景除去画像を出力するように学習された第1学習モデルに、取得した撮影画像を入力して、入力した撮影画像から背景領域が除去された背景除去画像を取得する。そして、コンピュータは、撮影画像及び前記撮影画像から背景領域が除去された背景除去画像を入力した場合に、前記背景除去画像における背景領域が補正された補正後の背景除去画像を出力するように学習された第2学習モデルに、取得した撮影画像及び背景除去画像を入力して、入力した背景除去画像における背景領域が補正された補正後の背景除去画像を取得する。
【選択図】図1
特許請求の範囲【請求項１】
撮影画像を取得し、
撮影画像を入力した場合に、前記撮影画像から背景領域が除去された背景除去画像を出力するように学習された第１学習モデルに、取得した前記撮影画像を入力して、入力した前記撮影画像から背景領域が除去された背景除去画像を取得し、
撮影画像及び前記撮影画像から背景領域が除去された背景除去画像を入力した場合に、前記背景除去画像における背景領域が補正された補正後の背景除去画像を出力するように学習された第２学習モデルに、取得した前記撮影画像及び前記背景除去画像を入力して、入力した前記背景除去画像における背景領域が補正された補正後の背景除去画像を取得する
処理をコンピュータに実行させるプログラム。
続きを表示（約 1,600 文字）【請求項２】
前記背景除去画像における背景領域又は前景領域に対する修正指示を受け付け、
背景除去画像と、前記背景除去画像における背景領域又は前景領域に対する修正指示とを入力した場合に、前記背景領域又は前景領域が修正された修正後の背景除去画像を出力するように学習された第３学習モデルに、取得した前記撮影画像から背景領域が除去された背景除去画像と、前記背景除去画像に対して受け付けた修正指示とを入力して、入力した前記背景除去画像における背景領域又は前景領域が修正された修正後の背景除去画像を取得する
処理を前記コンピュータに実行させる請求項１に記載のプログラム。
【請求項３】
前記撮影画像に含まれる被写体の少なくとも１つを選択し、
前記撮影画像から、選択した被写体を含む被写体領域を抽出し、
抽出した被写体領域を前記第１学習モデルに入力して、前記被写体領域から背景領域が除去された背景除去画像を取得する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
【請求項４】
前記撮影画像中の被写体を検知し、
検知した被写体に基づいて、選択すべき被写体を特定する
処理を前記コンピュータに実行させる請求項３に記載のプログラム。
【請求項５】
前記撮影画像に含まれる被写体の少なくとも１つを選択し、
前記補正後の背景除去画像から、選択した被写体の撮影領域を抽出する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
【請求項６】
前記第１学習モデルは、撮影画像を入力した場合に、前記撮影画像から背景領域が除去された背景除去画像と、前記背景除去画像中の各物体の領域を示す情報とを出力するように学習されており、
前記第１学習モデルに、取得した前記撮影画像を入力して、入力した前記撮影画像から背景領域が除去された背景除去画像と、前記背景除去画像中の各被写体の領域を示す情報とを取得する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
【請求項７】
取得した前記背景除去画像中の各被写体の領域を示す情報に基づいて、前記被写体の少なくとも１つを選択し、
前記背景除去画像から、選択した被写体の撮影領域を抽出する
処理を前記コンピュータに実行させる請求項６に記載のプログラム。
【請求項８】
前記撮影画像及び前記補正後の背景除去画像に基づいて、前記撮影画像中の被写体の撮影領域を抽出する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
【請求項９】
複数の合成用画像のいずれかを選択し、
選択した合成用画像に、前記撮影画像から抽出した前記被写体の撮影領域を合成する
処理を前記コンピュータに実行させる請求項８に記載のプログラム。
【請求項１０】
前記撮影画像を複数取得し、
複数の前記撮影画像のそれぞれを前記第１学習モデルに入力して、前記撮影画像のそれぞれから背景領域が除去された背景除去画像を取得し、
複数の前記背景除去画像を前記第２学習モデルに入力して、前記背景除去画像のそれぞれにおける背景領域が補正された補正後の背景除去画像を取得し、
前記複数の撮影画像のそれぞれについて、前記撮影画像及び前記補正後の背景除去画像に基づいて、前記撮影画像中の被写体の撮影領域を抽出し、
前記複数の撮影画像からそれぞれ抽出された前記被写体の撮影領域を動画として合成用画像に合成する
処理を前記コンピュータに実行させる請求項９に記載のプログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本願は、プログラム、画像処理方法、及び画像処理装置に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
カメラで撮影した画像から前景となる領域を抽出して他の画像に合成する画像合成が行われている。画像から背景領域を除去する技術として、例えば特許文献１では、グリーンバックを背景にして被写体を撮影することにより、撮影画像から被写体の撮影領域を抽出するクロマキー処理が開示されている。また、事前に取得した画像と、新たに取得した画像との差分を算出することにより、事前に取得した画像には存在しない被写体を抽出する背景差分法による背景除去処理も行われている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２０－１２７１６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
クロマキー処理による背景除去を行う場合、グリーンバックを設置する必要があるので、グリーンバックを設置できない場所ではクロマキー処理による背景除去は行えない。また、クロマキー処理による背景除去では、前景となる被写体がグリーンバックと同じ色である場合に、同じ色の領域が背景として除去されるという問題がある。背景差分法による背景除去でも、背景と同じ色の領域は前景領域であっても背景として除去される。また、背景差分法による背景除去では、明度（輝度）が異なる領域についても差分領域として抽出されるので、明るさ等の撮影条件が異なる場合、正確に前景領域を抽出することは難しい。更に、背景差分法による背景除去では、背景画像を事前に撮影する必要があり、撮影位置が変更される都度、背景画像を準備する必要があるという問題がある。
【０００５】
本開示は、斯かる事情に鑑みてなされたものであり、その目的とするところは、グリーンバック等を用いることなく、撮影画像から背景領域を精度良く除去することが可能なプログラム等を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様に係るプログラムは、撮影画像を取得し、撮影画像を入力した場合に、前記撮影画像から背景領域が除去された背景除去画像を出力するように学習された第１学習モデルに、取得した前記撮影画像を入力して、入力した前記撮影画像から背景領域が除去された背景除去画像を取得し、撮影画像及び前記撮影画像から背景領域が除去された背景除去画像を入力した場合に、前記背景除去画像における背景領域が補正された補正後の背景除去画像を出力するように学習された第２学習モデルに、取得した前記撮影画像及び前記背景除去画像を入力して、入力した前記背景除去画像における背景領域が補正された補正後の背景除去画像を取得する処理をコンピュータに実行させる。
【発明の効果】
【０００７】
本発明の一態様では、グリーンバック等を用いることなく、撮影画像から背景領域を精度良く除去することができる。
【図面の簡単な説明】
【０００８】
画像処理装置の構成例を示すブロック図である。
学習モデルの構成例を示す説明図である。
合成画像の提供処理手順の一例を示すフローチャートである。
背景除去処理の説明図である。
画面例を示す説明図である。
画面例を示す説明図である。
画面例を示す説明図である。
第３学習モデルの構成例を示す説明図である。
実施形態２の合成画像の提供処理手順の一例を示すフローチャートである。
画面例を示す説明図である。
実施形態３の合成画像の提供処理手順の一例を示すフローチャートである。
画面例を示す説明図である。
実施形態３の背景除去処理の説明図である。
実施形態４の合成画像の提供処理手順の一例を示すフローチャートである。
画面例を示す説明図である。
実施形態４の合成画像の提供処理手順の他の例を示すフローチャートである。
第４学習モデルの構成例を示す説明図である。
実施形態５の合成画像の提供処理手順の一例を示すフローチャートである。
画面例を示す説明図である。
実施形態６の合成画像の提供処理手順の一例を示すフローチャートである。
画面例を示す説明図である。
画像処理システムの構成例を示す説明図である。
【発明を実施するための形態】
【０００９】
以下に、本開示のプログラム、画像処理方法、及び画像処理装置について、その実施形態を示す図面に基づいて詳述する。
【００１０】
（実施形態１）
図１は画像処理装置の構成例を示すブロック図である。本実施形態では、カメラを用いて撮影した撮影画像から被写体の撮影領域を抽出し、抽出した被写体の撮影領域を他の画像に合成する画像処理装置について説明する。画像処理装置１０は、種々の情報処理及び情報の送受信が可能な情報処理装置であり、例えばパーソナルコンピュータ、サーバコンピュータ等である。画像処理装置１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読み取り部１６等を有し、これらの各部はバスを介して接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、又はＡＩチップ（ＡＩ用半導体）等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶されたプログラム１２Ｐを適宜実行することにより、画像処理装置１０が行うべき情報処理及び制御処理を実行する。
（【００１１】以降は省略されています）

関連特許