特許ウォッチ

公開番号2024081455
公報種別公開特許公報(A)
公開日2024-06-18
出願番号2022195099
出願日2022-12-06
発明の名称プログラム、情報処理方法、及び情報処理装置
出願人大日本印刷株式会社
代理人個人,個人
主分類G06T 5/73 20240101AFI20240611BHJP(計算;計数)
要約【課題】撮像画像に対する画像演算によって、撮像画像に対する復元処理による復元具合を把握することが可能なプログラム等を提供する。
【解決手段】コンピュータは、ディスプレイパネルを通過する光に発生する回折パターンを取得する。そして、コンピュータは、画像に対して、取得した回折パターンに基づく補正を行って補正画像を生成する処理を実行する。
【選択図】図2
特許請求の範囲【請求項１】
ディスプレイパネルを通過する光に発生する回折パターンを取得し、
画像に対して、前記回折パターンに基づく補正を行って補正画像を生成する
処理をコンピュータに実行させるプログラム。
続きを表示（約 1,000 文字）【請求項２】
画像に対して、前記回折パターンに応じたカーネルを用いたデコンボリューション処理を行って、前記補正画像を生成する
処理を前記コンピュータに実行させる請求項１に記載のプログラム。
【請求項３】
前記画像は、前記ディスプレイパネルを通過した光による撮像画像である
請求項１又は２に記載のプログラム。
【請求項４】
前記画像は、画像に対して前記回折パターンを合成して模擬的に生成した、前記ディスプレイパネルを通過した光による撮像画像である
請求項１又は２に記載のプログラム。
【請求項５】
前記画像中の各画素の座標値を、波数空間内の座標値に変換し、
波数空間内の座標値に基づいて、前記画像に対して前記回折パターンに基づく補正を行う
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
【請求項６】
前記画像を撮像する撮像部は、複数の撮像素子がアレイ状に配置されており、
前記波数空間は、中央の撮像素子への入射光を基準とした仰俯角と、前記中央の撮像素子から横方向を基準として前記中央の撮像素子を中心に反時計回りの角度とによって座標値が表される空間である
請求項５に記載のプログラム。
【請求項７】
Ｒ（赤）Ｇ（緑）Ｂ（青）の各色成分の前記回折パターンを取得し、
前記画像をＲＧＢの各色成分に分解し、
ＲＧＢの各色成分の画像に対して、各色成分の前記回折パターンに基づく補正を行って補正画像を生成し、
各色成分の補正画像を合成する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
【請求項８】
前記各色成分の画像に対して、前記各色成分の回折パターンに応じたカーネルを用いたデコンボリューション処理を行う
処理を前記コンピュータに実行させる請求項７に記載のプログラム。
【請求項９】
前記補正画像に対して平滑化処理を行う
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
【請求項１０】
前記ディスプレイパネルに設けられた電極パターンに応じた回折パターンを取得する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、プログラム、情報処理方法、及び情報処理装置に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
ＵＰＣ（Under Panel Camera）又はＵＤＣ（Under Display Camera）と呼ばれる技術が採用されたスマートフォンが普及しつつある。このようなスマートフォンでは、インカメラを組み込むためにディスプレイパネルにノッチ又はパンチホールを設ける必要がないので、表示領域の一部が欠損することを回避できる。しかし、ＵＰＣ又はＵＤＣは、ディスプレイパネルを通過（透過）した光を撮像するので、光がディスプレイパネルを通過する際に生じる回折の影響で撮像画像に画質の劣化が発生する。特許文献１には、カメラ（ＵＤＣ）で撮影した劣化映像を、映像復元ネットワークによって復元する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－７４０９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＵＰＣ又はＵＤＣでは、光の回折によって画質が劣化した撮影画像に対して、例えば画像演算による復元処理を行うことによって、回折による影響が抑制された復元画像を生成することが行われる。回折による画質の劣化具合は、ディスプレイパネルにおける電極パターン等によって異なるので、回折による影響を適切に抑制するために、劣化した撮像画像に対して、電極パターン等に応じた復元処理を行う必要がある。復元処理の内容によって、復元画像における復元具合が異なるので、適切な復元具合を実現できる復元処理を特定することは難しい。特許文献１に開示の技術は、映像復元ネットワークを用いて劣化画像を復元するものであり、画像中の各画素の座標値を、波数空間内の座標値に変換し、波数空間内の座標値に基づいて、劣化画像を復元するものではない。
【０００５】
本開示は、撮像画像に対する画像演算によって、撮像画像に対する復元処理による復元具合を把握することが可能なプログラム等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の一態様に係るプログラムは、ディスプレイパネルを通過する光に発生する回折パターンを取得し、画像に対して、前記回折パターンに基づく補正を行って補正画像を生成する処理をコンピュータに実行させる。
【発明の効果】
【０００７】
本開示の一態様では、撮像画像に対する画像演算によって、撮像画像に対する復元処理による復元具合を把握することができる。なお、本開示は、ＵＰＣ又はＵＤＣに限定されず、光が通過し、回折する部材に対しても適用できる。
【図面の簡単な説明】
【０００８】
ＵＰＣの構成例を示す説明図である。
情報処理装置の構成例を示すブロック図である。
復元条件ＤＢの構成例を示す説明図である。
復元処理手順の一例を示すフローチャートである。
復元処理手順の一例を示すフローチャートである。
復元処理手順の一例を示すフローチャートである。
復元処理の説明図である。
復元処理の説明図である。
復元処理の説明図である。
復元処理の説明図である。
復元画像例を示す説明図である。
条件ＤＢのレコードレイアウトの一例を示す説明図である。
シミュレーション処理手順の一例を示すフローチャートである。
シミュレーション処理の説明図である。
シミュレーション処理の説明図である。
ＳＩＭ画像例を示す説明図である。
復元画像例を示す説明図である。
復元画像例を示す説明図である。
復元画像例を示す説明図である。
実施形態３の復元処理手順の一例を示すフローチャートである。
情報処理システムの構成例を示す説明図である。
【発明を実施するための形態】
【０００９】
以下に、本開示のプログラム、情報処理方法、及び情報処理装置について、その実施形態を示す図面に基づいて詳述する。
【００１０】
（実施形態１）
光がディスプレイパネルを通過する際に生じる回折の影響で画質が劣化した画像に対して画像演算による復元処理（補正処理）によって回折の影響が抑制された復元画像（補正画像）を生成する情報処理装置について説明する。以下では、情報処理装置による復元処理が実行される前の画像を劣化画像と呼び、復元処理によって生成された画像を復元画像と呼ぶ。劣化画像は、ディスプレイパネルを通過した光を撮像した撮像画像であってもよく、ＵＰＣではない撮像装置で撮像された画像に対してシミュレーション処理によって回折の影響が模擬的に再現された画像であってもよい。なお、復元処理の前後の画像に基づいて復元具合を比較するので、復元される前の画像は、ディスプレイパネルによる光の回折によって劣化している画像に限定されない。
（【００１１】以降は省略されています）

関連特許