特許ウォッチ

公開番号2025015415
公報種別公開特許公報(A)
公開日2025-01-30
出願番号2024066592
出願日2024-04-17
発明の名称オーバーレイ画像を処理するための情報処理装置および情報処理方法
出願人楽天グループ株式会社
代理人個人,個人,個人
主分類G06T 7/00 20170101AFI20250123BHJP(計算;計数)
要約【課題】付加情報がオーバーレイされた画像から当該付加情報を適切かつ高精度に消去して再利用可能にする情報処理装置および情報処理方法を提供する。
【解決手段】オーバーレイ画像処理装置1は、オブジェクト及び付加情報を含む第1の画像を領域検出用機械学習モデルに入力し、領域検出用機械学習モデルに、付加情報の領域を検出させる領域検出部と、領域検出部が検出した付加情報の領域の情報から、付加情報の領域に対するマスクを生成するマスク生成部と、マスク生成部が生成したマスクと、第1の画像とを領域検出用機械学習モデルに入力し、領域検出用機械学習モデルに第1の画像と異なる第2の画像を出力させる出力部と、を備える。第2の画像は、第1の画像から付加情報が消去され、付加情報が消去された第1の画像の領域が修復された画像である。
【選択図】図1
特許請求の範囲【請求項１】
オブジェクトおよび付加情報を含む第１の画像を第１の機械学習モデルに入力して、前記第１の機械学習モデルに、前記付加情報の領域を検出させる領域検出部と、
前記領域検出部により検出された前記付加情報の前記領域の情報から、前記付加情報の前記領域に対するマスクを生成するマスク生成部と、
前記マスク生成部により生成された前記マスクと、前記第１の画像とを第２の機械学習モデルに入力して、前記第２の機械学習モデルに前記第１の画像と異なる第２の画像を出力させる画像出力部と、前記第２の画像は、前記第１の画像から前記付加情報が消去され、前記付加情報が消去された前記第１の画像の領域が修復された画像である、
を備えることを特徴とする情報処理装置。
続きを表示（約 940 文字）【請求項２】
前記領域検出部は、前記第１の機械学習モデルから出力される前記付加情報のクラスに基づいて、前記付加情報の領域を決定する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記マスク生成部は、前記第１の機械学習モデルから出力される前記付加情報のクラスに基づいて、生成されたマスクを調整する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記マスク生成部はさらに、前記オブジェクトと前記付加情報との相対位置に基づいて、生成されたマスクを調整する
ことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記第１の機械学習モデルから出力される前記付加情報の前記クラスは、前記付加情報の色、形状、および、前記付加情報の前記領域と前記第１の画像の外周との相対位置のいずれか１つ以上を含む
ことを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記第１の機械学習モデルは、前記付加情報の前記クラスを入力として学習させたものである
ことを特徴とする請求項２に記載の情報処理装置。
【請求項７】
前記第１の機械学習モデルは、前記付加情報の前記クラスを出力する出力チャネルを備える
ことを特徴とする請求項２に記載の情報処理装置。
【請求項８】
前記オブジェクトと前記付加情報との相対位置に基づいて、前記第２の画像中で前記オブジェクトを調整する画像調整部をさらに備える
ことを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記画像調整部は、前記付加情報が削除された前記第２の画像において、前記オブジェクトの配置およびサイズのいずれか１つ以上を調整する
ことを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記第２の機械学習モデルは、第２の画像の敵対的損失および知覚損失を評価する損失関数の損失がより小さくなるよう学習させたものである
ことを特徴とする請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、オーバーレイ画像を処理するための情報処理装置および情報処理方法に関し、特に、テキストやロゴ等の付加情報がオーバーレイされた画像を再利用するための技術に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
多くの電子商取引（ＥＣ）プラットフォームは、ユーザに提供する商品やサービスを可視化する多数の画像に大きく依存している。画像を介して商品やサービスをいかにユーザに対して魅力的に訴求するかは、ＥＣサイトのセールスを大きく左右する。
【０００３】
これらＥＣサイトが提供する商品やサービスの画像には、多くの場合、当該商品やサービスの購入を促すための情報として、商品名や商品ロゴ、ブランド名やブランドロゴ、広告キャプション、商品やサービスの説明文、価格情報、キャンペーン情報等の付加情報が、デジタル要素としてオーバーレイされている。ユーザに、ＥＣサイト上に表示される商品やサービスの画像とともにオーバーレイされた付加情報を同時に閲覧させることによって、当該商品やサービスを購入するため必要な情報を当該ユーザに正しく提供することができる。
【０００４】
ところで、これらの付加情報がオーバーレイされた画像（以下、「オーバーレイ画像」ともいう）を再利用するためには、多くの場合、オーバーレイされた付加情報を消去することが要求される。オーバーレイ画像を再利用する目的は、多岐に亘るが、例えば、色違いやデザイン違いの商品画像への画像編集、異なる付加情報（異なるキャプション、異なる説明文や価格、異なるキャンペーン等）への置き換え、を含む。オーバーレイ画像から付加情報を消去することは、商品等の画像分類の精度を向上させることにも役立つ。
さらに、付加情報が消去された画像においては、付加情報が消去された領域中の画素が欠損するため、画素が欠損した領域の画像を修復することにより、当該付加情報をオーバーレイする前のオリジナル画像に復元しなければならない。
【０００５】
特許文献１は、画像内のオブジェクトを置換するためのコンピュータ実装方法を開示する。
具体的には、特許文献１に開示されるコンピュータ実装方法は、第１の画像内の、ある位置における置換すべきターゲットオブジェクトである第１のオブジェクトを識別し、第１の画像、および第１のオブジェクトの位置に基づいて、ターゲットエリアをマスクして、マスク画像を生成する。
特許文献１に開示されるコンピュータ実装方法はさらに、生成されたマスク画像および修復機械学習モデルに基づいて、ターゲットオブジェクトを含まずかつ当該ターゲットオブジェクトの部分が修復された画像である第２の画像を生成し、マスク画像と第２の画像からさらに第３の画像を生成し、生成された第３の画像に対して、第１のオブジェクトとは異なる新たなオブジェクトを追加する。
【先行技術文献】
【特許文献】
【０００６】
特開２０２３－５００２０３号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の技術によれば、画像やビデオ等にオーバーレイされたテキストラベルを検出して、当該テキストラベルとは異なる新たなラベル、例えば、異なる言語に翻訳されたテキスト、に置き換えることができる。
【０００８】
しかしながら、オーバーレイ画像から消去されるべき付加情報のみを検出して消去することは容易ではない。
とりわけ、ＥＣサイトでは、１つのＷｅｂページ内で多数の商品画像を比較可能な態様で表示させなければならないため、１つの商品画像に割り当て可能な表示サイズが制約されてしまう。このため、多くの場合、画像中の商品オブジェクトに重畳して付加情報がオーバーレイされている。このことは、付加情報のみの正確な消去を困難にするとともに、画像修復の精度を低下させかねない。
【０００９】
さらに、オーバーレイされた付加情報と、消去されるべきでない画像中のオブジェクトや背景中の情報とを正確に峻別することも容易ではない。
例えば、画像中の商品オブジェクトが商品パッケージであって商品名等のテキスト情報を含む場合に、当該パッケージ上の商品名等を誤って消去してしまうおそれがあった。他方、付加情報がテキスト以外のロゴ画像であったり、付加情報のテキストが円形状やリボン形状等のフレーム画像上に重畳されていたりする場合には、当該付加情報が正確に消去されずに残ってしまうおそれがあった。
【００１０】
本発明は上記課題を解決するためになされたものであり、その目的は、付加情報がオーバーレイされた画像から当該付加情報を適切かつ高精度に消去して再利用可能にすることが可能な情報処理装置および情報処理方法を提供することにある。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許