特許ウォッチ

公開番号2025087398
公報種別公開特許公報(A)
公開日2025-06-10
出願番号2023202017
出願日2023-11-29
発明の名称プログラム、画像処理装置及び画像処理方法
出願人楽天グループ株式会社
代理人個人,個人,個人,個人,個人
主分類G06T 3/00 20240101AFI20250603BHJP(計算;計数)
要約【課題】対象を追跡撮影した動画から固定視点から対象を撮影したような動画を生成することが可能なプログラム、画像処理装置及び画像処理方法を提供する。
【解決手段】画像処理装置100の除去画像生成部101は、対象の追跡撮影動画に含まれる複数のフレーム画像から、対象を除去した複数の除去済画像を生成する。パノラマ画像生成部102は、複数の除去済画像に含まれる特徴点同士の照合を実行し、互いにマッチする特徴点を、複数の除去済画像のそれぞれの除去済画像に画像変換を施してから重ね合わせることにより、対象の背景を表すパノラマ画像を生成する。合成部103は、複数のフレーム画像のそれぞれのフレーム画像から除去された対象の画像に、それぞれのフレーム画像から生成された除去済画像に対して施された画像変換を施して、パノラマ画像に重ね合わせることにより、固定視点動画に含まれる複数のフレーム画像のそれぞれのフレーム画像とする。
【選択図】図3
特許請求の範囲【請求項１】
コンピュータを
対象が追跡撮影された追跡撮影動画に含まれる複数のフレーム画像から、前記対象を除去した複数の除去済画像を生成する除去画像生成部、
前記複数の除去済画像に含まれる特徴点同士の照合を実行し、互いにマッチする特徴点を、前記複数の除去済画像のそれぞれの除去済画像に画像変換を施してから重ね合わせることにより、前記対象の背景を表すパノラマ画像を生成するパノラマ画像生成部、
前記追跡撮影動画と、前記パノラマ画像と、から、固定視点動画を合成する合成部であって、
前記複数のフレーム画像のそれぞれのフレーム画像について、
前記それぞれのフレーム画像から除去された前記対象の画像に、当該それぞれのフレーム画像から生成された除去済画像に対して施された画像変換を施して、前記パノラマ画像に重ね合わせることにより、前記固定視点動画に含まれる複数のフレーム画像のそれぞれのフレーム画像とする
合成部、
として機能させることを特徴とするプログラム。
続きを表示（約 1,500 文字）【請求項２】
前記除去画像生成部は、前記複数のフレーム画像のそれぞれのフレーム画像において、前記対象が描画されている領域を透明化することにより、前記除去済画像を生成し、
前記パノラマ画像生成部は、前記透明化された領域の境界の近傍において検出された特徴点を無視して前記照合を実行する
ことを特徴とする請求項１に記載のプログラム。
【請求項３】
前記対象は、競馬における出走馬であり、
前記追跡撮影動画は、前記出走馬がパドックにおいて追跡撮影された動画である
ことを特徴とする請求項１又は２に記載のプログラム。
【請求項４】
前記合成部は、
前記固定視点動画に、前記出走馬の状態の判断に用いられる指標を含める
ことを特徴とする請求項３に記載のプログラム。
【請求項５】
前記合成部は、
前記固定視点動画に、前記出走馬の足跡を、前記指標として含める
ことを特徴とする請求項４に記載のプログラム。
【請求項６】
前記合成部は、
前記固定視点動画に、前記出走馬の前足の足跡を、前記指標として含める
ことを特徴とする請求項４に記載のプログラム。
【請求項７】
前記合成部は、
前記固定視点動画において、前記出走馬の状態の評価に基づいて、当該評価に関する前記出走馬の部位を強調表示する
ことを特徴とする請求項３に記載のプログラム。
【請求項８】
対象が追跡撮影された追跡撮影動画に含まれる複数のフレーム画像から、前記対象を除去した複数の除去済画像を生成する除去画像生成部と、
前記複数の除去済画像に含まれる特徴点同士の照合を実行し、互いにマッチする特徴点を、前記複数の除去済画像のそれぞれの除去済画像に画像変換を施してから重ね合わせることにより、前記対象の背景を表すパノラマ画像を生成するパノラマ画像生成部と、
前記追跡撮影動画と、前記パノラマ画像と、から、固定視点動画を合成する合成部であって、
前記複数のフレーム画像のそれぞれのフレーム画像について、
前記それぞれのフレーム画像から除去された前記対象の画像に、当該それぞれのフレーム画像から生成された除去済画像に対して施された画像変換を施して、前記パノラマ画像に重ね合わせることにより、前記固定視点動画に含まれる複数のフレーム画像のそれぞれのフレーム画像とする
合成部と、
を備えることを特徴とする画像処理装置。
【請求項９】
画像処理装置が実行する画像処理方法であって、
対象が追跡撮影された追跡撮影動画に含まれる複数のフレーム画像から、前記対象を除去した複数の除去済画像を生成する除去画像生成ステップと、
前記複数の除去済画像に含まれる特徴点同士の照合を実行し、互いにマッチする特徴点を、前記複数の除去済画像のそれぞれの除去済画像に画像変換を施してから重ね合わせることにより、前記対象の背景を表すパノラマ画像を生成するパノラマ画像生成ステップと、
前記追跡撮影動画と、前記パノラマ画像と、から、固定視点動画を合成する合成ステップであって、
前記複数のフレーム画像のそれぞれのフレーム画像について、
前記それぞれのフレーム画像から除去された前記対象の画像に、当該それぞれのフレーム画像から生成された除去済画像に対して施された画像変換を施して、前記パノラマ画像に重ね合わせることにより、前記固定視点動画に含まれる複数のフレーム画像のそれぞれのフレーム画像とする
合成ステップと、
を備えることを特徴とする画像処理方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、プログラム、画像処理装置及び画像処理方法に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
従来から、対象を追跡撮影した動画を用いて対象を分析するための様々な技術が提案されている。例えば、特許文献１には、パドックを歩く出走馬を追跡撮影した映像から出走馬をトリミングして、出走馬が移動する様子を示すトリミング映像を作成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２３－３０５０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような、パドックの出走馬を追跡撮影した動画は、撮影視野内において出走馬の位置が固定されるように撮影されるのが一般的である。一方、歩幅や歩行リズムは、出走馬の状態の判断に用いられるが、それらについては、固定された背景での様子、すなわち、固定視点から撮影した様子を示された方が観察しやすい。よって、対象の分析項目によっては、追跡撮影した動画よりも固定視点から撮影した動画の方が望ましい場合があるが、追跡撮影した動画が得られても固定視点から撮影した動画が得られないことがある。
【０００５】
本発明は、上記のような課題を解決するもので、対象を追跡撮影した動画から固定視点から対象を撮影したような動画を生成することが可能なプログラム、画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の観点に係るプログラムは、
コンピュータを
対象が追跡撮影された追跡撮影動画に含まれる複数のフレーム画像から、前記対象を除去した複数の除去済画像を生成する除去画像生成部、
前記複数の除去済画像に含まれる特徴点同士の照合を実行し、互いにマッチする特徴点を、前記複数の除去済画像のそれぞれの除去済画像に画像変換を施してから重ね合わせることにより、前記対象の背景を表すパノラマ画像を生成するパノラマ画像生成部、
前記追跡撮影動画と、前記パノラマ画像と、から、固定視点動画を合成する合成部であって、
前記複数のフレーム画像のそれぞれのフレーム画像について、
前記それぞれのフレーム画像から除去された前記対象の画像に、当該それぞれのフレーム画像から生成された除去済画像に対して施された画像変換を施して、前記パノラマ画像に重ね合わせることにより、前記固定視点動画に含まれる複数のフレーム画像のそれぞれのフレーム画像とする
合成部、
として機能させることを特徴とする。
【０００７】
また、上記観点に係るプログラムにおいて、
前記除去画像生成部は、前記複数のフレーム画像のそれぞれのフレーム画像において、前記対象が描画されている領域を透明化することにより、前記除去済画像を生成し、
前記パノラマ画像生成部は、前記透明化された領域の境界の近傍において検出された特徴点を無視して前記照合を実行する
ことを特徴とする。
【０００８】
また、上記観点に係るプログラムにおいて、
前記対象は、競馬における出走馬であり、
前記追跡撮影動画は、前記出走馬がパドックにおいて追跡撮影された動画である
ことを特徴とする。
【０００９】
また、上記観点に係るプログラムにおいて、
前記合成部は、
前記固定視点動画に、前記出走馬の状態の判断に用いられる指標を含める
ことを特徴とする。
【００１０】
また、上記観点に係るプログラムにおいて、
前記合成部は、
前記固定視点動画に、前記出走馬の足跡を、前記指標として含める
ことを特徴とする。
（【００１１】以降は省略されています）

関連特許