特許ウォッチ

公開番号2025044429
公報種別公開特許公報(A)
公開日2025-04-02
出願番号2023151988
出願日2023-09-20
発明の名称アスペクト比変換処理装置及びプログラム
出願人日本放送協会
代理人個人
主分類H04N 7/01 20060101AFI20250326BHJP(電気通信技術)
要約【課題】映像コンテンツに込められた制作者の意図を保持するように、映像コンテンツのアスペクト比を変換する。
【解決手段】アスペクト比変換処理装置1の物体検出部10は、入力映像から、所定位置のアスペクト比ASの映像Iをトリミングし、物体を検出して矩形領域Kを抽出し、映像Iのアスペクト比AS等を含む付加情報を生成する。制作意図推定部11は、付加情報に基づいて、映像Iについての制作者の意図を推定し、映像I内における物体の大きさ及び位置を含む意図情報を生成する。アスペクト比変換部12は、意図情報に基づいて、映像I内における物体の大きさ及び位置と、映像I₁内における物体の大きさ及び位置とが近似するように、入力映像から映像I₁’をトリミングし、映像I₁’を映像I₁に拡大または縮小する。
【選択図】図1
特許請求の範囲【請求項１】
入力映像に含まれる映像Ｉのアスペクト比ＡＳを、当該アスペクト比ＡＳとは異なるアスペクト比ＡＳ
1
に変換し、前記アスペクト比ＡＳ
1
の映像Ｉ
1
を生成するアスペクト比変換処理装置において、
前記入力映像から前記映像Ｉをトリミングし、前記映像Ｉから物体を検出し、前記映像Ｉ内における前記物体の位置を求める物体検出部と、
前記物体検出部により検出された前記物体について、前記映像Ｉ内における前記物体の大きさを求め、前記映像Ｉ内における前記物体の大きさ及び前記物体検出部により求めた前記映像Ｉ内における前記物体の位置を、前記映像Ｉを制作する制作者の意図を示す意図情報として推定する制作意図推定部と、
前記映像Ｉに含まれる前記物体に対応する、前記映像Ｉ
1
に含まれる物体を対応物体として、
前記制作意図推定部により推定された前記意図情報に含まれる前記映像Ｉ内における前記物体の大きさ及び位置と、前記映像Ｉ
1
内における前記対応物体の大きさ及び位置との間の差がそれぞれ所定の閾値以下となるように、
前記入力映像から映像Ｉ
1
’をトリミングし、前記映像Ｉ
1
’を前記映像Ｉ
1
に拡大または縮小することで、前記映像Ｉ
1
を生成するアスペクト比変換部と、
を備えたことを特徴とするアスペクト比変換処理装置。
続きを表示（約 1,400 文字）【請求項２】
請求項１に記載のアスペクト比変換処理装置において、
前記物体検出部は、
前記映像Ｉから前記物体を検出することで、前記物体を含む矩形領域Ｋを抽出し、前記矩形領域Ｋの水平画素数ｗ及び垂直画素数ｈ、並びに前記映像Ｉ内における前記矩形領域Ｋの相対位置ｐを求め、
前記制作意図推定部は、
前記映像Ｉの水平画素数Ｗ及び垂直画素数Ｈ、並びに前記物体検出部により求めた前記矩形領域Ｋの水平画素数ｗ及び垂直画素数ｈに基づいて、前記映像Ｉ内における前記矩形領域Ｋの面積割合Ｒを求め、
前記映像Ｉ内における前記矩形領域Ｋの面積割合Ｒ及び前記物体検出部により求めた前記映像Ｉ内における前記矩形領域Ｋの相対位置ｐを、前記意図情報として推定し、
前記アスペクト比変換部は、
前記映像Ｉに含まれる前記矩形領域Ｋに対応する前記映像Ｉ
1
に含まれる矩形領域をＫ
1
として、
前記意図情報に含まれる前記映像Ｉ内における前記矩形領域Ｋの面積割合Ｒと、前記映像Ｉ
1
内における前記矩形領域Ｋ
1
の面積割合Ｒ
1
との間の差が所定の閾値以下となり、かつ、前記意図情報に含まれる前記映像Ｉ内における前記矩形領域Ｋの相対位置ｐと、前記映像Ｉ
1
内における前記矩形領域Ｋ
1
の相対位置ｐ
1
との間の差が所定の閾値以下となるように、
前記入力映像から前記映像Ｉ
1
’をトリミングし、前記映像Ｉ
1
’を前記映像Ｉ
1
に拡大または縮小することで、前記映像Ｉ
1
を生成する、ことを特徴とするアスペクト比変換処理装置。
【請求項３】
請求項２に記載のアスペクト比変換処理装置において、
前記アスペクト比変換部は、
前記映像Ｉ
1
’に対応する枠をＡとして、
前記映像Ｉ内における前記矩形領域Ｋの面積割合Ｒと、前記枠Ａ内における前記矩形領域Ｋの面積割合Ｒ
1
’との間の差が所定の閾値以下となり、かつ、前記映像Ｉ内における前記矩形領域Ｋの相対位置ｐと、前記枠Ａ内における前記矩形領域Ｋの相対位置ｐ
1
’との間の差が所定の閾値以下となるように、前記枠Ａを設定し、
前記入力映像から前記枠Ａの映像を前記映像Ｉ
1
’としてトリミングし、前記映像Ｉ
1
’を前記映像Ｉ
1
に拡大または縮小することで、前記映像Ｉ
1
を生成する、ことを特徴とするアスペクト比変換処理装置。
【請求項４】
請求項２または３に記載のアスペクト比変換処理装置において、
前記物体検出部により求める前記映像Ｉ内における前記矩形領域Ｋの相対位置ｐを、前記矩形領域Ｋの中心位置、左上位置、左下位置、右上位置若しくは右下位置、または前記物体が人物の場合に当該人物の頭部の中心位置とする、ことを特徴とするアスペクト比変換処理装置。
【請求項５】
コンピュータを、請求項１に記載のアスペクト比変換処理装置として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、映像素材または映像コンテンツのアスペクト比を、異なるアスペクト比に変換するアスペクト比変換処理装置及びプログラムに関する。
続きを表示（約 1,200 文字）【背景技術】
【０００２】
放送番組コンテンツ等の映像コンテンツは、縦横比の矩形の映像として制作されている。この縦横比はアスペクト比と呼ばれ、通常は横：縦の比率で表現される。
【０００３】
従来、映像制作の分野で最も用いられているアスペクト比は、放送規格で定められている１６：９の比率である。これは、デジタル放送後に世の中に浸透した多くの表示デバイスが１６：９の比率で製造されたためである。
【０００４】
しかしながら、１６：９以外の比率の映像が使用される場合もある。例えば、映像コンテンツのジャンルが異なる映画では、慣習的に１６：９よりも横の比率が高いものが用いられる。放送番組コンテンツでは、制作者が何かしらの意図によって映画のような横の比率が高いもの、過去のアナログ放送で用いた４：３という横の比率が低いもの等、様々な比率の映像が用いられる。
【０００５】
アナログ放送からデジタル放送へ移行した際には、視聴者が所持する表示デバイスのアスペクト比の大半が４：３であった。このため、アスペクト比が１６：９の放送番組コンテンツ及び１６：９よりも横の比率が高い映画コンテンツは、表示デバイス側でアスペクト比の変換が行われ、制作者の意図が損なわれてしまう。
【０００６】
この課題を解決するために、アスペクト比のリターゲティングまたはリフレーミングの技術が開示されている（例えば特許文献１－４を参照）。特許文献１の技術は、表示される画像を変換する際に、映像アスペクト比と表示アスペクト比の不一致領域に、入力映像自体をスケーリングして制作した背景を付加するものである。
【０００７】
特許文献２の技術は、符号化装置において、ユーザ側で様々なデバイスによりコンテンツが視聴される際に、制作者の意図を保持したコンテンツを提供すべく、望ましくない変換が行われないように、レターボックス表示またはピラーボックス表示を行うものである。
【０００８】
特許文献３の技術は、ビデオ信号のリフレーミング処理及び符号化処理に関し、特徴マップと呼ばれる領域を抽出し、その領域を上下または左右に拡張することで、既存の符号化装置で処理できるようにするものである。
【０００９】
特許文献４の技術は、閲覧システムにおいて、ユーザのインタラクションに応じて、様々なデバイス毎に最適な見え方を提供するものである。
【００１０】
このように、映像アスペクト比と表示アスペクト比は一致しておらず、前述のとおり、ある映像アスペクト比で制作されたコンテンツを、異なる表示アスペクト比に変換するように処理が行われる。この背景としては、モバイル端末でコンテンツが視聴される、新しい視聴スタイルが浸透したためである。
（【００１１】以降は省略されています）

関連特許