特許ウォッチ

公開番号2025148817
公報種別公開特許公報(A)
公開日2025-10-08
出願番号2024049129
出願日2024-03-26
発明の名称アスペクト比変換処理装置及びプログラム
出願人日本放送協会
代理人個人
主分類H04N 5/91 20060101AFI20251001BHJP(電気通信技術)
要約【課題】映像コンテンツに込められた制作者の意図を保持するように、映像コンテンツのアスペクト比を変換し、見易い映像を生成する。
【解決手段】アスペクト比変換処理装置1-1の映像処理部10は、映像コンテンツに含まれる入力映像から関心情報を生成し、被写体を検出する等により、被写体座標情報等を含む付加情報を生成する。切出処理部11は、入力映像及び付加情報に基づいて入力映像の構図を判定し、構図及び関心情報に基づいて制作者の意図を推定することで意図情報を生成し、出力アスペクト比に基づいて被写体を含む切出領域を設定し、変換ルール(切出領域再設定ルールcv3)に基づいて切出領域を再設定し、入力映像から切出領域を切り出すことで切出映像を生成する。アスペクト比整合処理部12は、変換ルール(映像配置ルールcv4)に基づいて、切出映像を出力アスペクト比及び出力解像度に整合させることで、出力映像の映像信号を生成する。
【選択図】図1
特許請求の範囲【請求項１】
映像コンテンツに含まれる入力映像のアスペクト比を、予め設定された出力アスペクト比に変換し、アスペクト比変換後の出力映像を含む出力用映像コンテンツを生成するアスペクト比変換処理装置において、
前記入力映像から切り出される領域を切出領域として設定するための第１の変換ルール、及び前記切出領域の映像を前記出力アスペクト比及び予め設定された出力解像度の枠内に配置するための第２の変換ルールが格納された記憶部と、
前記入力映像から視聴者の関心領域を強度信号で表した関心情報を生成し、前記入力映像から被写体を検出する映像処理部と、
前記映像処理部により生成された前記関心情報に基づいて、前記映像処理部により検出された前記被写体の一部または全部を含む前記出力アスペクト比の領域を切出領域ＣＯ’として設定し、
前記記憶部から前記第１の変換ルールを読み出し、前記第１の変換ルールに基づいて、前記切出領域ＣＯ’から新たな切出領域ＣＯを設定し、前記入力映像から前記新たな切出領域ＣＯを切り出すことで、切出映像を生成する切出処理部と、
前記記憶部から前記第２の変換ルールを読み出し、前記第２の変換ルールに基づいて、前記切出処理部により生成された前記切出映像を前記出力アスペクト比及び前記出力解像度の枠内に配置することで、前記出力映像を生成するアスペクト比整合処理部と、
を備えたことを特徴とするアスペクト比変換処理装置。
続きを表示（約 2,900 文字）【請求項２】
請求項１に記載のアスペクト比変換処理装置において、
さらに、データ処理部及びスケーリング処理部を備え、
前記記憶部には、前記第１の変換ルール及び前記第２の変換ルールに加え、前記入力映像の枠内の所定位置に設定された入力領域と、当該入力領域に対応する前記出力映像の枠内の所定位置に設定された出力領域との間の関係が定義された第３の変換ルールが格納されており、
前記データ処理部は、
前記映像コンテンツに含まれるグラフィックデータまたは字幕データについて、前記入力映像における当該グラフィックデータまたは当該字幕データの位置及び大きさを示す座標情報、及び前記入力映像の全領域に対する当該グラフィックデータまたは当該字幕データの領域の割合を求め、
前記スケーリング処理部は、
前記データ処理部により求めた前記座標情報の示す前記位置及び前記割合を保持するように、前記出力アスペクト比及び前記出力解像度の枠内に配置したグラフィックデータまたは字幕データを生成し、
前記記憶部から前記第３の変換ルールを読み出し、前記第３の変換ルールに基づいて、前記出力アスペクト比及び前記出力解像度の枠内に配置したグラフィックデータまたは字幕データの位置を前記出力領域に補正することで、前記出力アスペクト比及び前記出力解像度の枠内に配置したスケーリング処理後のグラフィックデータまたは字幕データを生成し、
前記アスペクト比整合処理部は、
前記出力映像に、前記スケーリング処理部により生成された前記スケーリング処理後のグラフィックデータまたは字幕データを重畳させることで、前記出力用映像コンテンツを生成する、ことを特徴とするアスペクト比変換処理装置。
【請求項３】
請求項２に記載のアスペクト比変換処理装置において、
前記スケーリング処理部は、
前記映像コンテンツに含まれる前記グラフィックデータまたは前記字幕データについて、当該グラフィックデータまたは当該字幕データの前記座標情報の示す位置及び前記割合を保持するように、当該グラフィックデータまたは当該字幕データを変形させ、
変形後のグラフィックデータまたは字幕データの前記位置及び前記割合を保持するように、かつ変形前のグラフィックデータまたは字幕データのアスペクト比と一致するように、前記変形後のグラフィックデータまたは字幕データをさらに変形させることで、前記出力アスペクト比及び前記出力解像度の枠内に配置したグラフィックデータまたは字幕データを生成し、
前記第３の変換ルールに基づいて、前記出力アスペクト比及び前記出力解像度の枠内に配置したグラフィックデータまたは字幕データの位置を前記出力領域に補正することで、前記出力アスペクト比及び前記出力解像度の枠内に配置したスケーリング処理後のグラフィックデータまたは字幕データを生成する、ことを特徴とするアスペクト比変換処理装置。
【請求項４】
請求項１に記載のアスペクト比変換処理装置において、
さらに、音声認識処理部、テキスト変換処理部及びスケーリング処理部を備え、
前記記憶部には、前記第１の変換ルール及び前記第２の変換ルールに加え、前記出力映像の枠内の所定位置に設定された出力領域が定義された第４の変換ルールが格納されており、
前記音声認識処理部は、
前記映像コンテンツに含まれる音声信号を抽出し、前記音声信号に対して音声認識処理を行うことで、音声認識結果を生成し、
前記テキスト変換処理部は、
前記音声認識処理部により生成された前記音声認識結果をテキスト変換することで、テキストデータを生成し、
前記スケーリング処理部は、
前記記憶部から前記第４の変換ルールを読み出し、前記第４の変換ルールに基づいて、前記テキスト変換処理部により生成された前記テキストデータの領域の位置を前記出力領域に設定し、設定後の前記テキストデータの領域に当該テキストデータを構成する全ての文字を配置することで、前記出力アスペクト比及び前記出力解像度の枠内に配置したスケーリング処理後のテキストデータを生成し、
前記アスペクト比整合処理部は、
前記出力映像に、前記スケーリング処理部により生成された前記スケーリング処理後のテキストデータを重畳させることで、前記出力用映像コンテンツを生成する、ことを特徴とするアスペクト比変換処理装置。
【請求項５】
請求項１から４までのいずれか一項に記載のアスペクト比変換処理装置において、
前記映像処理部は、
前記入力映像から前記関心情報を生成する関心領域推定部と、
前記入力映像から１または複数の被写体を検出する被写体検出部と、
前記被写体検出部により検出された前記１または複数の被写体を含む切出対象領域を判定する切出対象領域判定部と、を備え、
前記切出処理部は、
前記関心領域推定部により生成された前記関心情報に基づいて、前記切出対象領域判定部により判定された前記切出対象領域に含まれる前記１または複数の被写体のうち１つの被写体を特定し、特定された前記被写体の一部または全部を含む前記出力アスペクト比の領域を前記切出領域ＣＯ’として設定し、
前記第１の変換ルールに基づいて、前記切出領域ＣＯ’から前記切出領域ＣＯを設定し、前記入力映像から前記切出領域ＣＯを切り出すことで前記切出映像を生成する、ことを特徴とするアスペクト比変換処理装置。
【請求項６】
請求項５に記載のアスペクト比変換処理装置において、
前記切出処理部は、
前記入力映像から当該入力映像の構図を判定し、前記１または複数の被写体のそれぞれについて、当該被写体の位置及び前記構図に基づき、当該被写体の位置が前記構図に適合する度合いを示す重み値を求める構図判定部と、
前記１または複数の被写体のそれぞれについて、前記関心領域推定部により生成された前記関心情報及び前記構図判定部により求めた前記重み値に基づいて、前記構図が反映された関心情報を、前記映像コンテンツの制作者の意図が反映された意図情報として生成する制作意図推定部と、
前記１または複数の被写体のうち前記制作意図推定部により求めた前記意図情報の値が最も高い被写体を特定し、特定された前記被写体の一部または全部を含む前記出力アスペクト比の領域を前記切出領域ＣＯ’として設定し、
前記第１の変換ルールに基づいて、前記切出領域ＣＯ’から前記切出領域ＣＯを設定し、前記入力映像から前記切出領域ＣＯを切り出すことで、前記切出映像を生成する映像切出部と、
を備えたことを特徴とするアスペクト比変換処理装置。
【請求項７】
コンピュータを、請求項１から４までのいずれか一項に記載のアスペクト比変換処理装置として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、放送番組コンテンツ等の映像コンテンツのアスペクト比を、異なるアスペクト比に変換するアスペクト比変換処理装置及びプログラムに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
放送番組コンテンツ等の映像コンテンツは、縦横比の矩形の映像として制作されている。この縦横比はアスペクト比と呼ばれ、通常は横：縦の比として表現される。従来、放送分野で用いられているアスペクト比は、規格で定められた１６：９の比率である。
【０００３】
近年、スマートフォンを縦向きの状態で映像コンテンツを視聴する視聴者が、ニュースまたは報道番組で放送した映像素材を視聴できるようにするために、これらの映像素材は、横向きから縦向きのレイアウトに変換してネットワークを介して配信される。
【０００４】
この変換作業は、映像信号のアスペクト比を変換したり、グラフィックデータ及びテキストデータのスケーリングを変換したりすることで実現され、主に手作業で行われている。
【０００５】
一方で、この変換作業を自動的に行う手法としては、モバイル端末表示向けにアスペクト比を変換する処理が知られている。例えば、編集機等の処理装置にアスペクト比変換処理を搭載することで、映像信号の変換処理を行うものが知られている（例えば非特許文献１～４を参照）。
【０００６】
これらの処理装置は、主に映像内の被写体を検出し、その被写体を囲む矩形領域にて映像をトリミングするものである。また、これらの処理装置は、被写体が人物である場合、顔領域を抽出し、その顔領域が大きく表示されるように、映像をトリミングする。このような処理は、映像内で特定の被写体のみを大きく表示させることができる点で有効である。
【先行技術文献】
【非特許文献】
【０００７】
“AutoFlip :An Open Source Framework for Intelligent Video Reframing”、［online］、Google、［令和６年２月１日検索］、インターネット＜ＵＲＬ：https://ai.googleblog.com/2020/02/autoflip-open-source-framework-for.html＞
“ソーシャルメディアチェンネル用にビデオを自動的にリフレーム”、［online］、Adobe、［令和６年２月１日検索］、インターネット＜ＵＲＬ：https://helpx.adobe.com/jp/premiere-pro/using/auto-reframe.html＞
“DAVINCI RESOLVE18”、［online］、blackmagicdesign、［令和６年２月１日検索］、インターネット＜ＵＲＬ：https://www.blackmagicdesign.com/jp/products/davinciresolve＞
“VVERTIGO”、［online］、KBS、［令和６年２月１日検索］、インターネット＜ＵＲＬ：https://www.vvertigo.com＞
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述の非特許文献１～４に記載された従来のアスペクト比変換処理において、例えば１６：９アスペクト比の映像（入力映像）を９：１６アスペクト比の映像（出力映像）に変換する場合を想定する。この場合、入力映像内の被写体を検出し、出力映像を生成するためのトリミングによりアスペクト比変換を行うと、出力映像としては、人物の表現サイズが期待よりも大きくなってしまうことがあり得る。また、入力映像の撮影の構図によっては、出力映像内で被写体の位置が好ましくない場合もあり得る。
【０００９】
また、入力映像にグラフィックデータが含まれる場合、グラフィックデータの配置場所によっては、グラフィックデータを含まない出力映像が生成されることがある。これは、字幕データ及びテキストデータについても同様である。
【００１０】
つまり、従来のアスペクト比変換処理では、入力映像に込められた制作者の意図が損なわれてしまう、という問題があった。
（【００１１】以降は省略されています）

関連特許