特許ウォッチ

公開番号2024127732
公報種別公開特許公報(A)
公開日2024-09-20
出願番号2023205438
出願日2023-12-05
発明の名称配信方法及び配信システム、視聴方法及び視聴装置、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 21/234 20110101AFI20240912BHJP(電気通信技術)
要約【課題】配信されたコンテンツを視聴する際に、より臨場感を感じられるようにすること。
【解決手段】配信システムは、複数の撮像装置から同じ被写体を同時撮影して得られた画像データから3D空間データを生成して配信する。複数の視聴装置はそれぞれ、アバター情報と、3D空間データを視聴する仮想空間における視点の位置と、視聴者のリアクションデータを配信システムに送信する。配信システムは、複数の視聴装置から得られた情報に基づいて、各視聴装置毎に、仮想空間で各視聴装置の視角に入る他の視聴装置のアバター画像に基づく環境データを生成して、各視聴装置に送信する。各視聴装置では、配信された3D空間データに基づいて、仮想空間における各視聴装置の視点の画像を生成し、環境画像データ中の画像データと合成して表示する。
【選択図】図5
特許請求の範囲【請求項１】
複数の撮像装置から、同じ被写体を並行して撮影して得られた画像データに基づいて、任意の位置を視点とした画像を生成することが可能な第１の画像データを生成し、複数の視聴装置に配信する配信工程と、
前記配信工程に先立って、前記複数の視聴装置により前記第１の画像データを視聴するための仮想空間を設定する設定工程と、
前記複数の視聴装置の各視聴装置から、アバターの情報と、前記仮想空間における初期視聴位置と、前記各視聴装置を介して視聴する視聴者の動き情報とを取得する取得工程と、
前記初期視聴位置と前記動き情報とに基づいて求めた前記仮想空間における視点に基づいて、前記仮想空間において前記各視聴装置の視界に入る他の視聴装置のアバターに関する環境データを、前記各視聴装置に送信する処理工程と
を有することを特徴とする配信方法。
続きを表示（約 1,300 文字）【請求項２】
前記各視聴装置から、前記環境データの送信のオン／オフの指示を取得する工程を更に有し、
前記処理工程では、前記環境データの送信のオフが指示された場合に、前記送信のオフを指示した視聴装置に対して、前記環境データの送信を行わないことを特徴とする請求項１に記載の配信方法。
【請求項３】
前記環境データの送信をオフするための料金を前記各視聴装置に通知する工程と、
前記料金の課金を受け入れた前記視聴装置に対して、前記環境データの送信をオフする指示を有効にする工程と
を更に有することを特徴とする請求項２に記載の配信方法。
【請求項４】
前記設定工程では、前記仮想空間に複数の位置を設定し、
前記取得工程では、前記複数の位置のうち、未選択の位置の中から前記各視聴装置が選択した位置を前記初期視聴位置として取得することを特徴とする請求項１に記載の配信方法。
【請求項５】
前記取得工程では、前記仮想空間における異なる任意の位置を、前記複数の視聴装置それぞれの前記初期視聴位置として取得することを特徴とする請求項１に記載の配信方法。
【請求項６】
前記設定工程では、前記仮想空間を複数の領域に分割し、更に、
前記複数の領域それぞれについて、各領域に含まれる前記視点の数をカウントする工程と、
前記各視聴装置について、前記取得工程で取得した動き情報が、２つの領域を跨ぐ動きを示し、動き方向の領域における前記視点の数が予め決められた第１の閾値よりも多い場合に、前記領域を跨ぐ動きを無効にする工程と
を有することを特徴とする請求項５に記載の配信方法。
【請求項７】
前記領域を跨ぐ動きを無効にした場合に、前記無効にした旨を、対応する前記視聴装置に通知する工程を更に有することを特徴とする請求項６に記載の配信方法。
【請求項８】
前記各視聴装置について、前記取得工程で取得した動き情報が、２つの領域を跨ぐ動きを示し、動き方向の領域における前記視点の数が前記第１の閾値よりも多くなく、且つ、前記第１の閾値よりも小さい予め決められた第２の閾値よりも多い場合に、当該領域が混んでいる旨を対応する前記視聴装置に通知する工程を更に有することを特徴とする請求項６に記載の配信方法。
【請求項９】
前記設定工程では、前記複数の領域にそれぞれ料金を設定し、
前記各視聴装置について、前記取得工程で取得した動き情報が、２つの領域を跨ぐ動きを示し、当該２つの領域の料金が異なる場合に、料金が異なる旨を対応する前記視聴装置に通知し、当該視聴装置が料金の変更を受け入れた場合に、前記領域を跨ぐ動きを許可することを特徴とする請求項８に記載の配信方法。
【請求項１０】
前記配信工程では、前記各視聴装置に対して、前記視点の画像の生成のみを許可するパラメータを、前記第１の画像データに添付して配信することを特徴とする請求項１に記載の配信方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、配信方法及び配信システム、視聴方法及び視聴装置、及びプログラムに関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
近年、音楽フェスやライブ、舞台、スポーツ等をストリーミング配信する機会が増えてきている。一方、複数の異なる位置に配置された撮像装置により同時撮影して得られた多視点の画像データに基づいて、任意の視点から見た自由視点画像を再生する環境が普及し始めている。今後、従来の撮影視点が１点である単視点画像に加えて、放送波や、ディスクまたはサブスクリプション型の動画配信等のパッケージコンテンツとして、多視点画像データを配信することが想定される。
【０００３】
ライブやスポーツ等のイベントが開催されている現実空間の会場ならではの楽しみや醍醐味の一つとして、出演者や出場者、また、他の客等との物理的な干渉がある。例えば、音楽のライブでは、前列客への演者のダイブやサーフ、観客のリフト、演者と観客間のコールアンドレスポンス、また、隣の客との接触や舞台の見切れといった、様々な要素が挙げられる。しかしながら、従来のような一方向のオンライン配信では、こういった物理的な干渉が無く、視聴者自身がその場にいるかのような臨場感や一体感を得ることが難しい。
【０００４】
特許文献１には、複数の視聴者が同じ空間を視聴することが可能な映像視聴装置が開示されている。この映像視聴装置は、各視聴者の仮想空間における視点の位置及び方向の情報をリモート端末からホスト端末へ送信することで、複数の視聴者が、それぞれの視点からの画像や音声を視聴することができる。
【０００５】
このように、複数の視聴者がそれぞれの視点や音声に関する情報を多視点画像データの配信元に供給することにより、不特定多数の視聴者が、同じ仮想空間を共有して、配信されたコンテンツを視聴することが可能となる。
【先行技術文献】
【特許文献】
【０００６】
特開平０８－３３６１６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された技術では、不特定多数の視聴者が同じ仮想空間の映像をそれぞれの視点から鑑賞することができるが、映像内における、視聴者同士や配信される映像内の被写体との干渉はない。
【０００８】
本発明は上記問題点を鑑みてなされたものであり、配信されたコンテンツを視聴する際に、より臨場感を感じられるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の配信方法は、複数の撮像装置から、同じ被写体を並行して撮影して得られた画像データに基づいて、任意の位置を視点とした画像を生成することが可能な第１の画像データを生成し、複数の視聴装置に配信する配信工程と、前記配信工程に先立って、前記複数の視聴装置により前記第１の画像データを視聴するための仮想空間を設定する設定工程と、前記複数の視聴装置の各視聴装置から、アバターの情報と、前記仮想空間における初期視聴位置と、前記各視聴装置を介して視聴する視聴者の動き情報とを取得する取得工程と、前記初期視聴位置と前記動き情報とに基づいて求めた前記仮想空間における視点に基づいて、前記仮想空間において前記各視聴装置の視界に入る他の視聴装置のアバターに関する環境データを、前記各視聴装置に送信する処理工程とを有する。
【発明の効果】
【００１０】
本発明によれば、配信されたコンテンツを視聴する際に、より臨場感を感じることができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許