特許ウォッチ

公開番号2024144488
公報種別公開特許公報(A)
公開日2024-10-11
出願番号2024117421,2022196234
出願日2024-07-23,2019-03-15
発明の名称撮像装置、画像通信システム、画像処理方法、プログラム
出願人株式会社リコー
代理人弁理士法人ITOH
主分類H04N 23/60 20230101AFI20241003BHJP(電気通信技術)
要約【課題】画像の撮像元がリアルタイムに注目点を指定することができる画像通信システムを提供すること。
【解決手段】画像を撮像する撮像装置5と、前記画像を画面に表示する通信端末1～4とを有する画像通信システム10であって、前記画像における注目点を定義する注目点定義部194と、前記撮像装置の姿勢情報を取得する姿勢情報取得部15aと、前記姿勢情報取得部が取得した前記姿勢情報に応じて、前記注目点定義部が定義した注目点を変換する注目点変換部196と、前記注目点変換部が変換した注目点を含む所定領域を前記画像から切り出す切出処理部220と、前記切出処理部が切り出した注目点を含む所定領域を前記画面に表示する出力部224と、を有することを特徴とする。
【選択図】図1

特許請求の範囲【請求項１】
画像を撮像する撮像装置であって、
前記画像における注目点を定義する注目点定義部と、
前記撮像装置の姿勢情報を取得する姿勢情報取得部と、
前記姿勢情報取得部が取得した前記姿勢情報に応じて、前記注目点定義部が定義した注目点を変換する注目点変換部と、
前記注目点変換部が変換した注目点を含む所定領域を前記画像から切り出す切出処理部と、
を有することを特徴とする撮像装置。
続きを表示（約 1,800 文字）【請求項２】
前記姿勢情報取得部が取得した前記姿勢情報を用いて画像の天頂補正に関する処理を行う天頂補正部を有し、
前記注目点変換部は、前記天頂補正部による天頂補正の結果を用いて、前記注目点定義部が定義した注目点を変換することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記天頂補正部は、撮像素子の座標値を球面座標系の座標値に変換する変換テーブルに、前記姿勢情報を用いて天頂補正を施し、
前記注目点変換部は前記注目点定義部が定義した注目点を撮像素子の座標値とし、前記姿勢情報で天頂補正が施された変換テーブルを用いて、前記注目点定義部が定義した注目点を球面座標系の座標値に変換することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記天頂補正は、前記撮像装置の姿勢に関わらず、前記画像の上側に実空間の上側が写るように補正するものであり、
前記撮像装置の長手方向の上側が指し示す対象が写る撮像素子の座標値を、前記注目点定義部が前記注目点として定義することを特徴とする請求項２又は３に記載の撮像装置。
【請求項５】
前記撮像装置が撮像する際、撮像者が注目点を指定しているか否かを判断する注目点指定有無判断部を有し、
前記注目点指定有無判断部は、撮像者が注目点を指定していると判断した場合、注目点が指定されている旨を前記画像に添付し、
前記注目点が指定されている旨が前記画像に添付されている場合、前記注目点変換部は前記注目点定義部が定義した注目点を変換することを特徴とする請求項１～４のいずれか１項に記載の撮像装置。
【請求項６】
撮像装置が撮像した画像を通信端末が画面に表示する画像通信システムであって、
前記画像における注目点を定義する注目点定義部と、
前記撮像装置の姿勢情報を取得する姿勢情報取得部と、
前記姿勢情報取得部が取得した前記姿勢情報に応じて、前記注目点定義部が定義した注目点を変換する注目点変換部と、
前記注目点変換部が変換した注目点を含む所定領域を前記画像から切り出す切出処理部と、
前記切出処理部が切り出した注目点を含む所定領域を前記画面に表示する出力部と、
を有することを特徴とする画像通信システム。
【請求項７】
前記出力部が表示する前記画像の表示領域の変更を受け付ける受付部を有し、
前記注目点変換部が変換した注目点を前記切出処理部が前記画像から切り出して前記出力部が表示している場合、
前記受付部は、前記表示領域の変更を受け付けないか、又は、
前記表示領域の変更を受け付けるが、前記表示領域の変更を受け付けなくなると、前記注目点変換部が変換した注目点を前記切出処理部が前記画像から切り出して前記出力部が表示することを特徴とする請求項６に記載の画像通信システム。
【請求項８】
前記出力部は、前記注目点が指定されている旨が前記画像に添付されている場合、前記注目点が指定されている旨を表示することを特徴とする請求項６又は７に記載の画像通信システム。
【請求項９】
画像を撮像する撮像装置と、前記画像を画面に表示する通信端末とを有する画像通信システムが行う画像処理方法であって、
姿勢情報取得部が、前記撮像装置の姿勢情報を取得するステップと、
前記姿勢情報取得部が取得した前記姿勢情報に応じて、注目点定義部が定義している注目点を注目点変換部が変換するステップと、
切出処理部が、前記注目点変換部が変換した注目点を含む所定領域を前記画像から切り出すステップと、
出力部が、前記切出処理部が切り出した注目点を含む所定領域を前記画面に表示するステップと、
を有することを特徴とする画像処理方法。
【請求項１０】
画像を撮像する撮像装置を、
前記画像における注目点を定義する注目点定義部と、
前記撮像装置の姿勢情報を取得する姿勢情報取得部と、
前記姿勢情報取得部が取得した前記姿勢情報に応じて、前記注目点定義部が定義した注目点を変換する注目点変換部と、
前記注目点変換部が変換した注目点を含む所定領域を前記画像から切り出す切出処理部、
として機能させるためのプログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、撮像装置、画像通信システム、画像処理方法、及び、プログラムに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
魚眼レンズや超広角レンズなどの広角なレンズを複数使用して周囲３６０度又は全方位（以下、全天球という。）を一度に撮像する撮像装置が知られている。この撮像装置では、各々のレンズからの像を各撮像素子に投影し、得られる各画像を画像処理によってつなぎ合わせることで、全天球画像を生成する。例えば、１８０度を超える画角を有する２つの広角なレンズを用いて、全天球の被写体が撮像された全天球画像を生成することができる。
【０００３】
しかしながら、撮像装置で生成される全天球画像は球面座標系にて表現されているのに対し、ディスプレイなどの通常の表示装置は平面であるため、一度に全体を表示することが困難である。このため、全天球画像を表示する際には、通常、全天球画像の一部の画角を通常の表示装置に適合した画像へ変換する専用ビューアが用いられる。
【０００４】
全天球画像のうち任意の画角を端末側が表示できるように、注目点を決定する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、ユーザが撮像装置を傾けたり回転させたりすることで注目点を変更し、注目点を通常の表示装置に表示する方法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、画像の撮像元がリアルタイムに注目点を指定することが困難であるという問題があった。リアルタイムに注目点を指定したいユースケースの１つとして、不動産の内見を例に説明する。
【０００６】
上記の撮像装置を不動産の内見に利用する場合、撮像装置は物件の部屋の全体を撮像できるので、内見をしたい顧客が物件まで移動しなくても物件の全体的な様子を把握でき、移動する手間を省くことができる。例えば、以下のような仕組みで内見が実現される。
１．不動産業者が物件に赴き、撮像装置で物件を撮像する。
２．内見をしたい顧客が撮像装置の映像を通信端末で受信してリアルタイムに遠隔で閲覧する。
３．映像だけでなく音声もつながっているので顧客は不動産業者と会話しながら内見できる。
【０００７】
しかし、顧客は全天球画像のある画角しか見えないので、不動産業者が説明している箇所を顧客が見ているとは限らないし、その箇所を平面デバイスですぐに表示させることも困難である。つまり、顧客は全天球画像のどこに注目をしたらよいかわからない。例えば、現地の不動産業者が「この部屋には最新のエアコンが備え付けられています! これです!」と言っても、遠隔で内見をしている顧客は全天球画像の中でエアコンの方向を見ているとは限らず、リアルタイムに指定された注目点について意思疎通することが難しい。
【０００８】
このような不都合に対し、不動産業者が携帯する通信端末に全天球画像のプレビューを表示して、注目点を指示する操作を行えば、不動産業者の通信端末が遠隔で内見している顧客の通信端末に注目点を送信でき、不動産業者と顧客が同じ注目点に注目できる。しかし、不動産業者が撮像装置で撮像しながら通信端末を操作するのは困難である。不動産業者が複数人で現地に赴けば可能であるが、人員の確保が困難な場合も多い。
【０００９】
全天球画像を解析して注目点を推定する技術もあるが、あくまでも推定であるため、不動産業者が説明する箇所を、注目点として推定するとは限らない。
【００１０】
本発明は、上記課題に鑑み、画像の撮像元がリアルタイムに注目点を指定することができる画像通信システムを提供することを目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許