特許ウォッチ

公開番号2025016461
公報種別公開特許公報(A)
公開日2025-02-04
出願番号2024172455,2022567146
出願日2024-10-01,2020-06-02
発明の名称モバイルカメラを用いたパノラマ生成
出願人グーグルエルエルシー,Google LLC
代理人弁理士法人深見特許事務所
主分類G06T 3/14 20240101AFI20250128BHJP(計算;計数)
要約【課題】画像フレームを選択しステッチングするコンピュータ実装方法及びコンピューティングデバイスを提供する。
【解決手段】方法は、カメラから取得した複数の画像フレーム内の1つ以上の関心領域を特定し、複数の画像フレームの各画像フレームに関連付けられたそれぞれの品質尺度に基づいて、1つ以上の特定された各関心領域が、少なくとも1つの選択されたベースフレーム内に完全に含まれるようにベースフレームのセットを選択し、選択されたベースフレームのセットをつなぎ合わせて、合成画像を作成する。
【選択図】図2
特許請求の範囲【請求項１】
コンピュータ実装方法であって、
コンピューティングデバイスが、複数の画像フレームを取得することと、
前記コンピューティングデバイスが、前記複数の画像フレームのうちの１つ以上の画像フレーム内の１つ以上の関心領域を特定することと、
前記コンピューティングデバイスが、前記複数の画像フレームの各画像フレームに関連付けられたそれぞれの品質尺度に基づいて、ベースフレームのセットを選択することとを備え、特定された前記１つ以上の関心領域の特定された各関心領域は、選択された前記ベースフレームのセットの少なくとも１つのベースフレーム内に完全に含まれ、前記方法はさらに、
前記コンピューティングデバイスが、選択された前記ベースフレームのセットをつなぎ合わせて、合成画像を作成することを備える、方法。
続きを表示（約 1,200 文字）【請求項２】
前記１つ以上の関心領域の各々は、顔を含む領域に対応する、請求項１に記載のコンピュータ実装方法。
【請求項３】
前記複数の画像フレームの各画像フレームに関連付けられた前記それぞれの品質尺度は、前記画像フレームのモーションブラー、前記画像フレームの焦点、または前記画像フレームの露出のうちの少なくとも１つに基づくメトリックを含む、請求項１に記載のコンピュータ実装方法。
【請求項４】
前記それぞれの品質尺度は、特定された前記１つ以上の関心領域内に位置する画素により大きな重みを与えるように、計算的にバイアスされる、請求項１に記載のコンピュータ実装方法。
【請求項５】
前記ベースフレームのセットを選択することは、
前記複数の画像フレームから、画像フレームの複数のサブセットを決定することを含み、前記サブセットの各々は、同じ１つ以上の関心領域を含む画像フレームを含み、前記選択することはさらに、
前記サブセットの各々から、前記サブセット内の各画像フレームに関連付けられた前記それぞれの品質尺度に基づいて、ベースフレームを選択することを含む、請求項１に記載のコンピュータ実装方法。
【請求項６】
前記サブセットの各々から前記ベースフレームを選択することは、前記サブセットの前記画像フレームの中から、品質尺度が最も高い画像フレームを選択することを含む、請求項５に記載のコンピュータ実装方法。
【請求項７】
前記１つ以上の関心領域を特定することは、前記１つ以上の関心領域の各々について固有の識別子を決定することを含み、前記サブセットの各々は、同じ固有の識別子を含む１つ以上の画像フレームを備える、請求項５に記載のコンピュータ実装方法。
【請求項８】
前記複数の画像フレームの各画像フレームは、それぞれの回転角度でカメラデバイスによってキャプチャされており、画像フレームのサブセットを決定することは、
回転角度に基づいて、前記複数の画像フレームを順序付けることと、
前記複数の画像フレームから開始画像フレームを指定することと、
前記開始画像フレームから開始して、反復されるべき次の画像フレームが前記開始画像フレームと異なる少なくとも１つの固有の識別子を有する画像フレームとなるまで、前記順序付けに従って前記複数の画像フレームを反復することとを含み、前記画像フレームのサブセットは、反復された前記画像フレームを含む、請求項７に記載のコンピュータ実
装方法。
【請求項９】
前記回転角度は、前記カメラデバイスの水平角に基づく尺度を含む、請求項８に記載のコンピュータ実装方法。
【請求項１０】
前記開始画像フレームを指定することは、前記順序付けから１番目の画像フレームを指定することを含む、請求項８に記載のコンピュータ実装方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【背景技術】
【０００１】
背景
画像処理において、「画像ステッチング」とは、複数の個々の画像フレームを合成して合成画像、たとえばパノラマ画像にする処理である。多くの手法が存在するが、ステッチングアルゴリズムのほとんどは、少なくとも複数のオーバーラップする領域を含む個々の画像フレームに依存する。そのようなステッチングアルゴリズムは、概して、オーバーラップする領域内の特有の特徴を特定し、次に、特徴のマッチングを行って、個々の画像フレーム間の対応を確立する。その後、ステッチングアルゴリズムは、概して、オーバーラップする領域において対応する画像フレームをブレンドして、最終的な合成画像を作成する。
続きを表示（約 2,600 文字）【発明の概要】
【０００２】
概要
実施形態例は、画像ステッチングを実行するコンピューティングデバイスを含む。コンピューティングデバイスは、複数の画像フレームから１つ以上のベースフレームを選択するように動作可能なベースフレーム選択モジュールを含み得る。コンピューティングデバイスはまた、選択された１つ以上のベースフレームをつなぎ合わせるように動作可能なステッチングモジュールを含み得る。これらの２つのモジュールを使用して、コンピューティングデバイスは、パノラマ画像などの合成画像を作成し、次に、これらの合成画像をユーザに表示することができる。
【０００３】
第１の態様では、コンピュータ実装方法が提供される。方法は、コンピューティングデバイスが、複数の画像フレームを取得することを備える。方法はさらに、コンピューティングデバイスが、複数の画像フレームのうちの１つ以上の画像フレーム内の１つ以上の関心領域を特定することを備える。方法はさらに、コンピューティングデバイスが、複数の画像フレームの各画像フレームに関連付けられたそれぞれの品質尺度に基づいて、ベースフレームのセットを選択することを備え、特定された１つ以上の関心領域の特定された各関心領域は、選択されたベースフレームのセットの少なくとも１つのベースフレーム内に完全に含まれている。方法はさらに、コンピューティングデバイスが、選択されたベースフレームのセットをつなぎ合わせて、合成画像を作成することを備える。
【０００４】
第２の態様では、コンピューティングデバイスが提供される。コンピューティングデバイスは、１つ以上のプロセッサを含み得る。コンピューティングデバイスはさらに、１つ以上のプロセッサによって実行されると、コンピューティングデバイスに動作を実行させるコンピュータ読取可能命令を少なくとも記憶する非一時的データストレージを備え得る。動作は、複数の画像フレームを取得することを含み得る。動作はさらに、複数の画像フレームのうちの１つ以上の画像フレーム内の１つ以上の関心領域を特定することを含み得る。動作はさらに、複数の画像フレームの各画像フレームに関連付けられたそれぞれの品質尺度に基づいて、ベースフレームのセットを選択することを含み得、特定された１つ以上の関心領域の特定された各関心領域は、選択されたベースフレームのセットの少なくとも１つのベースフレーム内に完全に含まれている。動作はさらに、選択されたベースフレームのセットをつなぎ合わせて、合成画像を作成することを含み得る。
【０００５】
第３の態様では、製品が提供される。製品は、コンピューティングデバイスの１つ以上のプロセッサによって実行されると、コンピューティングデバイスに動作を実行させるコンピュータ読取可能命令を少なくとも記憶する非一時的データストレージを含み得る。動作は、複数の画像フレームを取得することを含み得る。動作はさらに、複数の画像フレー
ムのうちの１つ以上の画像フレーム内の１つ以上の関心領域を特定することを含み得る。動作はさらに、複数の画像フレームの各画像フレームに関連付けられたそれぞれの品質尺度に基づいて、ベースフレームのセットを選択することを含み得、特定された１つ以上の関心領域の特定された各関心領域は、選択されたベースフレームのセットの少なくとも１つのベースフレーム内に完全に含まれている。動作はさらに、選択されたベースフレームのセットをつなぎ合わせて、合成画像を作成することを含み得る。
【０００６】
第４の態様では、システムが提供される。本システムは、複数の画像フレームを取得する手段を備え得る。システムはさらに、複数の画像フレームのうちの１つ以上の画像フレーム内の１つ以上の関心領域を特定する手段を備え得る。システムはさらに、複数の画像フレームの各画像フレームに関連付けられたそれぞれの品質尺度に基づいて、ベースフレームのセットを選択する手段を備え得、特定された１つ以上の関心領域の特定された各関心領域は、選択されたベースフレームのセットの少なくとも１つのベースフレーム内に完全に含まれている。システムはさらに、選択されたベースフレームのセットをつなぎ合わせて、合成画像を作成する手段を備え得る。
【０００７】
他の態様、実施形態、および実施態様は、適宜添付の図面を参照して以下の詳細な説明を読むことによって、当業者に明らかになるであろう。
【図面の簡単な説明】
【０００８】
実施形態例に係るコンピューティングデバイスを示す図である。
実施形態例に係る、ベースフレーム選択モジュールおよびステッチングモジュールの動作の概要を示す図である。
実施形態例に係る、ベースフレーム選択モジュールの動作を示す図である。
実施形態例に係る、画像フレームサブセットの例を示す図である。
実施形態例に係る、ステッチングモジュールの動作を示す図である。
実施形態例に係る、画像フレーム投影の例を示す図である。
実施形態例に係るシームの例を示す図である。
実施形態例に係る方法を示す図である。
【発明を実施するための形態】
【０００９】
詳細な説明
方法、デバイス、およびシステムの例が本明細書で説明される。「例（example）」お
よび「例示的な（exemplary）」という用語は、本明細書において、「例、事例、または
例示として役立つこと」を意味するために使用されることを理解されたい。「例」または「例示的な」として本明細書に記載されるいかなる実施形態または特徴も、そのように示されない限り、必ずしも他の実施形態もしくは特徴よりも好ましいまたは有利であると解釈されるべきではない。本明細書に提示される主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。
【００１０】
したがって、本明細書で説明される実施形態例は、限定的であることを意味しない。本明細書で概して説明され、図に示される本開示の態様は、多種多様な異なる構成で配置、置換、組み合わせ、分離、および設計できることが容易に理解されよう。
（【００１１】以降は省略されています）

関連特許