特許ウォッチ

公開番号2025141318
公報種別公開特許公報(A)
公開日2025-09-29
出願番号2024041198
出願日2024-03-15
発明の名称画像生成処理システム、画像生成プログラム、画像生成方法及び画像生成処理装置
出願人国立大学法人九州大学
代理人弁理士法人特許事務所サイクス
主分類G06T 19/00 20110101AFI20250919BHJP(計算;計数)
要約【課題】本発明は、極端な環境下においても高精度の三次元画像の生成を可能とする画像生成処理システム、画像生成プログラム、画像生成方法及び画像生成処理装置を提供することを課題とする。
【解決手段】三次元形状を有する対象にパターンを投影する投影手段装置と、対象を撮像した画像を取得する撮像装置手段と、撮像装置手段で得られた画像をニューラルネットワークで処理し、三次元空間に関する情報を得る手段と、投影装置手段において投影されたパターンについてのパターン情報及び三次元空間に関する情報を用いて、対象の三次元画像を生成する三次元画像生成手段と、を有する、画像生成処理システム。
【選択図】図2
特許請求の範囲【請求項１】
三次元形状を有する対象にパターンを投影する投影装置と、
前記対象を撮像した画像を取得する撮像装置と、
前記撮像装置で得られた画像をニューラルネットワークで処理し、三次元空間に関する情報を得る手段と、
前記投影装置において投影されたパターンについてのパターン情報及び前記三次元空間に関する情報を用いて、前記対象の三次元画像を生成する三次元画像生成手段と、を有する、画像生成処理システム。
続きを表示（約 700 文字）【請求項２】
前記ニューラルネットワークは、前記三次元画像と前記画像との間の光度測定の損失が低減するように訓練されたものである、請求項１に記載の画像生成処理システム。
【請求項３】
前記三次元画像生成手段は、ボリュームレンダリング処理を行う、請求項１に記載の画像生成処理システム。
【請求項４】
前記三次元画像生成手段は、前記撮像装置の情報と、前記投影装置の情報と、投影された前記パターンのカラー情報とから、投影カラー情報を取得する、請求項３に記載の画像生成処理システム。
【請求項５】
前記三次元空間に関する情報が、色情報及びＳＤＦ情報を含む、請求項１に記載の画像生成処理システム。
【請求項６】
前記三次元画像生成手段は、さらに反射率と明度に関する情報を用いて前記対象の三次元画像を生成する、請求項１に記載の画像生成処理システム。
【請求項７】
前記反射率と明度に関する情報は、前記三次元画像と前記画像との間の光度測定の損失が低減するように訓練されて得られたものである、請求項６に記載の画像生成処理システム。
【請求項８】
前記投影装置は、レーザ光を投影する、請求項１に記載の画像生成処理システム。
【請求項９】
前記投影装置は、平面交差レーザ光を投影する、請求項１に記載の画像生成処理システム。
【請求項１０】
前記撮像装置の情報と、前記投影装置の情報を推定する推定手段をさらに有する、請求項１に記載の画像生成処理システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像生成処理システム、画像生成プログラム、画像生成方法及び画像生成処理装置に関する。
続きを表示（約 3,300 文字）【背景技術】
【０００２】
種々の環境に対する緻密（高密度）で正確な三次元画像の取得は、内視鏡による人体内部スキャン、海底三次元マップ作成、火星などの惑星画像や衛星画像の三次元形状取得など、人間がアクセスし難い様々な環境などへの応用にとって重要である。近年は、正確な三次元測定に対する要求が、自律車両制御、工業用検査などの分野でも高まっている。
【０００３】
近年、ＮｅｕｒａｌＲａｄｉａｎｃｅＦｉｅｌｄｓ（ＮｅＲＦ）が注目を集めている。ＮｅＲＦは、一連の二次元画像から複雑な三次元のシーンを再構成できるニューラルネットワークである。ＮｅＲＦでは、エンドツーエンド方式で光度測定損失を最小化するためにディープニューラルネットワーク（ＤＮＮ）を最適化することで、三次元画像の再構成や超解像度の達成などが可能となる。
【０００４】
例えば、特許文献１には、１又は複数のメモリと、１又は複数のプロセッサと、を備え、１又は複数のプロセッサは、自己回帰モデルを用いて、三次元情報を表現する複数の離散符号に関する情報を生成する、情報処理装置が開示されており、ここでは、ニューラルネットワークモデルを用いて三次元情報の表現の精度を向上させることが検討されている。また、特許文献２には、撮像装置により指標を撮像した撮像画像を取得する取得手段と、撮像画像から指標を検出する検出手段と、撮像画像における指標の画像に基づいて撮像装置の解像力を推定する推定手段と、推定手段により、撮像装置からの距離が異なる複数の位置の指標を撮像した複数の撮像画像から推定された解像力に基づいて、撮像装置からの距離と解像力の関係を示す情報を生成する生成手段と、を有することを特徴とする画像処理装置が開示されており、ここでは、撮像画像の解像力を推定する技術が検討されている。
【先行技術文献】
【特許文献】
【０００５】
特開２０２３－７９０２２号公報
特開２０２３－２６２４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば、海底や生体内といった人間がアクセスし難い環境は、低照度や低コントラスト、低テクスチャといった極端な環境である場合が多い。上述したようなＮｅＲＦを用いた三次元画像の再構成は、その原理が従来のパッシブステレオ法と同等であるため、低照度や低コントラスト、低テクスチャといった極端な環境下で三次元画像の再構成を行った場合、三次元画像の再構成自体が不可能であったり、三次元画像の再構成の精度が劣るなどの課題がある。
【０００７】
そこで本発明者らは、このような従来技術の課題を解決するために、低照度や低コントラスト、低テクスチャといった極端な環境下においても高精度の三次元画像の生成が可能となる画像生成処理システムを構築することを目的として検討を進めた。
【課題を解決するための手段】
【０００８】
本発明の具体的な態様の例を以下に示す。
【０００９】
［１］三次元形状を有する対象にパターンを投影する投影装置と、
前記対象を撮像した画像を取得する撮像装置と、
前記撮像装置で得られた画像をニューラルネットワークで処理し、三次元空間に関する情報を得る手段と、
前記投影装置において投影されたパターンについてのパターン情報及び前記三次元空間に関する情報を用いて、前記対象の三次元画像を生成する三次元画像生成手段と、を有する、画像生成処理システム。
［２］前記ニューラルネットワークは、前記三次元画像と前記画像との間の光度測定の損失が低減するように訓練されたものである、［１］に記載の画像生成処理システム。
［３］前記三次元画像生成手段は、ボリュームレンダリング処理を行う、［１］又は［２］に記載の画像生成処理システム。
［４］前記三次元画像生成手段は、前記撮像装置の情報と、前記投影装置の情報と、投影された前記パターンのカラー情報とから、投影カラー情報を取得する、［３］に記載の画像生成処理システム。
［５］前記三次元空間に関する情報が、色情報及びＳＤＦ情報を含む、［１］～［４］のいずれかに記載の画像生成処理システム。
［６］前記三次元画像生成手段は、さらに反射率と明度に関する情報を用いて前記対象の三次元画像を生成する、［１］～［５］のいずれかに記載の画像生成処理システム。
［７］前記反射率と明度に関する情報は、前記三次元画像と前記画像との間の光度測定の損失が低減するように訓練されて得られたものである、［６］に記載の画像生成処理システム。
［８］前記投影装置は、レーザ光を投影する、［１］～［７］のいずれかに記載の画像生成処理システム。
［９］前記投影装置は、平面交差レーザ光を投影する、［１］～［８］のいずれかに記載の画像生成処理システム。
［１０］前記撮像装置の情報と、前記投影装置の情報を推定する推定手段をさらに有する、［１］～［９］のいずれかに記載の画像生成処理システム。
［１１］前記推定手段は、前記撮像装置の情報と前記投影装置の情報とを、ハッシュテーブルを用いたエンコーディングとフーリエ級数を用いたエンコーディングとを併用するエンコーディング手段を用いて推定する、［１０］に記載の画像生成処理システム。
［１２］三次元形状を有する対象にパターンを投影する投影機能において投影されたパターンについてのパターン情報と、
対象を撮像した画像を取得する撮像機能で得られた画像をニューラルネットワークで処理することで得られた三次元空間に関する情報と、を用いて、前記対象の三次元画像を生成する処理をコンピュータに実行させる、画像生成プログラム。
［１３］前記画像を前記ニューラルネットワークで重み付け処理することで得られた前記三次元空間に関する情報と、前記パターン情報とを用いて、前記対象の三次元画像を生成し、
生成された前記対象の三次元画像と、前記画像との間の光度測定の損失が低減するように前記ニューラルネットワークでの重みづけ処理を行うように前記コンピュータに学習させる、［１２］に記載の画像生成プログラム。
［１４］三次元形状を有する対象を撮像した画像をニューラルネットワークで処理して三次元空間に関する情報を得るステップと、
前記対象に投影されたパターンについてのパターン情報と、前記三次元空間に関する情報とを用いて、前記対象の三次元画像を生成するステップとを有する、画像生成方法。
［１５］前記画像を前記ニューラルネットワークで重み付け処理して前記三次元空間に関する情報を得るステップと、
前記パターン情報と前記三次元空間に関する情報とを用いて、前記対象の三次元画像を生成するステップと、
生成された前記対象の三次元画像と、前記画像との間の光度測定の損失が低減するように前記ニューラルネットワークでの重みづけ処理を学習するステップとを有する、［１４］に記載の画像生成方法。
［１６］パターンが投影された三次元形状を有する対象を撮像手段で撮像することにより得られた画像を、ニューラルネットワークで処理し、三次元空間に関する情報を得る手段と、
投影されたパターンについてのパターン情報及び前記三次元空間に関する情報を用いて、前記対象の三次元画像を生成する三次元画像生成手段と、を有する、画像生成処理装置。
【発明の効果】
【００１０】
本発明によれば、極端な環境下においても高精度の三次元画像の生成を可能とする画像生成処理システム、画像生成プログラム、画像生成方法及び画像生成処理装置を提供することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許