特許ウォッチ

公開番号2024079205
公報種別公開特許公報(A)
公開日2024-06-11
出願番号2022192007
出願日2022-11-30
発明の名称表示システム、表示方法およびプログラム
出願人株式会社リコー
代理人弁理士法人酒井国際特許事務所
主分類G06T 7/00 20170101AFI20240604BHJP(計算;計数)
要約【課題】3次元復元をベースとした空間情報活用において、データ整備や学習の手間を削減し、非専門的ユーザにとって使いやすい形態にする。
【解決手段】空間の色情報および深度情報の少なくとも一方を含む3次元画像を表示部に表示させる3次元表示制御手段と、前記3次元画像に対する操作を受け付ける受付手段と、前記受付手段で受け付けた前記操作を記憶する記憶手段と、前記記憶手段で記憶された前記操作の履歴を蓄積し学習する学習手段と、新たに前記受付手段で受け付けた操作と前記学習手段での学習結果とに基づき、新たなデータを出力する推論手段と、を備え、前記3次元表示制御手段は、出力された前記データを前記表示部に表示させる。
【選択図】図2
特許請求の範囲【請求項１】
空間の色情報および深度情報の少なくとも一方を含む３次元画像を表示部に表示させる３次元表示制御手段と、
前記３次元画像に対する操作を受け付ける受付手段と、
前記受付手段で受け付けた前記操作を記憶する記憶手段と、
前記記憶手段で記憶された前記操作の履歴を蓄積し学習する学習手段と、
新たに前記受付手段で受け付けた操作と前記学習手段での学習結果とに基づき、新たなデータを出力する推論手段と、
を備え、
前記３次元表示制御手段は、出力された前記データを前記表示部に表示させる、
ことを特徴とする表示システム。
続きを表示（約 1,700 文字）【請求項２】
前記学習手段は、前記３次元表示制御手段の操作によって利用者が付与したバウンディングボックスが指し示す３次元復元結果の部分集合を学習し、
前記推論手段は、新たに前記３次元表示制御手段に表示される３次元復元結果において、バウンディングボックスが付与されるような部分集合を推論する、
ことを特徴とする請求項１に記載の表示システム。
【請求項３】
前記学習手段は、新たな３次元モデルを教師とし、３次元復元結果の部分集合との関連性を学習し、
前記推論手段は、利用者が選択した部分集合から生成される３次元モデルを推論する、
ことを特徴とする請求項１に記載の表示システム。
【請求項４】
前記学習手段は、３次元モデルを入力とし、３次元復元結果内の搬入出のボトルネックを教師とし、代替した３次元モデルと既存の３次元復元結果に対する搬入可否結果とを学習し、
前記推論手段は、３次元モデルから搬入出時のリスク箇所を推論し、または、搬入可能範囲をマッピングして推論する、
ことを特徴とする請求項１に記載の表示システム。
【請求項５】
前記学習手段は、選択された３次元復元結果内の部分集合を入力とし、選択された部分集合に付与された属性情報と既存の構造化データとの関係を教師として学習し、
前記推論手段は、選択された３次元復元結果内の部分集合に対して、既存の構造化データ構造において付与される属性を推論する、
ことを特徴とする請求項１に記載の表示システム。
【請求項６】
前記学習手段は、３次元復元結果内の部分集合を入力とし、利用者が与えた物体の数を教師として学習し、
前記推論手段は、選択された３次元復元結果内の部分集合に対して、物品の数量を推論する、
ことを特徴とする請求項１に記載の表示システム。
【請求項７】
前記学習手段は、３次元復元結果を入力とし、行動履歴の蓄積であって３次元復元結果内の視点位置、画角、付与された情報、そしてそれらの時系列順序などである着目点の系列を教師としその関連性を学習し、
前記推論手段は、新たな３次元復元結果が入力されると、着目点の系列候補を推論する、
ことを特徴とする請求項１に記載の表示システム。
【請求項８】
前記学習手段は、３次元復元結果内から抽出される２以上の点がなす線、面、立体として定義される計測された箇所を教師として３次元復元結果との関連性を学習し、
前記推論手段は、利用者が調査対象に視点を向けた際、あるいは前記３次元表示制御手段での操作を契機とし、計測されるべき箇所を推論する、
ことを特徴とする請求項１に記載の表示システム。
【請求項９】
前記学習手段は、利用者が付与した自然言語コメントの蓄積により、３次元復元結果と当該３次元復元結果に対応した自然言語との関連性を学習し、
前記推論手段は、利用者が入力した自然言語に対して、３次元復元結果へのマッピング、自然言語、リスト形式の何れかにより回答する、
ことを特徴とする請求項１に記載の表示システム。
【請求項１０】
３次元表示制御手段が、空間の色情報および深度情報の少なくとも一方を含む３次元画像を表示部に表示させる３次元表示制御工程と、
受付手段が、前記３次元画像に対する操作を受け付ける受付工程と、
記憶手段が、前記受付手段で受け付けた前記操作を記憶する記憶工程と、
学習手段が、前記記憶手段で記憶された前記操作の履歴を蓄積し学習する学習工程と、
推論手段が、新たに前記受付手段で受け付けた操作と前記学習手段での学習結果とに基づき、新たなデータを出力する推論工程と、
を含み、
前記３次元表示制御工程は、出力された前記データを前記表示部に表示させる、
ことを特徴とする表示システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、表示システム、表示方法およびプログラムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
近年、主に建設の現場において、レーザスキャナやＬｉＤＡＲ等により実空間である３次元空間の３次元情報を取得し、デジタル空間に復元する所謂「３次元復元」が盛んに行われている。近年、このような３次元復元結果の活用は、単なる測量用途のみならず、３次元復元結果に対して様々な情報を紐づけることによって、建設の現場以外にも広がっている。具体的には、３次元復元結果に対して、位置情報とともに各種属性情報や写真などを紐づけることにより、データベースとしての使い勝手を向上させるサービスはすでに知られている。
【０００３】
特許文献１には、深度情報からなる点群データから３次元モデルデータと照合する照合用オブジェクトを抽出し、３次元モデルデータと照合用オブジェクトとを照合して３次元モデルデータ内におけるオブジェクト一致箇所を、機械学習を用いて特定する技術が開示されている。そして、特許文献１には、３次元モデルデータにおけるオブジェクト一致箇所の情報と点群データの深度情報とに基づいて建造物内における対象の位置を特定する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術によれば、３次元情報の取得後のデータ整備に専門性と手間がかかるのがボトルネックであったため、３次元復元はごく一部の専門的用途にとどまっており、それは同時に非専門的なユーザを遠ざける遠因ともなっていた。具体的には、現場担当者は、現状と既存の幾何的差異だけでなく意味的つながりを把握したり、数量を数えたり、資料にまとめる、といったようなデータ整備や学習の手間をかけた「他人に現状を伝える業務」をせねばならず、その観点においては効率化の手段が整っていなかった。
【０００５】
本発明は、上記に鑑みてなされたものであって、３次元復元をベースとした空間情報活用において、データ整備や学習の手間を削減し、非専門的ユーザにとって使いやすい形態にすることを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、空間の色情報および深度情報の少なくとも一方を含む３次元画像を表示部に表示させる３次元表示制御手段と、前記３次元画像に対する操作を受け付ける受付手段と、前記受付手段で受け付けた前記操作を記憶する記憶手段と、前記記憶手段で記憶された前記操作の履歴を蓄積し学習する学習手段と、新たに前記受付手段で受け付けた操作と前記学習手段での学習結果とに基づき、新たなデータを出力する推論手段と、を備え、前記３次元表示制御手段は、出力された前記データを前記表示部に表示させる、ことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、３次元復元をベースとした空間情報活用において、データ整備や学習の手間を削減し、非専門的ユーザにとって使いやすい形態にすることができる、という効果を奏する。
【図面の簡単な説明】
【０００８】
図１は、実施の形態にかかる表示システムの一例を示すブロック図である。
図２は、制御部が有する各種機能について示す機能ブロック図である。
図３は、バウンディングボックス処理にかかる実施例を示す機能ブロック図である。
図４は、バウンディングボックス処理にかかる表示例を示す図である。
図５は、自動モデル化処理にかかる実施例を示す機能ブロック図である。
図６は、自動モデル化処理にかかる表示例を示す図である。
図７は、搬入可否判断処理にかかる実施例を示す機能ブロック図である。
図８は、搬入可否判断処理にかかる表示例を示す図である。
図９は、自動ファミリ処理にかかる実施例を示す機能ブロック図である。
図１０は、自動カウント処理にかかる実施例を示す機能ブロック図である。
図１１は、自動カウント処理にかかる表示例を示す図である。
図１２は、自動ツアー処理にかかる実施例を示す機能ブロック図である。
図１３は、自動ツアー処理にかかる表示例を示す図である。
図１４は、自動計測処理にかかる実施例を示す機能ブロック図である。
図１５は、自動計測処理にかかる表示例を示す図である。
図１６は、テキスト処理にかかる実施例を示す機能ブロック図である。
図１７は、自動モデル化処理にかかる表示例を示す図である。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、表示システム、表示方法およびプログラムの実施の形態を詳細に説明する。
【００１０】
図１は、実施の形態にかかる表示システム１の一例を示すブロック図である。
（【００１１】以降は省略されています）

関連特許