特許ウォッチ

公開番号2025100036
公報種別公開特許公報(A)
公開日2025-07-03
出願番号2023217118
出願日2023-12-22
発明の名称作業機械、操作支援システム、情報処理装置、プログラム
出願人住友重機械工業株式会社
代理人個人,個人
主分類E02F 9/20 20060101AFI20250626BHJP(水工;基礎;土砂の移送)
要約【課題】オペレータの自然言語での指示による作業機械の操作の実効性を向上させることが可能な技術を提供する。
【解決手段】本開示の一実施形態に係るショベル100は、ショベル100の周辺の環境を表す情報を取得する撮像装置40と、撮像装置40により取得された情報を自然言語で言語化する言語化部303と、オペレータからの自然言語での指示を取得する指示取得部301と、指示取得部301により取得された指示と、言語化部303により言語化された情報とを言語モデルLM1に解釈させた結果に基づき、ショベル100の動作を制御する動作制御部306と、を備える。
【選択図】図10
特許請求の範囲【請求項１】
作業機械の周辺の環境を表す情報を取得する環境情報取得部と、
前記環境情報取得部により取得された情報を自然言語で言語化する言語化部と、
オペレータからの自然言語での指示を取得する指示取得部と、
前記指示取得部により取得された指示と、前記言語化部により言語化された情報とを言語モデルに解釈させた結果に基づき、作業機械の動作を制御する制御部と、を備える、
作業機械。
続きを表示（約 1,800 文字）【請求項２】
前記言語化部は、前記環境情報取得部により取得された情報に加えて、施工図面の情報を自然言語で言語化する、
請求項１に記載の作業機械。
【請求項３】
前記指示取得部により取得された指示の緊急度の高低を判定する判定部を備え、
前記制御部は、前記判定部により緊急度が高いと判定された場合、前記指示取得部により取得された指示の内容に対応する所定の動作を作業機械に実行させ、前記判定部により緊急度が低いと判定された場合、前記指示取得部により取得された指示と、前記言語化部により言語化された情報とを前記言語モデルに解釈させた結果に基づき、作業機械の動作を制御する、
請求項１又は２に記載の作業機械。
【請求項４】
前記判定部は、前記指示取得部により取得された指示の文章の中に緊急度が高いことを表す所定の単語が含まれる場合に、緊急度が高いと判定する、
請求項３に記載の作業機械。
【請求項５】
前記言語モデルは、作業機械と相互に通信可能なように外部に設けられ、相対的に規模の大きい第１の言語モデルと、作業機械に組み込まれ、相対的に規模の小さい第２の言語モデルとを含み、
前記指示取得部により取得された指示の内容に基づき、前記第１の言語モデル及び前記第２の言語モデルのどちらを用いるかを選択する選択部を備え、
前記制御部は、前記指示取得部により取得された指示と、前記言語化部により言語化された情報とを、前記選択部により選択された前記言語モデルに解釈させた結果に基づき、作業機械の動作を制御する
請求項１又は２に記載の作業機械。
【請求項６】
前記選択部は、前記指示取得部により取得された指示の文章の長さ、及びその指示に含まれる単語の希少性の少なくとも一方に基づき、前記第１の言語モデル及び前記第２の言語モデルのどちらを用いるかを選択する、
請求項５に記載の作業機械。
【請求項７】
前記言語モデルは、作業機械と相互に通信可能なように外部に設けられ、相対的に規模の大きい第１の言語モデルと、作業機械に組み込まれ、相対的に規模の小さい第２の言語モデルとを含み、
前記指示取得部により取得された指示が、作業機械を緊急動作させるための第１の指示、その指示を前記第１の言語モデルに解釈させた結果に基づき、作業機械を制御するための第２の指示、及びその指示を前記第２の言語モデルに解釈させた結果に基づき、作業機械を制御するための第３の指示に分類する分類部を備え、
前記制御部は、前記分類部の分類結果に基づき、前記指示取得部により取得された指示に応じた作業機械の動作を制御する、
請求項１又は２に記載の作業機械。
【請求項８】
前記指示取得部により取得された指示に対して、前記制御部が作業機械に実行させる動作を事前にオペレータに通知する通知部を備え、
前記制御部は、前記通知部による通知後に、オペレータからの許可が得られた場合に、前記指示取得部により取得された指示と、前記言語化部により言語化された情報とを言語モデルに解釈させた結果に基づき、作業機械の動作を制御する、
請求項１又は２に記載の作業機械。
【請求項９】
作業機械の周辺の環境を表す情報を取得する環境情報取得部と、
前記環境情報取得部により取得された情報を自然言語で言語化する言語化部と、
オペレータからの自然言語での指示を取得する指示取得部と、
前記指示取得部により取得された指示と、前記言語化部により言語化された情報とを言語モデルに解釈させた結果に基づき、作業機械の動作を制御する制御部と、を備える、
操作支援システム。
【請求項１０】
作業機械の周辺の環境を表す情報を自然言語で言語化する言語化部と、
オペレータからの自然言語での指示を取得する指示取得部と、
前記指示取得部により取得された指示と、前記言語化部により言語化された情報とを言語モデルに解釈させた結果に基づき、作業機械の動作を制御する制御部と、を備える、
情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、作業機械等に関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
従来、音声やテキスト入力等の自然言語での指示に基づき作業機械を動作させる技術が知られている（特許文献１参照）。
【０００３】
特許文献１では、オペレータからの音声による指示を音声認識し、その音声認識の内容に対応する動作を作業機械に実施させることができる。
【先行技術文献】
【特許文献】
【０００４】
特開２０００－０５６８２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、前後左右への移動の指示や掘削の指示等、作業機械の特定の動作を指示できるだけであり、例えば、作業環境に合わせた動作の指示等を行うことはできない。
【０００６】
そこで、上記課題に鑑み、オペレータの自然言語での指示による作業機械の操作の実効性を向上させることが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本開示の一実施形態では、
作業機械の周辺の環境を表す情報を取得する環境情報取得部と、
前記環境情報取得部により取得された情報を自然言語で言語化する言語化部と、
オペレータからの自然言語での指示を取得する指示取得部と、
前記指示取得部により取得された指示と、前記言語化部により言語化された情報とを言語モデルに解釈させた結果に基づき、作業機械の動作を制御する制御部と、を備える、
作業機械が提供される。
【０００８】
また、本開示の他の実施形態では、
作業機械の周辺の環境を表す情報を取得する環境情報取得部と、
前記環境情報取得部により取得された情報を自然言語で言語化する言語化部と、
オペレータからの自然言語での指示を取得する指示取得部と、
前記指示取得部により取得された指示と、前記言語化部により言語化された情報とを言語モデルに解釈させた結果に基づき、作業機械の動作を制御する制御部と、を備える、
操作支援システムが提供される。
【０００９】
また、本開示の更に他の実施形態では、
作業機械の周辺の環境を表す情報を自然言語で言語化する言語化部と、
オペレータからの自然言語での指示を取得する指示取得部と、
前記指示取得部により取得された指示と、前記言語化部により言語化された情報とを言語モデルに解釈させた結果に基づき、作業機械の動作を制御する制御部と、を備える、
情報処理装置が提供される。
【００１０】
また、本開示の更に他の実施形態では、
情報処理装置に、
作業機械の周辺の環境を表す情報を自然言語で言語化する言語化ステップと、
オペレータからの自然言語での指示を取得する指示取得ステップと、
前記指示取得ステップで取得された指示と、前記言語化ステップにより言語化された情報とを言語モデルに解釈させた結果に基づき、前記作業機械の動作を制御する制御ステップと、を実行させる、
プログラムが提供される。
【発明の効果】
（【００１１】以降は省略されています）

関連特許