特許ウォッチ

公開番号2025050396
公報種別公開特許公報(A)
公開日2025-04-04
出願番号2023159165
出願日2023-09-22
発明の名称顧客要求制御システムおよび強化学習モデル
出願人KDDI株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04L 47/83 20220101AFI20250327BHJP(電気通信技術)
要約【課題】通信ネットワークを利用する旨の顧客要求が受け入れをリアルタイムに判定することを可能とする顧客要求制御システムを提供する。
【解決手段】顧客の過去のネットワーク利用情報を顧客要求情報として保存する顧客要求管理DBと、前記ネットワーク利用情報に基づいて、疑似的な顧客要求情報を作成する疑似要求生成ノードと、強化学習モデルを用いて、前記疑似的な顧客要求情報に示される顧客要求が受け入れ可能であるか否かを判定し、判定結果を示す情報を出力する強化学習訓練ノードと、顧客が過去にネットワークを利用した際のトラフィック量に基づいたトラフィック予測モデルを用いて、各顧客のトラフィック量を予測し、前記予測の結果に基づいて、前記強化学習訓練ノードから取得した判定結果に付与する報酬値を決定する報酬値判定ノードと、を備える。
【選択図】図1
特許請求の範囲【請求項１】
通信ネットワークを利用する旨の顧客要求が受け入れ可能であるか否かを判定し、前記判定結果に基づいて強化学習を行なう顧客要求制御システムであって、
顧客の過去のネットワーク利用情報を顧客要求情報として保存する顧客要求管理ＤＢと、
前記ネットワーク利用情報に基づいて、疑似的な顧客要求情報を作成する疑似要求生成ノードと、
強化学習モデルを用いて、前記疑似的な顧客要求情報に示される顧客要求が受け入れ可能であるか否かを判定し、判定結果を示す情報を出力する強化学習訓練ノードと、
顧客が過去にネットワークを利用した際のトラフィック量に基づいたトラフィック予測モデルを用いて、各顧客のトラフィック量を予測し、前記予測の結果に基づいて、前記強化学習訓練ノードから取得した前記判定結果に付与する報酬値を決定する報酬値判定ノードと、を備え、
前記強化学習訓練ノードは、前記報酬値判定ノードが決定した報酬値に基づき、前記強化学習モデルについて、強化学習の訓練を行うことを特徴とする顧客要求制御システム。
続きを表示（約 580 文字）【請求項２】
前記訓練された強化学習モデルに基づき、ＡＩ（Artificial Intelligence）によって、通信ネットワークを利用する旨の顧客要求が受け入れ可能であるか否かを判定する顧客要求判定ノードをさらに備えることを特徴とする請求項１記載の顧客要求制御システム。
【請求項３】
前記疑似要求生成ノードは、前記ネットワーク利用情報からネットワーク利用に関する統計情報を算出し、算出した統計情報を用いて前記疑似的な顧客要求情報を算出することを特徴とする請求項２記載の顧客要求制御システム。
【請求項４】
各顧客が過去にネットワークを利用した際のトラフィック量を保存するトラフィック管理ＤＢをさらに備え、
前記報酬値判定ノードは、前記保存されたトラフィック量に基づいて、トラフィック予測モデルの訓練を行い、前記訓練された予測モデルを用いて前記報酬値を決定することを特徴とする請求項３記載の顧客要求制御システム。
【請求項５】
請求項１から請求項４のいずれかに記載の顧客要求制御システムによって訓練され、通信ネットワークを利用する旨の顧客要求が受け入れ可能であるか否かについてのＡＩ（Artificial Intelligence）による判定に用いられることを特徴とする強化学習モデル。

発明の詳細な説明【技術分野】
【０００１】
本発明は、顧客要求制御システムおよび強化学習モデルに関する。
続きを表示（約 1,200 文字）【背景技術】
【０００２】
近年、通信事業者は、ある顧客に対し、例えば、VPN（仮想プライベートネットワークや仮想専用線）や専用線など、他の顧客から分離された通信リソースを提供する、高品質な通信サービスを提供している。
【０００３】
５Ｇ（第5世代移動通信システム）などでは、物理ネットワークを複数のスライスに分割するNetwork Slicingという形で、論理的に分離された通信リソースで構築されたモバイルネットワークを顧客に適用できることが可能となり、そのようなサービスへの期待が増加している（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００４】
3GPP TS23.501 System architecture for the 5G System (5GS)
5G Network Slice Admission Control Using Optimization and Reinforcement Learning
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、通信事業者が有するルーター、サーバー、回線などの通信リソースには、限りがあるため、あらゆる時刻であらゆる顧客のリクエストを受け入れることは難しい。そのため、顧客から受領した通信サービスの利用リクエストに対して、動的に提供可否を決定する必要がある。
【０００６】
今まで、そのような提供可否の判断は、その業務に携わる営業や技術の人間が実施していたが、リアルタイムに判定し提供可否を決定することが可能なシステムの導入が求められている。
【０００７】
また、近年では、AI（Artificial Intelligence）技術を適用し、顧客からの通信サービスの利用リクエストを制御する試みが行われており、特に強化学習を用いた手法の開発が行われている（非特許文献２）。
【０００８】
このように、強化学習による顧客からの通信サービスの利用リクエストへの制御が理論的に実施できると明らかになってきた一方で、強化学習を運用システムへ導入するための具体的な構成は、まだ明確にされていない。
【０００９】
特に、強化学習においては、訓練を行うためのシナリオとエージェントの決定に対する報酬の決定が重要な要素となり、それを実際の運用システムにおいて導入することが必須である。
【００１０】
また、訓練を行うためのシナリオ（疑似的なデータ群）においては、過去の顧客からのリクエストの情報を元に作成する必要があり、さらに、強化学習における報酬値の決定に関しては、顧客のネットワーク利用量を予想し、実際のネットワーク帯域を超えないことを確認する必要がある。
（【００１１】以降は省略されています）

関連特許