蜂窝网络上行传输资源协同分配方法及装置

本发明涉及无线通信，尤其涉及一种蜂窝网络上行传输资源协同分配方法及装置。

背景技术：

1、随着计算智能技术的发展，深度强化学习算法已逐渐被应用在移动通信领域，这类算法能够解决动态时变环境下的蜂窝网络上行传输资源优化策略问题。

2、柔性动作-评价(soft actor-critic，sac)算法是一种基于深度强化学习框架的计算智能优化算法，该算法能在最大化系统回报的同时最大化策略的熵，算法因鼓励探索具有很好的稳定性，可为连续区间的策略优化提供有效的解决方案。

3、sac算法是一种典型的离线深度强化学习算法，算法通过从过往的经验中学习而更新神经网络参数，即在训练过程中通过智能体与环境交互产生新的经验元组并存入经验回放池，经验回放池需要收集到足够多的经验元组才能从中抽取小批量进行网络参数的更新。

4、然而，算法与环境交互产生经验元组的代价很高。因此，如何减少智能体与环境交互的代价已经成为提高算法训练速度和可用性的瓶颈问题之一。

技术实现思路

1、本发明提供一种蜂窝网络上行传输资源协同分配方法及装置，用以解决现有技术存在的缺陷。

2、本发明提供一种蜂窝网络上行传输资源协同分配方法，包括：

3、基于蜂窝网络中的上行系统数据速率、所述蜂窝网络的公平性指数以及所述蜂窝网络中子信道切换次数，构建所述蜂窝网络中上行传输资源协同分配的初始优化问题模型；

4、确定所述初始优化问题模型对应的收益函数、状态空间以及动作空间，并基于所述收益函数、所述状态空间以及所述动作空间，确定所述初始优化问题模型对应的初始经验元组；

5、基于优化问题的等价性，将所述初始优化问题模型等价转换为目标优化问题模型，并基于所述等价性，对所述初始经验元组进行增广，得到目标经验元组；

6、基于所述目标经验元组，采用柔性动作-评价算法，对所述目标优化问题模型进行求解，得到所述蜂窝网络中的上行传输资源协同分配方案。

7、根据本发明提供的一种蜂窝网络上行传输资源协同分配方法，所述等价性基于对称群确定，所述对称群中元素位置的置换基于双行表示。

8、根据本发明提供的一种蜂窝网络上行传输资源协同分配方法，所述基于所述等价性，对所述初始经验元组进行增广，得到目标经验元组，包括：

9、将所述初始经验元组中的所述收益函数、所述状态空间以及所述动作空间均作为所述对称群中的元素进行位置置换，生成多个新的经验元组；

10、基于所述多个新的经验元组，对所述初始经验元组实现数据增广，得到所述目标经验元组。

11、根据本发明提供的一种蜂窝网络上行传输资源协同分配方法，所述将所述初始经验元组中的所述收益函数、所述状态空间以及所述动作空间均作为所述对称群中的元素进行位置置换的过程为多轮迭代过程，每轮迭代产生的新的经验元组的个数逐渐减少。

12、根据本发明提供的一种蜂窝网络上行传输资源协同分配方法，所述状态空间以及所述动作空间的确定过程，包括：

13、获取所述蜂窝网络在不同时隙各子信道对应的占用状态信息、增益信息以及终端剩余能量信息，并基于所述占用状态信息、所述增益信息以及所述终端剩余能量信息，确定所述蜂窝网络在所述不同时隙的状态空间；

14、获取所述蜂窝网络在所述不同时隙各基站的子蜂窝网络对应的发射功率信息、功率转换效率信息以及有效通信时长信息，并基于所述发射功率信息、所述功率转换效率信息以及所述有效通信时长信息，确定所述蜂窝网络在所述不同时隙的动作空间。

15、根据本发明提供的一种蜂窝网络上行传输资源协同分配方法，所述基于蜂窝网络中的上行系统数据速率、所述蜂窝网络的公平性指数以及所述蜂窝网络中子信道切换次数，构建所述蜂窝网络中上行传输资源协同分配的初始优化问题模型，包括：

16、基于所述蜂窝网络在所述不同时隙的上行系统数据速率、所述蜂窝网络的公平性指数以及所述蜂窝网络在所述不同时隙的子信道切换次数，构建包含有所述不同时隙的目标时间段的所述初始优化问题模型；

17、其中，所述初始优化问题模型的优化目标为决策函数的最大值，所述决策函数基于所述目标时间段内所述上行系统数据速率、所述公平性指数以及所述子信道切换次数确定；所述决策函数的决策变量包括所述蜂窝网络在所述不同时隙各基站与其子蜂窝网络中的终端之间的消耗功率、功率转换效率以及有效通信时长。

18、本发明还提供一种蜂窝网络上行传输资源协同分配装置，包括：

19、问题模型构建模块，用于基于蜂窝网络中的上行系统数据速率、所述蜂窝网络的公平性指数以及所述蜂窝网络中子信道切换次数，构建所述蜂窝网络中上行传输资源协同分配的初始优化问题模型；

20、经验元组确定模块，用于确定所述初始优化问题模型对应的收益函数、状态空间以及动作空间，并基于所述收益函数、所述状态空间以及所述动作空间，确定所述初始优化问题模型对应的初始经验元组；

21、经验元组增广模块，用于基于优化问题的等价性，将所述初始优化问题模型等价转换为目标优化问题模型，并基于所述等价性，对所述初始经验元组进行增广，得到目标经验元组；

22、资源协同分配模块，用于基于所述目标经验元组，采用柔性动作-评价算法，对所述目标优化问题模型进行求解，得到所述蜂窝网络中的上行传输资源协同分配方案。

23、根据本发明提供的一种蜂窝网络上行传输资源协同分配装置，所述等价性基于对称群确定，所述对称群中元素位置的置换基于双行表示；

24、所述经验元组增广模块，具体用于：

25、将所述初始经验元组中的所述收益函数、所述状态空间以及所述动作空间均作为所述对称群中的元素进行位置置换，生成多个新的经验元组；

26、基于所述多个新的经验元组，对所述初始经验元组进行增广，得到所述目标经验元组。

27、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的蜂窝网络上行传输资源协同分配方法。

28、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的蜂窝网络上行传输资源协同分配方法。

29、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的蜂窝网络上行传输资源协同分配方法。

30、本发明提供的蜂窝网络上行传输资源协同分配方法及装置，该方法首先构建蜂窝网络中上行传输资源协同分配的初始优化问题模型；然后确定初始优化问题模型对应的收益函数、状态空间以及动作空间，确定初始优化问题模型对应的初始经验元组；此后基于优化问题的等价性，将初始优化问题模型等价转换为目标优化问题模型，并对初始经验元组进行增广，得到目标经验元组；最后通过目标经验元组，采用柔性动作-评价算法，对目标优化问题模型进行求解，得到蜂窝网络中的上行传输资源协同分配方案。该方法由于对初始经验元组进行增广，可以实现柔性动作-评价算法初期对经验元组的多样性需求，提高算法的训练速度，进而能够取得更快的传输资源协同分配效率。