湖北邮电规划设计有限公司 湖北武汉 430023
摘要：近年来，云计算极大地促进了高性能计算和大数据应用，例如，数字医疗、智能交通、智能制造等的普遍应用和推广都受益于云计算。随着物联网和虚拟现实等应用的兴起，云计算需求呈指数增长。不仅如此，云用户对云服务质量的要求越来越高，尤其在线交易、传感数据交互等延迟敏感的业务要求严格的服务质量保证。
关键词：云计算；虚拟机调度；强化学习；优化模型
引言
虚拟机资源调度中一个虚拟机实例是多资源的组合，不同类型的虚拟机实例所包含的CPU数量、内存大小和存储容量不同；其次，每个用户占用虚拟机资源的时长也是随机化的，而且用户到达云计算系统也是随机性的；此外，云系统一般可以同时调度多个虚拟机实例，面对各种虚拟机类型，如何确定调度的虚拟机类型以及数量等才能满足用户业务的延迟要求、提高用户体验具有很大挑战性。为了满足延迟敏感业务的服务质量要求，有必要探索一种延迟感知的、能够根据云计算环境的变化而自适应地作出优化调度的虚拟机资源调度方法。强化学习是一种基于环境而行动的数学优化工具。通过学习，决策者能够根据环境的变化选择优化的动作来达到目标最大化。因此，基于强化学习的虚拟机资源调度方法值得深入探索。
1 系统建模
强化学习是求解优化问题的有效工具，近年来受到了广泛地关注。强化学习强调如何基于环境而行动，以取得最大化的预期效益。强化学习模型主要包括3个核心组件：策略、即时奖励和价值函数。策略是指在指定环境下的决策行为；即时奖励是对指定环境下的决策行为执行之后的即时评价，评价标准是看该行为是否能引导此后的行为达到目标最大化；而指定状态下的价值函数是从该状态开始的长时间奖励的期望。强化学习的目的就是通过学习如何根据环境的变化选择优化的动作来最大化价值函数。虚拟机资源调度决策过程可以看作是在强化学习环境中选择哪类虚拟机以及数量的调度行为，从而达到优化性能的目的，因此基于强化学习来优化虚拟机资源调度是可行的。虚拟机资源调度任务模式如下：
（1）每当有虚拟机任务到达时，按虚拟机任务的资源需求将其放入系统对应的缓存队列，例如，第v类虚拟机任务进入第v个虚拟机队列；（2）在每个调度时隙的开始时刻，调度系统感知云计算环境的状态，包括当前正在调度的任务，队列长度等，将状态信息、虚拟机配置数组和价值函数作为强化学习策略中决策代理的输入；（3）决策代理基于贪婪算法选择优化的调度策略，并将其输出给虚拟机资源调度器；（4）调度器根据调度策略执行虚拟机任务调度。在完成一个时隙的调度后，感知最新的云计算环境状态和服务质量、并对行为进行奖赏，将其作为下一轮决策的输入。通过不断的状态感知、决策、调度和奖赏，即（2）～（4）的循环，就可以达到长期的满足虚拟机任务的服务质量要求的目的。
2 数字虚拟机资源调度平台管理
契合信息管理系统虚拟机资源调度平台管理发展需要，信息管理系统虚拟机资源调度平台管理制度包括：数字虚拟机资源调度平台收集制度、数字虚拟机资源调度平台归档制度、数字虚拟机资源调度平台保管制度以及数字虚拟机资源调度平台归档范围、数字虚拟机资源调度平台保管期限等。在信息管理系统虚拟机资源调度平台管理中数字虚拟机资源调度平台具有重要的应用价值，希望能够引起更多信息管理系统对数字虚拟机资源调度平台应用的重视，不断推进信息管理系统虚拟机资源调度平台管理信息化建设进程，使得信息管理系统虚拟机资源调度平台管理工作为信息管理系统发展提供更多助益。
云计算虚拟机资源在开展调度管理期间，设备以及环境管理在该项工作中是一个非常重要的内容，因此需要结合有关规范要求，对第三方硬件设备进行更加精准全面的评价。同时还要对虚拟机的运行状况进行相关评价。如果在评价期间发现监测数据中出现问题，就要对其快速进行记录和处理，在没有获得商家授权的状况下，对所有设备而言，不能随意进行拆卸、调整替换配件等操作，同时也不能随意加入其他设备。为更好保护系统的安全稳定运转，就要对工作人员的操作进行规范化，做到责任落实到个人，保证云计算室内的温度属于正常状态，并且不会受到磁场干扰等。通常情况下，对云计算虚拟机资源进行开发过程中是企业最为严密的内容，企业需要规避不必要的损害发生，要不断加大安全管理力度。对于员工而言，该项目有关工作人员对企业相关制度要熟练掌握，并且严格根据这些内容保护企业权限，同时还要落实保密制度。对于信息数据而言，其在储存以及传输期间，需要结合有关工作流程，严格执行保密工作程序。在该信息出入库过程中，需要设置安全权限，针对全部出入库的操作内容需详细记录下来，并且在云计算当中可以适当的运用些保密码。其次，在保密室内可以安置监控摄像装置，对员工日常工作内容以及行为进行实时监控，并且要在云计算内部安置监控虚拟机，主要作用就是对工作人员每一项操作记录进行监督把控，如果云计算内出现过于敏感的数据信息，为了避免该信息出现泄露情况，就要对其进行断网处理。另外也可以运用网络防火墙以及口令等方法，进一步将安全管理水平提升上来。另外一方面，在开展调度管理期间，需要熟练运用科学以及高科技的调度设备和检验方式，并且还要仔细、严格的对调度设备进行检验工作。这样的情况下才可以更好保护调度设备的稳定运转，以免因为设备出现故障而造成各种各样的问题，以至于重要的信息数据遗漏。
云计算虚拟机资源项目开展调度管理过程中，其核心内容就是虚拟机的测试管理工作，该项工作既可以表现出该资源调度管理的智慧以及精华，又是资源调度管理工作当中的重要一部分，任何一部分都不可缺少。对于虚拟机测试管理而言，该项工作最终的目标是运用各种有效的方法，把虚拟机在系统运转中可能出现的问题和风险快速找到，并且运用虚拟机测试，对每一项虚拟机系统的稳定运转提供有效保证，并且还可以保护该数据的安全稳定性。其次，对于该技术而言，在虚拟机测试中运用调度管理，能够规避人为操作所带来的失误，既可以将该项管理工作水平提升，又可以将该项管理的优点和价值充分体现出来。随着当今科技的快速发展和进步，云计算虚拟机资源的调度技术也获得相应发展空间。该资源项目虽然在技术方面还有一些问题，但是只要科学合理的进行解决，就会使调度管理水平越来越高，目前调度技术逐渐运用到社会各个行业以及领域当中，人们对于该技术的重视程度也有所提升，同时也在不断深入该技术的探究工作，逐渐将该技术具体化。在新形势的发展下，数据计算的精准性能够确保云计算虚拟机资源调度管理工作逐渐趋向稳定性，并且还能达到调度数据信息的精准性，这样才有利于该虚拟机调度真正成为一个全面合理且科学的系统，推动目前调度技术的快速发展和革新。
结束语
与现有算法相比，对基于延迟的虚拟机调度优化问题进行了数学建模，并通过定义虚拟机配置数组的概念来将多资源多类的虚拟机资源调度问题转化为单维的决策问题。在此基础上，构建虚拟机资源调度强化学习模型，将延迟指标作为奖赏函数来学习优化策略，达到最小化平均任务完成时间的目的。在下一步的研究工作中，还需要进一步研究如何提高算法的学习效率，降低算法所需的状态存储空间。
参考文献：
[1]资源调度等待开销感知的虚拟机整合[J].李铭夫，毕经平，李忠诚.软件学报.2014（07）
[2]节能及信任驱动的虚拟机资源调度[J].刘永，王新华，王朕，隋敬麒.计算机应用研究.2012（07）
[3]基于虚拟机动态迁移的资源调度策略研究[J].王素芳.现代农业研究.2019（04）