程严兰
对外经济贸易大学，江苏 苏州 215000
摘要：随着移动互联网，物联网和云计算行业的深入发展，大数据国家战略的加速实施，大数据行业总量呈现爆炸性增长趋势，大数据的应用领域不断丰富。各行各业都在深入挖掘大数据的价值，研究大数据的深度应用。运维监控借助大数据实现自动监控。通过分析运维自动化监控与大数据技术相结合的几项关键技术，提出了基于大数据技术的运维监控框架，实现了运维监控的自动化。
关键词:大数据技术；自动化；运维监控
1 大数据时代运维监控领域面临的挑战
在大数据时代，大数据的特点是规模大，更新速度快，来源多样化，给运维监控领域带来了一系列挑战，例如海量监控数据收集，数据存储，数据分析，数据及时性等。
1.1 海量监控数据采集与存储性能挑战
传统的运维监控数据收集源单一，数据的存储，管理和分析量相对较小。它可以由关系数据库和并行数据仓库处理。在大数据时代，运维监控数据收集的来源多样化，包括主机，网络，操作系统，数据库，中间件，应用程序，服务调用和其他日志数据收集。数据收集方法和数据收集的及时性要求越来越高。同时，随着企业运维监控数据的迅猛增长，监控数据的存储无疑面临着巨大的性能瓶颈，给现有的数据库管理技术带来了巨大的挑战。传统的数据库部署无法处理多TB高级数据，也无法支持高级数据分析。数据量的快速增长将超过传统数据库的管理能力。其次，传统的数据库技术在设计之初就没有考虑数据的多样性，例如SQL（结构化数据查询语言）和非结构化数据。所有这些都给运行和维护监控领域的数据采集和数据存储技术带来了巨大的技术和性能挑战。
1.2 海量监控数据分析实时性技术挑战
一般来说，例如数据仓库系统和BI应用程序，对处理时间的要求不高。因此，对于这样的应用程序运行一两天以获得结果仍然是可行的。但是，在运维监控领域，需要实时监控7*24小时，以监控主机，网络设备，数据库，中间件，应用程序等的运行状态。实时监控是保证正常运行的保证。企业业务系统的运作。操作和维护监视可以生成毫秒级别的警告并发送命令。为了避免或减少企业的损失，加工领域的计算数据和运维监控的及时性很高。但是，随着企业规模的发展以及服务器，网络等设备的逐步增加，传统的数据分析技术和数据工具已经难以承载海量的监测数据。数据处理中存在严重的性能瓶颈。海量数据的计算和处理速度越来越慢，无法满足运维监控的实时性要求。否则，将导致无法及时监控企业生产的潜在异常风险，企业将面临巨大的损失。因此，在大数据时代，运维监控领域在大数据分析技术和实时数据分析方面面临着巨大的挑战，这是企业运维部门面临的又一个大问题。
2 基于大数据的运维监控框架
在大数据的背景下，海量监控数据的海量存储和实时计算需求给运维带来了严峻的挑战。并迫使运维监控框架实现转型升级：在底层大数据计算框架的基础上，构建上层运维监控的核心能力。
最底层的大数据技术框架：包括数据收集，数据存储，数据处理等技术。
（1）监控数据源：包括主机，网络，操作系统，数据库，中间件，应用程序，服务调用等日志数据收集；
（2）数据采集层：通过安装Agent，SNMP，自定义脚本，接口，ETL等数据采集技术，对监控数据进行提取，转换和加载。
（3）数据存储层：通过引入分布式数据存储和时态数据库TSDB等大数据存储工具，实现了海量监控数据的存储。
（3）数据处理层：通过MapReduce，flume，数据挖掘，机器学习等技术，实现了海量监测数据的高效实时计算。
上层运维监控能力：基于底层大数据技术，可以实现监控预警，历史数据统计分析，统一日志管理，故障自修复，大屏幕监控等功能。
（1）实现监控预警的能力包括告警策略配置，预警判断，预警发送，预警收敛，预警回调，预警屏蔽等能力；
（2）实现海量监测历史数据的分析：基于底层大数据的存储和计算能力，有助于运维人员分析海量历史数据；
（3）实现统一的日志管理：包括统一的采集，预处理，存储，计算，分析，可视化，应用程序调用链跟踪，应用程序性能分析等。
（4）实现故障的自我修复能力：基于大数据处理，数据挖掘，机器学习等技术，具有包操作维护经验，实现无人值守条件下的自动故障处理能力。
（5）实现大屏幕监控能力：运维人员和企业管理人员实现统一操作指令的大屏幕监控能力。
3 大数据关键技术与实现
在大数据时代，自动运维监控的快速发展需要先进的大数据技术的支持。大数据处理的关键技术通常包括：大数据收集，大数据预处理，大数据存储和管理，大数据分析和挖掘，大数据开发和应用（大数据检索，大数据可视化，大数据应用，大数据）。
3.1 大数据采集技术
在监视和维护领域的大数据采集过程中，主要特征和挑战是对宽源，高并发和高实时监视数据的需求。因此，迫切需要使用大数据采集技术来支持监视和维护的发展。大数据采集技术通过安装Agent，SNMP，自定义脚本，接口，ETL等数据采集技术，实现监控数据的提取，转换和加载。ETL是提取变换负载的缩写。
从主机，网络，操作系统，数据库，中间件，应用程序和服务调用日志的源中提取，转换和加载监视数据，然后进行处理和分析。运维监控人员从数据源中提取所需的数据，清理数据后，根据预定义的数据模型，最终将监控数据加载到数据仓库中，最后对数据仓库中的监控数据进行分析处理。
3.2 大数据存储技术
在大数据时代，传统的关系型数据库存储存在严重的性能瓶颈，无法满足日益增长的监控数据需求。创新的存储技术，通过引入分布式数据存储，时序数据库TSDB和其他大数据存储工具，可以存储海量的监视数据。分布式存储系统可以将数据存储在多个独立的设备上。分布式网络存储系统采用可扩展的系统结构，使用多个存储服务器来共享存储负载，并使用位置服务器来定位存储信息，从而提高了系统的可靠性，可用性和访问效率，并且易于扩展，实现了海量监控数据的存储。
3.3 大数据处理及挖掘技术
大数据分布式处理技术的主要计算模型包括MapReduce分布式计算框架，分布式内存计算系统，分布式流计算系统等。MapReduce是一个批处理分布式计算框架，可以并行分析和处理大量监控数据，非常适合用于处理各种结构化和非结构化数据。分布式内存计算系统可有效降低读写监控数据的成本，提高大数据处理性能；分布式流量计算系统是对监控数据流进行实时处理，以确保监控数据处理的及时性和价值，从而提高预警的实时性和准确性。
数据挖掘是指通过算法从大量数据中搜索隐藏信息的过程，这些算法包括分类，估计，预测，相关的分组或关联规则，聚类，描述和可视化，复杂的数据类型挖掘（text，Web，图形，图像，视频，音频等）。数据挖掘一般没有预设的主题，主要是根据现有数据根据各种算法进行计算，从而起到预测作用，达到一些高级数据分析的需要。例如，深入地挖掘和分析了大量的监视和预警信息以及警报处理方案。通过建立有效的数据挖掘模型，提取固定的报警处理方案进行容量封装，以实现运维故障的自动处理能力和无人值守故障的自愈能力。
4 大数据计算框架
在运维监控领域对海量监控数据的分析需要高性能计算架构和存储系统的帮助。Hadoop是用于开发和运行大规模数据处理的软件平台。它是Apache的开源软件框架，它实现了在由大量计算机组成的集群中对大量数据进行分布式计算。Hadoop框架的核心是HDFS，MapReduce和yarn。HDFS是一个分布式文件系统，可提供大量数据存储。MapReduce是一种分布式数据处理模型，提供数据计算功能。Yarn是一种资源管理和计划工具。基础文件系统HDFS（Hadoop Distributed File System）用于存储集群中所有存储节点的文件，以执行MapReduce程序的MapReduce引擎。
Hadoop具有以下优点：
（1）Hadoop拥有一点点存储和处理数据的高可靠性。
（2）Hadoop通过可用的计算机集群分发数据并完成存储和计算任务。它可以轻松扩展到数千个节点，并且具有很高的扩展性。
（3）Hadoop可以在节点之间动态移动数据，以确保每个节点的动态平衡。处理速度快，效率高。
（4）Hadoop可以自动保存数据的多个副本，并可以自动重新分配失败的任务，具有较高的容错能力。
因此，Hadoop大数据计算框架有助于解决海量运维监控数据的存储和计算问题，从而有效提高运维监控的实时性能和高并发数据处理能力。
5 结论
在大数据时代的背景下，海量监控数据的增加给运维自动化监控领域带来了巨大的挑战。面对海量数据存储和海量数据分析，传统的运维监控存在严重的性能瓶颈，迫切需要通过技术创新进行改造和升级。结合大数据技术，引入大数据计算框架，利用大数据采集，大数据存储，大数据处理和挖掘技术，构建上层运维监控的核心能力。最后实现了智能监控实时预警，海量历史数据统计分析，统一日志管理，故障自修复，大屏幕监控等功能，提高了预警的实时性和准确性，确保了预警系统的稳定运行。
参考文献：
[1]大数据时代. 维克托.迈尔,舍恩伯格.肯尼思.库克耶,盛杨燕,周涛,译.杭州.2012。
[2]大数据平台的自动化运维与监控技术探析.梁晓雪,王锋.云南大学学报:自然科学版 . 2009.
[3]监控技术在大数据平台中的应用研究.石敏.武汉理工大学.2014.
[4]基于大数据平台的自动化运维及监控技术研究[J].宋跃明,谢科军.数字技术与应用用.2017(06).
[5]基于大数据平台的自动化运维及监控技术研究[J].曾怡.科技创新导报.2018(25)
[6]叶枝平，苏立伟，杨秋勇，等.基于大数据平台的营销监控自动化运维探索研究[J].电子世界，2019，41（22）：30-32.
[7]王二辉，周高强，李英杰，等.基于大数据平台的自动化运维及监控技术研究[J].通讯世界，2020，27（1）：158-159.
[8]刘树来.数字化营销业务监控体系建设[J].大众用电，2020，35（1）：15-16.
作者简介:
对外经济贸易大学统计学院在职人员高级课程研修班学员程严兰,女,1992年5月,汉族,江苏盐城,本科,研究方向:大数据分析与应用。