莫海斌
广东卓维网络有限公司 广东佛山 528200
摘要：当前我国大数据技术发展迅速,计算机技术也已经进入智能化时代,随着海量的数据产生,运用智能计算机为依托,通过大数据技术与云计算技术对数据进行分析和处理,有助于获取有价值的数据及内容。大数据处理平台是大数据搜集信息的重点,大数据能够搜集海量的数据信息,并且可以存储海量数据,这对于各行各业的发展而言,有着极为重要的促进作用。本文基于大数据平台下简要分析自动化运维及监控技术,根据大数据平台面临的挑战,提出相应的解决对策。
关键词：大数据平台；自动化；运维；监控技术；研究；
引言
在计算机技术的应用中，通过软件等一系列非人为方式的操作与控制类型，就是所谓的自动化运维。自动化运维技术的应用，在提高运维工作效率的同时，也减少了因人为失误所造成的损失。基于当前计算机软件技术发展水平的限制，并不能够真正意义上实现运维工作的完全自动化，在自动化运维实现的过程中，需要借助科学的运维管理方法，在一定的原则下，使数据中心能够完成自我运行和维护。
一、大数据平台运维体系
在大数据背景下的自动化运维平台，是结合多元化的手段、方法、技术、流程、制度以及文档等对相应软件进行系统、运营环境以及相关人员等众多资源进行自动化管理的新型管理模式。大数据背景下的平台与传统概念的信息系统在工作侧重点上有着巨大的差异，具体从以下几个方面体现。
1.1平台架构
分布式调任务、部署工具、分布式文件系统、分布式数据库、计算机引擎、资源管理器、作业调度以及数据仓库等都是大数据平台自动化运维体系的基本架构，主要是通过使用PC端服务器搭建处一个大数据集群，以便于拓展、搭建以及维护大数据背景下的相关集群，并通过科学合理的相关设置，将多元化的方法、手段、技术、流程、制度以及文档等组织服务安排到各大服务器上，以此来起到响应众多服务器的相关信息要求的目的。
1.2平台运维任务
大数据自动化运维平台，主要是通过大量的服务器集群所构建而成的，而传统的信息系统则是由一台或者几台服务器所构建而成。但随着科学技术和模拟技术的逐渐完善和大范围运用，各大服务器大量涌现，传统的信息处理系统已然无法满足当前信息市场的相关需求，从而导致了大数据自动化运维平台的研发。
1.3运维团队构建
组建运维团队是大数据平台运维任务的基础也是工作重点，运维团队人员必须具有较高的专业技能与综合素养、实践动手操作能力。运维团队通常由负责人和平台架构师、硬件安装维护人员与软件技术人员组成。架构师主要负责大数据运维平台的应用软件环境，而软件维护人员则负责软件设备的安装与维护。
二、大数据平台涉及的技术
2.1体系架构
当前我国市场经济发展迅速，大数据平台在各行各业中都有一定的应用，大数据会对各类数据与信息进行综合分析及处理，分析数据中蕴藏的影响因素以及关联性因素，并且可以对蕴藏的因素进行单独分析。将数据中蕴藏的有利因素和不利因素进行剥离分析，有助于提高数据利用价值。
2.2大数据的建模和存储技术
（1）大数据建模技术
要解决大数据的统存储、管理及高效分析处理,需要解决多源、分布和异构数据整合问题。层次关系网状联通和对象的面向性是现行阶段下数据建模的主要讨论点。在这些应用了本体大数据建模方法形式中大数据管理中的困境更容易体现。大数据特征为出发点统一归纳总结关系将数据抽象画处理,最终实现大数据的建模完整是大数据统一建模的几个步骤。具体有三类信息是大数据分析过后需要被定义的三类关键信息:大数据的根本信息、功能性问题信息、协调联动机制信息。
大数据的特征不同会引起分类聚合的效果,在顶层数据信息的结构化中结构化和非结构化均有较大差异对数据的研究一般会按照一定条件如时间、而后进行分析应用。
（2）自动化运维模型的接口
大数据平台运维接口在类型搜索中起到了极为重要的作用，接口方式能够将不同的数据有效的与大数据平台连接，避免了传统单一数据类型，只能够单一接口有效解决多接口问题以及数据制造难题，应用自动运维接口进行自动化管理技术师对中心数据进行监测。
2.3自动化运维功能设计
应用自动化运维技术可以对三类数据进行综合监测，并且共同展示，在处理数据时应当将所要运维的东西具体的展示出来，设置不同的功能，然后根据数据目标特点运用细化技术，将处理平台分成若干个功能区，主要包括巡查管理与运维监控、设备管理与知识库管理、第三方平台接入。巡查管理主要是值班人员在填写表格时，根据大数据平台监控的数据系统维护进行填写，下一批人员上岗时再将表格进行交接，有助于提高管理效率。应用可视化技术，将大数据表达以图形或者是图像的形式展示出来，并且应用图像或图形进行实时展示数据的变化，系统人员也可以利用服务器及时有效的查询服务器信息，但是这些工作都必须以流程细化和平台集中化为依托。将各类技术知识进行归档，有助于技术人员在日后查询技术时方便快捷，切实提高问题解决效率。应用运维技术进行数据发展和管理，通过设置简单的平台建设，降低接入要求，能够对文件信息予以加密，可以将文件保存在存储中心中，以一般的形式存储便可。应用云计算模式进行数据存储，构建大数据中心，对重要数据与一般文件进行加密保管，有助于确保大数据处理效率和质量。
三、数据处理因素
3.1数据的安全性
具体方案是可以通过对流媒体数据实现到了国家密码管理局认证的加密和解密;在前端实现硬件加密,完成对网络高清流媒体的加密;在后端解密时采用混合应用方式，及双重密钥，除了软件解密还必须通过硬件才能实现解密，防止单一软件加案方式可能被破解的风险。既给用户带来了方便,也提高了监控的安全性。
3.2数据的处理
大型监控系统的重要指标之一就是视频数据的智能分析的有效性即如何对视频数据进行分析处理提取及信息挖据。
3.3监控系统的元余问题
传统的监控系统中对视频数据的存储结构较复杂，利用效率低利用虚拟化计算及分布式存储可以提高系统的可靠性，减少系统的冗余度。
3.4降低投资成本
大数据技术架构中，硬件匹配是最为基础的在此过程中，可以根据系统软件技术为投资成本提供全方位的保障。
3.5视频处理分析
大数据架构师进行视频处理分析的重要保障也是基础，视频存储渠道极为宽泛，所以也进一步实现了大数据的大范围挖掘，有助于提高视频的处理效率。
四、结束语
在可预见的未来，运维角色在整个互联网运行体系中将变得越来越重要，而这种重要性的提升关键在于运维角色在整体的技术架构中的参与度及所处位置的提升。自动化运维的兴起，将以往传统运维服务上处于幕后的运维人员带到了体系架构中的服务前沿，将运维人员从以往简单的追查故障、保障服务的运维工作中抽离。随着自动化运维技术的发展，运维人员将会有更多精力、条件，投入到整个服务架构的梳理和设计中去，甚至可以通过提供基础组件的方式参与到研发过程，使得产品一上线就带有较高的运维性。总之，实现运维自动化是指通过将运维中日常的、大量的重复性工作自动化，把过去的手动执行的过程通过程序的方式转为自动化操作。运维自动化不单纯只是一个服务维护过程，更是一个管理的提升过程，自动化是运维工作的升华，是运维的较高层级，也是未来的发展趋势。
参考文献
［1］李战怀,王国仁,周傲英.从数据库视角解读大数据的研究进展与趋势[J].计算机工程与科学,2013,35(10):1-11.
［2］李芬,朱志祥,刘盛辉.大数据发展现状及面临的问题[J].西安邮电大学学报, 2013,18(5):100-103.
［3］林青.云领安防大数据时代:安防大数据时代下的视频监控解决之道[J].中国安防,2013,9:39-42.