摘要:传统的网络安全分析模式已经不能满足网络信息安全的需求,亟需引进新技术进行改进。基于此,本文从网络安全分析的现状以及大数据技术的概念入手,分析了网络安全分析中的大数据技术应用,然后基于大数据技术,构建了网络安全分析系统,以此来保障网络信息的安全。
关键词:网络安全分析;大数据技术;应用
随着网络在人们生活中的普及,网络安全问题也越来越严重,受到了人们的重视。网络安全不仅会对个人信息安全造成影响,还会对国家机密信息安全造成影响。而大数据技术的出现使网络数据的增长速度越来越快,网络数据也越来越多,这在很大程度上加大了网络安全管理的难度,还对传统的网络安全模式提出了挑战。因此,需要将大数据技术应用于网络安全分析中,确保大数据时代网络的安全。
1网络安全分析中的大数据技术概述
1.1网络安全分析现状
随着科学技术的不断发展,IT的架构越来越复杂,出现了很多不同的应用,使得数据与业务越来越集中、在这种发展趋势下,网络与应用之间的界限越来越模糊,传统的网络安全设备已经不能保障整个系统或者网络的安全。就目前的发展状况来说,基于网络流量以及日志等数据的安全分析虽然趋于成熟,但是这种安全分析方式需要保留大量的数据,需要花费很高的成本。因此,要想对云计算平台或者网络进行全面的安全分析,就要从全局的角度出发,获取网络数据包、用户相关信息业务信息以及漏洞信息等多种网络安全分析所需的数据。但是,这些数据的类型不仅包括结构化,还包括半结构化以及非结构化,而且数据产生的速度非常快,总体呈现出大数据的特征,传统的网络安全分析方法已经不能处理大数据,因此,需要应用大数据技术进行网络安全分析。
1.2大数据技术概述
大数据具有海量、多样化、生成速度快等特点,使用传统的数据体系架构很难对大数据进行有效的处理。就资源角度来说,大数据技术属于新资源,展现了一种全新的资源观;就技术的角度来说,大数据展现了一种全新的数据处理和分析技术。大数据技术是指挖掘大数据中的价值并将其展现的技术和方法,主要包括数据采集技术、数据预处理技术、数据存储技术、数据分析挖掘技术以及可视化技术等。
2网络安全分析中的大数据技术应用
目前来说,网络安全分析的主要内容就是日志数据以及流量数据,大数据技术可以将日志数据以及流量数据聚集在一起,利用大数据的采集以及挖掘功能高效存储聚集的数据,然后使用大数据技术检索并分析这些数据,如果发现了数据中存在安全隐患,大数据技术会采取相应的措施排除掉安全隐患,从而保障网络安全。网络安全分析中使用大数据技术,不仅会减少网络安全分析的时间,还会避免信息的泄露或者丢失,将传统的被动防御转变为主动防御。总的来说,大数据技术在网络安全分析中的应用,主要包括以下几方面的内容:
第一,数据信息的采集。大数据技术可以通过相关工具的使用进行数据信息的采集,主要通过分布采集的方式进行日志数据的采集,这种采集方式的效率非常高;使用数据镜像采集的方法进行流量数据的采集,这种采集方式非常全面。
第二,数据信息的存储。大数据不仅数量比较多,而且种类比较复杂,应用方式比非常多,要想满足网络安全分析对于大数据存储的要求,提高网络安全分析的速度,就要使用不同的存储方法进行不同种类数据的存储。其中,对于流量历史数据或者日志信息数据等内容检索需要的原始数据,可以使用Hbase等方式进行存储,这种方式的检索速度非常快;对于经过处理之后的安全数据,可以使用Hahoop分布的方法进行数据的构架计算,然后将计算的结果存储于列式存储中;如果安全数据需要采取实时分析,可以使用Spark或者Stom等流式计算的方式,对安全数据进行计算分析,然后将结果存储于列式存储中。
第三,数据信息的检索。对于安全数据的检索来说,可以通过某种检索架构来实现,该架构需要将MapReduce作为基础,用户将具体的检索条件输入之后,该架构会将检索信息传输到分析节点进行加工处理,然后再使用分布式的计算方式,以此来提高检索的速度。
第四,数据信息的分析。对于实时数据来说,可以使用Spark或者Stom等流式计算的方式作为基础,结合电联分析以及CEP技术,进行实时数据的分析和监控,这种分析方式可以有效捕捉到网络中的异常行为;对于非实时数据来说,可以使用分布式计算以及存储的方式,同时结合多种数据处理技术,进行深层次的数据离线处理,从而实现数据信息的风险分析和攻击源头的查找。
3网络安全分析系统中的大数据技术应用
3.1网络安全分析系统的架构
网络安全分析系统主要分为数据采集层、数据存储层、数据分析层以及数据呈现层。其中,数据采集层主要应用分布式计算方式进行用户信息以及安全时间信息的采集;数据存储层主要应用分布式计算方式长久存储数据信息,该层可以存储所有类型的数据信息;数据分析层主要负责数据的关联分析和特征掌握,以此来发现安全事件和异常网络行为;数据呈现层主要负责数据分析结果的呈现,该层可以从多个角度进行网络安全状况的呈现。
3.2网络安全分析系统中的大数据技术
本文从网络安全分析中的大数据应用入手,构建了网络安全分析系统,该系统可以有效进行网络安全分析、维护网络安全,大数据技术在网络安全分析系统中的具体应用如下:
第一,数据采集技术,网络安全分析系统中的数据采集技术主要通过Storm形式、Kafka形式以及Flume形式来进行数据采集。其中,Flume主要用来进行安全数据的采集,并将安全数据进行整合以及传输,该过程具有可靠性和可用性比较高的优点,然后进行数据的定制,确保数据的发送者可以采集到不同来源的数据;在进行流式数据的加工时,Kafka主要作为数据采集与流式数据加工之间的缓存阶段。
第二,数据存储技术,网络安全分析系统中的数据存储主要依靠HDFS来实现,该技术具有容错性比较高以及吞吐量比较大的特点,从而使数据信息被完整且安全地存储起来。
第三,数据分析技术,网络安全分析系统主要使用Hive方法进行数据的分析,该方法中的HiveQL语言能够帮助HDFS进行非结构式数据的检索。另外,该技术可以按照数据信息的类型进行分析,然后分别建立结构化数据安全事件的关系序列库;半结构化数据安全事件的关系序列库以及非结构化数据安全事件的关系序列库,以此来使数据更加复杂,从而降低数据的安全风险。另外,该技术还可以在海量的数据信息中发现安全隐患,这样相关人员就可以消除安全隐患,确保网络的安全。
4结语
综上所述,大数据技术可以有效提高网络安全分析的效果。分析可得,通过对网络安全分析中的大数据技术应用研究可知,在网络安全分析中运用大数据技术,不仅可以减少数据信息存储的费用,扩大数据库的容量,同时,大数据技术还可以提高网络安全的防御能力以及保护能力,从而保障我国网络的安全。希望本文可以为相关人员研究网络安全分析中的大数据技术应用提供参考。
参考文献:
[1]唐明双.大数据时代计算机网络安全技术的运用[J].黑龙江科学,2019,10(24):108-109.
[2]王云哲.网络安全分析中的大数据技术应用[J].数字通信世界,2019(12):193.
[3]沈振华.基于大数据技术的计算机网络安全问题分析[J].电子技术与软件工程,2019(10):199.