论大数据在企业信息化中的运用及实践

发表时间:2021/7/12   来源:《科学与技术》2021年3月8期   作者:郑琴舒 饶万玲
[导读] 随着科学技术的迅速发展,信息化水平在不断提高,人类社会已迈入数字信息化时代
        郑琴舒  饶万玲
        云南电网有限责任公司瑞丽供电局  云南瑞丽678600
        摘要:随着科学技术的迅速发展,信息化水平在不断提高,人类社会已迈入数字信息化时代,目前在许多领域已出现大数据的身影。从企业未来信息化发展趋势分析,大数据将成为重要的生产要素和战略资产,必将给企业带来巨大的收益。通过对大数据的深入分析,掌握数据处理方法,充分挖掘大数据的利用价值,使大数据在企业信息化管理中发挥重要的作用,本文就大数据在企业信息化中的运用及实践进行论述。
        关键词:大数据;企业;信息;运用
        1.企业数据分析处理现状
        目前企业大多都是采用传统的数据分析处理模式,每个业务系统的数据都是存储在独立的数据库中。当用户同时用到其中某几个系统的数据时,就需要手动从这些系统数据库中去导出,然后再安排人进行相应的处理。或者由高技术人员通过系统的接口数据信息,将某一系统的数据调用到另一系统中来运用,而这对技术人员的技术水平要求是很高的。企业传统的数据分析处理模式存在着过度依赖人力资源的现象,如今随着大数据技术的诞生,可将所有业务系统的数据进行汇聚集中,统一管理,将数据分析处理等工作交由系统去完成,减少过多的人工干预活动,确保了分析数据的准确性和真实性。解决了企业数据壁垒问题,充分挖掘了数据价值。
2.大数据结构及特点分析
        大数据顾名思义就是数据量很大,大数据包含多种结构,它的多种结构也就使其具有多重特性,如:海量性、高速性、多样性、易变性。大数据结构分为结构化、半结构化和非结构化三种类型。在所有数据中非结构化数据占了主要部分,其中,结构化数据是存储于同一个数据库中的数据,属于结构化存储,可由数据库二维表结构来进行逻辑表达,严格地遵循数据格式与规范,是一种“有模式”的数据。半结构化数据是一种适于数据库集成的数据模型,是存储在多个数据库中的数据。相对于“有模式”的数据表现得比较灵活,具有数据结构自描述性、复杂性、动态性的特点。而非结构化数据是没有逻辑结构的数据,是不能用数据库二维表来表达的,例如我们办公的所有格式文档、各类报表、图片、音视频信息、XML文件、HTML文件等都属于非结构化数据。
3.大数据的运用分析
        在企业生产活动中,系统数据都是分散存储在不同的数据库中,在过去用户想要从海量的数据中提取出所需的数据,这就需要花大量时间进行拆分、归并、统计及填报,这一工作会花费很多的人力物力。然而,通过采用大数据技术,将存储在不同数据库中的数据经过汇聚、提取、转换、加载等一系列的处理过程后,在用户有需求时供用户提取,其数据汇聚处理过程如图1所示。


        其中,数据层(DataBase)简称DB,是指企业现有的数据库,是存储各类业务系统的数据,有SQLserver、MySQL、PostgreSQL等多种类型的数据库,DB是ETL的数据来源,ETL,是英文Extract-Transform-Load的简称,是一种过程表示,是用来描述数据从源端到目的端的整个过程,也就是DB数据经过抽取(extract)、转换(transform)、加载(load)等一系列的过程。
        贴源层(Operational Data Store)简称ODS,是将OLTP(联机事务处理)数据通过ETL过程同步到数据仓库,并为数据仓库提供基础的数据来源。在这一过程中,数据经过了一定的处理,将不同类型的数据进行整合,比如字段的统一,垃圾数据的清理等,但是数据的粒度是不会发生变化的。ODS是多个业务数据存储的地方,是属于操作型数据存储,ODS数据库的数据结构与业务系统数据库数据结构是一致的。ODS的数据分析基本只对数据层面的数据进行基础的分析。
        数据仓库(Data Warehouse)简称DW ,是一个很大的数据存储集合,是用于存储经过处理过的数据,DW保存着所有从ODS到来的数据,并进行长期保存,DW的数据不会被修改,可为企业提供分析性报告和决策支持。DW对多样的业务数据进行筛选与整合,能反映历史变化的数据,DW的数据分析涉及到了业务模型的分析。
        数据集市(Data Mart)简称DM,是为了特定的用途或使用范围而创建的,是从数据仓库(DW)中提取出来的一部分数据,它不用考虑整体的数据架构和应用,每个应用都有自己的数据集市(DM)。这些数据集市(DM)也就是用户最终需要的数据。
        整个数据汇聚过程是将所有数据库中的数据通过ETL、贴源层、数据仓库、数据集市等几个环节,完成数据建模,最终到达数据集市,当用户有需求时可以直接在数据集市里申请使用。因此,实现了数据的整合应用,根据业务部门需求形成财务库、资产库、物资库等多个分析库供各业务部门使用。
4.大数据带来的优势与挑战
4.1大数据带来的优势
(1)辅助决策
        运用大数据技术对数据进行统计分析、形成数据报表,实现数据可视化,并实行全面动态管理,不仅可为用户提供权威、详细、直观的数据报告,还可及时反映企业经营管理水平,支撑企业管理决策,并可广泛应用于企业经营管理各环节。对于供电企业来说,可以辅助作业计划编排,通过查询、统计相关数据报表,支撑作业计划的编制和平衡。基于GIS展示配电网资产、运行状态、风险、故障、缺陷、停电用户、正在开展的工作等全面信息,实现营配全景可视化展示,支撑营配工作。
(2)节约成本
        用数据降低成本,通过大数据精准的分析出企业想要获得的资源信息 ,并针对这些资源信息选择最优的方案,用最少的成本获得最大的资源利用价值,实现了成本利用的最大化。此外,企业各业务系统间可能存在交互关系,系统之间需要相互调用数据,而不同业务系统开发厂商也不同,调用某个系统的数据需要该系统开发厂商提供接口信息,而获取该接口信息可能需要支付昂贵的费用,这往往会增加企业的成本支出。大数据技术可将所有业务系统的数据进行统一管理,合理调用,对企业的成本节约有很大的帮助。
(3)知识发现
        通过对数据的挖掘,发现其隐藏的规律和知识,将专业领域中的数据转变为专业领域的知识,为知识的传播、分享、转移和创新提供必要保障,同时也可将其应用于各领域的专业性研究。
(4)趋势预测
        通过大数据的整合和分析,发现其变化趋势,从而进行趋势分析,来预测企业未来的经营变化情况,为企业以后的发展方向提供帮助。同时可提前预知风险,进行风险评估,提早规避风险和制定风险应对措施。对于供电企业来说可用于状态检修、负荷预测等场景,基于习惯性违章的历史大数据挖掘和分析,分析发展趋势,支撑预防工作及作业风险安全态势感知。
(5)提高效率
        大数据将分散的数据进行汇聚集中,方便用户在有需求时直接进行提取,改变了传统的人工分析、拆分、归并、统计的数据处理模式,将这个繁琐且严谨的工作交由机器去完成,不但节省了时间,还减少了过多人力物力的投入,同时还可避免因人为主观因素而导致数据统计错误的问题,从而提高了企业的生产效率。
4.2大数据带来的挑战
        大数据给企业带来诸多优势的同时,也给企业带来了一定的挑战性,主要表现在数据安全、系统安全、网络安全等方面。其数据安全主要表现在数据的存储备份,大数据的数据量是巨大的,给企业的存储管理施加了很大的压力。系统安全主要表现为服务器、系统平台、应用系统的稳定运行。面对海量的数据处理,服务器的性能要求也是极高的,性能的高低影响着数据的处理能力和处理速度。在大数据中企业各系统间的数据是相辅相成的,某个系统出现故障都会影响其余系统的数据调用和分析处理,只有当系统平台和各应用系统都稳定运行,才能在用户有需求时给用户提供准确、有效的数据信息。网络安全则表现在数据的安全性和连续性上,应确保数据安全,避免系统遭到恶意攻击而数据被破坏、篡改、泄露。应保证各系统连续可靠的正常运行,避免网络服务出现中断。
5.结语
        云计算、物联网、人工智能、区块链等多种新技术的发展和应用,为企业数字化转型创造了有利条件。随着企业生产规模的扩大,大量数据的处理需求日益增长,企业传统的数据处理方式已不能满足日益剧增的海量数据。企业数字化转型已成为必然趋势,大数据技术在企业信息化中的运用也将越来越广泛。
参考文献:
[1]王小玲.大数据在企业信息化中的应用创新 [J].自动化博览,2018(06).
[2]任立锋,米楠.大数据在企业信息化中的应用分析[J].信息与电脑(理论版),2018(21).
[3]邬丹华,陶明,李馨宇.大数据在信息化管理中的应用研究[J].网络安全和信息化,2020(12).
投稿 打印文章 转寄朋友 留言编辑 收藏文章
  期刊推荐
1/1
转寄给朋友
朋友的昵称:
朋友的邮件地址:
您的昵称:
您的邮件地址:
邮件主题:
推荐理由:

写信给编辑
标题:
内容:
您的昵称:
您的邮件地址: