李姝文
云南电网有限责任公司楚雄供电局 云南楚雄675000
摘要:随着信息化建设,建成了大量的应用系统,各个企业中的ERP、OA、CRM、BI、PLM、电子商务等各类应用均有大量后端数据,后端数据是支撑所有系统的基础,不同数据之间如何关联,各个系统之间还需要对数据进行交互,数据之间的交换安全性如何保障,数据是否真实,此数据是否有价值,基于大数据可以提高信息处理速度,对系统进行快速构建及企业信息化管理研究。
关键词:大数据 信息化管理 数据仓库
很多人都在说大数据,那么什么是大数据,大数据目前为止没有标准定义,但是可大致理解为是一种不管是在数据的获取、数据的储存、数据的管理以及数据的分析都极大的超出了传统数据库软件所能承受的压力,其中大数据最大的特点就是数据规模是海量的、数据的流转是快速的、数据的类型是多样的、数据的价值密度低。我们需要充分理解大数据的含义,大数据并不是我们拥有庞大和海量的数据信息,而是我们如何对庞大和海量的数据信息进行专业化处理,快速的得到我们想要的、对我们有价值、多维度的信息。
其次什么是信息化管理,为了达到其经营目标,借助信息化是手段,带动企业管理的创新,增强企业的核心竞争力,动态为公司的战略目标和业务流程提供参考和依据,将信息技术融入到企业文化、企业理念、管理制度、组织结构中新的管理模式。
1、整合信息化管理和大数据
信息化管理中过程中,需要通过ERP、OA、CRM、BI、PLM、SCM、EXP等系统进行辅助管理,各各系统因为成本或供应商系统集成问题,可以成功的将商业智能系统(BI)运用的企业寥寥无几,而大数据可以很好的解决这些问题,高效和低成本正是大数据的优势所在,大数据可以充分挖掘企业数据,对于企业来说数据正是企业重要资源的一部分。
大数据打破了传统数据的数据来源、数据类别等限制,利用大数据的4V特点(Volume、Velocity、Variety、 Veracity)可以将各个系统数据进行整合,打通从数据源到行业应用之间的数据通道,之后企业数据就可以为不同系统提供底层数据服务。
那我们如何对数据进行采集呢,数据源包大概有如下几类:
第一类,就是端上数据,即一个服务的客户端或者服务器端产生的数据,例如我们的用户点了哪些页面或内容这样的数据。
第二类常见的数据源,就是开放数据。开放数据指的是开放给所有人的数据,比如网页的内容数据,或者特定行业的公开数据。这类数据往往需要使用爬虫技术来采集,那什么是爬虫技术呢?爬虫技术是一种可以使得开发者自动化地,系统化地收集Web端数据的技术。爬虫技术也是当下比较火的topic之一,有兴趣的同学可以自行去对其进行进一步的了解。
第三类是其他平台的数据比如说开发者想拿到自己微信公众号的数据,这个数据其实是存在微信那里的。这个时候,我们可以通过微信提供的规范API接口服务来调取自身的这个公众号的数据。
第四类是物理数据物理数据指的是用户在物理世界中所产生的数据,例如用户刷脸购物的日志数据,用户的步数数据等。这类数据的采集往往要通过传感器来进行AIDC采集。这里,AIDC采集的全称为自动识别和数据捕获,指的是一种自动识别和收集数据对象,然后将其存储在计算机中的方法。例如,射频识别,条形码磁条扫描,GPS传感器等都属于用于识别与捕获物理数据的方法。
第五类是主观性数据比如通过用户调研或是访谈的方式,收集用户的态度或是意愿,也算是一种传统数据的采集方式。最后一种就是数据库的数据比如说对于一些知识库啊,可能自己建设的话费时费力。如果有一些现成的方式的话就可以直接通过购买的方式来拿到相应的这个知识库的数据。解决了从哪儿采及怎么采的问题,接下来我们所面临的是对采集的数据进行分类整理。
2、大数据集成信息化管理
从当前成熟的数据架构来看,大概可以分为3种架构;a)单系统数据架构、b)企业统一数据架构、c)机构间数据架构。单系统数据架构显然不符合大数据平台,只有机构间数据架构模式符合,可以跨越企业、机构或单位,制定统一的数据标准,形成统一的数据平台,ERP、OA、CRM、BI、PLM、SCM、EXP等系统通过统一的样式进行数据存储到大数据中的操作数据存储层(Operational Data Store,ODS )。
将各个业务系统的不同数据抽取到大数据的Operational Data Store层中,之后对大数据中的Operational Data Store层数据进行数据转换、数据清洗转存到大数据的数据仓库(Data Warehouse,DW)层中,需要说明的是Data Warehouse并不是“大型数据库”,不能理所当然的认为只要是存储系统数据的软件都是数据库,而是包括了ETL(Extraction Transformation Loading)、调度、建模等在内的一整套理论体系。
举个例子,医疗保健/流行病的研究和控制:流行病和像流感这样的季节性疾病在人群中以一定的模式开始,如果没有及早发现和控制,它们就会传播到更大的区域。这对发展中以及发达的国家都是一个最大的挑战。当前绝大部分时间的问题是人们之间的症状各异,而且不同的医护人员治疗他们的方法也不同。人群中也没有一种常见的症状分类。在这种典型的非结构化数据上采用大数据分析将有助于地方政府有效地应对疫情的情况。竞争对手的市场渗透率分析:在今天高度竞争的经济环境下,我们需要通过一种实时分析对竞争者强大的区域和他们的痛点进行衡量。这种信息是可适用于各种各样的网站、社交媒体网站和其他公共领域。对这种数据的大数据分析可以向企业提供关于他们产品线的优势、劣势、机遇、威胁等非常需要的信息。
3、大数据运用信息化管理
进一步需要将数据仓库(Data Warehouse,DW)层中加工过的数据继续下沉到DM(Data Market)层,DM(Data Market)层的作用是对数据仓库(Data Warehouse,DW)层中的数据针对某个领域或者某个决策者的意向建立统一的数据表,这一层在大数据中也叫做数据集市层,其特点就是结构清晰,针对性强,扩展性好,因为DM仅仅是单对某一个领域而建立,容易维护修改;DM建设任务繁重,公司有众多业务每一个业务单独建立工作量几何童增加;DM的建立更多的消耗存储空间,单独个DM可能数据量不大,但是企业所有领域都建立DM这个数据量就会增加多倍。
接下来我们对大数据筛选出来的信息进行信息化建设,这是信息化管理的前提条件,企业信息化建设,是企业实现信息管理的必要条件。大致任务包括计算机网络基础设施建设;生产制造管理系统的信息化;内部管理业务的信息化;企业信息化资源的开发与利用;企业信息资源建设。
信息既要开放也要对信息进行保护,信息开放有两层含义,一层含义是信息公开,另外一层含义是信息共享。信息公开包括向上级主管公开信息、向监督部门公开信息、向社会公开信息、向上下游企业公开信息和向消费者公开信息、向投资者公开信息等。信息需要按照不同的使用者对应不同的权限,在企业内部部门之间是一种权限,在员工和员工之间是一种权限,在合作伙伴之间又是一种权限,但是他们都可以对资源进行共享。
使用大数据数据集市层的数据进行开发和利用,结合记录型信息资源数据、实物型信息资源数据和智力型信息资源数据,分类展示出不同的模块信息,比如生产信息、市场信息、库存信息、财务信息等等。
当大数据和信息化管理结合之后,就可以为公司的生产、经验、战略、管理提供依据,在公司的决策、战略规划、组织调整、生产经营、协调运营、资源配置等提供动态调配作用,最少的消耗创造最大的效益,最优的资源分配支持最快的公司发展。
参考文献
[1] 冷鹏.数据集成的应用[J].软件和集成电路,2008
[2] 刘宇清.浅议大数据环境下我国企业信息化管理的应用与发展[J].海峡科技与产业,2018
[3] 闫世军.大数据方法与新闻传播创新从理论定义到操作路线[J].新闻传播,2017
[4] 李庆一.大数据时代的企业信息化建设研究[J].全国流通经济,2020