贾思超
大唐安徽发电有限公司
摘要：研究了基于“云大物移智”技术的发电企业大数据分析服务系统（Big-Data Analysis Service System，简称BDASS），从技术架构、业务架构、数据处理架构以及关键技术分析等多个方面阐述了发电企业大数据分析服务系统的建设思路和实现方式。
关键词：大数据分析服务、云大物移智、Hadoop、发电企业
0 引言
从蒸汽时代至今，工业革命已经迈入了4.0时代，在第四次工业革命——绿色工业革命中，一系列生产函数将会从自然要素投入转为以绿色要素投入为特征，并以此普及至整个社会。而作为直接使用最广泛的电能，也在工业4.0时代迎来以“云大物移智”为代表的新一代电力技术革命。
我国电力企业信息化起源于20世纪60年代，从初始电力生产自动化到20世纪80年代以财务电算化为代表的管理信息化建设，再到近年大规模的企业信息化建设，特别伴随着下一代智能化电网的全面建设，以“云大物移智”等新一代信息通信技术（ICT）在电力行业中的广泛应用，电力数据资源开始急剧增长并形成了一定的规模。
今年3月以来，工业和信息化部连续发布了关于推动5G加快发展、深入推进移动物联网全面发展、工业大数据发展的指导意见，致力于加快数字基础设施的建设发展，更好地发挥对当前稳投资、扩内需、拉动经济增长的重要作用，也为推进电力大数据与各类社会资源的多元合作及新型数字基础设施建设起到了重要的引领作用。
随着电力行业技术朝纵深发展，设备可靠性大幅提高，对电力系统节能环保方面的要求也更高，各类新技术设备和环保设备的上马，发电企业将面临管理目标复杂化，市场响应速度实时化。在这股大数据浪潮中，发电企业也将不得不面对从设备可靠性管理为中心提升为以设备可靠性为基础的基于大数据管理的智能发电企业，同时也带给发电企业更多创新管理、创新服务的诉求。如何进一步拓展安全生产的服务方式，为生产经营管理人员配备安全高效生产的支撑工具；如何充分利用多年积累的数据，实现发电企业核心数据的实时监测、统计、对标、分析决策。如何随时随地查看火电企业实时运行参数和变化趋势、生产指标统计数据、机组启停和检修状态、燃料量质价指标、环保排放情况和告警信息、日经济利润数据、主要生产经营指标及对标信息等，为生产经营管理层提供了良好的操作体验和及时准确的信息反馈，实现安全生产尽在“掌”握。对于这些业务需要，传统的数据处理方式已经不能很好地满足要求，作为新型生产力，利用信息技术加强对资产密集型和技术密集型发电企业的管控，提升核心竞争力，打造一个集数据存储、云端计算、大数据分析于一身的平台，就尤为必要。
1 发电企业之“云大物移智”
1.1云计算
简单来说就是使用虚拟主机的计算资源进行数据处理。而发电企业的云计算就是收集分布广泛而且密集的各种传感器数据，通过数据中心分析处理下发到所需要的数据终端。
1.2大数据
大数据技术的本质是从关联复杂的数据链中挖掘和提升数据价值，面向行业内外提供大量的高附加值的增值服务业务，对于电力企业盈利与管控水平的提升有很高的价值。通过高效准确抓取运行设备实施状态数据、准确的数据模型建立、横向指标对比，全过程掌握设备健康状况，根据业务逻辑计算模型,优化、固化最优运行方式，在设备运检管理、设备技术管理、技改大修管理等方面着手，从安全、效益、成本3个方面进行关键指标选取，分析三者之间的相互影响，协调3个因素综合最优，从而实现。
以火力发电主业务为例：购煤—发电—售电，包括发电企业主要成本构成、主要生产行为、主要营销成果的数据集信息，利用大数据分析云平台技术利用、挖掘、整合这些数据，可以为发电企业安全生产、减低煤耗、提升设备健康运行水平、节约高效管理提供信息化支撑。
1.3物联网
电力设备的物联网改变了传统事事需要人为的弊端，让发电系统各个设备，企业，用户连接成一张网、实现基础设施、人员及所在环境识别、感知、互联与控制的网络系统。
物联网技术下的大数据能够真实反映实体对象的任何状态变化，从而获知其行为规律，将人与物、物与物互相真实关联起来，获知彼此之间的关系和影响。
1.4移动互联网
针对发电企业日常运行生产工作中的安全监管难点，利用"互联网+"和大数据技术，借助于基于移动平台的APP程序和4G/5G网络，融合NFC及无线射频定位功能，解决安全监管滞后、全员安全不落实等突出问题，形成了事前风险预控、事中过程监管、事后结果分析的模式，提升全员、全过程的安全管控水平。
1.5人工智能技术
通过采用以智能机器人和图像分析算法为代表的人工智能技术，集成智能传感、机器学习、计算机视觉以及自然语言处理，利用先进感知、边缘智能、网络连接、微源取能等技术构建智能预警机制，提升发电企业的预防性决策能力。
2 发电企业大数据分析服务系统（BDASS）总体架构
2.1技术架构
根据发电企业数据的生命周期，发电企业大数据服务系统(BDASS)基于Java EE的SOA技术体系和分布式系统基础架构Hadoop作为技术架构，采用分层设计的架构思想，从基础架构平台、数据采集、数据存储、数据分析、数据应用5个层面以及其他保障功能，应用先进技术、工具、算法、产品，构建发电企业大数据分析服务系统的功能架构。
在整个技术架构中，分析服务系统分别通过从基于HDFS、NoSql的大数据存储、基于Hadoop的大数据分析算法，从传统的发电企业数据统计分析到全量数据处理、高性能交互式分析，最终形成并行化分析服务体系。总体技术框架如图1所示。
.png)
图1 发电企业大数据服务系统技术架构
其中基础架构平台包括基础设施即服务(IaaS)和平台即服务（PaaS)二大部分，以支撑大规模集群资源的云数据中心和具备高效的调度管理功能的云计算平台。
数据采集层利用各种手段将所有的数据进行采集并接人，对数据进行清洗、过滤、校验、转换等各种预处理，将有效的数据转换成适合的格式和类型，方便各个基于大数据的应用和服务之间数据的交换和共享，主要包括数据采集、数据接入、数据校验、数据清洗等功能。
数据存储层基于大数据容量，结合企业原有数据中心的能力，利用大数据、云计算等新技术，构建大数据存储平台，支撑企业大数据应用。结合业界成熟的分布式文件系统HDFS、NoSQL等高效低成本的存储技术，改进传统的关系数据库、数据仓库存储技术，实现海量多类型数据的存储，建立相应的关联索引，进行管理和调用服务。
数据分析层通过并行计算框架Hadoop、Storm、Spark等，最大限度地提升预测分析的性能，大数据分析算法包含统计分析及机器学习。灵活选择算法，设置算法参数可以适应不同的预测模型建模需要。
数据展示层利用可视化技术将数据分析结果通过基本的图表、曲线、饼图等二维和三维的方式将各种枯燥的数据形象地显示出来。展示终端支持Android/IOS/PC等多端展现。
2.2业务架构
针对发电企业各类静态和动态数据信息，将来自多个信息源的数据进行自动采集、检测、关联、计算及建模组合等处理。利用数据推演和条件判断，基于发电企业长期工艺流程数据的统计学分析和整理，归纳总结出设备之间、设备与系统、系统之间、系统与工艺之间的相互作用关系，建立了发电厂的大数据分析系统，实现测点的预测报警，运行操作指导，运行参数优化，生产方式优化。功能涉及生产、运行、环保、燃料、检修、物资、项目等核心业务关键数据的展现，实现运行参数、指标查询、运营指标分析、月度对标、物资分析、合同情况等在线实时查询，同时通过大数据的有效分析，能够总结企业生产经营管理经验，对发展趋势做出预测（见图2）。
.png)
图2 业务架构
2.3数据处理架构
发电企业大数据主要采集SIS系统及其他设备传感器采集的时序数据还包括管理信息系统上产生的运行点检、化验、技术监督、油液、缺陷、检修等数据，同时引进在档案系统里的设备原始资料、专家知识库及互联网上的天气信息或行业动态等非结构化数据。通过使用Flume、消息队列、OGG等技术的实时增量釆集和使用SQOOP的批量数据分布式采集实现对表、文件、消息等多种数据的釆集。
采集的数据经过数据校验，主要通过奇偶校验器和CRC校验器保障数据在传输过程中的正确性，通过设置过滤规则确保数据符合业务规则。
在数据清洗过程中，通过用业务先验知识将冗余或错误数据剔除；通过建立软测量模型实现测点或测量数据缺失下的参数软测量；通过时钟校准，将不同来源设备数据时钟统一；通过对高频数据流进行采样，对低频数据进行插值数值分析已补全缺失数据，进而将不同采集频率的设备数据进行同步。
结构化数据采用行式或关系型数据库进行存储，非结构化数据采用HDFS进行存储，时序数据采用列式数据库或键值数据库进行存储，实时性高、计算性能要求高的数据采用内存数据库或实时数据库进行存储。在关系数据库建立索引，以提高关系数据库的查询性能。同时通过数据的预分区、数据缓存等方法提高HBase数据库的查询性能。
对数据进行挖掘分析，发现数据之间的相关性，这是对提取大数据价值的核心模块。
计算结果以简单直观的方式展现出来，形成有效的统计、分析、预测及决策，应用到企业生产和运营中。
.png)
图3 数据处理架构
3 关键技术分析
3.1基于物联网的现场数据采集技术
通过建立基于物联网MQTT作为消息云平台，解决当前发电企业DCS/SIS等通过接口方式实现参数通讯和监视存在的问题（如缺少联网环境、生产设备种类繁多、通讯标准不统一等）。现场设备只需遵守物联网MQTT协议都可以把数据接入消息云平台，实现用户、现场设备数据双向通讯能力。
非标准设备的接入，可以借助Modbus通讯，将现场设备参数推送到MQTT云平台，其实现过程：利用Modbus方式获取数据，通过DTU透传到MQTT平台。用户利用移动设备实现设备参数消息的订阅和发布功能。
3.2基于Hadoop的大数据预处理技术
多种类型数据的接入是一个复杂的问题，采集过程中需要考虑数据的规模、采集性能、可靠性、安全性方面能力。通过建立基于Hadoop和Hive以及HBase的数据预处理平台，实现对数据的清洗、集成和归约，利用噪声处理、数据缺失填补以及对数据属性维度的约简等数据预处理过程。
数据预处理平台包括数据抽取、数据清理、数据集成以及数据归约。数据抽取模块负责从原业务系统获取结构化和非结构化业务数据；数据清理模块主要对原始数据中多种不同配置格式进行统一，去掉不完整的坏数据，保证数据的格式一致及信息完整；数据集成是针对 多个数据源的数据，代表同一概念的属性在不同来源中可能具有不同的定义，导致不一致或冗余，需对其集成化处理；数据归约主要降低数据的属性维度，使用数据编码方案，借助数据压缩技术以及属性子集选择和属性构造的方式进行维度约简。
基于Hadoop平台，对于不同的预处理程序，通过增添负责预处理的任务列表，并存储对应的预处理程序和启动规则，实现节点访问和控制以实现预处理任务的分发。其中HDFS为HBase提供高可靠的底层存储支持，Map Reduce为HBase提供高性能的计算能力，Hive为HBase提供高层语言支持。
3.3发电企业的大数据分析算法应用与研究
利用大数据分析技术，实现数据存储、计算、分析、服务等四大中心职能，实现数据资源统一存储、统一对外服务，深化“大数据”实时分析、决策、应用能力，支撑电力人、财、物、设备、项目计划等生产经营管理。
利用时间序列分析算法，分析传感器产生的实时大规模流数据，提取隐含在数据中的对高系统价值的信息。比如可以通过皮尔逊相关系数、协方差矩阵、多元回归算法实现多组数据的相关性强度计算，确定多组数据间相互依赖的定量关系，实现发电设备故障预警。
利用分类聚类统计分析算法，包括灰色理论、决策树算法、集成学习、支持向量机算法（SVM)和贝叶斯估计算法，主要实现对故障数据以及传感数据的分类，可以快速实现发电设备故障诊断。
利用人工智能算法，包括机器学习、组合优化求解和模糊聚类等方法，利用系统存储的历史运行数据和既有设备运行规则，对设备进行故障预测和寿命管理，实现机组性能优化和发电设备状态检修。
3.4结合人工智能技术实现大数据分析服务
在发电企业大数据分析服务系统的深化应用过程中，借助人工智能技术针对具体业务场景进行设计，包括态势感知、智能决策和智能助手3个方面：
第一：态势感知，主要包括负荷预测、设备突发故障预测以及不确定性的安全评估等，采用“数据驱动+物理建模”相结合的方式，以大量历史样本数据为基础，以高效人工智能算法为依托，进行训练分析。
第二：智能决策，主要包括设备过载处置辅助决策、故障处置辅助决策以及检修操作辅助决策等，采用“规则知识+物理模型”相结合的方式，即在物理模型基础上融合操作规程、处置预案以及运行经验等知识，其计算得到的策略实用化程序更高，降低设备故障处理工作量。
第三：智能助手，包括语音交互、智能检索、自动成图和触屏交互等功能，为日常操作、信息查询和人机交互提供更为便捷的手段。
4 发电企业大数据分析服务系统应用实践
4.1 生产运行智能化大数据分析服务
生产运行管理智能化，是基于设备全生命周期管理，经济效益、环保效益等多方面因素的实时管理过程，一方面，它将把现在的财务数据和主要技术指标和经济指标数据基于海量存储数据技术和云计算技术，进行快速计算分析和反馈，把现在的运行、设备、财务和经济分析从每月直接推进到每天甚至实时，为管理人员提供更多基于海量数据的分析和决策建议，提升管理响应速度。另一方面，它将对企业专业技术人员提出了更高的要求，技术人员既要懂技术，也要懂管理懂经济，才能够最终发挥大数据的作用，提升企业的快速应变能力和经济精细化管理水平。
4.2安全监控实时化大数据分析服务
针对安全生产的业务特点，运用物联网、大数据、视频监控和手机APP整合等方式，实现现有安全管理手段、模式的运用，达到各级人员实时监控现场情况，及时响应、超前预警、过程严管、综合分析考核提升。
通过移动端APP实现运行操作进行全过程的监控，对设备关联环境作业区域监控，通过超前预警、过程严管，实现作业人员不走错间隔、不盲目操作，严格按照操作流程执行的目的。
4.3燃料价值大数据分析服务
依托大数据平台，运用数模分析，通过对内部及外部数据的集成分析，为制定燃料采购策略提供科学的决策依据。
通过对不可控事件的信息收集，为及时调整采购方案提供参考。通过对异常行为及异常指标的预警，有效防范各类风险。从而增强企业燃料成本管控力，提高燃料核心竞争力。
4 结论
在能源互联网建设的大背景下，基于“云大物移智”的发电企业大数据分析服务系统，将呈现出智能化、友好化和互动化等优势，从而有利于提高分析决策的智能化水平，为企业的经营发展提供了强有力的支撑，帮助企业盘活数据资源，挖掘更多价值，助力企业发展。
参考资料
[1] 刘振亚.智能电网技术[M].北京：中国电力出版社，2016.
[2] 何金池.大数据处理之道[M].北京：电子工业出版社，2016.
[3] 卢建昌.大数据时代下数据挖掘技术在电力企业中的应用[J].广东电力，2014，27(9):88-94
[4] 田华.大数据与可视化在电力设备管理中的创新应用[J].电力大数据. 2018,21(09):32-35