曾超
华北油田公司经济技术研究院 河北省任丘市 062552
摘要：论文介绍了石油行业数据管理的现状，并从底层数据管理入手，对各个场景模型项目数据预提取技术，数据访问授权技术，数据清洗进行了应用描述说明。并对Html5，Tableau等图形展示技术在数据分析的后期图形展示应用也做了举例说明。
关键词：大数据 分析 算法 平台 模型
1 前言
石油工业是一个多种专业技术结合，资金、技术密集的行业，石油生产过程的每一个阶段，每一项技术都会应用并产生大量数据；随着物联网技术在油田行业的应用、随着精细化管理与油田高质量发展要求的不断提高，数据在油田生产中发挥着越来越重要的做用。人们对采集到的大量数据进行存储、分析和研究，从中提取有用的信息。油气发现、提高油气产量，降低生产过程中的风险都需要有数据作为技术支撑。本文重点围绕数据资源高效应用，完善勘探专业数据库，开发专业数据库本地化建设、建立工程专业数据库，满足数据分析需要并支撑企业各单位生产研究的数据需要。根据企业提出的成熟数据分析算法平台部署的要求，开展由数据基础平台、数据接口平台，场景模型项目数据库、模型应用系统构成的数据资源高效应用支撑平台的完善与建设工作。
2场景模型项目应用研究
2018年企业在深入研究大数据技术基础上，形成模型应用系统，2019年在研究帆软软件、开源组件Echar、Tableau软件的基础上，制订模型底层支撑技术方案，不断完善分析模型功能；开展了机构管理、数据分级、用户管理模块的设计研制工作。
（1）完善多层级数据汇总提取技术：图形展示是模型算法与数据相结合的成果，在数据分析过程中发现，采用传统数据汇总技术，在面对日益增大的数据流时，递归算法耗时严重，图形显示响应延迟。多层级数据汇总提取技术的采用，极大的提高了图形展示的效率，从页面点击到图形显示响应迅速，动态增量生产数据图形展示功能俱备实用条件。
.png)
图1 组织机构递归分析图
（2）完善数据权限控制功能：
随着成果展示的信息与服务单位的逐渐增多，需要让不同单位的人员看到不同的页面，同一单位里不同的角色对同一页面的操作权限不同，查询出的数据范围不同。
.png)
图2 人员授权功能示意图
（3）扩展数据清洗方式：由于平台清洗组件的局限性，无法满足对多样性的数据清洗工作。通过程序处理、和查询筛选来完成复杂的数据清洗工作。创建了数据库查询语句、存储过程清洗方法；实现基于Java、python语言的程序处理过程清洗。
3 数据模型分析与应用
通过对某采油厂数据应用调研，发现A2数据在应用上存在将日数据下载到本地，以Excel进行分析的情况。这部分数据涉及日产油、日产液、日注水，油井开数，作业区大修次数，日停井统计等，生产单位需要对这部分数据进行日数据的逐级汇总，按照油田区块，组织结构汇总后，进而编制生产日报，分析曲线。研究人员系统通过对数据模型的分析可以让这部分数据自动汇总与自动展示。以数据模型中的油井日生产数据、注水数据为例这部分数据是逐条存放，该记录仅与油井ID关联。油井则关联在各个组织机构下，而组织机构为树状采用单点子父关系存储。
如果要查询采油厂某日油井产量总和，首先需要递归出该厂节点下所有机构节点的总和，再查询出机构合集中存在的所有油井ID，最后再进行生产数据关联求出汇总数据。这样实现汇总效率不高，请求变量需要嵌套到最初查询语句中，无法灵活实现汇总其他采油厂数据。通过采取数据库查询技术和数据抽取技术，将原有组织结构的子父节点存储改为关系存储，可大大方便查询速度，实现多单位各自汇总的便捷性。
通过改变组织机构存储关系可快速实现厂级，工区级定位查询，对实现产量汇总、开井统计、大修统计提供了技术基础。
4 基于Tableau软件、Html5的图形显示技术
（1）改进增量数据图形展示：通过对采油厂工程所调研发现，工程所对来自A2数据库中日产、日注入、开井、大修信息比较关注。在解决图形展示问题，我们采用了Tableau软件，该软件可以对接任意数据源，简单的图形拖拽就可以绘制出丰富的图形，上手速度快，即使没有任何图形开发经验的人，也可通过该软件绘制出的图形，较原有方式比较省却了Excel汇总填报步骤，在工区厂级切换上比较快捷。
对于产生增量数据的情况，只要产生了增量数据就需要重新手工导入数据，然后展示图形，在平台支持下，改进的多层级数据汇总提取技术实现了数据增量加载与图形展示的集成，极大提高了数据分析效率。
（2）HTML5技术实现图形数据展示，丰富了展现形式和手段。
Html5开发后的图形展示效果较Excel统计有两个优势一：下拉菜单选择，快速成图展示，工区的日产液、水、油以及油、水井停开统计。二：快速时间段选择，鼠标悬浮显示。
（3）测井数据中曲线展示目前都是通过专业软件来实现，必须安装软件后才能查看；测井数据管理过程中也需要数据解析与展示；为此开展了利用HTML5展示技术，进行了测井曲线成图的研究工作。目的是丰富原有数据展示，为科研人员提供更多的观察数据手段，同时也为下一步机器学习测井解释进行技术储备。在测井曲线展示中，实现了测井曲线深度与展示比例算法，设计振幅倍数算法，异常数据剔除算法。
5 结束语
今后将继续进行数据资源体系建设研究，随着数据资源的日益丰富，勘探、开发、工程数据库己俱雏形，在保障生产相关的增量数据完整准确入库基础上，还需扩展数据资源建设的广度，向生产全过程延伸；建立企业数据分析基本数据库，制订数据关联与数据接口标准，建立多专业数据的综合应用分析基础。
参考文献
[1]张春生,郭长杰,尹兆涛.大数据分析在油气行业的应用研究[J].微型电脑应用,2016(32):64-67.
[2]余飞.HTML5图形图像处理技术研究[J].软件设计,2013:261-263.