陈林辉1 吴旭2卫潇耘3
1.江西国云科技有限公司
2.中科院上饶大数据研究院
3.成都亿鼎云科技有限公司
摘要:基于场景内的物联信息结构及系统分析,本文通过在智能交通场景内(公路、桥梁、公交、停车场等)物联网技术能够自动检测并报告公路、桥梁的“健康状 况”的应用,以及在智能建筑场景内(绿色照明、安全检测等),物联网技术在建筑物照片方面能够实现节能环保的应用,总结出了一套物联网海量异构数据存储及共享的策略,包含知识密度、数据处理、数据分布等存储技术,以及标准化设计、平台共享、标识平台等共享策略。本文通过总结,为物联网海量异构数据的存储与共享的发展提供一份支持。
关键词:物联网;异构数据;存储策略;共享策略
随着时代的发展,科技的不进步,我国物联网行业也得到了一定的发展。物联网行业一直应用于各行各业,覆盖面极为广泛。虽然在近些年,物联网已经应用到各行各业当中,但是从国际视野角度看,我国物联网行业的还处于发展阶段,还未达到发达阶段。通过研究物联网海量异构数据的存储与共享,可以有效提高数据的存储以及共享的质量。本文通过物联网海量异构数据存储与共享策略的探究,总结经验,收获心得。
1.物联网数据信息分类与服务系统的结构组成
1.1物联网数据的分类
在物联网应用到各行各业之后,海量的数据如雨后春笋般拂面而来。数据的体量之大,种类之多,发展的速度之快都是前所未料的。这种状态直接导致现代的云端科学架构难以承受如此庞大的数据信息,物联网的从业者们也在不断的接受难以想象的压力与挑战。
经过长时间经验的积累,物联网的从业者们将海量的数据信息主要分为以下两个类型。第一,从数据的可控角度分类,物联网数据分为静态数据与动态数据。静态数据一般指结构性、逻辑性数据,动态数据一般指以时间为序列的对应数据;第二,按照数据的原始状态,将数据分为能源类、资产属性类、诊断类、信号类等。能源类数据主要指能耗相关的数据,如电流、核能等。资产属性类一般指设备参数,如规格、重量等。诊断类一般指设备监测到数据,如运动手环监测到的心率、呼吸频率等。信号类一般指直观易懂的数据,如工业领域常见的产品指标。
1.2物联网信息服务系统的结构组成
在整个物联网庞大的服务体系当中,信息服务系统占据主导地位。信息服务系统主要在物联网数据层展开工作,但它并不限定于数据层的工作,同时也兼容感知层、网络层以及应用层的链接。物联网信息服务系统的功能繁多,主要是信息数据的处理、信息数据的监控、信息数据的采集以及信息数据的追踪。根据不同的功能属性,物联网信息服务系统也配有相应的功能组件,其中包含信息数据管理组件、信息数据监控组件、信息数据采集组件、信息数据追踪组件以及信息数据存储组件。这些组件不但相互关联,并且相互调配资源,促使整个系统良好运转。
2.存储物联网异构数据的主要方式
2.1知识密度的应用
物联网数据的存储是建立在本地系统数据的存储之上,也就是说无论本地系统存储了多少数据,在物联网的体系内只是一个单独的数据单元[1]。这样形成的物联网架构可以有效的将多个数据进行存储与汇总管理,方便高效。
物联网数据的存储为了保质保量通常需要对知识密度展开应用分析。知识密度是指物联网表达信息时,需求的数据量与原始的数据量之间的比值。如音频的传输,需求的数据量是14个字节,原始的数据量是1KB也就是1024个字节,那么实际的知识密度就是0.0137。
2.2数据处理技术的应用
物联网海量的异构数据在进行数据的采集与存储时必须经过栓选分类,才能进行存储以及后续的追踪、监控与管理[2]。这么做的主要目的在于每个数据单元的大小都不同,相差甚远。需要将数据分为轻量数据与多媒体数据进行分类存储。轻量数据顾名思义就是数据单元所占比重极小的数据,这类数据传输成本极低。多媒体数据顾名思义就是指体积容量较大的信号类数据,如图片、视频等。这类数据传输空间较大,成本极高。物联网从业者们为了降低传输成本,将多媒体数据根据不同领域的应用进行了数据值与摘要值的提炼,这样更加有效的降低了传输成本,节省了物联网空间。
2.3数据分布的应用
数据的存储主要分为集中存储与分离存储。大部分的多媒体数据大都采用分离式存储。分离式存储的主要特点是将存储空间分为了两个集群[3],即主集群与副集群。多媒体信息主要存放在副集群当中,因为外界感受副集群的能力较低,从而有效的保护存储,并且副集群与主集群相互贯通,在外界看来其实是一个集群。
物联网系统中主要采用的数据存储为分片式存储。当数据量到达设定的标准时,系统会将数据自动转入到其它机器当中,这样做的目的是为了避免数据过大导致系统瘫痪,同时可以保证各机器自动运行良好,符合设计标准。
3.共享物联网异构数据的策略
3.1标准化设计 共享海量数据
标准化的设计准则是将数据采用层次化的管理方式进行管理。层次分化的主要内容包含实体级、应用级以及系统及三个方面的内容[4]。实体级主要是指具有独立资源功能的实体资源,他们多种类型的资源如索引资源、对象资源、知识资源;应用级主要是指资源的结合体,其中的资源即是独立的又是合体的;系统级主要是指系统层存在的数据资源。当今的物联网数据共享主要也是采用资源层级关系与资源类型关系进行数据的共享应用。
3.2标识平台化 数据共享化
物联网进行数据共享化,需要将数据进行标识后,然后在平台内进行审核与提取。首先,数据信息的发现与定位是第一步。通过索引等方式进行信息数据的发现,然后进行目标定位,定位的数据需要进行标识,也就是进行编码,从而确定所需要的共享数据[5];其次,在进行数据的目标定位编码之后,系统开始进行操作流程的协调。主要工作流程包含信息的注册、映射处理以及检索资源。整个工作流程的最终目的是为了保证信息注册的完整度,确保信息没有遗漏或错位的现象产生;最后,利用检索资源将信息进行检索,最后实现数据共享,确保了共享信息的质量。
标识化信息共享策略是帮助信息能够有效检索,保证传输信息质量的一种方式。在实际应用过程当中,应当根据数据信息的需求,进行数据共享定制化的方案,应用针对性较强的方案进行数据信息共享,这样可以提高效率,避免资源浪费,同时可以考量环境因素带来的不利影响,降低系统不良运行的风险。
结束语:
随着国家对物联网行业发展关注度的不断提升,物联网海量数据的存储与共享也成为了重点以及难点的课题。本文通过对物联网数据的分类以及系统组成的解析,分享了物联网海量异构数据存储知识密度的应用、数据处理的应用以及数据分布的应用。同时,结合行业发展特点分享了物联网行业海量异构数据基于设计准则的数据共享策略以及基于物联网标识平台的数据共享策略。希望这些分享能够与行业从业人员产生共鸣,收获心得。
物联网的飞速发展,使得物联网从业者们面临了巨大的压力与挑战。虽然在海量异构数据的存储与共享还存在着许多难题,但相信只要随着科技领域的不断进步,物联网从业者们的不断努力,物联网海量异构数据存储与共享的难题一定能够得到解决,相信处于发展阶段的我们一定能够总结经验,吸取教训,最终赶超发达国家,成为国际物联网的领军人物。
参考文献:
[1]赵立波,李凌霞,王旭.物联网海量异构传感器采样数据存储与查询处理[J].软件导刊,2017(12):182-183, 187.
[2]王顺.面向农业物联网的异构数据存储方法研究[D].郑州:河南农业大学,2016.
[3]何凤成.Hestus:—种海量异构物联网数据存储模型及其实现[C].合肥:第29届中国数据库学术会议,2012.
[4]徐娜.物联网海量异构数据存储与共享策略研究[J];科学技术创新;2019年06期
[5]王瑾.物联网海量异构数据存储与共享策略的思考[J];无线互联科技;2018年10期