殷虎 唐冬
金航数码科技有限责任公司 北京 100010
摘要：本文将通过分析当下互联网环境下的数据特点，探讨互联网大数据采集和处理的一些相关技术，并对不同技术在数据分析中起到的作用进行分析，对未来的发展进行预测。
关键词：互联网；大数据；采集处理；计算模式
引言：物联网是在互联网的基础上发展形成的，通过传感器感知、信息传输、信息处理三个基本步骤，形成人与物，物与物之间信息的互联。物联网产业则是物联网衍生的产物。在应用物联网时势必会有大量的信息产生，而存储这样庞大的信息，并通过一系列分析从其中筛选出可靠、重要的，必须需要大数据技术的支持。
1 物联网产业的发展现状
所谓物联网，其实就相当于将生活中的一切物品插上芯片，让它们能像人一样开口说话，独立思考。物联网产业作为当今世界的热点产业，其发展深受世界各国的重视。我国也投入了大量的精力、人才和资金，并出台了许多相关政策，从各方面扶持这一产业。虽然我国的物联网产业仍存在着地域发展不均衡，体系不完善，关键性技术不成熟等方面的问题，但所有的成功都不是一蹴而就的，需要长时间的探索，一点点地发现问题，解决问题。就在几年前，“物联网”这个概念对于大多数人来说还是陌生的，甚至从来没有听说过，但现如今，物联网被越来越多的人熟知，更多人感兴趣并投身于物联网产业中去，“物联网”这一词，不再只是“纸上谈兵”，而是更多地被应用到实际
生活中去，与各行各业联合起来，经过不断地创新，为完善产业体系，促其升级转型，创建新型乡镇，建设智慧城市，促进国民经济发展做出了巨大贡献，也让人们的生活水平得以提高，极大地满足了精神方面的需求，取得了长足的进步。物联网产业的蓬勃发展极大地推进了第三次工业革命的进程，也是科技发展的必由之路。比如，物联网可以通过三种方式协助仓库和物流管理。首先，这是保持端到端库存跟踪的最佳方式。其次，仓库采用智能眼镜进行视觉挑选，使员工可以免提工作并提高生产效率。第三，物联网提供见解和数据分析，可帮助管理人员就繁琐的仓储操作做出战术决策。智能建筑能源管理系统配备了物联网设备，可分析供暖、制冷和照明的工作方式。该数据被实时传输到中央应用程序，这样，管理人员就可以正确定义并消除能源浪费。
2 大数据技术对物联网产业的重要意义
5G时代的到来为物联网的发展提供了许多发展的技术支持，5G标准的制定能够很好地满足物联网的需求，网速、容量、安全性，这些都是在物联网所需要的。可以这么说，5G完全就是为物联网的发展量身定做的，5G时代也完全就是物联网大放异彩的舞台。5G 时代的到来可以更方便我们连接万物，大家感受到的不仅仅是信息科技的惊艳、智能产品的炫酷，更是针对物联网的改变和突破!5G 作为一个技术平台，它的影响涉及各个领域，可以预见的是，5G 网络是多个新型技术的根本，未来因为 5G 衍生出的各种新技术，一定能让我们未来的生活更多丰富多彩。
当今社会处处充满了数据，特别是由于智能设备的普及，互联网数据形态愈发多样化，这就让数据处理变得困难起来，而且并不是所有的数据的存在都是有意义的，那些没用的数据往往会带来麻烦，干扰我们的正确选择，加大我们的工作量。而大数据技术的出现就很好地解决了这一问题，极大地减轻了数据处理人员的负担，能够让数据处理员从庞大的数据库中，快速、准确的筛选出真正有價值的，因而对物联网产业具有着重要意义。举一个简单的例子：抖音是当下非常火爆的一款APP，每天都有数百万人在上面发表视频，日常活跃人数更是高达3.4亿，这样就形成了体量相当大的数据，甚至可达到PB量级。曾经听过许多使用这款APP的人都说过这种话“在抖音上刷视频刷得根本停不下来”。是什么因素导致了这种情况的发生呢？这款APP是怎样做到如此吸引人的呢？其实，这都有赖于其后台大数据技术的应用。第一步，是数据收集。在注册时，系统会提供一些选项让用户选择他们感兴趣的类别，初步掌握用户的大致喜好，并为其推送相关视频。第二步，数据分析。根据用户使用APP的频繁程度，使用时间，点赞和关注对用户做进一步分析，挖掘用户的喜好、习惯，从众多的信息中找共性，逐渐完善已收集的数据，做出调整，这样日积月累，到最后用户看到的视频都是自己喜欢的类型或是全网关注度较高的，造成了“停不下来”的结果，将用户牢牢地抓住，为自身创造更大的利益。这也是大数据技术实现了物联网商业化的体现，大数据推动了物联网产业的发展，而这种商业化也是物联网产业发展的加速剂。
3 大数据技术应用于物联网产业的发展前景
在信息化发展趋势的社会，物联网产业的市场前景还是一片大好的，但物联网产业要想取得长足的发展，就必须重视大数据技术的研究和完善，若没有大数据技术的支撑，物联网产业只会停滞不前而不能让更上一层楼。未来，大数据技术将广泛应用于物联网产业，逐步形成一套物联网标准体系，并随着市场的发展趋势不断进步、完善，最终趋于成熟。物联网将跳出小圈子，面对更大的机遇与挑战，应用到社会的更多领域当中去。为了将整个产业链串联起来，实现多方共赢，就必须对现在的商业模式进行创新，在此基础上，一种把数据技术、物联网、人和社会行为联系在一起的新的商业模式也会应运而出，这样处在体系中的每一方都能从中受益，合作才能长久得进行下去，物联网产业才能有更好地发展。有大数据技术支撑物联网带给人们最大的益处就是方便了人们的生活，改善了人们的生活方式。在经济高速发展的今天，物联网的普及带给社会的经济利益是巨大的，在今后，物联网产业也会在各行各业中继续发光发热。
4互联网大数据的采集方法
4.1传感器
传感器方法主要是通过测试一些物品的物理特性，通常情况下包括物体的音量，湿温度，电压等等物理符号信息，采集完毕后将这些数学值转变为一些电脑能够准确识别的信号，然后上传到数字终端进行归纳，完成数据的工作。
4.2系统日志采集方法
一般来说，数据源系统能够产生系统的日志文件数据，用来对数据源发生的各项操作过程进行实时记录，比如一些web服务器记录的用户访问行为和网络流量的实时监管和金融软件的股票记账等。许多的互联网企业都有自己的海量数据采集工具，多用于系统日志采集，如Hadoop的Chukwa，Cloudera的Flume，Facebook的Scribe等，这些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。
4.3Web爬虫
网络爬虫是指为搜索引擎下载并存储网页的程序，它是搜索引擎和web缓存的主要的数据采集方式。通过网络爬虫或网站公开API等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。数据类型十分的复杂，同时产生数据的方法和路径也在不断增多，数据的表现形式自然更为多变，由原先简单的文字、图片和视频转变为一些更为复杂的保留信息和具有时空信息价值的抽象信息。
5互联网大数据的处理技术
如果要把数据处理应用到一些处理其他领域的辅助资源，就需要极高的数据处理和价值提取价值，相对于当下的数据处理技术来说是一个巨大的挑战。现在比较流行的数据处理方法主要是批处理和流处理模式，这两种处理模式相对应的是静态数据和动态数据这两种不同的数据形式。
5.1批处理
对待静态数据主要是先对原始用户的数据进行分块释义，然后通过不同的任务处理区来进行工作，得出最终结论。这一技术在文本处理等领域运用的尤为广泛。这种批处理的技术对于那些先进行存储，然后进行计算的大数据来说十分适合。另一方面，交互式的数据分析系统则是去处理一些实时数据的另一个有效方法。
5.2流处理
对那些实时数据进行处理，交互式的数据处理方法相对与流式而言更加灵活多变，易于控制，处理的结果也更加方便进行读取，常见的应用实例是一*些服务器的实时日志信息采集，网络上PB级数据的处理时间縮短到秒级，所以要求对这些实时数据的处理能够更加迅速和准确，这些是流数据处理的核心处理方法和目标。由于当下电子设备的技术革新和普遍应用，更多的图像和音视频信息出现在信息源当中，由于其自身就能够表现出数据特点和事物联系。图数据耦合的特性对图的规模日益增大达到上百万甚至上亿节点的大图数据计算提出了巨大的挑战，于此同时，一些图片数据源的关键字查询技术和图片的存储挖掘技术之间都有着共通之处，图数据的处理系统要对不同的图数据进行正确的分割和计算，运用写好的互联网模型来批量处理现在的大数据，这种技术已经在网络安全和公共安全领域已经运用的十分广泛了，比如通过大数据处理对一些用户感兴趣的内容进行微博的推荐阅读、微信的公众号推荐和如今一些视频流量软件和平台的用户视频选取推送等技术都是此类技术，在社会安全和公共安全方面，对一些可能存在的用户异常操作进行错误报告，医院内对病人的身体情况进行语义进行分析和协助，一些物联网系统则是通过用户的使用习惯对连接的物理装置进行实时操控，还有一些交通管理，环境管理和生物传感，物流快递和物流车辆形式的路线规划等领域有着广泛的应用。
6. 制造数据实时采集与分析在飞机制造中的应用
制造数据实时采集与分析通过对飞机结构智能柔性装配生产线中多源动态数据信息进行采集，综合运用工业物联网、MBD等技术，实现对产品装配过程中作业状态、设备状态、人员状态、物流状态和产品质量状态等各类信息的全方位获取和追踪。构建物理世界与数字世界融合，全息建模。在此基础上，通过数据的融合匹配与分析处理，将这些信息转换为针对计划排产、物料配送、质量追溯、质量控制等应用的数据，为业务决策提供量化支持。包括 生产线系统数据集成技术、设备物联动态感知技术、多维质量数据采集技术研究、多源异构数据的解析与存储技术、面向业务决策的多维生产线数据分析技术。
结束语
综上所述，互联网的大数据采集与处理和信息计算方式息息相关，如何提高信息计算方法和机器建模的数据挖掘手段，对于提高数据采集的质量和速度都有着重要的意义，面对越来越复杂的数据，仅仅依靠一种数据处理方式也是远远不够，只有针对不同的数据类型，数据产生途径和数据特点进行分类处理，合理地综合运用各种不同地信息处理方式，才能够有效地处理数据。在实际地应用意义方面，大数据的采集和处理技术也有着广阔的应用价值，国内外对于该领域的研究尚且不完善，在该领域占得先机，对于我国的数据应用和处理有着重要的意义，产生对社会各层有益的影响。
参考文献
[1]王映丽，大数据时代的计算机信息处理技术分析[J].电脑知识与技术，2018，v.14（10）：52-53.
[2]何文韬，邵诚.工业大数据分析技术的发展及其面临的挑战[J].信息与控制，2018，47（04）：398-410.
[3]王建昆，大数据分析技术在采集运维业务中的应用[J].中国新通信，2018，v.20（12）：107.
标注“国防基础科研计划资助”，项目编号：JCKY2018205A001；
英文标注：“Defense Industrial Technology Development Program”。