史正伟 王俊 罗林荛
贵州领航视讯信息技术有限公司
摘要：大数据时代真正的战略意义并不在于掌握巨量的数据资料和信息，更重要的是对这些数据信息进行专业化的处理。大数据时代的来临必将引起信息技术爆炸式发展，进而增强数据的快速获取能力和加工处理能力，实现数据资料的增值开发和应用。因此，深入研究和探索新一代信息技术的发展薪趋势、新机遇，准确掌握新一代信息技术在传统产业技术改造和转型升级中的新需求、新应用。
关键词：大数据；信息技术；应用创新；领域应用
引言
大数据概念的前身是海量数据，但两者有很大的区别。海量数据主要强调了数据量的规模，对其特性并没有特别关注。而大数据对传播速率、体积、特征等数据的各种特性进行了描述。目前对大数据最广泛的定义是：大数据是无法在一定时间内用通常的软件工具进行收集、分析、管理的大量数据的集合。大数据的特点一般用“4V”概括，即：Volume：数据量大，目前大数据的最小单位一般被认为是10～20TB的量级；Variety：数据类型多，包括了结构化、非结构化和半结构化数据；value：数据的价值密度很低；velocity：数据产生和处理的速度非常快。
1大数据时代概述
第三次科技革命的到来，推动了科学技术的发展，大数据时代的到来奠定了技术基础。大数据是指信息数据资源极多，数据资源规模巨大，现代的信息技术不能有效的对这些信息数据进行管理和获取，为国家和企业的发展提供重要的信息资源。大数据时代不是掌握了足够多的信息资源就会取得胜利，重要的是对这些信息数据进行有效的处理和应用，国家和企业要提高对信息数据的处理能力，使获取的信息增值。
大数据时代中数据信息具有以下特点：数据量大：信息资源的量级已经由原来的TB级发展到如今的PB级，信息资源量呈爆炸式增长；数据多样化：大数据时代中数据的种类很多，数据已不仅仅局限于文字信息，还包括图片、视频、语音等半结构和非结构的信息资源。数据处理的快速化：因为数据信息的流动非常快，在信息数据处理时就必须快速、及时的处理；处理工具也在不断的改进和完善。数据的利用率低：我们以监控画面为例，在整个监控视频中真正有价值的片段非常少，可能只有几分钟或者几秒，视频有效的数据少。数据的分析难度大：对大数据进行分析处理时，需要专业的数据分析人员对数据细致的分析研究。
2大数据相关技术
2.1大数据处理通用技术架构
大数据的基本处理流程与传统数据处理流程的主要区别在于：由于大数据要处理大量、非结构化的数据，所以在各个处理环节中都可以采用并行处理。目前，MapReduce等分布式处理方式已经成为大数据处理各环节的通用处理方法。MapReduce分布式方法最先由谷歌设计并实现，包括分布式文件系统GFS、MapReduce分布式编程环境以及分布式大规模数据库管理系统Bigrable。
MapReduce是一套软件框架，包括Map和Reduce两个阶段，可以进行海量数据分割、任务分解与结果汇总，从而完成海量数据的并行处理。MapReduce的工作原理是先分后合的数据处理方式。Map即“分解”，把海量数据分割成若干部分，分给多台处理器并行处理；Reduce即“合并”，把各台处理器处理后的结果进行汇总操作，以得到最终结果。
用户只需要提供自己的Map函数以及Reduce函数就可以在集群上进行大规模的分布式数据处理。MapReduce将处理任务分配到不同的处理节点，因此具有更强的并行处理能力。
2.2大数据采集
大数据的采集是指利用数据库等方式接收发自客户端（Web、App或者传感器形式等）的数据。大数据采集的主要特点是并发访问量大，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站的并发访问量在峰值时达到上百万，这时传统的数据采集工具很容易失效。大数据采集方法主要包括：系统日志采集、网络数据采集、数据库采集、其他数据采集等四种。
2.3大数据分享
目前数据分享主要通过数据集市和开放数据平台等方法实现。开放数据平台可以提供涵盖本地服务、娱乐、教育和医疗等方方面面的数据集合，用户不但可以通过API访问，还可很方便地通过SDK集成到移动应用当中。在线数据集市除了提供下载数据的功能外，还为用户提供上传和交流数据的场所。数据平台和数据集市不但吸引有数据需求用户，还能够吸引很多数据开发者在平台上进行开发。
2.4大数据预处理
数据预处理就是对采集的数据进行清洗、填补、平滑、合并、规格化以及检查一致性等处理，并对数据的多种属性进行初步组织，从而为数据的存储、分析和挖掘做好准备。通常数据预处理包含三个部分：数据清理、数据集成和变换和数据规约。
2.5大数据存储及管理
大数据需要行之有效的存储和管理，否则人们不能处理和利用数据，更不能从数据中得到有用的信息。目前，大数据的存储和管理技术主要分三类：分布式文件系统、数据仓库和非关系型数据库（NoSOL）。
2.6大数据分析及挖掘
大数据的分析和挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、数据挖掘、统计学、数据库等技术，高度自动化地分析大数据，做出归纳性的推理，从中挖掘出潜在的模式，从而在大数据中提取有用信息。大数据的分析和挖掘与传统的数据挖掘比较有两个特点：一是通常采用并行处理的方式；二是大数据分析对实时处理的要求很高，流处理等实时处理技术受到人们欢迎。常用的方法有：机器学习、数据挖掘、模式识别、统计分析、并行处理。
2.7大数据检索
（1）数据库实时检索：在数据仓库或者NoSOL等大数据存储平台上，或者多个不同结构的数据存储平台之间快速、实时地查询和检索不同结构的数据。
（2）实时搜索引擎：对互联网上的大量数据和信息进行即时、快速搜索，实现即搜即得的效果。目前各大搜索引擎都在致力于实时搜索的实现。
2.8大数据可视化
可以提供更为清晰直观的数据感官，将错综复杂的数据和数据之间的关系，通过图片、映射关系或表格，以简单、友好、易用的图形化、智能化的形式呈现给用户供其分析使用，可通过数据访问接口或商业智能门户实现，通过直观的方式表达出来。可视化与可视分析通过交互可视界面来进行分析、推理和决策；从海量、动态、不确定甚至相互冲突的数据中整合信息，获取对复杂情景的更深层的理解；可供人们检验已有预测，探索未知信息，同时提供快速、可检验、易理解．的评估和更有效的交流手段。可视化是人们理解复杂现象，诊释复杂数据的重要手段和途径。
2.9大数据应用
（1）视频搜索；
（2）内容分析；
（3）理赔分析；
（4）社交网络分析；
（5）社会分析；
（6）社交媒体监控。
2.10大数据安全
大数据技术的发展，使得人们能够从这些数据中观察和分析社会动态、人群的动作和行为、人群活动规律以及企业的商业秘密。海量数据本身，以及数据中蕴藏的信息涉及到国家、社会、企业和人们的隐私，这对大数据时代的信息安全提出巨大挑战。因此，大数据时代需要发展信息安全技术，确保关系到人们生活方方面面的数据和信息不会被泄漏。目前除了传统的信息安全方法外，大数据领域还有安全基础设施、安全数据仓库等。
此外，一些数据库安全管理软件能够对不同操作系统上运行的异构关系型数据库进行实时监控，一些大型安全数据库能够对与商务数据结合在一起的数据进行预防性的分析，以便识别钓鱼攻击，防止诈骗和阻止黑客入侵。
3大数据时代信息技术创新的演进趋向
大数据时代对信息技术的新要求和信息技术自身发展的新趋势共同决定了信息技术创新的演进趋向出现新变化。
3．1技术选择的专业化和高端化
为满足大数据时代的客观需要，信息技术创新在技术选择上一定会趋向专业化和高端化，主要有下列领域和方向。
3．1．1大数据分析挖掘技术
大数据时代并非所有数据具有同等价值，必须加以分析、挖掘而有益获取。现阶段，批量大数据分析难以满足流式和动态大数据处理需求，迫切需要深入研究适应大数据特征的新型数据分析技术和大数据加工处理技术。另一方面，目前大数据体量大且价值的密度并不高，如何从这些大数据中挖掘出价值是大数据时代的难题，就需要信息技术专家设计和开发符合大数据特征的挖掘技术和分析的工具，以便为大数据分析挖掘来提供技术层面的支持。
3．1．2云计算
大数据时代中，云计算作为新一代信息技术的重要发展方向，已被广泛认为是支撑信息化应用和业务模式创新的核心技术，也是引领下一代信息产业创新的战略性关键技术，该技术的应用、推广、普及和产业化发展，对于我国深入推进工业化和信息化融合、丰富社会管理智能化手段、转变经济发展方式具有重要战略作用。
3．1．3信息融合技术
多介质信息融合技术。采用多类介质的探测信息，在多个融合级别上进行目标属性融合识别判定。信息融合系统效能评估与反馈控制技术，包括建立融合系统效能指标，融合系统效能评估技术等，对信息融合过程及信息源的反馈控制功能与实现技术研究也是发展方向之一。
3．1．4新一代网络技术
新一代通信网络。它是一个能够实现宽带窄带一体化、有线无线一体化、有源无源一体化、传输接入一体化的综合网络技术，真正达到了音频、视频、数据信号的整体传输和综合管理。物联网。物联网是新一代网络技术的重要组成部分，在互联网的基础上发生了重大变革，它将用户端延伸和扩展到了任何物品与物品之间，是一项同时实现了信息化、远程管理控制和智能化的网络技术。三网融合。电信网、广播电视网、互联网在向宽带化、数字化、互联化演进过程中，在技术功能趋于一致的基础上，实现网络互联互通、资源共享，是比较迎合大数据时代的网络技术。
3．1．5高性能集成电路
可以说，高性能集成电路是下一代信息产业的核心技术之一。现阶段，我国集成电路产品大部分属于低端产品，高端集成电路产品仍然处于缓慢的成长期，随着专用高集成度和大功率型集成电路产品的需求量越来越在，高性能集成电路产业将具有广阔的发展前景。
3．1．6感测与识别技术
感测与识别技术包括信息识别、信息提取、信息监测等技术，它的典型代表是由传感技术、测量技术和通信技术相结合而产生的遥感技术。伴随大数据时代来临，遥感技术将会在农田水利、地质勘探、气象预报、海洋开发、环境监测、地图测绘、土地利用调查、灾害性天气、森林防火得以广泛应用。
3．1．7光电子技术
由光子技术和电子技术结合而成的新技术，涉及光显示、光存储、激光等领域，是未来电子信息产业飞跃性发展的核心技术。光通信网络技术、光接入网络技术、光子网络技术、光无线通讯技术、光存储和光信息处理技术、多晶硅结晶技术、激光加工和光学测量技术、光伏能技术是未来光电子技术的发展趋势和方向。
3．2创新管理的智能化和精细化
大数据时代的来临深化了信息技术的应用，催生了信息产业的新业态，必将提升信息技术创新管理和决策的智能化和精细化水平。
3．2．1创新信息数字化
大数据时代快速与灵活的特征要求创新主体单位必须加强创新信息数字化建设，尽快建设和完善信息数据存储库。一方面，能够通过分析信息数据存储库中完备的数据资料，创新管理者和决策者更加宏观和系统地制定信息技术的发展方向和发展目标。
另一方面，信息数据存储库能将各类创新信息和数据资料整合在一起，有助于全文检索、异地获取、信息的快捷复制和存储，使创新信息的传递和配送不受时空的限制，可以帮助创新科研人员以快速低廉的方式分享数据，建立模拟条件测试不同的创新方案，大大创新项目的研发时长，有效降低研发成本。创新主体单位信息部门必须加强创新信息精细化管理，要及时、快捷地更新信息数据存储库内的数据信息资料，确保创新过程中数据分析的科学性和精确性，有助于创新主体能够准确把握信息技术的发展趋势和创新趋向，及时地评估、修改或补充创新战略、创新目标和创新实施方案。
3．2．2创新决策
科学化大数据时代，信息数据的传输和配送既方便又快捷，创新管理者可以通过对信息数据存储库中的已有数据资料进行科学、全面地分析，从而宏观化、系统化地作出的创新规划、创新战略和创新目标等方面的重大决策。提高信息整合能力，对信息数据资料进行科学全面分析是创新管理者作出科学合理创新决策的重要前提。一是提高信息获取能力，主要提高观察能力、提问和自查文献信息资料的能力以及利用计算机和电子技术实现对信息的存贮、检索、提取和交流的能力；二是提高信息加工能力，主要是指对信息的理解能力、分析能力、评价能力和综合能力；三是提高信息利用能力，主要包含分析、综合、加工而转换成新的信息的能力。
3．2．3项目管理
全程化以前，在创新管理者忽视项目的过程管理，导致不少项目的完成质量没有达到预期的目标和效果。大数据时代，网络技术、人工智能、数据库技术等新一代信息技术的有机结合，通过对科技管理系统中大型科技文献数据库、专利数据库等信息资源的综合分析，为信息技术创新项目的全程化管理提供了许多手段、方法和技术支撑在信息技术创新项目全程化管理中，从项目立项到创新成果转化和产业化，都要应用数字化技术，特别创新资源配置和创新经费管理。数字化技术有助于项目全程化管理的管理理念人性化、管理制度程序化、管理过程痕迹化、管理手段多元化、管理行为规范化、管理人员科学化。
3．3创新模式的集成化和协同化
大数据时代中新一代信息技术发展存在融合发展、国际化、规模化、产业化等显著特点，这决定了信息技术创新的实施模式和组织模式必须趋向集成化和协同化。
3．3．1实施模式集成化
集成创新是创新主体将创新要素(技术、战略、知识、组织等)优化、整合，促进创新要素系统化和创新效应集成放大化，形成优势互补的有机整体的动态创新过程。它是一项复杂的系统工程，具有系统性和综合性的特点。在信息技术集成创新过程中必须要解决四个重点问题：一是技术系统集成，集成创新不是简单的叠加过程，而是技术系统化的集成过程；二是创新资源集成，将信息产业领域不同企业的优势资源进行整合，以达到资源共享的目的，比如拥有足够资金的企业与拥有好项目并有经营能力的企业的合作；三是创新人才集成，集成创新最为关键的是要有能担当创新大任的人才，在信息技术集成创新过程中必须要实现创新人才集成；四是创新平台集成，就是将信息技术创新中不同功能的组织平台集成为一个有机组织体，使其整体效率得到极大提高。
3．3．2组织模式协同化
协同创新是指通过创新资源和要素有效汇聚，突破创新主体间的壁垒，充分释放创新主体间人才、资本、信息、技术等创新要素活力而实现深度合作的创新组织模式。协同创新主要有四个层面：一是企业层面的协同创新，包括技术集成创新、管理集成创新和流程再造整体创新；二是学科层面的协同创新，包括同学科协同创新和跨学科协同创新；三是产业层面的协同创新，最直接组织模式是企业技术联盟，包括契约式技术联盟和股权式技术联盟；四是区域层面的协同创新，最直接组织模式是官产学研结合。在信息技术创新过程中，根据不同阶段的创新特征选择不同的协同创新模式。
4结论
在大数据时代下，信息技术正不断的应用在人们的生产生活中，对数据处理和分析能力的强弱，直接影响着国家和企业的竞争力。我们不仅要从信息技术的技术层面入手，还要加强对信息技术人才的管理和培养，为社会的迅速发展提供信息技术保障。
参考文献
[1]冯伟.大数据时代面临的信息安全机遇和挑战[J].中国科技投资,2012,34(02):49-53.
[2]吴保成.大数据时代信息服务的创新研究[J].河南科技,2013,17(05):23-30.
[3]韩晶.大数据服务若干关键技术研究[D].北京:北京邮电大学,2013.
[4]王书伟.大数据时代政府部门间信息资源共享策略研究[D].长春:吉林大学,2013