摘要：移动互联网时代，网络带宽与数据流成为了市场争夺的关键，如何对移动大数据进行分流，降低延迟，实现最优传输成为了研究热点。本文首先介绍了DPI技术，并对移动大数据进行了分析，通过DPI技术结合分流模型，实现基于DPI的大数据最优分流。结果表明，DPI能保证分流的合理性，降低延迟。
关键词：DPI；移动大数据；延迟；节点
0引言
DPI（Deep Packet Inspection）又称深度报文解析技术，其运用硬件和软件组成系统，对网络通道中的互联网流量监控、分析和管理[1]。当前网络新业务层出不穷，在吸引大量用户的同时也对网络的底层流量模型和上层应用模式产生了较大冲击。传统的网络运维管理，通过对设备网管实现对网元级的管理，经发展后采用网络级管理，实现了对上层的简单应用管控，但这些应用级管控技术大多采用SNMP（Simple Network Management Protocol）协议或采用端口流量识别进行分析和管理，无法对数据流量实现深度管控。DPI技术相比普通报文分析而言，增加了应用层的分析，能识别应用和内容。目前，DPI技术已被网络供应商用于降低语音延迟，保持网络流量等方面，能根据关键流量划分来优化资源。本文通过DPI技术特点，将其用于链路均衡负载，实现对网络数据的分流。
随着数据规模的快速增长，大数据处理对高并发、实时性等特征处理要求越来越高，传统的数据分流方法难以满足数据的实时性要求，且在高并发情况下容易导致阻塞。因此，DPI技术的运用能从业务层、数据层对数据进行智能处理和分流，适合一些对时效性要求较高的通信场景。
1基于DPI的数据分流方法
1.1数据分流平台设计
根据网络流量中应用层特点，基于DPI的数据分流平台结构如图1所示。
.png)
图1 数据分流平台框架
首先，用户通过终端将数据分流通过移动网络传送至系统，此时每个数据包作为事务传送，由于每个事务有其独特的业务逻辑，在业务层面上可以快速对其进行识别；事务在系统中的主节点完成分流划分，划分算法是由每个计算节点提供的信息进行优先级比对得到；计算节点将状态信息进行周期反馈至主节点，由于数据源采用业务层的优先级划分比较，所以计算节点的算力不会影响数据分发的时效性；任务调度节点通过线性查找，将剩余任务单元传送至未用的计算节点；计算节点依据事务中的位置信息对其进行运算，此时能在DPI数据分流平台完成分发，缓解大流量数据冲击。其次，将DPI设备（可编程交换机前端）串行接入网络链路，通过数据链路层进行透明传输，此时能根据计算节点反馈至主节点的信息进行阻断和整形。最后，预处理事务和分发算法将所有流量最优分配，并由DPI数据输出队列加载进移动网络。
1.2事务分发算法模型
根据预处理事务和分发要求，DPI数据分流平台为保证分流的负载均衡，通过最优化问题求解求出分流最优解[2]。通过计算节点反馈主节点进行分流，因此事务分发即计算节点状态，可以由式（1）表示。
（1）
.png)
式（2）中，代表提前分配的网络优先级；代表网络分配的数据流时得到的优先度，即在DPI数据分流模型下获得的优先度函数；表示事务产生的最大数据流。由于式（2）约束为，可结合式（1）求出最优解。通过目标业务数据和非目标业务数据的DPI识别，提取并统计流量特征，可以选择监督学习建立流量的分类器，通过线性回归计算得到最优解，再将应用业务数据入库，建立相应的特征库，以便于后期对移动大数据流量的快速分流。在路由流量控制设备选择上，一般选取支持DPI流控的设备，可以通过这种路由设备嵌入优先度模型，自动实现流量控制。
1.3移动大数据分流流程
在数据分流平台中的计算节点使用事务分发算法模型，建立DPI识别。此时的识别接口分别与任务调度节点和分发主节点建立连接，数据包首先被解析，按队列进入引擎识别，完成数据报文的遍历后分发。事务分发模型首先计算出最优分发序列，再将报文送入缓存器，组包后加载到移动互联网。整个数据分流流程如图2所示。
.png)
图2 数据分流流程图
数据分流能降低因移动大数据在流量堵塞时导致的网络延时，对网络的流畅程度起到了关键的作用。按照此模型进行分流可以有效避免分流的负载失衡，计算节点的实时调整能完善这一流程。
2实验与分析
2.1负载均衡性
为了测试DPI数据分流的有效性，将对数据传输过程中的平台硬件负载均衡进行实验。实验用2台PC机内存为16GB，开启进程相同。在实验前将DM9000网络模块接入，实现数据的远程传输。传输数据时，网络拓扑数为10，路由分布区域取100x100，传输比特率为5b/sHz，数据分流占空比20b。其中一台采用传统方法对移动大数据进行分流，一台采用DPI数据分流，求出两种方法下处理器分配的数据流量标准方差，对其负载均衡性进行测试。当得到每组处理器的数据流量标准方差，可以用方差大小判定负载均衡性，方差大的负载均衡性差，方差小的负载均衡性好，结果如表1所示。
表1 两种方法下的处理器方差
.png)
从上表可知，采用DPI的数据分流方差均在100左右，明显低于原方法分流的方差，且DPI数据分流在每组处理器的方差差值较小，能够保证各处理器的负载均衡，利于业务层的分流控制，可以认为DPI方法处理的数据分流和理想结果偏差较小，系统的负载均衡性优于原方法。
2.2大数据传输速率
采用MATLAB_2012对两种方法下的数据传输进行模拟，设定计算节点和主节点均相等，此时调度调节节点作为最终节点，因此其数据传输性能可以通过数据最终到达节点时测得的传输速率来评估。为报文最终输出速率，在通信端口的路由器设置单点对应路由器，并限制带宽为200Kbps，此时测得每个处理器的下行速率，结果如表2所示。
表2 处理器下行传输速率
.png)
根据表2可知，采用DPI技术后，下行传输速率明显优于原方案，平均传输速率达137.5Kbps，比原方案平均提升了31.5Kbps；从表中还可以看出，DPI技术负载均衡性良好，能将移动大数据均衡分流，对整个系统而言提升了鲁棒性。在通信时能根据计算节点反馈的报文解析信息自动完成大数据的流量分配。在移动大数据环境下，下行传输速率更能影响用户体验，因此合理的流量分配能提升这一性能。
由于DPI识别是建立在以IP五元组为关键字的Key为基础[3]，在每个计算节点均能实现自学习，通过业务层的优先级判定，保证了业务层面的数据分流要求，优先保障重要数据的时效性。因此建立DPI的特征库能快速匹配和识别，能减少同类业务的资源占用率，因此在保证识别率的基础上大大减少了网络延迟问题，利用正则表达式对移动大数据流量特征进行匹配能实现关键数据的快速提取，从处理器负载均衡和下行速率两方面统计结果也证明了这一点。
3结论
随着移动网络的飞速发展，关键数据的提取、分析与优化已经成为网络供应服务商关注的重点。本文基于传统数据分流架构，增加了DPI识别技术，通过最优求解实现关键业务的特征提取，在数据分流上具有良好的运用效果。实验表明：经过DPI技术处理过的系统，能保持处理器在处理大数据流量是的负载均衡，同时提升了系统的传输速率，具有较高的处理效率和识别准确度，能推广应用到移动大数据中。
参考文献：
[1] 钱林. 基于DPI的P2P流量检测的设计与实现[D]. 浙江工业大学, 2013.
[2] 石启良. WAP网关HTTP流量分流方案探讨[J]. 电信快报(10):16-18.
[3] 丁亦志, 崔海东. 实现流量经营的智能管道与智能运营双核模型[C]. 中国通信学会信息通信网络技术委员会2013年年会. 2013.