张政
南京邮电大学 江苏省南京市 210023
摘要
本研究主要着眼于视频监控在物流系统中潜在的应用前景与实际的实现。文章中介绍了视频监控系统，包括视频监控的采集端与服务器端，重点介绍视频监控采集端的系统方案设计，以及采集端与服务器之间视频传输方式的方案设计。本课题的创新点在于视频采用H265的编解码方式，通过移动网络使用TCP使用自定义数据格式来发送视频数据至服务器，以及采用RTP的方式实时传输视频来实现实时监控。
关键词：H265；RTP；FFmpeg；H264；视频监控
一、设计需求分析
1.研究背景与意义
近十年来，随着电商规模的扩大，物流行业飞速发展，市场规模非常巨大，已经成为人们日常生活不可或缺的一环[1]。因此，物流中的安全保障也日益被公众重视，需要确切地保护人身、财产安全。此外随着移动网络的发展，移动网络的速率现在已能满足视频传输的需求；通过移动网络进行视频传输在物流系统中具有一定的发展前景。
目前移动网络的速率、时延已经能够满足视频传输的需求，借助无线网络传输视频进行监控的研究也越来越多，但目前将其应用到物流系统中仍比较少，而将移动网络视频监控应用在物流系统中具有很大的现实意义与实际价值。不但能够实现监控点的可移动性，覆盖的监控面更加广泛，也极大地提高了监控人员的可移动性[2][3]，对潜在的犯罪行为有一定的威慑与规束，而且对物品丢失，车辆事故的调查帮助非常大。因此建立基于移动网络的高清视频监控，一方面可以有效监控和处理突发情况，保障人身和财产安全，具有一定的社会效益[4]；另一方面，建立更加完善的运输监控体系，可以为企业带来更高的效率，更清晰的成本分析，以及更好的员工监督与员工评价。
随着人们生活质量的改善与科技水平的发展，人身以及财产安全的防护也越来越受到公众的重视。我国的移动网络进入了高速发展的时期，目前基本实现移动网络的全覆盖，而随着网络速度的提高，时延的降低，移动网络下的应用层出不穷[5]，但是在物流系统中，移动网络主要用来发送短信，物品扫码揽收派件，发送物流信息，车辆定位等等，满足物流系统的正常运行。虽然能满足物流系统的正常运行，但是在发生货物丢失，车辆事故时，移动网络在物流系统中的应用对事件处理的作用较小，对调查的帮助也非常有限，对财产和人身安全的保障性较差。
此外，近几年视频的质量不断发展。不仅随着硬件设备的更新，拍摄视频的质量得到巨大的提升，而且视频编码技术的发展，各种视频编码芯片层出不穷，使得压缩之后的视频所占的存储空间也得到缩减，降低了网络传输的成本与传递的延迟。经过编码的视频通过网络传输之后获得的视频质量较以前也大大提升。以往的视频主要应用在安保领域，而且以前的视频应用方案一般使用网线进行传输视频，因此网络的质量以及带宽对视频质量和效率的影响十分巨大，地形和架设成本对其部署的影响也非常大，而不断发展的无线网络是一个比较好的解决方案。无线网络视频传输拥有以往视频服务的全部功能，而且其视频质量更高、效率更好，另外无线网络视频的价格成本低廉，是目前监控行业主要的发展方向[7]。硬件条件、传输条件的改善与保障，以及物流系统自身的缺陷与需求，将移动网络视频监控植入物流系统具有一定的条件基础以及实际价值与现实意义。
2.研究现状与发展趋势
2.1物流监控系统研究现状与发展趋势：
目前物流系统基本稳定成型，物流企业通过给揽收员部署手持无线终端，来对揽收派件业务进行监控，包括单据录入、条码扫描、人员调度、卫星定位以及短信等功能；到了系统调度中心，由系统安排车辆，物流车辆中一般装有车载终端，集成卫星定位系统（GPS）、移动位置服务（LRS）、地理信息系统（GIS），货物防盗传感器等等[6][8]，实现对司机，车辆，线路的管理与监控，主要通过定位系统实现对车辆的监控,这是目前主流应用的物流系统。
现在人们对于物流货运的快速，便利与安全等要求越来越高，此外不仅要了解货物的到达时间，更希望全程实时查询货物状态，收货，出仓，图中位置，到达直至签收等状态。目前小型物流企业的监控满足了揽收，出仓，装车等信息的需求；大型的物流企业，如顺丰等已经在国内实现了对货物从下单到派送的全程监控、跟踪及查询。能够实时定位运输车辆、可以查询车辆的行车路线，在汽车运输的过程中能够实时进行监控，还能够获取在运输过程中驾驶员的状态以及车辆的车况，能够最大化地保护人员以及货物的安全。通过运输过程中的图片及视频的上传监控、行车路线的回溯、车辆的位置来实现实时的在途监控。
目前在途运输过程的视频取得基本上都是通过将视频存储到存储卡中，然后读取存储卡中的数据才能取得行车途中的视频监控，所以在途运输过程中监控视频的实时取得是个“盲区”，难以实现真正的实时调度以及全程的监控管理，因此物流系统的在途运输中添加视频监控不仅有实际意义，也是真实需求。物流企业也势必会加强在途运输的监控，真正做到全程监控。
2.2无线视频传输研究现状与发展趋势
（1）编解码的研究现状与发展趋势
近几年一般都使用VC-1、MPEG-2、MPEG4以及H264等对采集的视频进行编码传输，进而实施监控。其中H264、MPEG2与MPEG4等一些优秀的编码技术已经应用到了视频监控行业[9]。网络传输速度与质量的不断发展，视频压缩技术的不断迭代，视频监控领域的发展不断前行，整个视频领域朝着更深入以及更全面的方向不断地发展。整个行业也在不断地变革，形成行业的良性竞争与发展。
目前视频编解码主流采用的是H.264编码，同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上、MPEG4的1.5倍以上[13][24]。而网络的质量与速率以及存储视频的硬件对H.264等编码技术有着极大的限制，而这两点条件限制对视频传输行业的进步带来了极大的阻碍，尤其是对远距离视频传输的影响更加巨大，因此行业的发展迫切需要更加优秀。效率更高的视频编码技术。H.265（HEVC）视频编码是新一代的编解码技术，其拥有H264编码的一些技术，同时以此为基础还创新地提出了新的技术。其可以调节并优化视频的比特率、分辨率、帧率、发送的延迟时间，使得视频质量与传输速率获得极大的提升。HEVC编码能够提升视频的编码效率、缩短视频实时传输的延迟时间、增强视频编码出错时的恢复能力并且能够将算法的复杂度进行一定程度地降低等[10][13][14]。HEVC是H264的编码能力的2倍。在传输同一个视频时，HEVC的码率平均是H.264的2/3到1/2之间；此外，当压缩一个视频越厉害，那么码率的降低越明显[11]。
但是，HEVC能够有这么大的优势也是需要更多的成本。HEVC虽然能够极大地提升视频的压缩率以及视频的质量，但是同时HEVC进行的计算开销是H.264的10到20 倍[12][15]。也就是说，HEVC编码的硬件性能要比H.264要强很多，因此对硬件的要求也很高，那么所需的成本也比H.264高不少。另外，随着视频编解码能力的提升，所需要的处理器的性能也要越来越强，计算能力要越来越高！随着光刻机技术的不断发展，芯片中晶体管也越来越小，现在已经能够达到5nm，因此相同芯片尺寸下，晶体管的数量也越多，那么芯片的性能也越强大。现在的市场上有着各种各样的芯片公司，比如海思，TI，安霸以及雄迈，近几年海思的芯片设计能力非常强大，已经占了市场的绝大部分份额。所以海思芯片是市场上主流的H.264和HEVC编码芯片，例如hi3516系列和hi3518等等。此外，华为本身也参与了编码技术国际标准的制定，其对HEVC标准的制定也有着很大的贡献；因此海思的编码芯片处于行业的领先地位。
（2）无线视频监控的研究现状与发展趋势
无线通信技术目前主要有移动通信，WIFI，蓝牙，NFC等等。目前无线视频监控主要使用WIFI进行传输，WIFI采用的是IEEE802.11b协议。WIFI的频带宽，能够达到300MHz；WIFI的传输速率比较快，而且WIFI经过多年的发展，技术已经非常成熟，因此硬件设备的成本比较低。WIFI的拓扑结构主要是通过AP组建的基础网和STA形成的自组网[16]。另外，无线视频传输还应用于无人机监控以及视频拍摄，主要利用无人机在高空进行远程监控，地面能够实时接收无人机传回的画面，实现无人机与地面客户端的短距离视频实时传输[25]。基于WIFI的视频监控主要使用在固定的监控场景，只能在固定地点进行监控无法进行移动，其主要优点是硬件成本低，频带宽因此传输视频的延迟较小，此外WIFI一般用于局域网，传输的安全性比较高，但是WIFI不能用于移动的场景、其抗干扰的能力也比较弱，而且WIFI的监控距离一般在100m以内，有一定的局限性[17]。
从第四代移动通信技术（4G）开始，移动网络理论上下载速度能达到100Mbps，上传的速度也能达到50Mbps，而实际使用时4G的网络速度也基本相当于20M的家庭宽带[18][19]。所以移动网络拥有与WIFI基本相同的传输速率，而且其可移动性好，通信质量更高，抗干扰能力也更强[21]。而且目前5G网络已经开始商用，5G基站的建设速度也越来越快。5G网络的理论下载速度是1Gbps，即125-140M/S的速率，这个速度基本是第四代网络的10倍。而且5G时代最突出的特点就是高速率与低时延[20][23]，5G网络的这一特点会为移动视频监控领域带来更大的平台与发展。目前国内已经实现使用5G远程进行手术，通过视频无线传输，实时接受手术画面，对医疗行业有了非常大的帮助，对病人的救治更加及时。
二、特色与创新
1.本课题着重研究无线视频传输在物流系统中的应用，基于HEVC视频编码实现视频的移动传输以及物流视频的实时传输，根据网络情况自适应地调整码率，来保证实时视频的连续性。以往的无线视频传输研究主要基于H.264编码以及视频采集完成之后的传输整体采集的视频，忽略了视频存储的损耗以及实时性。
2.拟采用的HEVC编码能力是H.264编码的2倍以上。在同等图像质量情况下，HEVC的码率更低。此外还将基于HEVC编码，进行实时监控视频的移动传输。
3.而对于移动网络，第五代移动通信技术（即5G）是目前最新一代的移动通信技术且逐步商用。5G网络为用户提供了超大的带宽性能优秀，速率是4G网络的10倍，网络时延比4G更低，传输视频的速度也将更快。等到5G普及时，可以将通信网络切换成5G，传输效率将会极大提高
4.目前物流系统还未真正实现在途运输过程中监控视频的取得，因此无法真正做到在物流运输过程中的全程监控，有一定的安全隐患，也不便于企业对员工的监督与车辆的管理调度。对于一个应用系统来说，不仅需要考虑视频采集的质量，还需要重视视频所占存储的损耗以及视频的时效性。而且视频的质量也非常重要，高质量的视频不仅能够吸引用户，还能够在关键时刻提供非常重要的帮助，例如发生失窃或者车祸时，对调查的帮助。实时取得监控视频[22]，可以方便数据采集，处理突发情况，还可以提供数据进行驾驶行为分析等大数据应用场景，例如地图的街景，车流量监控，交通问题的实时处理。
三、功能设计
1.框架设计：
.png)
图1 系统设计框图
本研究拟设计一个如图1的一个移动视频监控的物流系统
(1)设计并实现一个如图2的物流移动视频终端用于采集视频，该终端主要包括处理器，通信模块，摄像头以及编码芯片等。当摄像头接受到指令时，开始采集视频，通过编码芯片将视频硬编码成压缩文件，然后通过通信模块将视频数据发送到指定的服务器地址
.png)
图2视频采集终端
(2)设计一个服务器与终端协同工作。一方面将与终端进行通信，将受到的压缩的视频进行解压并发送给客户端进行播放，另一方面接受客户端的指令，发送信息给终端，让终端采集视频。
(3)设计一个视频展示页面，将接收到的视频播放出来，并且在页面上能够发出请求，请求具体需要的视频数据，以及支持视频多屏展示的功能
(4)设计使用x265编码库进行HEVC软编码并与使用硬件编码芯片的视频比较，综合考虑，选择较优的编码方式进行优化。
(5)选取通信传输协议RTP等，确保视频传输过程中的质量，不丢包不丢帧，进一步保证视频的质量
2.处理流程：
本课题拟设计一个如图1所示的包括物流无线视频终端、服务器、客户端的一个移动视频监控系统，其中硬件部分设计如图2所示，物流无线视频终端包括处理器单元、通信模块、摄像头以及视频编码芯片等。此外，设计一个基于Linux的服务器，与视频终端通过IP和端口连接，服务器能将终端发送的压缩视频进行解码然后发送给客户端进行播放，而且服务器还需要能够处理客户端发来的请求，如客户端指定获取固定终端固定时间内的视频，然后发出指令给终端，终端处理识别开始发送相应的视频。而客户端的设计主要是视频展示页面，在客户端上进行视频的播放，设计选项来选取指定，取选取具体终端具体时间的视频进行播放，此外还可以支持视频的多屏展示，主要流程如图3所示。拟采用HTTP将编码后的视频数据传输到服务器，保证视频取得过程中的连续以及质量，在服务器解码生成mp4的视频文件后，通过RTP流媒体协议，将视频流推送到客户端进行播放，而且可以进行实时播放。
.png)
图3系统处理流程图
3.技术实现方案
针对于本课题所提出的视频采集传输器件，将从以下几个方面进行开展工作：
(1)前端采集节点拟采用嵌入式平台树莓派作为主处理器单元，扩展高清摄像头采集视频信息，使用海思的hi3516EV200的芯片作为视频硬编码芯片，对采集的视频进行H.265编码，然后使用移动通信模块通过RTP协议将视频数据推送到客户端进行解码播放。客户端未有视频播放的请求时，则将采集到的视频存储到SD卡中。客户端请求播放之前时间的视频时，从SD卡中读取视频文件，通过TCP发送到服务器上进行解码，然后页面进行播放。
(2)编码方法拟采用H.265编码，H.265的性能是H.264的2倍，同等视频质量下，压缩完成的视频大小只有H.264的一半，因此传输时可以节省网络资源，降低成本。可以选择ffmpeg进行H.265软编码，也可以采用硬编码，需要看具体采集端的性能。
(3)对于非实时传输的视频，使用自己设计的数据结构来传输视频文件，通过压缩编码将原始视频压缩之后通过TCP发送到服务器进行处理与解码
(5)视频实时传输拟采用RTP协议。RTP（实时传输协议）主要包括RTP以及RTCP协议，其广泛地应用在IP网络上，进行语音、视频等数据的传输。RTP协议主要封装并发送数据但是不能够保证质量，这时需要RTCP来提供服务质量。RTCP会传输己发送和已丢失的字节数等信息，反映给系统使用RTP协议传输数据时的信道质量，然后系统负责分析这些信息，自适应地去调节使用RTP协议传输数据包的大小以及传输速率，进而可以持续地进行数据流的实时传输。通过RTP与RTCP协议的协作，可以使得数据的发送效率达到最优化。
(6)对结果进行分析与优化。对实际在终端播放的视频与摄像头采集的原视频进行对比分析，不断进行优化，使得视频的质量与传输时的速率都能达到系统的最佳性能
4.数据结构设计
(1)传输数据的设计
视频采集端将摄像头采集的视频文件使用HEVC编码称h265文件，然后通过移动网络使用TCP协议将h265文件发送到服务器，为了数据的安全以及数据接收的准确性，对发送的数据进行结构设计，如表1：
.png)
表1 数据结构
首先将采集端与服务器之间的通信数据设计成如表1的格式，所有的通信数据都按照表1的格式进行解析，数剧以02开头，03结尾，数据长度是整个从开始到结束整个数据的长度，序号是数据发送的序号，设备号是指视频采集端的S/N，是唯一指定不变的，一个S/N对应一台采集设备，控制标志是用来区分数据内容的，不同的数据内容使用不同的标志，校验是为了校验数据的正确性。以上是整个在帧中传输的数据设计
(2)数据内容设计
在帧中传输的数据以及设计完成，那么需要设计怎么传输h265文件到服务器，设计使用record来进行文件内容传输，设计四种record来负责视频传输，FF90代表视频开始传输，发送给服务器，服务器进行时间比对校验，时间正确之后给采集端正确应答，然后采集端开始发送h265文件，通过FF91来进行发送。发送完成之后，采集端发送FF92来通知服务器发送结束，服务器接收到FF92之后将所有接收到的h265文件保存到指定目录，然后将h265通过ffmpeg软解成mp4文件。如果采集端在指定时间内没有视频数据，则发送FF93来通知服务器没有视频文件。record结构设计如表2：
.png)
表2 record结构
Record结构设计成表2，但是不同的record发送的数据部分不同，其中FF90，FF92和FF93不携带视频数据，只发送时间等数据。
通过以上数据结构能保证视频文件安全、完整、有序地发送到服务器上，能够保证传输以及视频的质量。
参考文献
[1] 物联网技术在仓储物流领域应用研究[J]. 邓振华. 理论观察. 2016(12)
[2] 覃磊. 4G车载视频传输关键技术及软件系统的研究[D].浙江大学,2015.
[3] 智能视频监控技术综述[J]. 黄凯奇,陈晓棠,康运锋,谭铁牛. 计算机学报. 2015(06)
[4] 智能视频监控技术在公共安全领域的应用[J]. 教颖辉,魏略.??中国公共安全.?2017(01)
[5] 林鑫显. 基于4G无线传输的视频应用体系的研究与分析[J].电信工程技术与标准化,2015,6:49-54.
[6] 李越. 汽车整车物流运输协同监控系统的研究与实现[D].西南交通大学,2015.
杨聪锟,杨雪芹,杨雪辉.基于嵌入式平台的视频采集软件实现[J].工业仪表与自动化装置,2016,4:30-33.
[7] 颜晓永. 基于4G的车载音视频传输终端的设计与实现[D].浙江工业大学,2015.
[8] 刘贵林. 整车物流监控与服务系统的设计与实现[D].西南交通大学,2016
[9] 基于H.264/HEVC的视频编解码关键技术研究[D]. 夏校朋.中国科学院研究生院(光电技术研究所) 2016
[10] 浅析视频压缩最新标准H.265[J]. 袁小平. 福建电脑. 2015(04)
[11] 张亚男. 无人机高清视频无线传输关键技术研究与验证[D].电子科技大学,2017.
[12] 基于H.265的流媒体技术研究[D]. 杨可健.武汉理工大学 2014
[13] Pinghua Zhao, Yanwei Liu, Jinxia Liu, Song Ci, Ruixiao Yao. SSIM-based error-resilient rate-distortion optimization of H.264/AVC video coding for wireless streaming [J]. Signal Processing: Image Communication, 2014, 293: 76-78.
[14] DING Dandan,WANG Silong,LIU Zoe,YUAN Qingshu.Real-Time H.265/HEVC Intra Encoding with a Configurable Architecture on FPGA Platform[J].Chinese Journal of Electronics,2019,28(05):1008-1017.
[15] 丁丹丹,Gui Kai,Ye Xin,Liu Fuchang,Pan Zhigeng.Deeply pipelined interpolation architecture for full ultra-HD H.265/HEVC video encoding[J].High Technology Letters,2019,25(01):28-34.
[16] 陈双双. 基于WiFi的无线视频监控系统的设计[D].西安工程大学,2017.
[17] 邱绪林.基于wifi的无线视频传输系统[J].中国新通信,2017,19(04):31.
[18] 户晋文,黄焕立,周辉.基于4G网络的远程视频监控系统设计与实现[J].公路与汽运,2017(02):13-16.
[19] 4G技术的应用现状及前景[J]. 胡德清,王珺玺. 电子制作. 2016(01)
[20] 李黎玥. 5G 从理想走进现实[N]. 北京日报,2019-11-06(013).
[21] 沈立武.基于4G网络的视频传输业务的应用[J].科技创新与应用,2018(04):141-142+144.
[22] 韩力,季志博,王磊,王军.基于4G网络的车辆防盗视频传输系统设计[J].苏州科技学院学报(工程技术版),2016,29(04):75-77.
[23] Muhammad Afaq,Javed Iqbal,Talha Ahmed,Ihtesham Ul Islam,Murad Khan. Towards 5G network slicing for vehicular ad-hoc networks: An end-to-end approach[J]. Computer Communications,2020,149.
[24] 基于H.264的远程视频监控系统设计与实现[J]. 高建辉,黄世震. 微型机与应用. 2017(19)
[25] 彭湛博. 无人机实时高清图传系统的设计与实现[D].西安电子科技大学,2018.