付革民1 王继柱2
1国能包神铁路集团有限责任公司机务分公司技术信息部 陕西省榆林市 719316
2国能包神铁路集团有限责任公司神朔铁路分公司寇庄站区寇庄电务车间 山西省朔州市 036002
摘要：在机车运行中需通过视频监控系统对乘务员的行为操作进行监控，以判断其是否符合相关规范，但既有视频监控系统存在数据结构异状，视频分析方法受限、系统兼容性差、系统综合联动分析工作量大等问题，无法满足实际运营需求，本文设计了一套机车智能视频监控系统，利用图像识别技术、行为即时分析算法等智能分析技术，对机车运行中乘务员的作业行为图像进行分析，监督乘务员岗位行为操作是否符合规范要求，彻底消除重载铁路高位运输中存在的重大行车安全隐患，提高视频监控的效率。
关键词：智能视频监控系统；图像识别；行为分析；操作规范
根据《铁路机车操作规则》机车乘务员确认呼唤标准，要求机车乘务员在行车过程中进行信号确认时，必须使用一套规范的手势，以此来提高机车运行的安全性。但在实际行车中，从技术角度看，既有的机车视频监控系统无法对乘务员的动作行为进行实时监控，因缺乏对乘务员规范行为操作的有效监督，导致很多乘务员并未按照机车标准操作规范行车，从管理角度看，也无法实现添乘监督全覆盖；从高位运输密度看，神朔铁路线路特殊，线路随山势起伏曲折，重车线12‰的长达下坡道或长达上坡道，就存在三处，线路曲线半径最少400米，机车乘务员的操作是否规范标准，对行车安全至关重要，因此存在着极其严重的行车安全隐患。
一、既有机车视频监控系统存在以下问题。
1）数据结构异状
现场运用的视频系统颇多，因厂家相异，视频系统功能、性能、清晰度以及软硬件兼容性等技术参数不一而足，不相类似，考虑知识产权保护，主要表现在视频类型多样、格式不一；转储、调阅软件多样化；数据缺失无法卡控等。
2）现场场景多样化
因前期视频系统功能建设的需要，以及受当时视频系统等技术发展的限制，视频系统建设比较片面、单一，缺乏后期建设的兼容性，主要表现在视频系统功能建设重点考虑作业过程、机车信息以及机车环境等方面。
3）视频分析方法受限
因现场视频系统旁杂，生产厂家众多，导致多种分析软件数据匹配起来相当困难；或者各种视频系统无法综合联动；甚至现场关键处所、重要地段、关键作业环节、重点操作行为等覆盖率严重不足，或者考虑不周全，更主要的是缺乏大数据概念，缺少系统智能分析功能。
4）劳产率底下，综合资源浪费多
因现场视频系统多，产生的视频信息量大，正常情况一台车一天就能产生上百G的视频，导致视频分析工作量非常巨大，各生产单位、生产岗位的职责相异，导致在 LKJ、音视频分析岗需要大量的人力物力成本；现场需要设置专岗专人进行转储、分析行车违规行为，不仅浪费人力成本，且耗时长，易出错，劳动效率不高；导致人力协调、资源配置投入颇多。
因此，在此背景下，迫切需要进行机车视频智能分析系统的研究，将机车视频图像结合机车运行实时信息数据，自动实时检索乘务员违规行为，发现违规行为时，通过车载显示终端向乘务员进行提示；同时通过网络向地面系统传输报警信息，实现远程跟踪；用技术手段代替人工添乘，通过地面系统结合LKJ文件实现更加细致准确的行为分析，实现视频检查全覆盖，达到提高乘务员操作规范性，保障行车安全的目的；随着物联网、人工智能、当前图像识别能力、大数据等技术的快速发展，使通过技术手段实现视频自动智能分析化成为可能。不仅可降低大量的人工重复劳动，同时提高视频检测效率，实现对机车视频管理自动化，大大提高视频分析效率，而且可以实现行车现场乘务员行为即时分析，发现违规行为并及时提醒，从而降低行车安全事故发生的几率。
二、机车智能视频监控系统的必要性研究
1）研究内容
系统主要研究地面视频智能分析，通过图像识别技术和行为分析算法，实现对从机车转储下来的视频文件加速分析，同时结合乘务员行车操作规范和LKJ监控文件，实现离线视频中违规行为的快速检索并自动生成文件报告。同时研究在离线视频（机车转储下来的视频）分析基础上，利用已经研究的行为分析算法，研究车载视频智能分析主机，将地面算法进行优化并移植到车载智能视频分析主机，结合机车运行实时数据，实现乘务员行为分析结果实时预报警提示，报警警告；并通过机车视频监控预警系统自带的传输功能模块将分析结果及视频片段上传至地面服务器，实时通知地面管理人员。
（1）图像识别技术是基于人工智能发展的一个重要科研范畴，它依托大量数据信息，在模拟专家经验和已有感知认识的基础上，利用计算机和数学推理的方法对形状、模式、曲线、数字、字符格式和图形进行自动识别完成、评价，通过编制模拟人类图像识别活动的计算机程序，建立不同的图像识别模型，是立体视觉、运动分析、数据融合等实用技术的科学基础，在导航、地图与地形配准、自然资源分析、天气预报、环境监测、生理病变研究等许多重要领域有着无可代替的实用应用价值。因此本文基于铁路机车运行中，乘务员行为手势图像进行研究，通过研判即时分析识别乘务员行车过程中不安全行为图像，达到消除行车严重安全隐患之目的。
（2）行为分析算法在人工智能分析领域有着广泛的应用背景,如智能监控、人机交互、运动员辅助训练、视频编码等等，近年来，这些技术在科研应用领域的驱动之下,行为分析已经成为图像分析、心理学、神经生理学等相关领域的研究重点和热点。本文通过机车视频智能分析系统研究，着重研究机车运行现状及目前存在的主要安全隐患问题，通过研究机车运行实时数据和操作行为规矩，实现了对乘务员手比、站立、开侧窗、离岗、姿势异常、做无关行为的图像行为进行实时分析，并通过车载显示终端报警，同时对所有分析结果通过机车视频监控预警系统自带的传输功能模块实时传至地面服务器，同时将违规行为的图片、视频片段上传。
（3）智能视频监控系统根据分析逻辑实现乘务员以下行为即时分析：
①手比，主要是确认信号机前、特殊地段，乘务员是否手比、是否无声手比、调车作业时首架信号是否二人同侧手比确认；
②起身开侧窗并探头窗外，主要判断机车升弓、动车前乘务员是否起身开侧窗并探头窗外；
③站立，主要时针对副司机需要站立的区段判断副司机是否站立；
④司机室人数，主要用于判断双人值乘是否少人、是否有闲杂人或超过设定人数；
⑤司机离岗，主要是确认行车中是否离开座位、停轮后司机室是否无人值守；
⑥姿势异常，主要是确认行车过程中是否有脚搭操作台、停轮后是否平躺座椅；
⑦无关行为，主要是确认行车过程中是否玩手机等电子设备；
⑧巡检，主要是确认联动分析，行车过程中副司机是否去另一端巡检，次数是否满足要求；
⑨运行中精神状态，主要是确认机车运行中，乘务员是否精神不振、频繁点头、趴着、躺着等不了行为；
⑩视频质量问题分析，主要是确认视频摄像头角度不正、摄像头模糊、无语音、杂音大等。
三、机车智能视频监控系统架构及技术要求
1.机车智能视频监控系统原理
机车智能视频监控系统由地面视频智能分析系统、车载智能设备和数据传输系统三部分组成，详见机车视频智能分析系统原理图。
机车运行中车载摄像头自动对乘务员作业行为进行视频录制，并通过车载时实分析系统将违规视频片段通过4G网络传输至地面服务器并报警。等机车回到神木北机务段内，自动与整备场5G基站连接，快速将所有视频资料传输至地面服务器，地面智能分析系统自动对所有视频进行分析（地面分析系统相对车载分析系统要复杂的多，分析的内容更详细，准确率更高）。违规视频片段用红色标记，再通过分析人员确认将分析结果通报至机务段安全监察部，达到控制和减少乘务员违规作业的目的。
(1)地面智能分析系统由地面网络交换机、地面视频智能分析服务器、地面分析终端等组成，通过对机车视频监控转储下来的视频文件与LKJ文件结合，并结合乘务员操纵规范，以视频智能分析服务器为硬件基础，视频算法为核心实现乘务员行为的快速分析，并自动生成行为分析报告。同时自动将机车传输的所有文件进行联动分析，并将结果传输至地面分析终端。
(2)车载智能设备由车载智能视频分析主机、数字高清摄像头、车载显示终端组成；主要是对乘务员操作行为进行分析，结合机车运行实时数据，如果发现违规行为自动将违规视频截取并通过机车视频监控预警系统自带的传输功能模块上传至地面视频智能分析服务器，并通过地面分析终端进行预警，同时车载智能分析主机自动语音提示乘务员及时纠正违规行为。
(3)数据传输网由4G和5G传输网络等组成，其中4G网络的主要作用是：一是、当车载智能视频分析主机报警时将违规视频片段传输到地面服务器，地面工作人员可以实时了解到乘务员状况，防止事故进一步扩大。二是、地面工作人员可以通过4G网络实时观察乘务员操作情况及乘务员工作状态。
5G网络主要作用是：当机车回到神木北机务段整备场，5G基站自动与机车5G模块联通，将机车视频文件、LKJ文件、BCU文件、DTE文件及LCU文件等全部传输至地面视频智能分析服务器。
2.机车智能视频监控系统技术要求
（1）车载视频智能分析主机的性能指标。
主机支持12路数字高清摄像头接入，并满足传统视频监控功能如本地硬盘视频存储、U盘存储；并所有接入摄像头支持实时数据叠加；能够通过机车视频监控预警系统自带的传输功能模块实现视频远程实时浏览、回放；远程实时视频数据传输支持根据网络状态码率动态可调。
主机支持2*2.5寸硬盘存储，最大支持2T,硬盘盒采用快拆设计；视频编码值满足H.265/H.264,音频压缩标准满足G7111A/G711U/ADPCM；智能分析模块可同时分析不小于4路的视频图像，功耗不大于25W；
（2）车载显示终端性能指标
显示终端屏幕满足10.4英寸；分辨率大于等于1024X768。支持U盘实际存储视频监控数据；支持车地无线对讲；支持触摸操作；工作温度满足-20℃∽+70℃。
（3）视频离线分析性能指标
智能系统能够根据操规实现乘务员手比、站立、开侧窗、离岗、姿势异常、做无关行为进行分析，并自动生成行为分析报表。报表内容包含违规项点、违规项点对应的视频和图片、违规时间点的监控数据等。一是所有行为分析准确率分为确认和疑似两类，其中确认准确率在90%以上，疑似准确率80%以上；二是离线视频采用加速分析模式，分析速度是正常视频播放速度的10倍以上；三是视频存储服务器及视频存储备用服务器系统配置，必须满足主频不低于2.0GHz的10核心CPU，最大支持1T内存硬盘容量不小于200T，不少于4个千兆网口的网络接口。
（4）视频实时分析性能指标
视频智能系统能够满足实时分析行车过程中乘务员的作业行为，并将结果实时给乘务员报警且同时传至地面服务器。视频实时分析主要由车载智能视频分析主机、车载显示终端及各种数据采集摄像头组成。能够结合机车运行实时数据和操作规范行为，实现对乘务员手比、站立、开侧窗、离岗、姿势异常、做与工作无关行为的实时分析，并通过车载显示终端报警。所有分析结果通过机车视频监控预警系统自带的传输功能模块实时传至地面服务器，同时将违规行为的图片、视频片段上传。
达到实时行为分析准确率不低于80%。行为分析结果延迟不超过1s。
四、预期目标
通过对机车运行过程中乘务员行为规范的检测监控，形成一套智能化的基于图像技术的机车智能视频监控自动分析系统，实现视频文件自动分析并生成分析报告，在满足当前视频监控功能基础上，实现乘务员值乘行为实时分析并通过机车视频监控预警系统自带的传输功能模块传至地面服务器。
（1）机车视频离线分析自动化，实现转储到地面到机车视频，主要是司机室视频与LKJ文件同步自动、加速分析，实现行车过程中乘务员行为分析并自动生成分析报告；
（2）乘务员行为实时分析，在完成现有视频功能同时，结合机车运行实时数据，实现乘务员行为提示、行为分析，分析后违规行为及相应的视频片段实时上传至地面服务器；
（3）视频存储轻量化，对当前视频监控主机采用全时段存储模式，通过行为分析及行车安全项点为触发条件，实现有问题、关键点视频存储，减轻视频存储量及下载量，为视频无线转储提供技术基础；
（4）行车安全分析数据化，通过对乘务员行车行为自动分析，结合当前已有对乘务员行车安全项点分析，实现从操纵数据、乘务行为等多维度反应乘务员值乘质量。
五、结论
机车智能视频监控系统的研发使用，不仅可降低大量的人工重复劳动，同时提高视频检测效率，实现机车视频图像行为分析智能化，实现机车视频管理自动化，实现视频分析数据追踪，及时防范预警，大大提高视频分析效率；实现自动违章关联，扩大分析覆盖面；实现视频文件统一转储方式，实现自动转储，取消转储专岗；实现数据格式统一，消除分析壁垒；实现多系统联动，综合分析，多岗合一，而且可以实现行车现场乘务员行为即时分析，发现违规行为并及时提醒，从而降低行车安全事故发生的几率，提高数据检索、回放效率。
参考文献：
[1]铁道部.TB 10085—2009.铁路图像通信设计规范.北京：中国铁道出版社 ，2009.
[2]周洁云.广深铁路视频监控系统方案浅析. 铁道勘测与设计, 2010 年第 1 期
[3]黄垠瑜.铁路沿线重要场所远程视频监控系统的建设与应用.铁道技术监督,2007 年第 35 卷第 6 期
[4]师研、侯宗友、吴平.高清趋势下铁路综合视频监控系统架构.中国铁路,2012 年第 4 期
[5]陈小红、王红光、程婧菲.基于云服务的视频监控系统在铁路的应用研究.信息技术与信息化,2017 年第 12 期
[6]伊益华.铁路视频监控系统技术分析及应用.科技创新与应用,2014 年第 11 期
[7]王军.铁路智能视频监控系统.铁路计算机应用.2009 年 018 卷 010 期
[8]于志军.铁路视频监控系统解决方案探讨.中国铁路.2012 年第 12 期
[9]铁路总公司.铁路视频监控系统管理办法.铁总运【2016】80 号.北京：中国铁道出版社