彭鹭斌
罗普特（厦门）系统集成有限公司 361000
摘要：随着“智慧城市”建设，综合管廊建设的不断深入开展，国家对综合管廊的安全管理不断提出新的要求，管廊智慧化被提上日程，对管廊的安全管理提出了新的要求，要求从智能管控方面寻求突破，做到智慧化安全管理。综合管廊安全管理要充分考虑同各管线单位运维管理系统数据的互联互通，达到“智慧管廊”的要求。综合管廊作为城市的地下“神经网络”，它的智慧化安全管理是建设“智慧城市”的基础，因此管廊设备与人员安全的智能化防控技术研发与应用就格外重要。
关键词：管廊设备 人员安全防控 智能化 知识图谱 深度学习
（一）现状及问题
城市综合管廊，又称“共同沟”，即在城市地下建设一个隧道空间，将水、电、气、热、通讯等各类市政管线有机综合集约化地铺设在同一条隧道内，并进行集中管理的市政基础设施。
政策方面，2016年7月，习主席在布置防汛抗洪减灾工作时指出，要加快城市底下管廊建设，提升防汛抗洪和减灾救灾能力。国务院曾先后于2014年、2015年发出《国务院办公厅关于加强城市地下管线建设管理的指导意见》和《关于推进城市地下综合管廊建设的指导意见》。2015年《指导意见》从统筹规划、有序建设、严格管理和支持政策等四方面提出了十项具体措施，推进城市地下综合管廊建设，统筹各类市政管线规划、建设和管理。目标是到2020年建成一批具有国际先进水平的城市综合管廊并投入运营。2016年8月，住房城乡建设部关于印发《2016－2020年建筑业信息化发展纲要》，大力推进BIM、GIS等技术在综合管廊建设中的应用，建立综合管廊集成管理信息系统，逐步形成智能化城市综合管廊运营服务能力。
国内许多城市都在积极规划建设综合管廊，厦门市于2015年入选国家第一批综合管廊试点城市。从已建地下综合管廊运营状况来看，国内在研究信息化监控方面与国际水平较接近，但也有差距。
虽然软硬件系统已在多地的管廊建设中实施，在运营中一定程度上取得了减少人工、提升智能程度的功能，但是在工程实践中智能化程度仍存在不足：现有综合管廊安全管理重可视化，轻智能化。虽然平台可以继承多个对应子系统，但子系统往往独立运行，功能单一，缺乏数据互联互通，缺少联动机制，对管廊内的人员、设备缺乏智能化监管方案。人工智能、物联网、大数据等领域的前沿技术未落地到智慧管廊领域，实际运营中仍然需要大量的人工巡检。
（二）项目建设内容
管廊内的设备与人员安全保障，是智慧管廊平台的重中之重，关系到人民生命财产安全。在现有管廊安全管控体系中，存在数据来源孤立、信息难以共享、融合的问题。各类传感器获取的信息往往独立做出状态决策，缺乏通用的多模态数据融合技术体系。
项目以新兴的智慧管廊产业需求为牵引，以设备、人员安全管控核心技术为驱动，围绕管廊安全领域的共性关键问题开展技术攻关，最终构建形成了一套智慧管廊安全管控的技术体系，提高综合管廊风险监控与应急联动管理水平。
通过建立复杂场景下管廊设备与装备安全防控智能化的关键技术体系，解决以下关键技术问题：（1）管廊复杂环境下，多模态传感器、廊内设备体系构建与数据融合；（2）面向多模态机器学习的管廊设备与廊内人员智能监管技术体系；（3）基于大数据挖掘的安全防控综合决策与集成关键技术。
建设内容包括：建立管廊知识图谱；构建基于多模态深度学习的管廊设备监控技术体系；设计机器学习的管廊设备健康评估方法；构建入廊人员的安全管控技术体系。（1）针对管廊内部设备分布及异常情况的典型特征，结合管廊设备生命周期特点，提出多模态数据融合的管廊设备运行状况监控、环境异常监测和设备健康状态评估的理论与方法；（2）基于时序神经网络技术，研发设备异常状况分析技术，实现热力管道变形、支架变形、排水管漏水等异常状况的智能监测；（3）针对多传感器和视频监控数据，结合管廊知识图谱，研究管廊内环境异常智能化监测技术，实现对管廊内温度、湿度、水位、氧气、甲烷、硫化氢等环境参数的综合监测与预警；（4）研究多模态数据融合的人员行为分析理论与方法，重点解决入廊人员的属性分析技术，包含口罩、安全帽、安全绳检测，通过多属性判别廊内入侵人员识别；（5）融合环境数据，研发人员施工现场安全防控智能化关键技术，实现弱光照下的人员跟踪、多摄像头重识别、廊内高空作业、施工隔断检测等技术，建立操作隐患自动评估方法及特征参数和预警指标；（6）研发管廊人员安全监管技术的嵌入式设备，包含分布式全覆盖智能终端的嵌入式技术。
针对管廊内多模态数据中的非结构化、半结构化的多媒体数据、以及传感器产生的结构化数据，利用知识获取、数据融合技术构建管廊领域的本体库，建立管廊知识图谱；融合知识图谱与深度学习实现廊内设备与装备、入廊人员的状态分析，同步构建管廊知识图谱的实时更新方法；针对管廊设备的异常情况特点，建立适用于多模态深度学习的大规模训练数据集；建立分项指标，通过专家知识建立管廊生命周期参数合理阈值；收集其它管廊维护的巡检记录、维护记录和异常记录，并人工整理相关数据，建立管廊健康评估数据集。提出多模态数据融合的人员行为分析理论与方法，重点解决入廊人员的属性分析技术，包含口罩、安全帽、安全绳检测，通过多属性判别廊内入侵人员识别；实现弱光照下的人员跟踪、多摄像头重识别、廊内高空作业、施工隔断检测等技术，建立操作隐患自动评估方法及特征参数和预警指标；研发管廊人员安全监管技术的嵌入式设备，包含分布式全覆盖智能终端的嵌入式技术。
（三）技术路线与研究方法
.png)
“管廊设备与人员安全防控智能化关键技术体系”技术路线
关键、共性技术：管廊复杂环境特点为导向，重点解决多模态深度学习理论与方法，这是管廊内设备、装备与人员管控的共性技术。具体包括廊内多模态数据融合技术；管廊知识图谱推理和更新技术；管廊设备异常情况检测技术；管廊健康评估技术；管廊低照度人员检测与重识别技术、三维人脸识别技术、廊内施工人员属性分析技术。
在设备方面，首先建立管廊知识图谱，通过对管廊设备的历史状态信息监测，构建时序深度学习进行异常状态建模。在此基础上，构建海量多模态数据分布式存储系统来存储各类传感器数据，利用长短时记忆深度学习和管廊知识图谱对廊内海量多模态数据进行建模，实现设备和装备的有效监管。在人员管控方面，以多模态、大规模机器学习为基础，提出廊内人员行为分析理论与方法，重点解决入廊人员的属性分析技术，实现弱光照下的人员跟踪、多摄像头重识别、廊内高空作业、施工隔断检测等技术。配套管廊人员安全监管技术的嵌入式设备，包含分布式全覆盖智能终端的嵌入式技术。
项目 引入人工智能领域的研究成果，构建基于大规模深度学习和管廊知识图谱的解决方案：融合管廊内的各种数据来源，利用先验知识自动推理的方式，实现异常状态的判别；知识图谱融合多模态深度学习，可实现管廊内部视频监控设备、不同传感器之间的数据共享，实时综合分析管廊环境，同时实现应用层面不同系统之间的智能联动。在支持嵌入的深度学习方法中，前沿研究已经初步验证了知识图谱和深度学习能起到有效的互补作用，可增加深度学习的语义可解释性。对于管廊内的目标检测、识别与决策问题，知识图谱能够有助于从管廊多传感器采集的非结构化数据、半结构化数据以及标定的结构化数据中识别、发现和推断管廊中的设备、人员、概念之间的复杂关系，将廊内多源数据转化为可计算模型。在管廊知识图谱中，其构建过程涉及管廊知识建模、关系抽取、图存储、关系推理、实体融合等多方面的技术。在此基础上，利用目标之间的互相关先验信息，引导检测与识别结果的语义一致性。因此，通过将知识图谱推广到智慧管廊的应用中，可以有效提升管廊中的人员、设备状态判别准确率。
综上，构建基于多模态数据融合的管廊设备与人员监测技术体系， 采用知识图谱融合深度学习的方法来融合多模态数据，实现管廊内多传感器和视频监控系统之间的联动：（1）该技术路线采用时序神经网络实现廊道管理中传感器数据融合的问题，实现各个子系统的智能联动与决策，具有较大的市场价值，可以为多源异构数据融合建立新的研究方法。（2）利用深度学习融合知识图谱技术来解决管廊设备与入廊人员状态监测，充分应用学术领域的前沿研究成果，可以在节省人力成本的同时，大幅提高平台的安全性。（3）管廊内部存在多种设备，参数种类繁多，人工很难从全方位角度去计算管廊实时结构健康评分。通过设计多模态融合机器学习方法，结合历史人工巡检数据和设备生命周期参数，能够全面的综合评估设备健康状况，得到更加准确的结果。
（四）建设意义
（1）关键技术突破：融合管廊知识图谱和多模态深度学习的管廊设备与人员安全防控技术体系，实现管廊内部视频监控设备、不同传感器之间的数据融合，提升人员和设备的异常状态响应效率。
（2）促进产业升级：对管廊结构进行宏微观一体化安全风险监测与预警，最大限度保护生命财产安全；与各专业管线配套监控系统、信息平台有效整合，提升综合管廊运营管控效率；实现政府管理部门、运维公司与权属单位之间的互联互通，提高综合管廊风险监控与应急联动管理水平。
课题：面向智慧管廊的多模态安全管理系统关键技术及其产业化（3502Z20191018）