方灿 严建林
绍兴市制水有限公司平水江分公司
摘要
水厂工业控制系统架构中的工业以太环网已经是一种应用比较成熟的技术，但是针对不同水厂与不同系统之间的应用仍存在组建上的缺陷，如何根据水厂不同工艺要求提高网络稳定性，防止数据拥堵，提高故障的自恢复能力，以及应对新的安全形势下的网络安全防护等级要求，是今后水厂工控网络优化方向。
【关键词】：工业以太环网，水厂，稳定性，自恢复能力，网络安全
引言
平水江水厂是绍兴市水务集团下属的一家净水厂，水厂设计规模15万吨/日，于2016年3月通水，现实际运行规模5万吨/日。平水江水厂主要职能是作为绍兴市的补充水源的水厂，进一步保障了水资源的优化配置和可持续利用，有效地缓解城市供水需求，同时多水源供水，多点供水，进一步提升了城市供水安全保障度。因此，系统的安全稳定运行是平水江水厂运行之初的首要任务。
一、工业控制系统及环网介绍
平水江水厂工业控制系统（以下简称工控系统）是基于SCADA系统建设，以工业以太环网为连接，划分了上位机和下位机两大部分。上位机系统主要包括数据采集，数据监控以及人机交互用的服务器，工作站，和周边配套的防火墙，网闸等网络安全设备；下位机系统主要是以可编程逻辑控制器PLC为核心设备的现场设备控制系统，如图1。
水厂工控网络是基于工业以太环网技术建设，选用以某知名进口品牌交换机为核心设备搭建，采用DCS框架构建而成，以连接生产现场的各类PLC设备，用百兆光纤环网传输接入至工厂的核心机房。通过机房的核心交换机，实现服务器与PLC交互数据。
其中，出于数据的安全性和系统的独立性考虑，水厂其它的配套系统，如安防监控系统，配电监控系统等数据交互在另外一个网络中实现。
.png)
图1.平水江水厂工业控制系统拓扑图
二、工业以太环网的现状分析
目前水厂环网主干是选用百兆带宽的单模光纤网络，对每个工艺控制单元的现场布设多电口的小型光纤交换机，在控制核心机房布设两台汇聚层交换机，经由汇聚交换机后，集中汇总至主干交换机。通过现场交换机——汇聚层交换机——核心交换机环接，组建成了三级工业控制以太环网。
2.1、选用工业环网架构的优势
相对于环网来说，普通网络架构如星型，树型或者令牌环网型架构，都不能有效解决故障点突发或者并发时，整个系统能持续运行而不产生数据丢包，网络中断的现象。而工业环网，按照设备的标准，自恢复时间可以达到毫秒级，在能有效解决网络中断的基础上，还能提高数据传输效率，增加系统稳定性。
工业环网，还有一个重要的特征是工业型。工业环网选配的工业型交换机，由于自身采用网络协议不同，可以大大缩短了网络自恢复时间。如当选用普通商业型交换机组成工业环网时，网络只适用RSTP协议，RSTP协议的故障恢复时间为几秒至几十秒。而采用工业型交换机组成环网架构，采用更先进的Hiper-Ring环网协议，环网收敛时间为毫秒级。而且，工业交换机支持802.1D标准QoS管理机制，可以通过设置优先级，保证生产关键信息优先通过，提高网络的实时性。
2.2、工业环网在水厂中的应用情况
评判网络优劣标准的一般有两个重要指标，即网络自愈时间和网络传输性能。
在水厂运行近一年时间内，发生过两起局部系统停电事故，两起事故均导致了某点系统中交换机失电而停止工作，但是对整个环网除该交换机下挂接的设备信号中断外，其余系统正常运行。当某点网络故障时，环网中其它交换机以毫秒级的速度恢复逆向传输数据，而上位机服务器是以秒级速度采集数据，因此，不仅仅在人机交互界面中感知不到数据中断的现象，而且历史数据服务器里的数据也是正常连续。
对于网络传输性能而言，一个重要的指标即全厂的网络负荷量，本文通过下面的方法大致的估算。全厂的控制系统仅为生产数据使用，并无视频，语音等业务，而生产控制系统大约有1600个模拟量点和3400个开关量点。如果所有数据点每隔一秒就需要通过各PLC与中心机房通讯，此时网络负荷最重。按照每一个点用一帧报文封装，每帧报文都按最大长度1536字节来估算，在一秒(s)内5000点*1536字节(byte)/点*8位(bit)/字节(byte)＝61.44Mbps，所以负荷最大的情况下占用带宽约为60%。数据帧的示意图如下图所示。
.png)
图2.环网数据帧示意图
但是，真实的情况要比估算的轻松很多，一是大部分数据帧只需64字节长度，二是数据点的刷新率并非每秒一次那么频繁，三是数据点会经过PLC运算再往上送，真实在网络上跑的数据并没有5000点那么多。所以实际的负荷量要比60%低很多，目前用软件测得数据符合量仅有30%左右。而按照最严苛的情况估算出来的负荷量在百兆主环网中仍然有接近40%的裕量，可以得出结论，百兆带宽环网能满足目前生产的需要。
若遇到其它功能需要新增，如环网中产生视频，语音，大数据文件等各类业务，则仅需要升级至千兆三层网络，工业环网仍然是首选的解决方案。
2.3、水厂环网存在缺陷
按照一般的设计方法，环网虽能解决目前水厂所遇的大多数问题，但是因为水厂水处理结构和工艺建筑物布局上的特殊原因，一般设计的环网仍存在不少缺陷。
缺陷一：由于交换机工作环境一般甚至恶劣，容易导致故障；由于水厂面积较大，且布局构造比较复杂，发生故障时，寻找故障设备地址很难，经常需要每个单体系统逐个排查。
缺陷二：水厂滤池通常数量较多，功能相同，每格滤池都有独立的控制系统，且是水处理工艺中非常重要的一环。对于滤池网络管理，如果布置不优化，不是容易造成滤池网络全部中断，就是容易造成网络拥堵，增加环网压力。
缺陷三：常规的交换机技术，很难解决工业系统无线传输问题，在稳定性和安全性能方面存在很大的隐患。
缺陷四：常规的工业环网，通常不能满足网络安全保护高标准的需求，对于入侵，防病毒等方面，存在缺陷。
针对上述几个问题，下文就逐一探讨现阶段平水江水厂寻求到的优化方案并分析。
三、各位问题优化方案
3.1、高品质工业管理型交换机的引入
工业型交换机较于普通型交换机有几个显著的优点：有特殊设计的散热形式，平均无故障时间（MTBF）很长，工作温湿度区间宽，工作电压适应性强。以平水江现使用的某国际知名品牌交换机为例，该工业型交换机满足cUL508工业标准，从整体上提高控制系统可靠性。从交换机产品本身来看，普通交换机并不适用于工业场合，长时间不间断运行容易出现故障。在散热方面，普通交换机的散热风扇属于易坏的转动元器件，长时间运行容易出现问题导致交换机过热故障；但是该品牌工业交换机采用无风扇方式散热；平均无故障时间普通交换机一般为10年左右，而该品牌交换机产品规格为20年以上；工作温度区间-40℃-70℃,相对湿度 (无凝结) 10%~90%，普通交换机要求正常环境温湿度；工作电压适用范围方面，工业核心交换机支持外接电源机架或一路内置电源模块, 双冗余电源输入，采用100-240VAC供电，现场交换机电压范围18-32VDC，而普通交换机一般电压范围220V±5%；在电磁兼容性方面也有着显著的提升。
而管理型的工业交换机，对系统的整体布局，统一规划，以及设备寻址的问题上，也有着显著较强的处理能力。还是以某品牌交换机为例，管理型交换机自带有管理平台，可以收集环网系统中各交换机的信息，包括交换机自身配置，光电口工作状态，交换机IP地址，在环网中的逻辑地址以及物理地址等。这样的优势在于使用者可以在中心管理服务器上查看现场所有交换机的信息，可以获知所有交换机当前工作状态，是否存在节点上，端口上的故障，且发生故障后，可以第一时间准确判断故障设备的具体地址，分析故障发生时整个环网的工作情况，可对下一次故障来临前进行风险评估。如图3，此时正在对现场IP地址为172.16.100.1的单台交换机设备进行状态查看，端口地址查看，可观察是否有光电口中断；图4为小型的测试系统自动生成的网络拓扑图，当发生链路中断时，系统自动提示发生故障链路位置和节点。
.png)
图4.小型网络拓扑图
3.2、滤池小环网技术应用
平水江水厂共有10个V型滤格和8个炭滤格，如果将两套滤池公用一个或几个交换机，则容易发生交换机故障时多个滤格停运情况，会严重影响制水工艺；如果不考虑其它措施简单地把18个小滤格同时接入环网中时，则会大大扩宽了环网的框架，严重增加了环网的压力，增加了整个环网的自恢复时间，而且几个滤格功能统一，实在没有这个必要。因此，平水江水厂提出了滤池小环网的概念。
小环网顾名思义是在工控系统大环网的基础上，通过大环网中一个或几个节点，挂接下属滤格的网络，而滤格网络和大框架一样，同样保持环网设计。该功能实现是通过打开交换机的子环管理器功能，使主环网，滤池小环网组成相切环网架构。日常生产中，滤池的数据只在各自的子环网中和节点交换机传递，既减轻大环网的压力，而且还能起到故障隔离的作用，能有效杜绝数据风暴。当子环网内的交换机或大环网链路出现故障的时候，利用交换机的Hiper-Ring环网协议在子环网内重新计算生成新的传输路径，可以保证在50ms内恢复通讯。而应用Hiper-Ring环网协议还可以有效规避因为节点设置过多自动生产另一内部环网的情况。
如图5，V型滤池小环网所示，10格滤池分别设一交换机，通过环网形式搭建，然后通过两个子环网节点分别挂接至两个大环网节点（PLC2、PLC3工业交换机），当其中一个子环网节点，或者其中一个主环网节点发生故障时，不会导致整个V型滤池发生通讯中断，而是会沿着另外一条数据流反向传输。通过Hiper-Ring环网协议设置，解决了四个节点自构成环网的问题。
在平水江水厂调试期间，曾做过破坏性试验，当切断两套滤池小环网时，数据自愈时间，数据传输速度基本不发生增益；当切断小环网中任一一交换机（包括节点交换机）时，网络会立即自愈响应，响应时间基本与大环网相同，而此时大环网通讯不受任何影响。
3.3、工业无线AP的应用
在水厂平流沉淀池吸泥行车需要通讯时，必须要用到无线技术。传统的无线电广播的形式，既需要向相关政府部门进行备案，又受限与电磁干扰，天气影响等一系列问题，如临近安保工作严管期间，常常被要求勒令关停行车电台，引起非常多的麻烦。而一般的商业型无线网络设备，其稳定性不强，故障率极高。
.png)
图5.滤池小环网拓扑图
工业用无线交换机技术，可以有效解决这一系列问题。平水江水厂选用的某品牌交换机，无线网络方案遵循802.11a/b/g/n标准，与很多私有无线传输协议所不同的是，由IEEE制定的802.11系列国际标准协议工作在国际免收费的ISM无线频段，同时在物理/链路层技术上都具有公开的标准可以遵循。这样的国际标准使得设备厂商在追随标准的同时，保证了同一系统不同设备之间的兼容性，不但为整体系统作了很好的投资保护，而且在将来标准演进的时候，更容易进行相关的升级。
该交换机内置两个独立的Radio，相当于两个其他类型的AP，因此在无线天线的连接和配置上要优于其他品牌的AP。例如，如果我们想避开现场过多的2.4G频段的无线设备的干扰，可以通过5G频段进行组网通讯。在平水江水厂中，应用5G频段组网，减少了干扰，提高了天线的利用率，有利信号的稳定传输。同时也有效的提高了覆盖面积。
无线网络可实现的MAC地址、WEB、802.1X等几种加密方式，而水厂是通过确定的MAC地址输入，客户端可以在无线网络区域内自由的移动，接收无线网络信号，没有认证的无线设备无法连接到系统中。而这一功能的实现，只需要在无线网络的控制器上进行相应配置皆可，无需额外增加网络硬件和软件。
同样，该无线AP也可通过统一网管软件对整个无线网络设备进行管理，可以实时的掌握网络动态，判断网络运行情况。
3.4、以信息安全三级等级保护为基准的工控网络的安全防护
平水江水厂目前按照三级标准的信息安全等级对工控网络进行配置。较于一般的现代化水厂标准的配置，三级标准有极大的改善。
1、在与外界网络通讯之间架设防火墙——网闸配置，能有效隔离外界对生产网络的入侵及干扰。通过网闸的物理隔绝，端口映射的作用，能有效的隔断了物理层攻击入侵的路径，再通过防火墙的设置，额外增加了一道外界通讯关口，将木马病毒档拒在外。
2、通过对主干核心交换机加密设置，增加数据传输保密性。对交换机禁用SNMP传输，通过SSH传输协议来进行报文的加密传输，能有效杜绝服务器重要数据泄露，以及入侵后数据库的窃取和修改。
3、在核心交换机与服务器之间再增设一道防火墙，有效隔绝服务器与PLC之间病毒交叉感染。
4、增设网络旁路式的配套安全设备，更有目的性的管理交换机。网络中增加堡垒机，监控网络的带宽流向，交换机的使用情况，管理交换机登陆用户等；增加日志审计系统，为交换机日常产生的一系列系统日志进行记录和存档，便于查看和分析；增加行为管理器，可以查看交换机配置界面人机操作的情况，获知登陆管理界面时维护人员的行为操作。
四、水厂工控网络下一阶段的继续优化方向
在数据传输方式和能力上，以及安全性能方面，平水江水厂的工业环网仍存在许多待持续优化的地方。在保证现有基础上持续更新网络技术，保证生产稳定安全运行，是平水江水厂今后对工控网络优化的方向。
1、增加网络传输方式
也许工业环网仍是下一阶段主流的工控网络技术，但是否还有更适配与水厂运行的其它组网形式，有待下一阶段进行探索研究。而目前使用无线AP技术，在极端天气下仍存在网络不稳定的情况，需要寻找更先进的设备来解决环境带来的负面影响。
2、持续增加安全防护性能
网络安全工作将决定了网络可靠性，水厂将不断更新自身的知识库以解决在后续的网络运用中带来的安全隐患，以应对持续增强的互联网入侵隐患，大规模病毒爆发风险。
3、为多形式数据传输拓宽通道
今后，除简单的PLC控制信息在工控系统中传输外，会有越来越多的需求产生，如何在现有的基础上拓宽数据传输通道，解决工控系统越来越复杂的数据交互，也是网络管理人员需要提前考虑的问题。
五、结语
平水江水厂工控网络应用案例，是对工控网络遇见的一些常见的问题进行解决，从最实际的应用角度出发，以最稳妥的方式进行。虽然针对整体网络格局建设改动并不大，但是都能有效提高了水厂网络应用的稳定性。目前，工控网络在水厂运行过程中，无一起因自身故障导致全网瘫痪事故发生，更无一起信息安全事故发生。
参考文献：
[1] 中华人民共和国邮电部.工业企业通信设计规范[Z]. GBJ 42-81.1982年
[2] 浙江省城市水业协会.浙江省城市供水现代化水厂评价标准（试行）[Z]，2013年
[3] 俞朝晖，陈俐，于涛.计算机网络技术实用宝典[J]，中国铁道出版社，2014年
[4] 公安部信息安全等级保护评估中心.信息安全等级保护政策培训教程[Z].2010年