张亚森 姚志强 陈露
中国电科网络通信研究院第5401所，河北 石家庄，050081
摘要：应国家“自主可控”的发展需求，同时考虑下一代通用业务处理平台的适应模块化、通用性、扩展性、可重构和平滑升级等要求，本文提出一种基于Open VPX标准的全国产化以太网交换与SRIO交换模块的设计与实现，详细阐述了以太网交互模块和SRIO交换模块的架构及硬件电路的设计，并对其功能和性能进行了测试验证，测试结果表明该模块完全满足现有设备的使用需求。同时作为全国产化的产品，为国产自主可控设备的后续发展奠定了坚实基础，为未来大容量数据交换应用提供可靠保障。
关键词：以太网交换;SRIO交换;CTC5160;NRS1800
1 引言
随着通信技术的快速发展，业务数据量的飞速提升，市场对高速总线的需求日益提高，原有的VME总线标准已不能满足技术应用需求，VPX总线应运而生。VPX总线是VITA（VME International Trade Association，VME国际贸易协会）组织于2007年在其VME总线基础上提出的新一代高速串行总线标准。采用高速的串行总线替代并行总线是其最主要变化，在接口技术上有多种高性能交换结构技术可供选择：Gigabit Ethernet（GbE）、Serial RapidIO（SRIO）、PCI Express（PCIe）等高速串行总线。新的总线技术，新的系统构造机制，为通信系统获得更高的性能和带宽
2019年初“中兴事件”的发生，不止给我们带来了危机敲响了警钟，同时也是一个契机。面对外来的压力，掌握核心技术，自主创新，不再被他人所牵制，同时消除使用国外产品带来的后门和漏洞等安全隐患，研制国产化产品势在必行。
结合“自主可控”的发展需求，同时考虑下一代通用业务处理平台的适应模块化、通用性、扩展性、可重构和平滑升级等要求，本文设计了一款基于VPX标准的6U主控交换模块，其核心芯片均采用国产器件，满足了软硬件的自主可控需求。本文详细说明了各个组成模块的设计与实现，作为一种通用的主控交换单元，为互联互通提供了一种借鉴方案。
2 总体设计
.png)
通用主控交换板可支持数据平面（SRIO交换）、控制平面（以太网交换）的跨框级联功能；实现功能板卡参数配置查询、总线管理等技术，产品包含有CPU模块、以太网交换模块、SRIO交换模块、FPGA模块、ChMC模块以及电源时钟等模块。CPU模块完成交换板的控制和任务调度；以太网交换模块完成以太网数据交换功能；SRIO交换模块完成SRIO数据交换；FPGA模块实现对外高速LVDS总线接口，控制单板各个芯片复位，收集中断，面板点灯，Localbus转换及SRIO模块通讯；板载ChMC模块，通过IPMB接口实现对机框内其他板卡的上下电控制、单板运行温度/关键芯片温度/电压/电流监控等健康管理功能；各个模块芯片的时钟和电压由时钟模块和电源模块提供。
3 硬件设计
3.1国产CPU子系统
本设计中处理器选用国产龙芯2K1000I双核处理器，主频1GHz，支持64位DDR3控制器，双独立x4 PCIe2.0接口，1个SATA2.0接口，2个RGMII千兆接口。两路PCIE其中一路x2与CTC5160连接实现对以太网交换的初始化、协议处理、配置管理和维护等功能，一路x4与FPGA连接实现CPU到RapidIO的通道。最大支持单片16GB NAND Flash，支持两路10/100/1000Mbps自适应以太网MAC，其中一路为调试接口，用于系统外部镜像加载等功能。支持2路RS232接口，其中1路串口用于系统调试，另一路用于ChMC与CPU之间的信息传输。
同时GPIO与背板相连，实现框号槽号识别等功能。向背板侧提供2路预留差分IO接口。支持I2C接口，与FPGA连接扩展足够的I2C接口实现对SRIO交换芯片的配置功能。
3.2国产SRIO交换系统
RapidIO是面向高性能嵌入式系统需求设计的一种包交换互连协议，具有超低延迟、高带宽、高可靠、支持任意网络拓扑架构、QoS、支持多播等特性。
SRIO交换系统中核心芯片为RapidIO交换芯片。RapidIO交换芯片选用天津芯海创科技有限公司的NRS1800芯片，NRS1800是国内首款自主开发的RapidIO Gen2交换芯片，最多可支持18个端口和48路通道，提供了240Gbps的无阻塞交换能力，硬件设计可以做到与IDT的CPS-1848兼容。
本设计中采用5片SRIO交换芯片输出20路SRIO信号，其中向背板侧提供19路SRIO x4数据通道；为处理器提供1路SRIO x4数据通道，共20路SRIO数据通道；同时最高可支持SRIO 4x@5Gbps端口20路无阻塞交换，单路数据平面带宽最大20Gbps。
5个交换芯片的SRIO速率可通过CPU控制在2.5G，3.125G和5G，6.25G。
管理CPU可通过FPGA的RapidIO接口对所有交换芯片进行访问，并通过IIC总线，由管理CPU统一进行配置管理。
2.3 国产以太网交换系统
以太网交换芯片作为以太网交换系统中的核心元器件，本设计中采用盛科网络（苏州）有限公司的高性能以太网交换芯片GreatBelt-CTC5160。该芯片是盛科自主研发的第三代交换芯片，是一款多功能，高性能IP/Ethernet交换芯片，旨在满足下一代企业网、运营商级以太网和包传输接入/汇聚网络需求。凭借高度集成的L2～L4层包处理引擎，先进的流量管理器和内置的OAM引擎，芯片提供丰富功能和高达120Gbps线速处理能力。
依托盛科先进的灵活表项管理(FTMTM)技术，CTC5160可以根据不同的应用场景提供不同的表项配置，单芯片最大支持128KMAC或者64K IP LPM表项。
作为盛科第三代高性能核心交换芯片，CTC5160以其卓越的可扩展性增强了原有的基于服务的处理架构（service-aware architecture）。芯片的处理流程不仅支持完全无阻塞的高性能交换，而且CTC5160可以灵活配置为不同的工作模式。
本次设计中盛科交换芯片CTC5160提供24路SGMII接口，其中20路通过背板输出到各个业务槽位连接器输出，4路通过外挂国产PHY芯片JEM88E1111转为1000Base-T，其中3路通过背板连接器输出，1路作为调试接口到前面板。另外CTC5160通过PCIe和一路RGMII接口实现与CPU的通信，用来作为CPU与CTC5160间数据报文的收发。
从控制平面接收的数据进入以太网交换芯片CTC5160，由其完成以太网帧同步、FCS校验、分组缓存以及关键字提取之后，根据特定字段区分出以太网帧的类型，对于业务信息则由CTC5160内部专用的网络转发处理引擎进行业务信息分类、网络交换查表、网络交换决策、分组封装、输出调度等处理过程，对于协议和控制信息则通过控制通道发送到CPU系统进行处理。
2.4 ChMC模块
ChMC是机箱管理模块，以兆易创新的GD32F407微处理器为核心，辅以外围的温度、电流、电压、存储等电路，实现本板的关键电压、电流、温度、电子标签的管理等功能，并通过IPMB-A、IPMB-B双冗余总线实现与机箱内各板卡（IPMC）的信息交互，实现机箱内各板卡的信息采集、参数设置、状态控制和事件记录等功能，同时通过主控板上的ChMC模块和各业务板上IPMC模块，实现主控板对各业务单元的上下电控制，通过主控板算法控制，实现各模块顺序上电，避免机箱上电瞬间对系统带来的大电流冲击，实现电源模块监控管理功能；并通过UART接口与本板的CPU处理模块连接，实现对CPU处理器的信息交互和状态监控。
2.5 时钟设计
时钟是各个模块的重要组成部分，同时各个芯片对时钟的要求各不相同例如单端时钟输入、差分时钟输入、同源时钟输入等等，时钟的种类和数量复杂多样。为了减少PCB布局面积，减小设计复杂度，对所需的时钟类型进行分类整理，通过独立晶振搭配频率综合器及时钟Buffer芯片的方式，实现本设备的多种时钟需求，系统时钟原理框图如下：
.png)
4测试验证
根据国产基础软件的现状，本设计通过使用国产操作系统和自主编码的方式实现软件系统的自主可控。
其软件主要包括系统加电后初始化目标机硬件、初始化操作系统及提供硬件的驱动程序支持，主要功能包括初始化CPU 的内部寄存器；初始化以太网交换芯片、SRIO交换芯片的寄存器、PHY 芯片寄存器以及FPGA的程序加载，为整个软件系统提供底层硬件环境的支持；初始化ChMc模块，实现系统上电之前的板卡自检，为系统的正常运行做准备。
系统正常运行之后，通过对各芯片接口状态查询等测试手段，验证了国产核心软硬件的基本功能；然后将其插入到某VPX 设备机箱中，通过背板与其他板卡数据通信正常，进一步验证了国产以太网交换芯片及SRIO交换芯片的接口特性。
用网络性能分析仪对以太网交换芯片的接口转发性能、时延和丢包率进行了测试，按照测试环境测试以太网交换模块100%负载压力下的转发、时延和丢包率；同时对进口交换芯片在同等条件下做了测试；结果见下表所示。
.png)
用网络性能分析仪对SRIO交换芯片的接口转发性能、时延和丢包率进行了测试，按照测试环境测试SRIO交换模块100%负载压力下的转发、时延和丢包率；同时对进口交换芯片在同等条件下做了测试；结果见下表所示。
对RapidIO协议进行分析可知，当SRIO数据包中数据的有效载荷为256bytes时，其在6.25G和4x模式下有效数据传输速率计算如下：
数据传输速率（理论）=6.25G*4*8/10*256/（256+10+2+4+8+8+4+4+8+32+16）=14.5Gbps。
.png)
通过上述测试数据可以看出，国产自主可控交换芯片与基于进口芯片的交换模块相比短包的转发时延更小，丢包率都为0，功能性能与国外交换芯片基本一致。由于这几年国产化器件在生产工艺、集成度方面都有很大的提高，本文设计的国产化自主可控交换模块可以满足系统高度综合化的需求，软硬件完全替代国外产品，真正意义上实现了软硬件完全自主可控。
6 结束语
本文设计开发的自主可控RapidIO及以太网交换设备，采用先进的Open VPX总线架构，提高了系统互连的链路利用率和灵活性，具有实际应用需求和现实意义。同时设备具有高性能、模块化及灵活性强等特点，保证了设备功能性能的稳定，与不同的业务板卡组合可实现产品的快速开发。通过该板卡的研制，在自主化硬件设计、软件适配及VPX总线架构等方面积累了丰富的经验，为国产自主可控设备的后续发展奠定了坚实基础。
参考文献
1.郭欣童,雷元武,郭阳.支持多种传输模式的双通路串行RapidIO设计与实现[J].长沙,国防科技大学,2019.
2.张睿,黄泳铭,吴优等.基于国产平台VPX架构的IPMC控制器设计[J].北京,华北计算技术研究所,2018.
3.徐意泊,陈富浩,邓振华等.基于国产龙芯2K1000龙新派的内核系统启动[J].成都,成都信息工程大学,2018.
4.王丽,付月生,陈思思.基于VPX总线的系统主控模块的设计与实现[J].武汉,中船重工集团第七二二研究所,2014.
5.邱里鑫,孟芳.基于VPX的自主可控交换板设计[J].石家庄,中国电子科技集团公司第五十四研究所,2016.
6.邹维军,顾燕飞.基于VPX的国产化40G以太网交换模块设计[J].上海,华中国电子科技集团公司第三十二研究所,2018.
7.刘旭东,陈晨.基于RapidIO总线的VPX标准存储板设计[J].北京,中国科学院空间应用工程与技术中心,2017.
8.马友科.基于CPS1848的SRIO总线交换模块设计[J].石家庄, 中国电子科技集团公司第五十四研究所,2014.
9.邓豹.RapidIO交换互连与配置管理研究[J].西安,中航工业西安航空计算技术研究所,2014.
10.包利民,潘奇.VPX总线技术及其实现[J].南京,南京电子技术研究所,2012.