梁健平
哈尔滨商业大学计算机科学与技术 黑龙江哈尔滨市 150028
摘要：网络性能的好坏始终是影响甚至决定高性能计算技术发展的重要瓶颈，不管是面向存储的网络，还是面向计算的网络，其在通信速度领域的发展，均较CPU落后。而InfiniBand互连结构有助于CPU与网络间性能差距的缩小，并且还能使高性能计算机在具体性能上趋向平衡。本文结合当前实况，就以InfiniBand为基础的高性能计算机的关键技术作一探讨。
关键词：高性能计算机；InfiniBand；HPC
伴随局域网的不断发展及高性能且低价处理器的出现，形成了以高性能计算为主要对象的集群系统（HPCC），其能够借助局域网，把数千个处理器高质量的连接在一起，使其彼此间协同工作。需要指出的是，HPCC不同于传统的MPP系统，其所选用的是标准化商品化部件，不仅能使系统研制周期大幅缩短，而且还有助于研制成本的降低。但以局域网为基础的HPCC，也有其不足之处，如当规模不断增大，且达到一定程度时，性能便无法继续提升，之所以会出现此情况，多由网速慢所致。尽管CPU与存储器均呈现出较快的完善与更替势头，但网速增长却比较缓慢，难以较好的满足相关计算需求。因此，网络性能对HPCC发展造成了制约。现阶段，从性价比层面来分析，在各种互连技术中，InfiniBand（IB）对于集群系统平衡发展需求最为合适。本文围绕IB HPCC系统的基本构成，探讨了各项性能，现剖析如下。
1.IB HPCC系统的基本构成
1.1硬件结构
针对HPCC来讲，其硬件主要由网络交换机、IO节点、计算节点、磁盘阵列及服务节点等构成；此外，一些特殊的HPCC还设置有工程机，用作对服务器的监控。需要指出的是，服务节点、计算节点经SWIBS交换机与SWIBH适配卡互连，最终会建立IB子网。当需要对计算任务进行执行时，数据经IB网络来实现传送。IO盘阵会在服务节点进行悬挂，而计算节点会经共享文件系统（IB网络上）对磁盘资源进行共享。
1.2 IB软件
在整个HPCC架构当中，能够为IB网络及其计算环境提供支撑的软件主要有：（1）以IB网络为基础的MPI；（2）网络管理（SM）；（3）Verbs应用程序接口；（4）SWIBH驱动程序。另外，还有以IB为基础的上层应用协议，比如SRP、uDAPL、SDP、IPoIB等。此些软件以一种合理方式融合在一起，便能够构成层次式的系统软件平台，并且能够获得不同的IB应用。需要强调的是，IB软件系统主要可分成4个层次，其一为驱动程序，其二是、Verbs API，其三为上层协议，其四为应用。在整个HPCC当中，SDP、IPoIB与MPI能够构成完整的计算网络环境；而对于共享文件系统Lustre、PVFS或者NFS，则可以构成储存网络环境。
2.IB HPCC的基本性能分析
2.1 MPI性能
需要指出的是，MPI能够将HPCC性能较好的体现出来。有学者罗列了3种网络所对应的MPI带宽，此外，还列出了IB Verbs层的带宽，且用乒乓测试方法得出结果数据。
SuperMicro X5DL8-GG是计算节点的PCI-X芯片组，CPU选用的是双Intel Xeon 2.4GHz，速度能达到133MHz，存储器内存是4GB。IB Verbs层带宽的具体峰值是886MB/s，以IB Verbs为基础的MPI峰值带宽是874MB/s，另外，针对Myrinet、千兆以太网来讲，其值分别为206、72MB/s。因此，如果消息大小处于32~356KB间，那么MPI能够获得最理想的性能。如果消息＞256KB，那么此时的IB在具体性能上，会呈现出持续下降趋势，究其原因，主要与32b系统的基本结构相关。若选用的是IA64结构，则其性能峰值点出现于4MB（消息大小）处，且有着比较平缓的性能变化。在现实应用过程中，许多的课题消息大小均＜256KB，因此，性能拐点不会明显影响实际课题。
当前，怎样对IB带宽进行合理化应用，是对IB HPCC进行构建的核心所在，借助高性能的MPI，可使用户并行课题利用＞90%的IB Verbs带宽，且因用户数据经RDMA操作旁路核心而实现传送，因此，系统CPU占用率＜1%。针对IB Verbs层来讲，其最小延时是4.52μs，以Verbs为基础的MPI的最小延时是5.74μs，另外，千兆以太网、Myrinet分别为88.0/13.23μs。因用RDMA来进行传输，如果消息处于增大状态，那么此时的MPI在具体的延时增长上，便会非常平滑，而针对千兆以太网、Myrinet来讲，如果其效益＞32KB，那么延时会快速增长。
IB网络的主要优势为低延时、高带宽，通过多元优化后的MPI，可以借助IB的此特点，促进消息传递速度的最大化提高。因此，IB网络可以较好的将传统HPCC所存在的消息传递慢、系统CPU占用率高等方面的不足给解决掉，这有助于系统整体性能的提升。
2.2 SDP与IPoIB性能
对于IPoIB而言，其核心目的即为将两种协议兼容在一起，即IB verbs与TCP IP，其所对应的峰值带宽值是213 MB/s，较之IB Verbs层，在具体性能上，存在着比较大差别，原因是受限于TCP/IP复杂协议所导致；需要指出的是，此种差距较难缩小。因IPoIB有助于协议兼容，因此，在HPCC上，IPoIB多用于为NFS提供支持，另外，还能为上层协议（比如SDP、PVFS等）提供高质量的IP地址解析服务。而针对SDP来讲，其能够较好的对IPoIB在性能上所存在的不足给予弥补，其峰值宽带能够达到644MB/s，为75%的Verbs层带宽，6倍于千兆以太网。原因是SDP将TCP/IP协议栈绕开，真正意义上做到了数据的旁路核心传输。借助SDP，常规的Socket应用程序同样能借助IB网络达到高效化数据传输的目的。
3.结语
综上，HPCC应用多集中于气象分析、科学计算等领域，因为此类有着比较大的计算量；针对传统的网络而言，由于存在诸多限制，因而难以满足相关要求，而采用IB网络，有助于HPCC性能的提升，使其更好的为高性能计算机而服务，获得更好的应用效果。
参考文献：
[1]李智佳, 胡翔, 焦莉,等. 基于随机Petri网的高性能计算系统作业调度及InfiniBand网络互连的性能分析[J]. 计算机科学, 2015, 42(001):33-37.
[2]郭御风, 李琼, 刘路,等. 基于InfiniBand的SAN存储系统研究[J]. 计算机工程与科学, 2007, 029(007):152-154.
[3]陈友宣, 李文丰, 向韦嘉,等. 基于高性能计算InfiniBand网络技术的CAE仿真应用的研究与实践[J]. 技术与市场, 2019, 026(006):42-44.