一台汽车的车速,不仅仅与发动机、底盘、传动装置等有关,也与路面的平整程度有关。
与此类似,服务器的性能及可靠性表现,不仅仅与CPU、内存、硬盘等有关,也与信号链路的质量有关。服务器中CPU之间有UPI信号链路,CPU与外设之间有PCIe信号链路,CPU与内存之间有DDR信号链路等。
链路质量如果不高,则信号在链路上传输会导致信号的衰减、失真,甚至串码或误码,并会导致信号的重传,影响信号的传输效率,进而影响服务器的性能甚至可靠性。
以华为8路关键业务服务器为例,其有6000多条信号链路,有的链路长度超过500毫米。电路板上BGA ball的过孔、电容布放、连接器连接等,导致链路情况非常复杂,而且在有限的空间内链路间还会相互干扰,链路质量的要求就更高了。
今天我们就来看一看,华为服务器是如何做到信号链路的高质量的:
三维立体设计
华为服务器采用三维立体设计方法:计算节点分布在Y空间排列;IO模块前后交错布局,充分利用X空间;高速连接器高密度布放,降低Z空间高度。既充分利用物理空间,也尽量降低信号链路之间的互相干扰。
▲三维设计建模
仿真优化与工艺
信号在PCB板上要通过BGA ball过孔、电容、连接器等部件,信号在穿过上述部件时,阻抗必须保持在一个很小的波动范围内,这需要对各部件进行三维全尺寸建模仿真,以及数百次的仿真测试与不断优化,控制信号的波动范围在CPU正常工作所必需的最大波动范围之内。信号要求波动小(也就是要求阻抗一致性高),对信号链路的制造精度也提出了更高的要求,华为服务器信号链路制造工艺的精度精确到了0.025毫米,提升了链路阻抗的一致性。
▲电容仿真
▲连接器仿真
▲阻抗一致性仿真
严苛测试与眼图检测
在某些极端环境下,如机房温度或者湿度超过规定范围时,信号链路的阻抗波动将加剧。
华为服务器除了常规测试外,还包括满荷运载、温度循环、电压超压和低压拉偏等非正常环境下的测试,来检验链路中信号的波动情况。另外,华为服务器在生产过程中引入了信号数字眼图检测技术,这项技术通过分析数字信号高电平与低电平变化的多种序列组合,在时域上将这些序列按某一个基准点对齐,然后将其波形叠加起来,形成类似于眼睛状的图形,通过对图形形状的分析快速发现其他检测手段很难识别出的链路信号质量不高的单板,并及时进行回收处理。
▲数字眼图的形成
服务器的高性能与稳定可靠,取决于多方面的因素,信号链路的质量是因素之一。华为服务器通过三维立体设计、仿真优化、0.025毫米精度的制造工艺、严苛测试以及数字眼图检测技术等措施,保障信号链路的高质量,从而为服务器的高性能、高可靠性提供多一份保障。
原文发布时间为: 2017年6月27日