下图是动笔写之前临时加进来的，看完本文您该当会创造，我要谈论的内容与详细哪家做事器的关系并不大。
很早就听朋友说EPYC是MCM“胶水封装”，AMD这款处理器利用了4个基于Ryzen的SoC/Die，详细点说便是每个Die都相称于SoC，都带有内存和PCIe掌握器。
Socket/Die/Channel：解读三种NUMA设置
上图示意出了4个Die（每Die最多8核）与内存通道、IO之间的对应关系，这里的IO没有区分用于PCIe还是CPU之间互连。
对做事器BIOS里NUMA设置熟习的朋友，该当都见过Interleave（交错）这个选项。按照传统设计的CPU，“Node Interleave”就意味着关闭NUMA优化（玩数据库的一些朋友熟习这个吧），而到了AMD EPYC我们看到了3个不同的Interleave选项。
Socket Interleave——相称于Intel Xeon的Node Interleave，也便是NUMA彻底关闭。在单插槽AMD EPYC配置下该选项不可用，而在双CPU时选择这一项就意味着系统只有1个NUMA节点。
Die Interleave——由于前面提到的设计，AMD EPYC片上多Die连接的内存有就近和局部访问优化的关系，以是就多出了一级NUMA设置。如果选择这一项，就意味着（部分）启用插槽间的NUMA优化，但在每颗CPU上的4个Die之间关闭NUMA。
Channel Interleave——这是只在每个Die的2个内存通道间交错存取，多个Die、插槽间全部启用NUMA优化。此时对付单颗AMD EPYC相称于4个NUMA Node，两颗CPU这个数字便是8。
Fabric互连速率、位宽与功耗之间的关系
上面这个表我一开始没看太明白，后来才创造它讲的是内存总线速率与Infinity Fabric Speed之间的对应关系，类似于固定的“倍频”。那么为什么同一颗CPU上Die之间的互连速率，要比插槽间互连的的速率慢一倍呢？
看看《AMD EPYC官方资料乌龙？谈做事器CPU互连效率》一文中的两张图，我来试着给大家阐明下：
上面写的每条Die间互连42GB/s双向带宽（单个方向为一半），除以5.3GT/s不难算出MCM link的信道宽度是32bit。如此每个Die共有96对（192）引脚用于片上互连。
至于插槽间的互连，在每2个Die之间是38GB/s的双向总带宽，这里彷佛我拿9.6GT/s才能整除，可打算出该link的信道宽度是16bit。这样4个Die总和64 lane恰好即是从128 lane PCIe掌握器“挪用”过来的一半。
那么既然跨插槽能做到10.6GT/s，为什么不把跨Die连接也设为这个速率来加快片上通信呢？我以为是为了平衡功耗，跨插槽互连的能耗比为9pj/bit，而片上跨Die只有2pj/bit。
我们不妨广义地理解AMDEPYC的每个Die有4个32bit Fabric I/O接口，个中3个用于Die间互连；只有一个用于PCIe，或者再分出一半给插槽间互连。Die间有相对充足的信道宽度，以是选择了降落频率以掌握全体MCM封装的功耗。
做事器BIOS示例、PCIe插槽NUMA亲和
上图以Dell PowerEdgeR7425双路做事器为例，经由前面的先容大家该当知道“Channel Interleaving”选项在这里的含义，即最大（8 Node）NUMA优化。
注：当选择在做事器后侧增加3.5英寸磁盘位，PCIe插槽的数量会受到影响。
上表是其余一款R7415单路做事器PCIe插槽，与CPU Die/NUMA Node、内存插槽之间的对应关系。由于该机型最多支持24个U.2 NVMe SSD，以是AMDEPYC PCIe掌握器中该当有一部分被预留给了驱动器背板。
在软件设计上，如果想要发挥NUMA最大的效率，比如Embedded LOM网卡直接连在CPU Die 2上，它访问同一NUMA Node所属的内存插槽（A7，A8，A15，A16）延时便是最低的。
上图是不带后侧热插拔驱动器位的R7415，此时除了贴近主板的LOM网卡之外，还有2个全高PCIe和2个半高PCIe扩展槽位。
参考资料：《Directfrom Development – PowerEdge NUMA Configurations with AMD EPYC Processors》
http://en.community.dell.com/techcenter/extras/m/white_papers/20444763/
注：本文只代表作者个人不雅观点，与任何组织机构无关，如有缺点和不敷之处欢迎在留言中批评示正。如果您想在这个"大众年夜众号上分享自己的技能干货，也欢迎联系我：）
尊重知识，转载时请保留全文。感谢您的阅读和支持！
原文链接：https://mp.weixin.qq.com/s?__biz=MzAwODExNjI3NA==&mid=2649777243&idx=1&sn=bbe3eb940c73caf821a2f4f7edf56fb7&chksm=83770506b4008c10892cce91f3ff547f2cba08a6cc40d1fd1ae627e5b763c3d6c516f7c1171e#rd
