数据传输的未来取决于PCIe的进展

分享到:

快速外围组件互连(PCIe)总线标准背负着许多期待。也可以说,它需要容纳庞大的数据。不论是相对较成熟的快速非易失性存储器(NVMe)标准,或是初入市场,但快速成长中的Compute Express Link (CXL)标准,都是采用了高度普及的PCIe接口。而最新的PCIe 6.0也预计在2021底正式发布。

Microchip Technology数据中心业务部门主管Mark Orthodoxou认为,PCIe的价值在于其普及性,以及和各种CPU之间的互操作性。而PCIe开放的特性也促成了一整个依附其生长的生态系统。他表示,PCIe接口的缺点归根究底皆源自于它随时间已变得越来越复杂,但凭借着市场上大量的可授权IP,这一难题也并非难以克服。

图1:随着移动设备和汽车产业中出现新的机会,PCIe I/O总线规范预计会按每三年一次的频率持续更新,而NVMeCXL等技术也将持续通过PCIe接口提供更佳的存储与内存效能源:PCI-SIG

PCIe有一个根本上的缺陷那就是许多我们今天使用的功能,在PCIe发展的初期根本还没有人想到。如Orthodoxou所说,随着新的应用渐渐出现,一个个意料外的问题也相应而生。其中一个例子是支持热拔插的服务器NVMe固态硬盘。“这个接口在设计之初并没有考虑到热拔插。像这类功能都需要额外的开发工作。随着人们不断发明运用PCIe的新方法,整个接口也逐渐变得越来越复杂。”但Orthodoxou认为,这些缺陷在本质上并不阻碍创新技术的发展。也因此出现了像CXL等运用PCIe的新技术。“CXL协议终究是依附PCIe而生。”

CXL虽有望比其它设备更早运用PCIe 6.0,但Orthodoxou认为CXL联盟可能还需要一段时间厘清CXL的最终样貌,才能真正发挥最新PCIe接口的价值,并满足新的使用情境。“CXL也没有其它更快速的接口可以选择。”

2:弹性化的处理器端口,能够在标准的PCIe事务协议或CXL事务协议间自动协商(来源: CXL)

Microchip旗下许多产品皆运用到PCIe技术,如PCIe交换器与NVMe控制器,其应用领域横跨工业、汽车,以及数据中心等不同市场。他表示:“PCIe为我们创造了大量的市场机会。”该公司于CXL联盟内相当活跃,但至今除了CXL Retimer以外,尚未发布其他CXL产品。

IDC固态存储与使能技术研发副总裁Jeff Janukowicz指出,NVMe产品上市已接近十年,但直到去年,企业花费于购置NVMe PCIe产品的支出才终于占了所有SSD产品的一半以上。“这个转变花了好一段时间,PCIe的种种好处到了今天才终于逐渐显现。”Jeff Janukowicz表示,NVMe 2.0上市将进一步推动PCIe技术的发展,并在外型尺寸方面开创传统硬盘架构下无法实现的创新技术。“我们终于开始摆脱一些来自硬件方面的限制。”

Janukowicz表示,PCIe已经演变成一种基础技术,而CXL和其它类似协议的诞生也反映出工作负载的逐渐多样化。“为了满足不同环境下的需求,业界做了非常多的创新。像CXL等技术也逐渐吸引到了人们的注意。”他表示,NVMe是为了存储设备而设计,但CXL为了推动更高的能效和更低的复杂度,是以内存为中心设计,因此也涵盖了内存连接设备(memory-attached devices),内存扩展,以及加速器等面向。

Janukowicz认为,CXL的一大价值在于它是一个开放的标准。和PCIe一样,任何人都可以投入开发更多解决方案,以能够因应新型态工作负载。“为了支持新一代的工作负载,业界投入越来越多资源在扩大内存池,如存储于内存的应用程序和数据库,或是人工智能与机器学习等新兴应用。”

然而,并不是所有人都将PCIe的开放标准视为唯一选项。Nvidia即选择开发自家的PCIe替代方案NVLink。2014年问世的NVLink是一种有线的通信协议,专为近距离半导体通信所设计,可用于CPU与GPU之间或是多个GPU之间的数据与控制代码传输。

Nvidia产品管理高级总监Paresh Kharya表示,PCIe虽然普及,但却远远无法提供Nvidia自家服务器在处理AI或其它高性能运算时需要的速度。“产业对于运算能力的需求时时在增加。一个提升运算力的方法是将多个GPU结合为一个使用。”NVLink为Nvidia的GPU提供了具延展性的高速可扩展的互连能力,让多个GPU之间可以交互运作,共同形成一个高能效的加速器。他表示,NVLink首度问世时即提供了PCIe 3.0五倍的带宽,现在双向带宽更达到了每秒600GB,几乎接近主流PCIe 4.0的十倍。

虽然NVLink是Nvidia的专利技术,但其GPU仍然支持PCIe。Kharya表示:“这仍是我们现阶段和CPU连接的方式。”他表示,虽然也有其它厂商(如IBM)将NVLink技术导入它们的处理器,绝大多数的应用都还是集中在加速Nvidia自家的GPU。为了加速NVLink在广大生态系内的普及,Nvidia对外供应搭建NVLink功能的服务器基板与主板。全世界最快速的超级计算机中,有一些就使用了NVLink。

Kharya表示,NVLink让Nvidia可以快速地创新,并为顾客持续改善产品性能。“我们计划尽可能快速地持续开发NVLink。”他表示,虽然NVLink目前论及带宽明显胜过其它标准,但Nvidia仍旧积极地和CXL社群合作,推动PCIe标准的进展。“我们希望PCIe标准可以发展得越快越好。”

Janukowicz表示,定制化技术确实有其优势,例如可针对特定环境优化能效、延迟、成本,或是功耗表现。但另一方面,开放性的标准光是在成本方面就具有许多好处。“开放性标准在过去一直是推动市场的必要元素。”他表示,客户一向都不放心被任何单一厂商绑死,尤其是在现今供应链受到疫情影响严重的情况下。“疫情反映出了弹性的重要。在开放的环境下,你可以通过多个供应商分担风险,或随时有多个替代选项。”

而随着CXL持续成长,PCIe的发展也丝毫没有停下脚步。Rambus研究员Steve Woo表示,CXL是数据推动架构演化的绝佳范例。高带宽内存(HBM)和GDDR的发展速度创下历史新高,反映出数据与架构的重要性。他表示:“像CXL这样的标准会持续推动PCIe速度的成长。”“PCIe在产业中存在很久了,它不只可靠,更已获得人们的了解和信任。”

Woo表示,内存速度或计算不再是能效的瓶颈,而数据移动的速度正逐渐成为新的能效瓶颈。在过去,图形运算一向是PCIe速度的主要推手,因为市场对于分辨率和帧率的需求不断提高。但现今数据成长的步调已完全非昔日可比,短短几年的发展就足以让数据量翻倍,这意味者传输通道的能效也必须跟得上。

这正是PCIe 6.0承诺要做到的。在今年五月底的一场网络研讨会中,定义PCIe I/O总线规格与相关外形尺寸的“PCI Express特别兴趣小组(PCI-SIG)”表示最新的PCIe版本将会提供自PCIe 3.0以来最显著的升级。与上一版相比,新的PCIe版本提供了两倍的数据传输速率、更高的信号速率,以及更严格的信号完整性要求。PCI Express草案0.71已在七月初发布供成员审核。下一份草案(0.9)预计将随后发布,并经由两个月的审核期解决剩余议题。正式版本预计将于年底发布。

PCIe 6.0导入了PAM4信号和低延迟前项纠错(FEC),前者允许一个串行通道可以在相同的时间内容纳更多数据,后者搭配额外机制可改善带宽效率与可靠性。此外,PCIe 6.0也包含了以AES-GCM为基础的完整性与数据加密(IDE)功能,为整个TLP提供认证与加密保护。单个PCIe 6.0 x16就可以支持800G以太网络。此版本的主要目标是高带宽应用,如云端、人工智能、机器学习以及 边缘运算等。

图3:Nvidia在七年前选择开发自家的PCIe替代方案。NVIDIA A100使用的NVLink提供了比前代产品多一倍的跨GPU通信带宽,是PCIe 4.0的接近十倍。(来源:Nvidia)

PCIe 6.0规格预计将恰好在企业级PCIe 5.0设备开始上市时完成。PCIe 5.0规格于2019年5月发布,拥有比前代多一倍的带宽,并向下兼容所有PCIe世代。此外,PCIe 5.0也在电路上做了有助于改善信号完整性的改良,并提高了连接端口的机械性能。

PCI-SIG总裁兼董事会主席Al Yanes表示,该组织的成员数持续成长,至今已有接近900名来自全球企业的员工加入PCI-SIG,目标遍及所有种类的设备,但其中以移动设备和汽车产业受到特别多的关注。“我们为此成立了一个工作小组,并获得了热烈的响应,因此这就是我们的下一个目标行业。”

他估计PCIe标准会持续以每三年一次或更高的频率更新,并以兼容性以及向下兼容能力为持续的开发重点。此两项在过去一直是总线标准成功的关键要素。

继续阅读
数据传输的未来取决于PCIe的进展

快速外围组件互连(PCIe)总线标准背负着许多期待。也可以说,它需要容纳庞大的数据。不论是相对较成熟的快速非易失性存储器(NVMe)标准,或是初入市场,但快速成长中的Compute Express Link (CXL)标准,都是采用了高度普及的PCIe接口。而最新的PCIe 6.0也预计在2021底正式发布。