新闻  |   论坛  |   博客  |   在线研讨会
深扒英伟达安培新架构,五大技术新招刀刀见血
芯东西 | 2020-05-31 18:56:36    阅读:152   发布文章

两周前,英伟达(NVIDIA厨房里的发布会吸引了全球AI领域的目光。联合创始人兼CEO黄仁勋对着一张砧板,密集释放一系列硬核新品。


最强GPU、最强AI系统、比肩世界最强超算的AI集群、从嵌入式到边缘服务器的边缘AI产品……不愧是“财大气粗”又“技多不压身”的AI芯片霸主,这么多重磅产品一次性全部抛出,换作是其他公司,估计够开十场发布会了。而这些性能彪悍的AI黑科技背后,核心功臣正是NVIDIA第八代GPU架构——安培(Ampere)。昨日,我们远程连线NVIDIA GPU工程高级副总裁Jonah Alben、NVIDIA加速计算产品管理总监Paresh Kharya,进一步加深对NVIDIA全新安培GPU架构完整面貌的理解。在此,我们将基于83页的《NVIDIA A100 Tensor Core GPU Architecture》白皮书及采访信息,提炼安培GPU架构在计算和内存层次结构的关键创新与改进,深度解析这一全新架构怎样实现NVIDIA迄今为止最大的性能飞跃。

▲A100在计算和内存结构上的创新与提升83页《NVIDIA A100 Tensor Core GPU架构》白皮书可以在芯东西(ID:aichip001)回复关键词“芯东西030”获取。

01三年一剑!“安培”出鞘

从NVIDIA计算架构的进化历程来看,NVIDIA计算卡的迭代时间并没有很固定。

▲NVIDIA计算卡进化历程M40 GPU与K40间隔两年,P100与M40间隔半年,V100与P100间隔一年,A100又与V100间隔三年。了三年的大招一出场,果然不同凡响,新A100 GPU、AI系统、AI超算均成绩斐然。A100同时可提供训练、推理和数据分析,把AI训练和推理的算力提升到上一代V10020倍,把HPC性能提升到V1002.5倍。

▲NVIDIA A100 GPUA100由基于安培架构的GA100 GPU提供支持,具有高度可扩展的特性,支持在单GPU和多GPU工作站、服务器、集群、云数据中心、边缘系统和超级计算机中为GPU计算和深度学习应用提供超强加速能力。以多GPU配置的集成底板形式出现的服务器构建块HGX A100最高可以组成拥有10 PFLOPS算力的超大型8-GPU服务器。集成了8个A100的AI系统DGX A100单节点算力达5 PFLOPS售价19.9万美元。140个DGX A100系统组成的DGX SuperPOD集群,AI算力达700 PFLOPS,跻身世界上最快的20台AI超级计算机之列。NVIDIA自家的超算SATURNV在添加4个DGX SuperPOD后,总算力从1.8 ExaFLOPS增至4.6 ExaFLOPS,增涨155%有余。这些奔着突破算力极限而去的性能参数,离不开以NVIDIA新一代安培架构为核心的五大关键技术的支持。


1)安培架构:全球最大7nm芯片,拥有542亿个晶体管,采用40GB三星HBM2,内存带宽可达到1.6 Tbps。高带宽的HBM2内存和更大、更快的缓存为增加的CUDA Core和Tensor Core提供数据。2)第三代Tensor Core处理速度更快、更灵活,TF32精度可将AI性能提升20倍。3)结构化稀疏:进一步将AI推理性能提升2倍。4)多实例GPU每个GPU可分成7个并发实例,优化GPU利用率。5)第三代NVLinkNVSwitch高效可扩展,带宽较上一代提升2倍有余。黄仁勋介绍说,这是第一次能在一个平台上实现加速工作负载的横向扩展(scale out)和纵向扩展(scale up)。NVIDIA A100 GPU架构不仅可以加速大型复杂的工作负载,还可以有效地加速许多较小的工作负载,既能支持构建数据中心,同时可提供细粒度工作负载供应、更高的GPU利用率和改进的TCO。

02GA100架构:内存容量更大、带宽更快

要在GPU上获得极致性能,对于CUDA人员来说可能更感兴趣的是GPU中的SM和内存子系统。我们可以从新一代GA100架构图中看到硬件结构的变化。

▲GA100完整架构图中上方是PCIe 4.0,带宽较PCIe 3.0增加1倍,使得GPU与CPU的通信速度更快。下方是12个高速连接NVLink。中间是SM和L2 Cache。可以看到,与V100不同,A100中L2 Cache被分为两块,能提供的带宽也是V100的两倍。中间其他部分为计算和调度单元,包含8个GPC,每个GPC内部有8个TPC,每个TPC含两个SM。因此一个完整的GA100架构GPU有8x8x2=128个SM。每个SM中含有4个第三代Tensor Core,即完整GA100架构GPU有512个Tensor Core。A100 GPU并不是完整版GA100架构芯片,包含了108个SM、432个Tensor Core。后期随着良品率的提升,我们或将看到更加完整的GA100架构GPU。与Volta、Turing架构相比,安培架构中每SM的计算能力增加了2倍。

▲GA100 Streaming Multiprocessor(SM)为了确保计算引擎得到充分利用,则需要更好的存储能力。GA100架构图左右两侧有6个HBM2内存模块,每个HBM2内存模块对应两个512-bit内存控制器。A100 GPU中有5个高速HBM2内存模块、10个内存控制器,容量达40GB,显存带宽达到1.555 TB/s,较上一代高出近70%A100的片上存储空间也变得更大,包括40MBL2 cache,较上一代大7倍。


A100 L2 cache可提供的读取带宽是V100的2.3倍,因而能以比从HBM2内存读写高得多的速度缓存和重复访问更大的数据集和模型。L2 cache residency control被用于优化容量利用率,可以管理数据以保存或从缓存中删除数据。为了提高效率和增强可扩展性,A100增加了计算数据压缩,可节省高达4倍的DRAM/写带宽、4倍的L2读带宽和2倍的L2容量。此外,NVIDIA通过将L1 cache和shared memory单元结合到一个内存块的方式来提高内存访问的性能,同时简化了编程和调优步骤,并降低软件的复杂性。每个SM中的L1 cache和shared memory单元总容量达192 KB,是此前V100的1.5倍。


CUDA 11中还包含一个新的异步复制指令,可选择绕过L1 cache和寄存器文件(RF),直接将数据从global memory异步复制加载到shared memory中,从而显著提高内存复制性能,有效利用内存带宽并降低功耗。


03AI算力提升20倍是怎么实现的?

AI和HPC算力提升,主要归功于安培架构中采用的第三代Tensor Core。NVIDIA第三代Tensor Core除了支持FP32和FP16外,通过引入新的精度TF32和FP64以加速AI及HPC应用,并支持混合精度BF16/FP16以及INT8、INT4、Binary。借由第三代Tensor Core的三类新特性,A100 GPU的单精度AI训练和AI推理峰值算力均为上一代的20倍,HPC峰值算力为上一代的2.5倍。

▲A100 vs V100峰值性能1TF32和混合精度BF16/FP16TensorFloat-32(TF32)是NVIDIA A100中用于处理矩阵数学(即张量运算)的新数值格式,矩阵数学在AI及部分HPC运算中很常用。随着AI网络和数据集持续扩张,算力需求与日俱增,研究人员尝试用较低精度的数学计算来提升性能,但此前这样做需要调整一些代码,而新精度TF32既做到性能提升,同时又无需更改任务代码。新精度TF32与FP32一样都拥有8个指数位,能支持相同的数字范围;尾数位和FP16一样是10个,精度水平高于AI工作负载要求。


FP32是当前深度学习训练和推理中最常用的格式,而TF32的工作方式与FP32相似,TF32 Tensor Core根据FP32数据的输入转换成TF32格式后进行运算,最后输出FP32格式的结果。借助于NVIDIA库,使用TF32 Tensor Core将A100单精度训练峰值算力提升至156 TFLOPS,即V100 FP32的10倍。为了获得更好的性能,A100还可使用FP16/BF16自动混合精度(AMP)训练,只需修改几行代码,就能将TF32性能再提高2倍,达到312 TFLOPS。


NVIDIA正与开发AI框架的开源社区合作,致力于使TF32成为A100 GPU上的默认训练模式。今年6月份,开发人员将可以在NGC的NVIDIA GPU加速软件列表中获取支持TF32的PyTorch版本和TensorFlow版本。2、结构化稀疏要实现A100 TF32运行速度提升20倍,还需用到第三代Tensor Core的另一个关键特性——结构化稀疏。稀疏方法对于算法工程师来说不算陌生,通过从神经网络中提取尽可能多不需要的参数,来压缩神经网络计算量。其难点在于如何兼顾更快的速度和足够的准确率。而安培架构中利用稀疏Tensor Core,即做到了提供高达2倍的峰值吞吐量,同时不会牺牲深度学习核心矩阵乘法累加作业的准确率。这是少有的通过硬件对密集计算进行稀疏优化的方法。


该方法首先使用密集的权重训练网络,然后引入2:4细粒度结构稀疏模式进行剪枝,最后重新训练,然后重复训练步骤,采用和之前训练相同的超参数、初始化权重和零模式。具体压缩方式是限定只做50%稀疏,要求每相邻4个元素中最多有两个非零值,有index数据结构指示哪两个数据不被置零。权重经压缩后,可有效将数学运算速度提高2倍。为什么理想性能上限可以提升2倍呢?如下图所示,矩阵A是一个16x16稀疏矩阵,稀疏性为50%,遵循2:4稀疏结构,而矩阵B是一个只有A一半大小的16x8密集矩阵。


标准的矩阵乘积累加(MMA)操作不会跳过零值,而是计算整个16x8x16矩阵乘N个周期的结果。而使用稀疏MMA指令,矩阵A中每一行只有非零值的元素与矩阵B相应元素匹配,这将计算转换成一个更小的密集矩阵乘法,实现2倍的加速。在跨视觉、目标检测、分割、自然语言建模和翻译等数十种神经网络的评估中,该方法的推理准确率几乎没有损失。经结构化稀疏的A100 TF32 Tensor Core深度学习训练算力最高达到312 TFLOPS,是V100 INT8峰值训练速度15.7 TFLOPS20倍。经结构化稀疏的A100 INT8 Tensor Core执行深度学习推理速度最高达到1248 TOPS,是V100 INT8峰值推理速度62 TOPS20倍。


3、双精度FP64TF32主要用于加速AI运算,而HPC吞吐量的提升主要源自引入对经过IEEE认证的FP64精度的支持。A100上的双精度矩阵乘法加法指令取代了V100上的8条DFMA指令,减少了指令取用、调度开销、寄存器读取、数据路径功率和shared memory读取带宽。支持IEEE FP64精度后,A100 Tensor Core峰值算力可达19.5 TFLOPS,是V100 FP64  DFMA2.5倍。


04多实例GPU:将A100一分为七

A100是第一个内置弹性计算技术的多实例GPUMIGMulti-Instance GPU)。MIG可以把GPU做物理切割,由于A100上有7个GPU,加之考虑到资源调度情况,A100最多可分割成7个独立的GPU实例。如果将A100分成7个GPU实例,1个GPU实例的算力约等同于一颗V100,也就是说A100能提供相当于V1007倍的计算资源。


MIG的核心价值是可以为不同类型的工作负载灵活提供规模适配的GPU资源。如果不使用MIG,同一GPU上运行的不同任务可能会争用相同的资源,挤占其他任务的资源,导致多项任务无法并行完成。而使用MIG后,不同任务可以在不同的GPU实例上并行运行,每个实例都拥有各自专用的SM、内存、L2缓存和带宽,从而实现可预测的性能,并尽可能提升GPU利用率。


这为工作负载提供稳定可靠的服务质量和有效的故障隔离,假设某一实例上运行的应用出现故障,不会影响到其他实例上运行的任务。管理人员还可动态地重新配置MIG实例,比如白天用7个MIG实例做低吞吐量推理,夜间将其重新配置成一个大型MIG实例做AI训练。这对拥有多租户用例的云服务提供商尤其有益,资源调度更加灵活,运行任务不会彼此影响,进一步增强安全性。


此外,CUDA编程模式没有变化,容器中的AI模型和HPC应用可通过NVIDIA Container Runtime直接在MIG实例上运行。

05第三代互联技术:让GPU互联再提速

MIG是scale-out的主要驱动力,而实现scale-up则需要更好的通信技术,即GPU与GPU之间的“高速公路”——NVLink和NVSwitch。标准PCIe连接因带宽有限,在多GPU系统中通常会造成瓶颈,高速、直接的GPU到GPU互联技术NVLink应运而生。NVLink可将多个NVIDIA GPU连成一个巨型GPU来运行,从而在服务器上提供高效的性能扩展,A100使用NVLink的GPU到GPU带宽比PCIe快得多。


A100中有12个第三代NVLink连接,每个差分信号线的速率可达到50 Gb/s,几乎是V100的2倍。每个NVLink链路在每个方向上有4对差分信号线,因此单向通信能力是50x4÷8=25 GB/s,双向即50 GB/s。12个第三代NVLink的总带宽则可达到600 GB/s,即V100的两倍。相比之下,上一代V100中有6个NVLink,每个NVLink每个方向上有8对差分信号线,总带宽为300 GB/s。每个GPU上的NVLink可高速连接到其他GPU和交换机,为了扩展到更大的系统,则需要NVIDIA NVSwitch将多个NVLink加以整合。NVIDIA NVSwitch是以NVLink先进的通信能力为基础的节点交换架构,可在单个服务器节点中支持8到16个全互联GPU,使得AI性能足以更高效地扩展到多个GPU。


第三代NVSwitch是一颗7nm芯片,包含60亿晶体管,有36个端口,是V100端口数目的2倍;总聚合带宽达9.6 TB/s,是V100总聚合带宽的2倍。NVLink和NVSwitch技术可提供更高带宽、更多链路,并提升多GPU系统配置的可扩展性,在搭载NVIDIA GPU的一系列板卡、服务器、超算产品中功绩斐然。新NVIDIA DGX、HGX和EGX系统中的多个A100 GPU间均由第三代NVIDIA NVLink和NVSwitch实现高速通信。以DGX A100为例,该设备中采用AMD Rome CPU、8颗A100 GPU、6颗NVSwitch芯片,9个Mellanox ConnectX-6 200Gb/s网络接口。


通过NVIDIA NVLink、NVSwitch及Mellanox最新InfiniBand和以太网解决方案连接,基于A100的系统可以扩展到数十、数百或数千个A100,用于计算集群、云实例或超大型超级计算机,从而满足多种类型的应用程序和工作负载的加速需求。

06结语:走向计算的下一纪元

从上一代被誉为“地表最强AI芯片”的V100,到新发布的安培架构GPU,我们可以看到NVIDIA AI硬件思维逐渐向专用化方向倾斜。尤其是GA100架构中的计算单元结构优化,包括支持新精度和结构化稀疏,本质上是在围绕AI和HPC的特性在做文章。正如NVIDIA近年来所强调的,它已从一家纯粹的显卡公司进化为一系列AI与HPC计算解决方案的提供商。无论是计算与内存结构的升级,还是互联技术的迭代进化,都与NVIDIA积累的强大研究和工程能力密不可分。这些技术进步所带来的更强算力,将催化AI、5G、数据科学、机器人、基因组学、金融分析等诸多领域的创新研究与应用进程。当许多公司还以超越NVIDIA V100算力为目标时,NVIDIA已经冲向计算的下一个纪元。
附NVIDIA历代数据中心GPU规格比较:


*博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。

参与讨论
登录后参与讨论
推荐文章
最近访客