GPU 架构学习
Blackwell 架构概览
我会用最基础的层次，把 Blackwell 的定位、核心改进和它解决什么问题讲清楚。
导语：我会用最基础的层次，把 Blackwell 的定位、核心改进和它解决什么问题讲清楚。
**Blackwell 是英伟达面向大模型训练、推理和高性能计算设计的一代 GPU 架构。**它不是某一块具体显卡，而是一套基础架构，应用在数据中心的 B200、GB200，以及消费级 RTX 50 系列等产品中。下面主要介绍数据中心版本。
1. 两块大芯片组成一个 GPU
Blackwell GPU 采用两个大型计算芯片，通过封装内的高速互连接在一起。两个芯片在软件看来仍然是一块完整 GPU，芯片间带宽达到约 10 TB/s。
这种设计的目的，是绕开单块芯片面积和制造工艺的限制，在一个 GPU 中集成约 2080 亿个晶体管。
可以简单理解成：
图示：1. 两块大芯片组成一个 GPU
2. 重点强化 Tensor Core
普通 CUDA Core 主要执行通用浮点、整数和图形计算；Tensor Core 专门加速矩阵乘法，例如：
神经网络中的卷积、全连接层和 Transformer，大量计算最终都可以转化为矩阵乘法。
Blackwell 配备新一代 Tensor Core 和第二代 Transformer Engine，支持更低精度的数据格式，尤其是 FP4。数据位宽更低，意味着同样的存储空间可以放入更多参数，同时可以提高矩阵计算吞吐率。
简单比较：
| 精度 | 每个数据位数 | 典型用途 |
|---|---|---|
| FP32 | 32 bit | 高精度科学计算 |
| FP16/BF16 | 16 bit | 神经网络训练 |
| FP8 | 8 bit | 大模型训练、推理 |
| FP4 | 4 bit | 低成本、大吞吐量推理 |
Transformer Engine 会根据不同张量的数值范围动态选择缩放方式，在降低精度的同时尽量避免明显的模型精度损失。
3. 大幅加强多GPU互连
训练大模型时，一块 GPU 往往装不下全部参数，因此需要几十甚至几百块 GPU 协同计算。
Blackwell 使用第五代 NVLink。单块 GPU 的 NVLink 互连带宽最高约为 1.8 TB/s；通过 NVLink Switch，可以将一个机架中的大量 GPU 连接成一个高速计算域。GB200 NVL72 系统中包含72个 Blackwell GPU和36个 Grace CPU。
可以理解为：
图示：3. 大幅加强多GPU互连
因此，Blackwell 的改进不只是“单个 GPU 算得更快”，而是让几十块 GPU 更高效地共同训练和推理。
4. 针对大模型增加专用功能
除计算核心外，Blackwell 还加入了几类专用硬件：
- Decompression Engine：硬件完成 LZ4、Snappy、Deflate 等数据解压，减少 CPU 参与。
- RAS Engine：监控和定位硬件故障，提高大型 GPU 集群的可靠性。
- 机密计算支持：保护运行中的模型参数和数据。
- Grace CPU 高速互连：通过 NVLink-C2C 与 Grace CPU 连接，双向带宽达到约 900 GB/s。
这些功能在个人显卡上不一定明显，但对于由数千块 GPU 组成的数据中心非常重要。
5. Blackwell真正解决的问题
Blackwell 的设计目标可以概括为三个方面：
- 算得更多：通过更强的 Tensor Core 和 FP4 提高矩阵计算吞吐率。
- 装得更多：低精度数据减少模型参数和中间激活的存储空间。
- 连得更快：通过 NVLink 和 NVLink Switch 降低多 GPU 通信瓶颈。
因此，Blackwell 并不是简单地增加 CUDA Core 数量，而是围绕大模型构建了一套：
计算核心
+
高带宽显存
+
低精度Tensor计算
+
GPU间高速互连
+
CPU-GPU协同
+
可靠性与安全机制一句话概括：Hopper 更像是一块非常强的 AI GPU，而 Blackwell 更强调把大量 GPU、CPU、显存和网络组织成一台机架级的大型 AI 计算机。