GPU 架构学习
第二十四课：Transformer 中的 MLP、GEMM 与算子融合
这一课讲 Transformer 中计算量最大的 MLP 模块，以及 GEMM Epilogue、GELU/SiLU/SwiGLU 融合和张量并行的数据流。
Tag
Transformer
共 3 篇文章。
GPU 架构学习
第二十三课：LayerNorm 和 RMSNorm 如何在 GPU 上实现
这一课讲 LayerNorm 与 RMSNorm；随后我会把课程收束到少数几个最必要章节，避免继续无限展开。
GPU 架构学习
第二十二课：Softmax 为什么难以高效，以及 FlashAttention 如何减少显存访问
这一课把 Reduction 应用到 Softmax 和 Attention，并推导 FlashAttention 如何用分块与在线 Softmax 避免保存完整的 N x N 注意力矩阵。