GPU 架构学习
第二十四课：Transformer 中的 MLP、GEMM 与算子融合
这一课讲 Transformer 中计算量最大的 MLP 模块，以及 GEMM Epilogue、GELU/SiLU/SwiGLU 融合和张量并行的数据流。
Tag
GEMM
共 2 篇文章。
GPU 架构学习
第八课：GPU 如何完成矩阵乘法
这一课用矩阵乘法把前面学过的线程、Block、Shared Memory、寄存器和计算强度串联起来。
返回标签索引
Tag
共 2 篇文章。
这一课讲 Transformer 中计算量最大的 MLP 模块，以及 GEMM Epilogue、GELU/SiLU/SwiGLU 融合和张量并行的数据流。
这一课用矩阵乘法把前面学过的线程、Block、Shared Memory、寄存器和计算强度串联起来。