30 天从 GPU 硬件到 LLM 推理性能的完整学习路线。从 CPU 与 GPU 的心智模型出发,途经 CUDA 编程、性能模型(Roofline)、内存层次,最终落到 Continuous Batching、KV Cache 与推理优化实战——搞懂大模型推理到底快在哪、慢在哪。
全部文章(23 篇)
GPU 学习日报 Day 30:从 GPU 到 LLM Inference:一个工程师的性能模型
Day 30/30 | 30 天最终总结 | 从 GPU 到 LLM Inference:一个工程师的性能模型。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 29:Mini Project:LLM GPU Profiler
Day 29/30 | 实战项目 - GPU 性能分析器 | Mini Project:LLM GPU Profiler。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 28:vLLM 与 PagedAttention:GPU Memory 管理的艺术
Day 28/30 | GPU 推理框架源码初探 | vLLM 与 PagedAttention:GPU Memory 管理的艺术。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 27:自己做 GPU Performance Model
Day 27/30 | 构建 LLM 性能模型 | 自己做 GPU Performance Model。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 26:GPU 推理性能分析:实战 Profile
Day 26/30 | 真实模型推理性能分析 | GPU 推理性能分析:实战 Profile。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 25:GPU 推理性能指标:TTFT、TPOT 与 Throughput
Day 25/30 | LLM 推理性能指标体系 | GPU 推理性能指标:TTFT、TPOT 与 Throughput。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 24:Operator Fusion:合并 Kernel 的性能魔法
Day 24/30 | 算子融合 | Operator Fusion:合并 Kernel 的性能魔法。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 23:Kernel Launch:为什么大量小 Kernel 会拖慢推理
Day 23/30 | Kernel Launch 开销 | Kernel Launch:为什么大量小 Kernel 会拖慢推理。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 22:CUDA Profiling:Nsight Systems 与 Nsight Compute
Day 22/30 | GPU Profiling 工具 | CUDA Profiling:Nsight Systems 与 Nsight Compute。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 21:FlashAttention:GPU Memory Hierarchy 下的 IO 优化
Day 21/30 | FlashAttention 原理 | FlashAttention:GPU Memory Hierarchy 下的 IO 优化。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 20:Attention 的 GPU 视角:数据在哪里
Day 20/30 | Attention 运算的 GPU 重新审视 | Attention 的 GPU 视角:数据在哪里。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 19:Batching:从 1 到 32 的吞吐量飞跃
Day 19/30 | Batch 策略与吞吐量 | Batching:从 1 到 32 的吞吐量飞跃。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 16:LLM Inference 两个阶段:Prefill vs Decode
Day 16/30 | Prefill 与 Decode 的性能特征 | LLM Inference 两个阶段:Prefill vs Decode。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 11:Tensor Core:GPU 的矩阵计算引擎
Day 11/30 | Tensor Core 深入 | Tensor Core:GPU 的矩阵计算引擎。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 10:Roofline Model:算力与带宽的统一分析框架
Day 10/30 | Roofline Model | Roofline Model:算力与带宽的统一分析框架。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 9:Memory Bandwidth:为什么 GPU 可能跑不满
Day 9/30 | GPU 显存带宽与瓶颈分析 | Memory Bandwidth:为什么 GPU 可能跑不满。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 8:FLOPS:GPU 算力的度量与 Transformer 计算量
Day 8/30 | FLOPS 与计算量估算 | FLOPS:GPU 算力的度量与 Transformer 计算量。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 7:GPU Week 1 总结:GPU 为什么适合 LLM
Day 7/30 | 第一周总结与实验 | GPU Week 1 总结:GPU 为什么适合 LLM。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 5:GPU 内存层次:从 Register 到 HBM
Day 5/30 | GPU Memory Hierarchy | GPU 内存层次:从 Register 到 HBM。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 4:第一个 CUDA Kernel:从向量加法理解线程索引
Day 4/30 | CUDA Kernel 编程入门 | 第一个 CUDA Kernel:从向量加法理解线程索引。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 3:CUDA 执行模型:Grid、Block、Warp 与 Thread
Day 3/30 | CUDA Execution Model | CUDA 执行模型:Grid、Block、Warp 与 Thread。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 2:GPU 硬件结构:SM、CUDA Core 与 Tensor Core
Day 2/30 | GPU 基本硬件结构 | GPU 硬件结构:SM、CUDA Core 与 Tensor Core。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。
GPU 学习日报 Day 1:CPU vs GPU:为什么 GPU 适合大模型
Day 1/30 | CPU 与 GPU 的体系结构差异 | CPU vs GPU:为什么 GPU 适合大模型。30 天从 GPU 硬件到 LLM 推理性能的深度学习计划。