Batching - 标签 - 华华的小站http://blog.zyhector.com/tags/batching/Batching - 标签 - 华华的小站Hugo -- gohugo.iozh-CNTue, 24 Mar 2026 15:05:00 -0700「从零开始学大模型」Continuous Batchinghttp://blog.zyhector.com/2026/03/06-continuousbatching/Tue, 24 Mar 2026 15:05:00 -0700Hectorhttp://blog.zyhector.com/2026/03/06-continuousbatching/简单来说就是 Batch 的方式不只有平凡地把 [T, D] 的 Token 向量 “叠起来” 拼，形成 [B, T, D] 的矩阵。在最底层矩阵计算的时候，它被 pytorch 给展平成 [B * T, D] 这样一个大矩阵，去做矩阵乘法。

]]>