材料免费开源在：https://​githu​b.com/chenzomi12/AIFoundation/tree/main/08Infer​

参数量

生成式

垂类

串行decode瓶颈

值到结束符。

计算量增加

Token

中间缓存

依赖之前结果

自注意力机制

拼接

矩阵计算

Prefill计算密集型 算力

Decode 显存

算力