【9】MHA、MQA、GQA各种注意力变种机制讲解
【Attention】【MHA】9分钟从零基础到掌握注意力机制 原理&计算
细节怪-手撕 LLM 之 RLHF的DPO算法详解(原理解析+公式推导)高频面试题!
沉浸式手撕 LLM 系列 :RMSNorm (五分钟搞定!)区分 BN ,LN ,RMSNorm
细节怪-手撕LLM之 LoRA 原理(大模型算法面试必考!)【2026开个好头】
【手撕代码】Multi-Head Attention 多头注意力怎么写(接上期自注意力)
细节怪-手撕LLM之如何训练一个大模型(大模型的能力,特点以及发展趋势)【本期为后续预告】
细节怪-手撕 LLM 之 Attention 复杂度计算(面试高频考题,逐步推导,你学会了嘛~)包含MHA,GQA
细节怪-手撕Transformer: 注意力机制之多头注意力(为什么需要多头注意力,为什么多头可以提取的多维信息,计算优化和纬度变化)
沉浸式手撕 LLM 系列:Softmax (面试题目,新鲜出炉,做了一点拓展,后面的还得撕一下online softmax)
细节怪-手撕 LLM 之 RLHF 概念详解与PPO算法详解(1)(近期高频八股,系统搞定!)
代码实战:手撕MHA+KV Cache
细节怪-手撕LLM-PE&RoPE(1):什么是旋转位置编码(原理分析)
细节怪-手撕 LLM 之 vLLM 推理优化(2)最流行的大模型部署方式(一学就会!)
细节怪-手撕 LLM 之 RLHF 详解与 PPO 算法详解(2)本节是奖励函数与损失函数公式推导
MHA、MQA、GQA 到底有什么区别?一期动画彻底讲透
01 手撕代码:MHA 多头注意力机制【思路】
沉浸式手撕 LLM 系列 —— 手撕 GQA (大模型算法工程师入门必学)十分钟搞定!
挑战30天八股!不要在八股上挂我啊 第⑦期 MHA 手撕 八股 大模型幻觉问题如何解决 长文本推理优化技术 位置编码手撕 Adam优化器和AdamW优化器的区别
细节怪-2027秋招必学:如何拆解一个Agent (从loop到Harness,从openclaw 到Hermes )