[LLMs 实践] 01 llama、alpaca、vicuna 整体介绍及 llama 推理过程
[LLM+RL] 理解 GRPO 公式原理及 TRL GrpoTrainer 代码实现(advantage 与 loss 计算)
[LLM + RL] kimi 1.5 论文导读与 highlights
[Agentic Infra] 03 算力密度与Roofline model,对比 5090/M5 max/DGX spark,Qwen3-8B 算力与访存
[A100 Training] 04 verl/slime Docker 容器 debug,断点调试,源码细读,ray 分布式 debug
[数学基础与PyTorch] 07 MHA 的 QKVO 四重投影,为什么少不了 W_O?concat 再乘 ≡ 逐 head 求和 | OV 电路 rank
[LLM+RL] R1 论文导读,SFT vs. RL,RL 基础以及 GRPO 细节,以及一系列复现工作讨论
[硬件扫盲] 苹果 M5 pro/max 芯片,对比 Nvidia GPU,内存带宽,统一内存,tensor core,融合架构
[LLMs 实践] 02 LoRA(Low Rank Adaption)基本原理与基本概念,fine-tune 大语言模型
[LLM Architect] 13 Kimi K3 门控机制,门控注意力,Gated MLA,KDA的门控分支,MoE 中的SiTU-GLU,SwiGLU
[LLM Architect] 15 Jev 架构推测,Tree Mask 隔离复用与并行计算,概率与confidence,RLCD/RLCR
[数学基础与PyTorch] 06 理解高维Tensor,手撕 MHA 为什么先 reshape 再 permute?view/stride/contiguou
[Pro6000 Training] 05 8卡Pro 6000 硬件概览,感知硬件,理解拓扑,NUMA | 一切都关乎通信带宽
[Agentic Infra] 02 RL post-training 训练框架,训练流程参数分析与指标监控,显存分配与性能调优
[数学基础与PyTorch] 05 OPD-01 RKL/FKL, TopK, 为什么可以复用RL infra,seq level KL,verl/slime
[Modern Agent] 16 Claude Code 记忆(Memory)系统设计,记忆语义分类,记忆召回,记忆写入、更新与维护
[数学基础与PyTorch] 08 Jev 决策模型与概率校准,ECE 计算,RL之后LLM过度自信
[A100 Training] 01 熟悉一台A100 SXM GPU计算节点,必要基础配置,SXM/PCIe/HGX,CPU与GPU带宽及内存带宽测试
【数值计算】牛顿迭代法(Newton's method,Newton-Raphson method,牛顿-拉夫逊(拉弗森))计算二次方根(sqrt)三次方根
[Agent Works] Gemini 2.5 Pro + Agent = IMO 金牌,actor-critic,生成 -> 验证 -> 修正 迭代循环