引言
DeepSeek（深度求索）是中国 AI 研究团队，自 2024 年初起以极高密度发布了一系列重量级技术报告。其研究覆盖通用语言模型、代码智能、数学推理、多模态理解、形式化定理证明、文档理解等多个方向，并在架构效率（MLA 注意力、混合专家）和推理能力（GRPO 强化学习）上做出了具有广泛影响力的原创贡献。以下是按时间线整理的完整研究脉络。
一、奠基期（2024 年 1 月 — 5 月）：从通用 LLM 到架构创新
DeepSeek LLM（2024年1月）
DeepSeek 系列的开端。该工作训练了规模从 7B 到 67B 的语言模型，在 2 万亿 token 上完成预训练，并引入"长期主义"（Longtermism）训练理念——即重视数据处理和训练策略的长期回报而非短期指标。DeepSeek 67B 在代码、数学和推理任务上超越 LLaMA-2 70B，达到 GPT-3.5 级别水平，证明了开源大模型可以在合理预算下达到接近闭源模型的能力。
DeepSeekMoE（2024年1月）
在这一工作中，DeepSeek 首次引入混合专家（MoE）架构，但做出了两项关键创新：细粒度专家分割（fine-grained expert segmentation）和共享专家（shared expert）机制。与传统 MoE 使用少数几个大型专家不同，DeepSeekMoE 将专家切分为更细粒度的单元，并让一部分专家对所有 token 共享访问。模型总参数 145B，但每个 token 仅激活约 28.5% 的参数，即可媲美 DeepSeek 67B 稠密模型的性能，大幅提升了专家专业化程度和参数效率。这一架构奠定了 DeepSeek 后续所有 MoE 模型的技术基础。
DeepSeek-Coder（2024年1月）
该工作从零开始训练了专门面向代码的 LLM 系列（参数规模 1.3B 到 33B），在 2 万亿 token 的代码数据上完成预训练，覆盖 87 种编程语言。模型不仅超越了所有已有的开源代码模型，还在 HumanEval 等基准上超越了 Codex 和 GPT-3.5 等闭源模型。这项工作标志着开源代码智能的全面崛起。
DeepSeekMath（2024年2月）
这是 DeepSeek 研究史上最具学术影响力的论文之一（引用超 5000 次）。核心贡献是提出了 Group Relative Policy Optimization（GRPO）——一种无需 critic 模型的强化学习算法。传统 PPO 需要同时维护 actor 和 critic 两个模型，而 GRPO 通过对同一 prompt 采样多组输出来计算相对优势，大幅降低了强化学习训练的内存开销。在数学推理基准 MATH 等任务上，DeepSeekMath 达到开源 SOTA。GRPO 后来成为 DeepSeek-R1 的核心训练方法。
DeepSeek-VL（2024年3月）
DeepSeek 的首个多模态视觉-语言模型。关键发现是：直接将预训练的 LLM 与视觉编码器拼接会导致语言能力的显著退化。该工作提出从预训练阶段就将视觉和语言模态整合训练，并仔细管理两者之间的竞争动态，在保留 LLM 强大语言能力的同时实现高质量的视觉理解。
DeepSeek-V2（2024年5月）
这是一个里程碑式的架构创新。DeepSeek-V2 提出了 Multi-Head Latent Attention（MLA）——一种通过低秩压缩大幅减少 KV 缓存的高效注意力机制。在推理时，MLA 只需要缓存压缩后的潜在向量而非完整的 KV 缓存，大幅降低了推理成本。MoE 架构总参数 236B，但每个 token 仅激活 21B。DeepSeek-V2 以极高的性价比（训练成本约 GPT-4 的 1%）达到接近 GPT-4 的性能，成为后续所有 DeepSeek 通用模型（V3、V3.2、V4）的架构基石。
二、能力拓展期（2024 年 5 月 — 12 月）：专业领域深耕
DeepSeek-Prover（2024年5月）
面向形式化定理证明的 LLM。该工作利用大规模合成数据——将中学和本科数学竞赛题自动转换为 Lean 4 证明格式——来训练模型。虽然当时性能仍有限制，但展示了用合成数据增强定理证明能力的可行路径，为后续 Prover-V2 奠定了基础。
DeepSeek-Coder-V2（2024年6月）
DeepSeek-V2 的代码增强版本。该工作从 DeepSeek-V2 的中间 checkpoint 继续预训练了 6 万亿 token 的代码和数学数据，在代码生成、代码补全和数学推理能力上大幅超越前代。模型首次在多项代码基准上打破闭源模型的垄断，与 GPT-4 直接竞争。
Janus（2024年10月）
一个创新的多模态统一框架。核心思想是解耦视觉编码（decoupled visual encoding）：为多模态理解任务和图像生成任务分别设置独立的视觉编码通路，但共享同一个 Transformer 主干网络。这种设计避免了多模态理解和生成联合训练时的竞争冲突，使得同一模型可以同时胜任图像理解和文生图任务。
DeepSeek-VL2（2024年12月）
DeepSeek-V2 的多模态扩展版本。采用 MoE 架构，引入了动态平铺视觉编码器（dynamic tiling vision encoder），可以自适应地将高分辨率图像分割为动态数量的图像块进行处理，大幅提升了视觉理解特别是高分辨率场景下的表现。
DeepSeek-V3（2024年12月）
这是一个标志性的通用大模型。MoE 架构总参数 671B，每个 token 仅激活 37B。在 DeepSeek-V2 的 MLA 基础上引入了 Multi-Token Prediction（MTP）——让模型同时预测未来多个 token，作为辅助训练目标加速收敛。DeepSeek-V3 以仅 278.8 万美元的训练成本，全面超越了 LLaMA-3 等开源模型，性能直接对标 GPT-4 和 Claude-3.5。论文引用迅速达到 168+，在全球 AI 社区引起广泛关注。
三、推理革命期（2025 年 1 月 — 4 月）：强化学习激发推理
DeepSeek-R1（2025年1月）
这是一篇具有划时代意义的论文（引用 270+）。DeepSeek 团队发现：仅使用纯强化学习（GRPO），不给模型任何人工标注的思维链示例，模型也能自主学会复杂推理——这一现象被称作 "Aha Moment"。具体而言，训练过程中模型自发学会了重新审视之前的推理步骤、回溯纠错等高级推理行为。论文提出了两阶段训练方法：先用少量冷启动数据做 SFT，再通过大规模 RL 强化推理能力。此外，他们还用蒸馏技术将 R1 的推理能力迁移到小模型中，使得 DeepSeek-R1-Distill 小模型在数学和代码任务上也能达到甚至超越更大的开源模型。这项工作是开源社区在推理能力上首次达到与 OpenAI o1 可比的水平。
Janus-Pro（2025年1月）
Janus 的升级版本。通过优化训练策略（三阶段训练：预训练、对齐微调、监督微调）、扩展训练数据、扩大模型规模，在多模态理解和文生图的指令跟随能力上取得了显著提升。
DeepSeek-Prover-V2（2025年4月）
将强化学习应用于形式化定理证明的升级工作。核心创新是将证明任务分解为子目标（subgoal decomposition），利用 DeepSeek-V3 构建递归证明流水线，通过 RL 优化子目标生成的策略，在 Lean 4 形式化定理证明的多个基准上达到神经定理证明的 SOTA。
四、精细化与前沿探索期（2025 年 10 月 — 至今）
DeepSeek-OCR（2025年10月）
提出"上下文光学压缩"（Contexts Optical Compression）概念，通过上下文感知的光学压缩处理文档图像，在 OmniDocBench 等文档理解基准上展现出高实用价值。
DeepSeekMath-V2（2025年11月）
迈向自验证数学推理的重要一步。模型不仅能解决数学问题，还能自动验证推理过程的正确性。在 IMO 2025、CMO 2024 等国际数学竞赛上获得金牌级成绩，Putnam 2024 获得 118/120 近乎满分。这在开源模型中极其罕见。
DeepSeek-V3.2（2025年12月）
DeepSeek-V3 系列的重要迭代。引入了 DSA（DeepSeek Sparse Attention）——一种高效稀疏注意力机制，在长上下文场景中显著降低计算复杂度，同时提升了推理和 Agent 性能。V3.2 在多项基准上进一步缩小了与顶级闭源模型的差距。
DeepSeek-OCR 2（2026年1月）
提出 "视觉因果流"（Visual Causal Flow） 范式——通过两个级联的一维因果推理结构实现二维图像理解。传统方法通常将图像视为二维网格进行处理，而该工作将图像的行和列分别建模为因果序列，实现了真正意义上的二维推理。
DeepSeek-V4（2026年，预览版）
DeepSeek 迄今为止规模最大、架构最先进的模型系列。包含两个版本：DeepSeek-V4-Pro（1.6T 总参数，49B 激活）和 DeepSeek-V4-Flash（284B 总参数，13B 激活），均支持百万 token 上下文长度。
V4 在架构上引入了多项关键创新：
混合注意力机制：结合压缩稀疏注意力（CSA）和重度压缩注意力（HCA），大幅降低长上下文场景的计算开销。在 100 万 token 上下文中，V4-Pro 仅需 V3.2 的 27% 推理 FLOPs 和 10% 的 KV 缓存。
流形约束超连接（mHC）：对传统残差连接进行升级，将残差映射约束在双随机矩阵流形上，保证信号传播的稳定性。
Muon 优化器：采用矩阵正交化更新策略，实现更快的收敛速度和更好的训练稳定性。
后训练采用两阶段范式：先独立训练多个领域专精的专家模型（数学、编程、Agent、指令跟随等，各通过 SFT + RL 训练），再通过在线策略蒸馏（on-policy distillation）将多个专家的能力整合到统一模型中。V4-Pro-Max（最大推理努力模式）重新定义了开源模型的 SOTA，在推理、长上下文和知识任务上表现优异，据论文所述已接近 GPT-5.4 和 Gemini-3.1-Pro 的水平，落后约 3-6 个月。
核心技术贡献地图
纵观 DeepSeek 的研究脉络，有两项技术贯穿始终并产生了最广泛的影响：
Multi-Head Latent Attention（MLA）：在 DeepSeek-V2 中首次提出，通过低秩压缩大幅降低推理时的 KV 缓存消耗，使大规模 MoE 模型的推理成本降至可接受范围。MLA 被 V3、V3.2、V4 全系列继承，成为 DeepSeek 的技术名片。
Group Relative Policy Optimization（GRPO）：在 DeepSeekMath 中首次提出，去除了传统 PPO 中昂贵的 critic 模型，使 RL 训练在内存和计算上更可负担。GRPO 是 DeepSeek-R1 推理能力的核心驱动力，也被用于 V4 的专家训练阶段。
从发展脉络上看，DeepSeek 经历了通用能力奠基（LLM、MoE） → 架构效率革命（V2、V3） → 推理能力爆发（R1） → 专业领域纵深（Math-V2、Prover-V2） → 超长上下文突破（V4） 的清晰演进路径。每一阶段的工作都建立在前一阶段的技术积累之上，形成了高度连贯的研究体系。
参考文献清单（按时间排序）
DeepSeek LLM: Scaling Open-Source Language Models with Longtermism (2024.01)
DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts (2024.01)
DeepSeek-Coder: When the LLM Meets Programming -- The Rise of Code Intelligence (2024.01)
DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models (2024.02)
DeepSeek-VL: Towards Real-World Vision-Language Understanding (2024.03)
DeepSeek-V2: A Strong, Economical, and Efficient MoE Language Model (2024.05)
DeepSeek-Prover: Advancing Theorem Proving via Large-Scale Synthetic Data (2024.05)
DeepSeek-Coder-V2: Breaking the Barrier of Closed-Source Models in Code Intelligence (2024.06)
Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation (2024.10)
DeepSeek-VL2: MoE Vision-Language Models for Advanced Multimodal Understanding (2024.12)
DeepSeek-V3 Technical Report (2024.12)
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (2025.01)
Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling (2025.01)
DeepSeek-Prover-V2: Advancing Formal Math Reasoning via RL for Subgoal Decomposition (2025.04)
DeepSeek-OCR: Contexts Optical Compression (2025.10)
DeepSeekMath-V2: Towards Self-Verifiable Mathematical Reasoning (2025.11)
DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models (2025.12)
DeepSeek-OCR 2: Visual Causal Flow (2026.01)
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence (2026.04)
文献打包下载：
通过网盘分享的文件：DeepSeek所有论文（包含DeepSeek-V4）.zip
链接: https://pan.baidu.com/s/1GsoPX9XnYawyzr6CXoayyA 提取码: nkqs
