[LLM && AIGC] 05 OpenAI 长文本（long text，超出 max_tokens）处理及 summary，划分 chunk 处理_哔哩哔哩_bilibili

Name: [LLM && AIGC] 05 OpenAI 长文本（long text，超出 max_tokens）处理及 summary，划分 chunk 处理
Uploaded: 2023-03-25T04:28:01.000Z
Duration: 15 min 46 s
Channel: 五道口纳什
Description: 本期 code：https://github.com/chunhuizhang/bilibili_vlogs/blob/master/llm/tutorials/06_long_text_summarize_vanilla.ipynb opeani models：https://platform.openai.com/docs/models/gpt-3

五道口纳什

本期 code：https://github.com/chunhuizhang/bilibili_vlogs/blob/master/llm/tutorials/06_long_text_summarize_vanilla.ipynbopeani models：https://platform.openai.com/docs/models/gpt-3, 视频播放量 4257、弹幕量 2、点赞数 99、投硬币枚数 68、收藏人数 231、转发人数 31, 视频作者 五道口纳什, 作者简介 现代人工智能，不会过时的概念与原理（黑盒到白盒）。跟AI一起进化，connecting the dots ，相关视频：[LLMs 实践] 01 llama、alpaca、vicuna 整体介绍及 llama 推理过程，[LLM+RL] 理解 GRPO 公式原理及 TRL GrpoTrainer 代码实现（advantage 与 loss 计算），[说说心里话] [2026-春] 人机协作的视角，AI 时代的学习指南与焦虑缓解，[Agentic Infra] 03 算力密度与Roofline model，对比 5090/M5 max/DGX spark，Qwen3-8B 算力与访存，[LLM + RL] kimi 1.5 论文导读与 highlights，[LLM Architect] 13 Kimi K3 门控机制，门控注意力，Gated MLA，KDA的门控分支，MoE 中的SiTU-GLU，SwiGLU，[Agentic Infra]  02 RL post-training 训练框架，训练流程参数分析与指标监控，显存分配与性能调优，[硬件扫盲] 苹果 M5 pro/max 芯片，对比 Nvidia GPU，内存带宽，统一内存，tensor core，融合架构，[Pro6000 Training] 05 8卡Pro 6000 硬件概览，感知硬件，理解拓扑，NUMA | 一切都关乎通信带宽，[数学基础与PyTorch] 08 Jev 决策模型与概率校准，ECE 计算，RL之后LLM过度自信