大神Andrej Karpathy讲解 全网最一步步讲解的反向传播和神经网络训练原理以及代码实现,只需要python和高中数学基本知识
【天空之城原创翻译制作,谢绝转录】
Andrej的“神经网络从Zero到Hero系列”之一,希望后面有时间把整个系列补完 (其中系列最后一集就是 BuildGPT 已经制作)。声明:由于代码教学视频的超s级翻译难度,字幕可能还有瑕疵之处,但已完全不影响理解学习,随喜自取。
章节:
00:00:00 介绍
00:00:25 micrograd 概览
00:08:08 单输入简单函数的导数
00:14:12 多输入函数的导数
00:19:09 开始编写 micrograd 的核心 Value 对象及其可视化
00:32:10 手动反向传播示例#1:简单表达式
00:51:10 优化步骤预览
00:52:52 手动反向传播示例#2:神经元
01:09:02 为每个操作实现反向函数
01:17:32 为整个表达式图实现反向函数
01:22:28 修复一个节点被多次使用时的反向传播错误
01:27:05 拆分 tanh,练习更多操作
01:39:31 在 PyTorch 中做同样的事情:比较
01:43:55 在 micrograd 中构建神经网络库(多层感知机)
01:51:04 创建一个微小的数据集,编写损失函数
01:57:56 收集神经网络的所有参数
02:01:12 手动执行梯度下降优化,训练网络
02:14:03 总结我们学到的,如何走向现代神经网络
02:16:46 在 github 上浏览 micrograd 的完整代码
02:21:10 真正的内容:深入 PyTorch,找到他们的 tanh 反向传播
02:24:39 结论