最强可视化!肉眼理解激活函数对神经网络最终结果的影响

1.3万
关注
正在缓冲...
00:00 / 00:00
自动
    倍速
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    100
    更多播放设置
    播放方式
    视频比例
    其他设置
    -人正在看
    已装填 0 条弹幕
    自动平衡不同视频间的音量大小
    平衡音量同时保留更多声音细节
    关闭音量均衡
    开启画中画
    宽屏模式
    网页全屏
    进入全屏 (f)
    关闭弹幕 (d)
    视频底部15%部分为空白保留区
    特殊颜色、运动形式的弹幕
    反馈
      387
      93
      588
      51
      三个同样的Resnet 20网络训练200 eopch完成后,只是激活函数分别为ReLU、Mish和Swish。 最终网络的损失函数ReLU性能最差,而且存在不平滑,容易陷入另一个局部最优,和ReLU负半轴丢失掉全部梯度信息有关。但是ReLU就是又快又简单,容易得到稀疏的模型,自带一定抗过拟合dropout的功效,因为梯度直接丢掉一半了。 何凯明的论文Delving deep into rectifiers中说ReLU在使用他的卷积核初始化方法时比较好用。 论文地址:https://arxiv.org/abs/1712.09913 《Visualizing the Loss Landscape of Neural Nets》来自马里兰的大佬 通过降维的方式可视化
      弹幕列表
      弹幕列表
      屏蔽设定
      高级弹幕
      弹幕列表填充中...
      客服
      顶部
      赛事库 课堂 2021拜年纪