为什么Transformer会好于ResNet,从Lipschitz常量讲起【深度学习中的数学ep10】
深度学习中的矩阵求导基础【深度学习中的数学ep1】
Lipschitz连续及其常量的定义讲解【深度学习中的数学ep5】
深度学习优化基础:从泰勒展开到梯度下降法和牛顿法【深度学习中的数学ep4】
Transformer主要模块从数学上如何解读?【深度学习中的数学ep9】
Transformer为什么会比CNN好
【沈向洋带你读论文】张祥雨解读RepLKNet:重新审视CNN中的大卷积核问题【计算机视觉】【模型架构】
FC层和LN层该如何求导?【深度学习中的数学ep2】
【沈向洋带你读论文】HRNet 高分辨率表征学习
Transformer对时序预测真的有效吗? | AAAI'23 Oral
张祥雨:Transformer究竟做对了什么,CNN能不能从中学习?
解耦知识蒸馏【CVPR2022】【知识蒸馏】
self-attention完整求导公式 [Transformer中的数学part29]
【沈向洋带你读论文】Transformers 在图学习表征方面真的表现不佳吗?【Transformers】【图学习】
强化学习下的多教师知识蒸馏模型【沈向洋带你读论文】【知识蒸馏】
【沈向洋带你读论文】Swin Transformer 马尔奖论文(ICCV 2021最佳论文)
Normalization的本质 [Transformer中的数学part31]
【沈向洋带你读论文】Dynamic Head——首次突破COCO单模型测试60AP大关
self-attention求导 [Transformer中的数学part28]
注意力稀疏化原理 [Transformer中的数学part34]