【沈向洋带你读论文】张祥雨解读RepLKNet:重新审视CNN中的大卷积核问题【计算机视觉】【模型架构】

3.7万
121
2022-09-16 10:00:00
933
671
1346
377
论文一作丁霄汉对论文的解读:卷积神经网络(CNN)中的大卷积核设计已被埋没许久,本文在现代背景下重新探索之。本文指出,采用少量大卷积核的设计范式要明显优于当今主流的堆叠大量小卷积核的范式。本文总结了5条准则(例如应用结构重参数化的depthwise大卷积)以设计高效又强力的大卷积核CNN。基于这5条准则,本文提出一种称为RepLKNet的CNN架构,其中的卷积核大到31x31。与Swin Transformer相比,RepLKNet在ImageNet和目标检测、语义分割任务上的性能相当或更好,且RepLKNet速度更快。此外,RepLKNet也展示出了在大数据和大模型上的优越的性能,如ImageNet上精度达到87.8%,ADE20K上mIoU达到56%。最后,本文的研究揭示了大kernel的CNN具有一些与视觉Transformer相似的好的性质,如超大的有效感受野和较高的shape bias(即模型做出的预测更多依赖于物体的整体形状而非局部纹理),这些都与传统的小kernel的CNN显著不同。   对论文和十问感兴趣的同学可以前往阅读: Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs https://readpaper.com/paper/663530411408506880?channel=harryreadpaper
ReadPaper是沈向洋老师创办的IDEA研究院研发的论文阅读产品,欢迎登陆readpaper.com,快乐读论文。
26.8万播放
简介
1. 华刚 Video Imprint
30:06
2. 胡瀚 Swin Transformer
28:15
3.袁路 Dynamic Head
27:10
4.张磊 Oscar
24:09
5. 汤思宇 MetaAvatar
26:02
6. 王井东 HRNet
27:22
7. 张祥雨 RepLKNet 大卷积核
30:44
客服
顶部
赛事库 课堂 2021拜年纪