【VALSE论文速览-47期】Towards Scalable Unpaired Virtual Try-On via Patch-Routed……
正在缓冲...
论文题目：Towards Scalable Unpaired Virtual Try-On via Patch-Routed Spatially-Adaptive GAN
作者列表：谢震宇(中山大学)，黄载裕(中山大学)，赵富威(中山大学)，董浩业(虎牙AI基础技术部)，Michael Kampffmeyer (UiT The Arctic University of Norway)，梁小丹(中山大学)
论文摘要：
2D虚拟换装任务需要实现将某件衣服试穿到指定的模特身上。目前，大多数2D虚拟换装算法将平铺衣服图像迁移到人体图像上，这类算法的训练依赖于平铺衣服-模特图的配对数据，而这类数据在现实场景中是比较难采集到的，因此限制了算法的可拓展性。此外，也有一些工作尝试在不同模特之间实现虚拟换装，但这些算法有些需要使用同个模特在不同姿态下图片作为训练数据，有些则需要在测试阶段引入在线优化，因此这些算法也面临着训练数据难以采集或测试开销大等问题。在该工作中，我们设计了一个无需依赖配对数据、端到端的虚拟换装模型，该模型可以实现任意两个模特之间的衣服互换。具体来说，为了解决无监督训练虚拟换装网络所面临的过拟合问题，我们设计了一个块引导的衣服解耦模块，该模块根据人体关键点，将原始衣服划分为一系列标准化衣服块，以此破坏衣服的空间位置信息，同时保留衣服类别风格信息。此外，我们会根据目标人体姿态，将标准衣服块进行变形、拼接，从而得到原始衣服在目标姿态下的形状。另一方面，为了让模型生成具有丰富纹理细节的换装结果，我们设计了一个空间自适应残差模块，将变形衣服的纹理特征嵌入生成网络中，引导网络生成逼真的换装结果。通过在不同数据集上和现有不同方法进行定量和定性比较，证明了我们方法可以生成外型更准确、纹理细节更丰富的换装结果。同时，通过一系列消融实验，进一步验证了我们方法各个模块的有效性。
论文信息：
[1] Zhenyu Xie, Zaiyu Huang, Fuwei Zhao, Haoye Dong, Michael Kampffmeyer, and Xiaodan Liang. " Towards Scalable Unpaired Virtual Try-On via Patch-Routed Spatially-Adaptive GAN." In Proceedings of the Conference on Neural Information Processing System (NeurIPS’21), virtual, December 2021.
论文链接：
[https://proceedings.neurips.cc/paper/2021/file/151de84cca69258b17375e2f44239191-Paper.pdf]
代码链接：
[https://github.com/xiezhy6/PASTA-GAN]
为计算机视觉、图像处理、模式识别与机器学习等研究领域内的华人青年学者提供深入学术交流的舞台。
顶部