OneFlow线上讨论 I Part1-Oneflow的分布式并行易用性20200803
本视频分为3部
Part-Oneflow的分布式并行易用性。其它深度学习框架对数据并行有比较好的支持，但是OneFlow对数据并行、模型并行、模型数据混合并行都有很好的支持而且易用。分享中展示了2个矩阵乘法，运行在2块GPU上：第一个矩阵是S = A * B，对A的第0维做切分，对应数据并行；第二个是 S = S * A，对A的第1维做切分，对应模型并行；两个矩阵的串联执行，对应数据模型混合并行。通过展示可以看到，只需指定数据切分的维度，便可以自动实现数据并行、模型并行、数据模型混合并行，这些并
新一代深度学习开源框架OneFlow
顶部