TY -的A2 Keshavarz-Ghorabaee Mehdi盟——张Lifu盟——Abdelrahman Tarek s . PY - 2021 DA - 2021/09/22 TI -管线式训练和陈旧的权重在深卷积神经网络SP - 3839543六世- 2021 AB -增长的规模和复杂性的卷积神经网络(cnn)迫使网络跨多个分区的加速器在训练和流水线的反向传播计算这些加速器。流水线使用陈旧的权重。现有方法管线式培训避免或限制使用陈旧的重量与技术未充分使用加速器或增加培训内存占用。本文使用陈旧的管线式反向传播方案权重有助于最大化加速器利用率和内存开销保持温和。它探讨了陈旧的影响权重统计效率和性能使用4 cnn (LeNet-5, AlexNet、VGG ResNet)和显示,当流水线介绍了早期层,训练和陈旧的权值收敛和结果与类似的推理模型精度与造成nonpipelined培训(精度下降0.4%,4%,0.83%,和1.45% 4网络,分别)。然而,当流水线是更深层次的网络中,推理精度大幅下降(ResNet-20 VGG为12%和8.5%)。该报还贡献相结合的混合训练计划管线式nonpipelined训练来解决这个问题。潜在的性能改进的方案与概念验证演示管线式反向传播实现PyTorch 2日使用ResNet-56/110/224/362 gpu,达到加速效果的1.8 x / 1-GPU基线。SN - 1687 - 9724 UR - https://doi.org/10.1155/2021/3839543 - 10.1155 / 2021/3839543摩根富林明应用计算智能和软计算PB - Hindawi KW - ER