ty -jour a2 -kaur,manjit au -deshmukh,shyam au -thirupathi rao,komati au -shabaz,穆罕默德·PY -2021 da -2021/05/24 ti-基于协作学习的大型STRAGGLER预防大型SCALE分布式计算框架框架 -8340925 VL -2021 AB-现代的大数据应用程序倾向于使用群集计算方法,因为它们链接到分布式计算框架,该框架根据需求为用户工作提供服务。它通过将其细分为并行执行的任务来快速处理任务。由于复杂的环境,硬件和软件问题,任务可能会慢慢运行,从而导致工作完成延迟,并且这种现象也被称为散乱者。分布式计算框架的性能改进是散布节点的瓶颈,这是由于各种因素,例如共享资源,重型系统负载或硬件问题,导致工作时间延长。许多最先进的方法使用每个节点和工作负载独立模型。随着节点和工作量的增加,模型的数量将增加,甚至有大量节点。并非每个节点都能够捕获散乱者,因为可能没有足够的散乱模式的训练数据,从而产生了次优的散散的预测。为了减轻此类问题,我们提出了一种基于合作学习的新型方法,用于Straggler预测,这是乘数的替代方向方法(ADMM),该方法具有资源效率,并学习了如何在不移动数据到集中位置的情况下有效地处理缓解散乱者。拟议的框架共享各种模型之间的信息,使我们能够使用较大的培训数据,并通过避免数据传输来减少培训时间。 We rigorously evaluate the proposed method on various datasets with high accuracy results. SN - 1939-0114 UR - https://doi.org/10.1155/2021/8340925 DO - 10.1155/2021/8340925 JF - Security and Communication Networks PB - Hindawi KW - ER -