PDF
开放获取
Gurmeet Singh, Karan Vahi, Arun Ramakrishnan, Gaurang Mehta, Ewa Deelman, Henan Zhao, Rizos Sakellariou, Kent Blackburn, Duncan Brown, Stephen Fairhurst, David Meyers, G. Bruce berry man, John Good, Daniel S. Katz， ＂优化工作流数据足迹"，科学的规划， 卷。15， 文章的ID701609， 20. 页面， 2007． https://doi.org/10.1155/2007/701609
优化工作流数据足迹
摘要
在本文中，我们研究了优化磁盘使用和将大规模科学工作流调度到分布式资源的问题，这些分布式资源的工作流是数据密集型的，需要大量的数据存储，而资源的存储资源有限。我们的方法有两个方面:我们通过在运行时删除不再需要的数据文件来最小化工作流执行过程中需要的空间量，我们还演示了工作流可能需要重新构造以减少工作流的总体数据占用。我们使用激光干涉仪引力波天文台(LIGO)应用程序和天文应用蒙太奇(Montage)在大规模生产网格(开放科学网格)上运行，展示了我们的数据管理和工作流重构解决方案的结果。我们发现，尽管可以通过动态数据清理技术将Montage的数据占用减少48%，但LIGO Scientific Collaboration工作流需要进行额外的重构，才能将数据空间占用减少56%。我们还根据应用程序的运行时检查了工作流重组的成本。
版权
版权所有©2007 Hindawi出版公司。这是一篇发布在知识共享署名许可协议，允许在任何媒介上不受限制地使用、传播和复制，但必须正确引用原作。
