亚马逊AWS云上超新星工厂的性能与成本分析

摘要

今天，我们对宇宙的看法与十多年前完全不同。我们现在知道，宇宙不仅像1929年哈勃发现的那样在膨胀，而且在被称为“暗能量”的神秘新物理学的推动下，膨胀的速度还在加快。这一革命性的发现是通过比较附近的Ia型超新星(在过去10亿年爆炸过)和更远的超新星(从70亿年前开始)的亮度得出的。这种比较的可靠性取决于对附近事件的物理的非常详细的理解。为了进一步理解这一点，附近的超新星工厂(SNfactory)依赖于一个复杂的串行处理流水线，在大约10tb的数据上并行执行各种图像处理算法。这个管道传统上运行在本地集群上。云计算[在云之上:云计算的伯克利视图，技术报告UCB/EECS-2009-28，加州大学，2009]提供了许多特性，使其成为一个有吸引力的选择。在处理社区开发的具有许多独特库和平台需求的科学管道时，完全控制云中的软件环境的能力是很有吸引力的。在此背景下，我们研究了将SNfactory管道移植到Amazon Web Services环境的可行性。具体来说，我们:描述我们为管理Amazon EC2上的虚拟集群而开发的工具集，探索用于应用程序数据放置的各种设计选项，并提供详细的性能结果和从上述每个设计选项中学到的经验教训。

科学的规划

科学促进云计算发展

摘要

版权

更多相关文章