科技资讯:TACCRanch技术升级改善了宝贵的数据存储

导读新时代高科技不计其数越来越发达,小伙伴们看过不少科技新闻吧,在我们生活中应该也用到很多这些高科技东西,有哪些小伙伴值的关注的呢,今

新时代高科技不计其数越来越发达,小伙伴们看过不少科技新闻吧,在我们生活中应该也用到很多这些高科技东西,有哪些小伙伴值的关注的呢,今天就跟大家分享一篇有关科技方面知识,希望大家会喜欢。

高级计算的用户可能与此有关。数据的指数级增长对其可靠存储的努力构成了严峻的挑战。12年多来,德克萨斯高级计算中心(TACC)的Ranch系统提供了从天体物理学到气候科学再到粒子物理等研究数据的长期存档。对硬件和软件的全新升级为TACC Ranch长期海量数据存储系统的52,000多名用户带来了好消息。

对于希望使用这些数据来帮助重现先前研究的测量结果和结果的科学家而言,这些档案非常有用。计算再现性是科学再现性的更大概念的一部分,它构成了科学方法的基石。

TACC致力于全面支持科学家的数据需求。Stampede2和Lonestar等本地计算系统提供专用于临时存储数据的高速暂存空间。接下来的梯子是Stockyard和Corral的前向数据采集系统,通过高速网络连接或iRODS数据网格可直接访问50 PB的组合存储。另一方面,Ranch允许数月长期存档数据。

截至2019年4月,Ranch存储了超过70PB,即7000万千兆字节的科学数据。超过52,000名用户已经在正在升级的旧Ranch库中上传了近17​​亿个计算机文件。假设Ranch的新升级可以扩展其存储空间,达到令人难以置信的exabyte,即1,000 PB。

“对于用户来说,更多的数据将更容易获得,其磁盘缓存比以前的Ranch系统多15倍,”TACC高级计算系统总监Tommy Minyard说。TACC超级计算机(如Stampede2,Lonestar或Maverick)生成的新数据首先在Ranch的旋转磁盘和闪存驱动器上进行,然后再转移到磁带上。

Ranch已经升级为DataDirect Networks提供的块存储系统,DDN SFA14K DCR,提供30 PB的旋转磁盘缓存,而只需更换硬件上的两个。“这意味着我们将能够在磁盘上保留更多数据,以便更快速地检索,而且您不必从磁带上调用它,”Minyard补充道。

Ranch的另一个受欢迎的变化来自昆腾公司,该公司提供了Scalar i6000磁带库和Quantum StorNext归档文件系统,该系统可协调磁盘和磁带存储。“我们基于其功能和灵活性选择了Quantum系统,”TACC高级计算系统集团大型系统高级系统管理员兼经理Junseong Heo说。

“具体来说,昆腾提供了一种配额控制机制,使TACC能够为用户提供基于分配的项目区域,”Heo补充道。这意味着用户可以更轻松地访问数据并监督资源的使用。“基于项目的配额过去一直是用户的愿望清单,”Heo说。

“TACC专注于不断创新,创造了一个给存储带来巨大压力的环境,而Quantum长期以来一直处于管理满足最极端可靠性,可访问性和大规模可扩展性要求的解决方案的最前沿,”产品高级总监Eric Bassier说道。营销,量子。“将Scalar磁带与StorNext数据管理功能相结合,创建了一个HSM(分层存储管理)解决方案,能够在TACC环境的苛刻条件下提供。”

“新系统为我们提供了一些额外的功能,使我们能够比旧系统更好地处理项目数据和存储层,”Minyard补充说。这对于重度Ranch用户来说尤其是个好消息,他们的分配可能经常变化。当前存档系统中最重的100个用户组合超过20 PB。

用户将注意到的一个重大变化是采用社区企业操作系统(CentOS)环境,该环境取代了以前的Solaris环境。当用户浏览CentOS以将其文件迁移到新的Ranch库时,TACC将对旧库中的数据提供12个月的只读访问权限,直到2020年3月31日结束。用户应检查并迁移数据大小合适的数据。磁带存档,个别文件大小最好大于100千兆字节。

“档案数据并不富有魅力,但它是必需的,”Minyard说。“我不知道有多少次我们有人因意外删除文件而感到恐慌,TACC能够从Ranch那里召回文件。从他们的角度来看,Ranch是一个拯救生命的人,“Minyard说道。

免责声明:本文由用户上传,如有侵权请联系删除!