Alluxio推出基于Intel Optane永久内存的增强型混合云解决方案
开源云数据编排软件开发商Alluxio宣布与英特尔合作推出上市解决方案,以提供带有第二 代Intel Xeon可扩展处理器的内存加速层和Intel Optane永久内存(PMem)。该解决方案消除了越来越多地基于分解的计算和存储架构构建的分析集群的性能下降的情况。
“如今,按云分类的存储缺乏有效的文件系统语义支持,例如'重命名'。此外,分散的云存储通常无法利用DRAM和SSD等计算端存储介质作为缓冲区和页面缓存,” Alluxio创始人兼首席执行官李浩元表示。“添加Alluxio数据编排系统和Intel的Optane持久性内存可以解决这两个问题,从而为云存储带来最大的收益,并且比传统的本地配置具有竞争性甚至更好的性能。这对于远程数据的混合云环境特别有用。”
基准测试结果显示,添加Alluxio和Intel永久内存1时,与本地HDFS相比,完成速度提高了2.13倍,在DRAM缓存上的速度提高了1.92倍,可支持4TB决策支持查询。使用PMem App Direct模式的一项功能,即通过App Direct进行存储,Alluxio可以访问高性能的块存储,而无需在I / O总线上移动数据的等待时间,从而可以加速数据并减少查询时间。与Alluxio和Intel Xeon处理器可扩展,一个I / O密集型基准提供了一个3.4倍的加速超过分列S3对象存储和1.3倍的加速通过共同定位的计算和存储架构2。
此外,Alluxio还与英特尔进行了战略合作,旨在改善共同客户在管理和处理数据方面的经验,例如对英特尔深度学习Boost(英特尔至强可扩展处理器内置的AI加速技术)的优化。Alluxio和英特尔将携手将解决方案推向市场,以帮助推动下一代数据,分析和AI应用程序和用例的发展。
“通过这种新的合作,我们将向市场推出一种解决方案,该解决方案能够实现企业级共享存储,并更快地提供洞察力,以解决我们在Hadoop上受限的存储和计算资源方面所面临的挑战,” Alluxio首席商务官Rowan Scranage说。“我们计划与英特尔一道,通过内存中的数据加速器层来破坏高级分析和AI现状,以加速中间数据访问并缓解数据瓶颈,这是我们的许多客户将其视为日益增长的大数据需求所面临的主要挑战。 ”
英特尔数据平台部门企业分析和AI首席技术官Arijit Bandyopadhyay说:“我们很高兴与Alluxio合作,并将这一引人入胜的解决方案推向市场。” “随着越来越多的公司构建面临性能挑战的高级分析和AI应用程序,基于Alluxio的内存中数据加速器与英特尔的Optane持久内存相结合,将把数据本地性,数据可访问性和数据弹性带回到环境中。基于我们通过这种联合解决方案所获得的性能提升,我们期待将其大规模推向市场。”
要了解更多信息或开始使用英特尔和Alluxio联合解决方案,请联系 sales @ al luxio.com
脚注: 英特尔于2019年12月6日使用以下配置进行了测试。随后将有详细的白皮书。
Optane PMem缓存:2个插槽Intel®Xeon®Gold 6240处理器,18核HT On Turbo ON总内存192 GB(12插槽/ 16GB / 2666 MHz),DCPMM 1TB(8插槽/ 128GB / 2666 MHz),DCPMM固件版本01.02.00.5410,BIOS:SE5C620.86B.0X.02.0094.102720191711(ucode:0x500002c),BKC版本:ww08.2019,Fedora 29(Server Edition),4.20.6-200.fc29.x86_64,应用存储:11x适用于Ceph OSD的1TB硬盘(ST1000NX0313),Hadoop版本:Hadoop 3.1.2,Alluxio版本:Alluxio 2.0.0,Spark版本:Spark 2.3.0,Hive版本:Hive 3.1.1,Ceph版本:Ceph 12.2.12
DRAM缓存: 2插槽Intel®Xeon®Gold 6240处理器,18核HT On Turbo ON总内存768 GB(24插槽/ 32GB / 2666 MHz),BIOS:SE5C620.86B.0X.02.0094.102720191711(ucode:0x500002c),Fedora 29(服务器版),4.20.6-200.fc29.x86_64,应用程序存储:用于Ceph OSD的11x 1TB HDD(ST1000NX0313),Hadoop版本:Hadoop 3.1.2,Alluxio版本:Alluxio 2.0.0,Spark版本:Spark 2.3。 0,Hive版本:Hive 3.1.1,Ceph版本:Ceph 12.2.12,
不带缓存: 2插槽Intel®Xeon®Gold 6240处理器,18核HT On Turbo ON总内存192 GB(12插槽/ 16GB / 2666 MHz),BIOS:SE5C620.86B.0X.02.0094.102720191711(ucode:0x500002c),Fedora 29(服务器版),4.20.6-200.fc29.x86_64,应用程序存储:用于Ceph OSD的11x 1TB HDD(ST1000NX0313),Hadoop版本:Hadoop 3.1.2,Alluxio版本:Alluxio 2.0.0,Spark版本:Spark 2.3。 0,Hive版本:Hive 3.1.1,Ceph版本:Ceph 12.2.12
标签: Alluxio 增强型混合云解决方案