Weka通过与Valohai的深度学习管道管理解决方案集成来进一步推广Weka AI
WekaIO(Weka)高兴地宣布与Weka创新网络(WIN)合作伙伴Valohai的深度学习管道管理解决方案集成。该公告巩固了Weka的承诺,即授权数据科学家和首席数据官管理数据科学管道并确定其优先级。Valohai的工具在Amazon Virtual Private Cloud(Amazon VPC)中受支持,并在AWS Marketplace中可用。
“新的工作负载推动了对现代基础架构的需求,而最近推出的Weka AI为Accelerated DataOps提供了一种变革性的解决方案框架,” Weka的AI和战略联盟负责人Shailesh Manjrekar说。“我们与Valohai的合作伙伴关系以及与深度学习管道管理工具的集成,扩展了Weka AI的功能,可提供可解释性AI(XAI)。对于具有社会影响的用例(包括自动驾驶,医疗保健和基因组学),这是一个关键因素。”
与技术联盟合作伙伴(如Valohai)的解决方案集成,增强了Weka AI的功能。在Weka文件系统(WekaFS)的支持下,Weka AI现在提供了生产就绪型解决方案,可以在其中运行整个AI数据管道工作流程,从数据提取到批处理特征提取,训练,超参数优化,最后到推理和版本控制。相同的存储平台,无论是本地还是AWS。由于WekaFS提供出色的混合工作负载性能以及数据管理和治理功能,因此才有可能。
Valohai首席执行官Eero Laaksonen表示:“机器学习(ML)使企业具有竞争优势,但是虽然ML很难,但现实世界中的ML却要困难得多。” “现实世界中的ML系统具有95%的使能代码,而只有5%的实际ML代码可创造业务价值,因此,问题就变成了如何确保将精力集中在5%上。借助Valohai,企业可以专注于数据科学,因为它可以处理其他所有事务。就像指向您的代码和数据并单击“运行”一样简单。DLMS解决方案与Weka强大的按对象对齐功能之间的无缝集成为DataOps提供了快速,零设置的基础架构。这进一步帮助企业更快地建立模型10倍,弥补35%的云成本损失,并通过自动ML编排,数据管理和数据移动性释放其DataOps团队。
Weka AI与Valohai DLMS一起启用了混合工作流,数据科学家可以在本地或AWS上使用Jupyter Notebook或Valohai GUI在Kubernetes编排的环境中进行数据转换,模型训练,超参数优化和推理。 Valohai DLMS与WekaFS无缝集成,它将i3.n Amazon Elastic Compute Cloud(Amazon EC2)实例和非易失性内存Express(NVMe)闪存用于性能层,并通过Amazon Simple Storage Service(Amazon S3)存储桶将文件名称空间扩展到容量层。Valohai DLMS在运行实验时还会获取文件名称空间快照,并将其存储以进行数据版本控制。然后可以随时将这些版本补水以重现实验,并提供所需的解释性和透明度。Weka AI通过管道的端到端加密提供安全性和治理,还提供与领先的密钥管理解决方案(例如HashiCorp Vault)的集成。
Manjrekar补充说:“与Valohai一起部署在AWS上的Weka AI,是我们在加速基因组学,金融科技和AI / ML / DL数据管道方面取得成功的基础。客户可以在AWS上使用Weka来获得出色的性能,因为我们可以为16xi3en集群展示100GB /秒的吞吐量和500万个4KB IOPS,所有这些都具有不到250微秒的延迟。”
标签: WekaAI