科学家利用数据网络的隐藏力量
赖斯大学的科学家已获得国家科学基金会的资助，以开发分布式编程方法来分析流数据。计算机科学家 Ang Chen 和 吴晶(Eugene Ng) 将使用为期3年的120万美元赠款，以利用存储和向客户存储数据的各种组件中的可编程元素。
该项目的首席研究员Chen表示，这意味着位于最终用户和数据服务器之间的交换机，路由器和其他组件可以在管理和分析大数据方面发挥更加积极的作用 。它可以使数据网络更快，更高效，这将为金融服务，社交网络，“物联网”和许多其他应用带来福音。
研究人员说，数据网络中可编程元件的范围已经扩大，不仅包括服务器，还包括接口组件，现场可编程门阵列，专用集成电路和网络拓扑。“今天，所有处理都在服务器上完成，沿路径没有任何处理或计算。我们将尝试改变这种状况。”计算机科学，电气与计算机工程学教授Ng表示。
“我们的愿景是优化所有这些组件，以在每种应用的设计空间中达到最佳平衡，”计算机科学和电气与计算机工程副教授Chen于2017年加入Rice表示。“我们希望有一种可以在不同种类的协议上工作的方法。”
Ng表示，流数据的常见示例还包括欺诈检测，监视器和温度以及其他环境传感器，这些传感器不断生成数据并将其高速发送到来自世界各地的服务器。他说：“我们面临的挑战是开发一个可扩展的平台，使程序员能够利用我们提出的技术从数据中获得实时洞察力。”
Ng说，一种可能的策略是在数据到达服务器之前进行智能处理并减少数据。这可以通过对路径上的组件进行编程以处理尽可能多的计算来实现。“这可以允许服务器群集提取更多数据，因为您不只是为了移动数据而移动数据。您正在处理它，并且可能会生成部分问题的答案。
Ng说：“我可以肯定地说，使用这种新兴硬件进行大数据处理具有巨大的潜力，而关键词是'新兴'。” “它是新的，因此很少有人考虑过它可以做什么。”
研究人员还计划研究数据如何通过网络流动，以便他们可以动态优化数据。“有时候重要的是您首先要执行哪些操作，” Chen说。“这不仅与网络中编程功能的位置有关，还与网络本身的组织有关。
他说：“因此，我们正在研究基础物理网络如何适应自身并改变网络流量以优化延迟。”
标签： 数据网络