使用机器学习来预测高影响力的研究
DELPHI 是一种人工智能框架,可以通过学习从以前的科学出版物中收集到的模式,为未来的关键技术发出“早期警报”信号。麻省理工学院研究人员构建的人工智能框架可以通过学习从以前的科学出版物中收集到的模式,为未来的高影响技术提供“早期警报”信号。
在对其能力的回顾性测试中, DELPHI(Dynamic Early-warning by Learning to Predict High Impact 的缩写)能够在专家的关键基础生物技术列表中识别出所有开创性论文,有时甚至早在发表后的第一年.
麻省理工学院媒体实验室的研究附属机构 James W. Weis 和媒体艺术与科学教授兼媒体实验室分子机器研究小组的负责人 Joseph Jacobson 也使用 DELPHI 突出了他们预测的 50 篇最近的科学论文到 2023 年产生重大影响。论文涵盖的主题包括用于癌症治疗的 DNA 纳米机器人、高能量密度锂氧电池和使用深度神经网络的化学合成等。
研究人员将 DELPHI 视为一种工具,可以帮助人类更好地利用科学研究资金,识别可能会枯竭的“粗糙的钻石”技术,并为政府、慈善机构和风险投资公司提供一种更有效、更有成效地支持科学的方法.
“本质上,我们的算法通过从科学史中学习模式来运行,然后在新出版物上进行模式匹配,以找到具有高影响力的早期信号,”Weis 说。“通过跟踪想法的早期传播,我们可以预测它们以有意义的方式传播或传播到更广泛的学术界的可能性有多大。”
该论文已 发表 在《 自然生物技术》上。
寻找“粗糙的钻石”
Weis 和 Jacobson 开发的机器学习算法利用了自 1980 年代以来随着科学出版物呈指数增长而现在可用的大量数字信息。但是,DELPHI 不是使用一维指标(例如引用次数)来判断出版物的影响,而是在期刊文章元数据的完整时间序列网络上进行培训,以揭示其在整个科学生态系统中传播的更高维模式。
结果是一个知识图,其中包含代表论文、作者、机构和其他类型数据的节点之间的连接。这些节点之间复杂连接的强度和类型决定了它们在框架中使用的属性。“这些节点和边定义了一个基于时间的图形,DELPHI 使用它来学习预测未来高影响的模式,”Weis 解释道。
这些网络特征一起用于预测科学影响,在发表五年后落在时间尺度节点中心性前 5% 的论文被认为是 DELPHI 旨在识别的“具有高度影响力”的目标集。这些排名前 5% 的论文占图表总影响的 35%。作者说,DELPHI 还可以使用时间尺度节点中心性的前 1%、10% 和 15% 的截止值。
DELPHI 认为,极具影响力的论文几乎在其学科和较小的科学社区之外传播开来。两篇论文的引用次数可以相同,但具有高度影响力的论文会覆盖更广泛、更深入的受众。另一方面,低影响力的论文“并没有真正被越来越多的人利用和利用,”韦斯说。
他补充说,该框架可能有助于“激励团队合作,即使他们还不认识彼此——也许可以通过将资金引导给他们共同解决重要的多学科问题”。
与单独的引文数量相比,DELPHI 识别出具有高度影响力的论文数量的两倍多,其中包括 60% 的“隐藏的宝石”,或者会被引文阈值遗漏的论文。
雅各布森说:“推进基础研究是关于多次射门,然后能够迅速将这些想法中最好的想法加倍。” “这项研究是为了看看我们是否可以通过将整个科学界作为一个整体,嵌入到学术图表中,以及在确定具有高影响力的研究方向时更具包容性,以更大规模的方式进行这一过程。”
研究人员惊讶地发现,在某些情况下,一篇极具影响力的论文的“警报信号”在使用 DELPHI 时出现的时间有多早。“在出版后的一年内,我们已经发现了将对以后产生重大影响的隐藏宝石,”Weis 说。
然而,他警告说,DELPHI 并不能准确预测未来。“我们正在使用机器学习来提取和量化隐藏在已经存在的数据的维度和动态中的信号。”
公平、高效、有效的融资
研究人员表示,希望 DELPHI 将提供一种更少偏见的方式来评估论文的影响力,因为正如过去的研究表明的那样,可以操纵引用和期刊影响因子数量等其他指标。
“我们希望我们可以利用它来找到最有价值的研究和研究人员,无论他们隶属于什么机构或他们之间的联系如何,”Weis 说。
然而,与所有机器学习框架一样,设计师和用户应该警惕偏见,他补充道。“我们需要不断意识到我们的数据和模型中的潜在偏差。我们希望 DELPHI 以更少偏见的方式帮助找到最佳研究——因此我们需要小心,我们的模型不会学习仅根据次优指标(如 h指数、作者引用计数或机构隶属关系。”
DELPHI 可以成为帮助科学资助变得更加高效和有效的强大工具,并且可能用于创建与科学投资相关的新型金融产品。
“科学资助的新兴元科学表明需要对科学投资采取组合方法,”实验基金会执行董事大卫朗指出。“Weis 和 Jacobson 对这种理解做出了重大贡献,更重要的是,它与 DELPHI 一起实施。”
这是 Weis 在为生物技术初创公司推出风险投资基金和实验室孵化设施的经历之后,思考了很多的事情。
他说:“我越来越意识到,包括我自己在内的投资者,我们一直在寻找相同地点和相同先入之见的新公司。” “我开始瞥见了大量才华横溢的人才和惊人的技术,但这往往被忽视。我认为必须有一种方法可以在这个领域工作——机器学习可以帮助我们发现并更有效地实现所有这些未开发的潜力。”
标签: