《科学》:AI有望帮助消化海量论文?仍面临技术和法律障碍

新闻资讯2023-11-27 14:05:42橙橘网

《科学》:AI有望帮助消化海量论文?仍面临技术和法律障碍

·“LLM(大型语言模型)肯定会变得更好。但现在,它们有很多局限性。它们提供了错误的信息。科学家们应该非常清楚这一点,并仔细检查它们的输出。”

当地时间2023年11月21日,据《科学》(Science)杂志报道,人工智能(AI)有望帮助科研人员消化大量论文,但面临技术和法律障碍。

约瑟夫·吉迪奥蒂斯(Iosif Gidiotis)今年开始攻读瑞典皇家理工学院(KTH Royal Institute of Technology)教育技术博士学位,获悉AI驱动的新工具可以帮助“消化”文献,很感兴趣。

在全球科学领域,去年共发表了近300万篇论文。在论文数量激增的情况下,AI研究助理“听起来很棒”。

吉迪奥蒂斯希望AI能够找到与其研究问题更相关的论文,并总结出亮点。然而事情并不如他想象中顺利。当他尝试使用一种名为Elicit的AI工具时,他发现只有部分相关,而且Elicit的摘要不够准确,无法满足他的需求。“获得Elicit的结果后,你的直觉是要自己阅读原文来验证摘要是否正确,所以它并不能节省时间。”

Elicit“表示”,它正在继续为25万普通用户改进算法。在一项调查中,该工具平均每周为人们节省90分钟的阅读和搜索时间。据悉,Elicit由一家非营利性研究组织创建于2021年,旨在帮助科学家浏览文献。

“这些平台呈爆炸式增长。”安德里亚·基亚雷利(Andrea Chiarelli)说,她在研究咨询公司(Research Consulting)的出版工作中关注AI工具,然而,这些工具的生成系统容易产生虚假内容,并且许多搜索到的论文都需要付费。

基亚雷利表示:“很难预测哪些AI工具会占上风,而且有一定程度的炒作,但它们显示出巨大的前景。”

与引发全球关注的 ChatGPT(OpenAI研发的一款聊天机器人程序)和其他大语言模型 (LLM) 一样,一些新工具在大量文本样本上进行“训练”,学习识别单词关系,这些关联使算法能够对搜索结果求和。它们还根据论文中的上下文识别相关内容,相较于仅使用关键字查询,会产生更广泛的结果。

从头开始培训大语言模型对大部分组织来说太过昂贵,因此Elicit和其他AI工具使用开源的大语言模型,而在其用于“训练”的文本中,许多是非科学的。

有些AI工具走得更远。例如,Elicit 按概念组织论文,查询“过多咖啡因”,可以出现关于“减少嗜睡”和“损害运动表现”的单独论文集。高级版本每月收费10美元,还可使用额外的内部编程来提高准确性。

另一个名为 Scim 的工具有助于将读者的目光吸引到论文最相关的部分。该工具是非营利性组织——艾伦AI研究所(Allen Institute for AI)创建的语义阅读器(Semantic Reader)工具的一项功能,它像一个自动墨迹荧光笔,用户可以对其进行自定义,应用于有关新颖性、目标和其他主题的陈述。

“它提供了一篇论文是否值得阅读的快速诊断和分类,这非常有价值。”美国密歇根大学(University of Michigan)的信息科学家艾达(Eytan Adar)说,他试用过早期版本。还有一些工具可以注释摘要,允许用户自己判断准确性。

为了尽量避免产生错误的响应,艾伦研究所(Allen Institute)使用受过科学论文“训练”的大语言模型来操作语义阅读器,但这种方法的有效性很难衡量。美国麻省理工学院(Massachusetts Institute of Technology)的计算机科学家迈克尔·卡宾(Michael Carbin)说:“这些都是边缘的技术难题。”

艾伦研究所语义学者(Semantic Scholar)论文库的首席科学家韦尔德(Dan Weld)的说:“目前,我们拥有的最佳标准是让受过良好教育的人来观察AI输出并仔细分析它。”

该研究所已经收集了300多名付费研究生和数千名志愿测试人员的反馈。质量检验显示,将Scim应用于非计算机科学论文会产生故障,因此该研究所目前仅为大约55万篇计算机科学论文提供Scim。

其他研究人员强调,只有当开发人员和用户能够访问论文全文,为搜索结果和内容分析提供信息时,AI工具才能发挥潜力。澳大利亚皇家墨尔本理工大学(Royal Melbourne Institute of Technology,RMIT)计算语言学家卡琳·弗斯普尔(Karin Verspoor)说:“如果我们不能访问文本,那么我们对这些文本中所捕获的知识的看法就很有限。”

全球最大的科学出版商爱思唯尔(Elsevier)也将其AI工具限制在论文摘要上。今年8月,这家商业公司在其Scopus数据库中首次推出了AI辅助搜索功能,该数据库列出了9300万篇研究出版物,成为最大的研究出版库之一。为了响应查询,其算法会识别最相关的摘要,并使用 ChatGPT来提供整体摘要。

Scopus AI还按概念对摘要进行分组。目前,用户的反馈是:这种方法足以“帮助跨学科领域的研究人员快速了解特定主题” 。

艾伦研究所采取了不同的方法:它与50多家出版商谈判达成协议,允许其开发人员对付费论文的全文进行数据挖掘。韦尔德说,几乎所有的出版商都免费提供访问权限,因为AI为他们带来流量。即便如此,根据许可限制,Semantic Reader用户只能访问Semantic Scholar的6000万篇全文论文中的800万篇全文。

实现大规模的数据挖掘还需要让更多的作者和出版商采用非PDF格式,以帮助机器有效地消化论文的内容。美国白宫2022年的一项指令要求,由联邦资金制作的文件必须是机器可读的,但各机构尚未提出细节。

尽管面临挑战,计算机科学家已经在寻求开发更复杂的AI,以从文献中收集更丰富的信息。他们希望收集线索以加强药物发现并不断更新系统评价。例如,由美国国防高级研究计划局(Defense Advanced Research Projects Agency)支持的研究探索了一种能够自动生成科学假设的系统。

目前,使用AI工具的科学家需要保持合理的怀疑态度,美国马萨诸塞大学阿默斯特分校(University of Massachusetts Amherst)交互式信息访问系统研究者哈米德·扎马尼(Hamed Zamani)说:“LLM肯定会变得更好。但现在,它们有很多局限性。它们提供了错误的信息。科学家们应该非常清楚这一点,并仔细检查它们的输出。”

本文标签: 科学  算法  ai  文献  法律  论文集  学术论文  

相关推荐

猜你喜欢

大家正在看