·“LLM（大型语言模型）肯定会变得更好。但现在，它们有很多局限性。它们提供了错误的信息。科学家们应该非常清楚这一点，并仔细检查它们的输出。”

当地时间2023年11月21日，据《科学》（Science）杂志报道，人工智能（AI）有望帮助科研人员消化大量论文，但面临技术和法律障碍。

约瑟夫·吉迪奥蒂斯（Iosif Gidiotis）今年开始攻读瑞典皇家理工学院（KTH Royal Institute of Technology）教育技术博士学位，获悉AI驱动的新工具可以帮助“消化”文献，很感兴趣。

在全球科学领域，去年共发表了近300万篇论文。在论文数量激增的情况下，AI研究助理“听起来很棒”。

吉迪奥蒂斯希望AI能够找到与其研究问题更相关的论文，并总结出亮点。然而事情并不如他想象中顺利。当他尝试使用一种名为Elicit的AI工具时，他发现只有部分相关，而且Elicit的摘要不够准确，无法满足他的需求。“获得Elicit的结果后，你的直觉是要自己阅读原文来验证摘要是否正确，所以它并不能节省时间。”

Elicit“表示”，它正在继续为25万普通用户改进算法。在一项调查中，该工具平均每周为人们节省90分钟的阅读和搜索时间。据悉，Elicit由一家非营利性研究组织创建于2021年，旨在帮助科学家浏览文献。

“这些平台呈爆炸式增长。”安德里亚·基亚雷利（Andrea Chiarelli）说，她在研究咨询公司（Research Consulting）的出版工作中关注AI工具，然而，这些工具的生成系统容易产生虚假内容，并且许多搜索到的论文都需要付费。

基亚雷利表示：“很难预测哪些AI工具会占上风，而且有一定程度的炒作，但它们显示出巨大的前景。”

与引发全球关注的 ChatGPT（OpenAI研发的一款聊天机器人程序）和其他大语言模型 （LLM） 一样，一些新工具在大量文本样本上进行“训练”，学习识别单词关系，这些关联使算法能够对搜索结果求和。它们还根据论文中的上下文识别相关内容，相较于仅使用关键字查询，会产生更广泛的结果。

从头开始培训大语言模型对大部分组织来说太过昂贵，因此Elicit和其他AI工具使用开源的大语言模型，而在其用于“训练”的文本中，许多是非科学的。

有些AI工具走得更远。例如，Elicit 按概念组织论文，查询“过多咖啡因”，可以出现关于“减少嗜睡”和“损害运动表现”的单独论文集。高级版本每月收费10美元，还可使用额外的内部编程来提高准确性。

另一个名为 Scim 的工具有助于将读者的目光吸引到论文最相关的部分。该工具是非营利性组织——艾伦AI研究所（Allen Institute for AI）创建的语义阅读器（Semantic Reader）工具的一项功能，它像一个自动墨迹荧光笔，用户可以对其进行自定义，应用于有关新颖性、目标和其他主题的陈述。

“它提供了一篇论文是否值得阅读的快速诊断和分类，这非常有价值。”美国密歇根大学（University of Michigan）的信息科学家艾达（Eytan Adar）说，他试用过早期版本。还有一些工具可以注释摘要，允许用户自己判断准确性。

为了尽量避免产生错误的响应，艾伦研究所（Allen Institute）使用受过科学论文“训练”的大语言模型来操作语义阅读器，但这种方法的有效性很难衡量。美国麻省理工学院（Massachusetts Institute of Technology）的计算机科学家迈克尔·卡宾（Michael Carbin）说：“这些都是边缘的技术难题。”

艾伦研究所语义学者（Semantic Scholar）论文库的首席科学家韦尔德（Dan Weld）的说：“目前，我们拥有的最佳标准是让受过良好教育的人来观察AI输出并仔细分析它。”

该研究所已经收集了300多名付费研究生和数千名志愿测试人员的反馈。质量检验显示，将Scim应用于非计算机科学论文会产生故障，因此该研究所目前仅为大约55万篇计算机科学论文提供Scim。

其他研究人员强调，只有当开发人员和用户能够访问论文全文，为搜索结果和内容分析提供信息时，AI工具才能发挥潜力。澳大利亚皇家墨尔本理工大学（Royal Melbourne Institute of Technology，RMIT）计算语言学家卡琳·弗斯普尔（Karin Verspoor）说：“如果我们不能访问文本，那么我们对这些文本中所捕获的知识的看法就很有限。”

全球最大的科学出版商爱思唯尔（Elsevier）也将其AI工具限制在论文摘要上。今年8月，这家商业公司在其Scopus数据库中首次推出了AI辅助搜索功能，该数据库列出了9300万篇研究出版物，成为最大的研究出版库之一。为了响应查询，其算法会识别最相关的摘要，并使用 ChatGPT来提供整体摘要。

Scopus AI还按概念对摘要进行分组。目前，用户的反馈是：这种方法足以“帮助跨学科领域的研究人员快速了解特定主题” 。

艾伦研究所采取了不同的方法：它与50多家出版商谈判达成协议，允许其开发人员对付费论文的全文进行数据挖掘。韦尔德说，几乎所有的出版商都免费提供访问权限，因为AI为他们带来流量。即便如此，根据许可限制，Semantic Reader用户只能访问Semantic Scholar的6000万篇全文论文中的800万篇全文。

实现大规模的数据挖掘还需要让更多的作者和出版商采用非PDF格式，以帮助机器有效地消化论文的内容。美国白宫2022年的一项指令要求，由联邦资金制作的文件必须是机器可读的，但各机构尚未提出细节。

尽管面临挑战，计算机科学家已经在寻求开发更复杂的AI，以从文献中收集更丰富的信息。他们希望收集线索以加强药物发现并不断更新系统评价。例如，由美国国防高级研究计划局（Defense Advanced Research Projects Agency）支持的研究探索了一种能够自动生成科学假设的系统。

目前，使用AI工具的科学家需要保持合理的怀疑态度，美国马萨诸塞大学阿默斯特分校（University of Massachusetts Amherst）交互式信息访问系统研究者哈米德·扎马尼（Hamed Zamani）说：“LLM肯定会变得更好。但现在，它们有很多局限性。它们提供了错误的信息。科学家们应该非常清楚这一点，并仔细检查它们的输出。”