纽约大学的一项研究揭示了大型语言模型在医学信息训练中的潜在风险。研究表明，数据“投毒”是一个相对简单的概念。LLM 通常通过大量文本进行训练，这些文本大多来自互联网。通过在训练数据中注入特定信息，可以使模型在生成答案时将这些信息视为事实。这种方法甚至不需要直接访问 LLM 本身，据了解，研究团队选择了一个常用于 LLM 训练的数据库“The Pile”作为研究对象。该数据库包含大量医学信息，其中约四分之一的研究人员进一步探讨了错误信息的最低影响门槛。以疫苗错误信息为例，即使错误信息仅占训练数据的 0.01%，模型生成的答案中就有超过 10% 包含错误信息；研究还指出，现有的错误信息问题同样不容忽视。许多非专业人士倾向于从通用 LLM 中获取医学信息，而这些模型通常基于整个互联网进行训练，其中包含大量未经审核的错误信息。研究人员设计了一种算法，能够识别 LLM 输出中的医学术语，并与经过验证的生物医学知识图谱进行交叉引用，从而标记出无法验证的短语。虽然这种方法未能捕捉所有医学错误信息，但成功标记了其中大部分内容。

　　然而，即使是最好的医学数据库也存在错误信息问题。医学研究文献中充斥着未能实现的理论和已被淘汰的治疗方法。

　　研究表明，即使依赖最优质的医学数据库，也无法保证训练出的 LLM 完全免受错误信息的影响。医学领域的复杂性使得打造一个始终可靠的医学 LLM 变得尤为困难。