大语言模型在信念与事实区分上的挑战

当前的大语言模型在处理人类复杂语言时，尚无法准确区分信念与事实，尽管这些模型能够处理大量数据并从中学习，但在理解和分辨人类的思维概念如信念和事实时仍存在挑战，这可能是由于模型的内在机制和对人类思维模式的理解有限所致，未来需要进一步提高模型的复杂性和智能水平，以更好地处理这类问题。

近日，美国斯坦福大学的一项研究在《自然·机器智能》期刊上发表，指出当前大语言模型（LLM）在识别用户错误信念方面存在显著短板，难以稳定区分主观信念与客观事实。研究发现，当个人信念与真实情况相悖时，这些模型常常无法准确判断何为事实、何为误信。

该成果对LLM在医学、法律及科学决策等高风险领域的应用提出了警示。研究人员强调，在涉及主观认知与事实偏差的复杂情境中，必须谨慎对待模型输出，否则可能助长错误信息扩散，甚至支持基于误解的决策。

研究团队评估了包括DeepSeek和GPT-4o在内的24种大语言模型，在约13000个问题上的表现。结果显示，在判断事实性陈述真假时，较新型号（如2024年5月发布的GPT-4o及之后版本）平均准确率分别为91.1%和91.5%，而早期模型则为84.8%和71.5%。然而，当面对第一人称信念表达（例如“我相信……”）时，模型识别虚假信念的能力明显下降。相比识别真实信念，新模型识别虚假信念的概率低34.3%，旧模型则低达38.6%。

此外，研究发现，大语言模型更倾向于直接纠正用户的说法，而不是识别其背后是否存在错误信念。在处理第三人称信念（如“Mary相信……”）时，较新的模型准确性下降4.6%，而较老的模型下降幅度高达15.5%。

研究结论强调，要实现真正可靠的人机交互，大语言模型必须具备精细辨别事实与信念之间差异的能力，并能准确判断其真伪，唯有如此，才能有效回应用户需求并遏制虚假信息传播。（科技日报）