大模型幻觉不可解

大语言模型是用算力暴力模拟人脑机制对外部信息的整合（预训练）和输出过程。

人之间对话有时也会牛头不对马嘴。很多戏剧或者小品中，双方缺失足够的背景信息，导致牛头不对马嘴闹笑话。

模型参数越大，背景信息足够多，产生幻觉的概率就越小。但是总会存在就算对整个人类整体知识来说，也有信息熵足够高的信息片段，或者故意提供缺失信息的片段。

比如，直接问“苏格拉底，相对论”。谁知道你是想问“苏格拉底的时代是否有人有过相对论类似的思想”，还是想问“相对论和苏格拉底的思想有什么共同之处。”

况且大模型不是强化学习，它只是一个庞大却静态的智慧切片。其整合世界信息的过程不是实时的，只存在于预训练过程中，而且所整合的信息是二手的（只有被语言表达出来的信息才能被预训练整合），所以任意语言模型一定是越来越过时的。

个人观点，仅供参考

上海,2025年11月10日 06:51