目前的大语言模型（LLMs）从未真正“看见”现实世界，因此它们无法依赖具象的感官体验来支撑自身的学习。从这个角度看，它们类似于“视觉想象缺失症”（aphantasia）患者——它们从不以图像思考。但这是否意味着它们完全无法思考，或者它们的语言完全没有意义呢？

为了回答这个问题，我们可以看看一个在人类历史上真实存在的案例：一个成长过程中极度缺乏感官体验的人——海伦·凯勒（Helen Keller）。凯勒是20世纪最杰出的人物之一。她出生于阿拉巴马州的一个显赫家庭，但在19个月大时因脑膜炎失去了视力和听力。在接下来的几年里，她依靠残存的感官去理解世界，例如通过脚步震动识别家人。六岁时，她的母亲聘请了一位盲人教师尝试教她交流，方法是用手指在她的掌心书写字母。在自传中，凯勒激动地回忆了那个“顿悟时刻”——当她意识到手掌上拼出的“W–A–T–E–R”指的正是流淌在自己手上的清凉之物。她写道：“活生生的词语唤醒了我的灵魂，赋予它光明、希望，并使它获得自由！”

凯勒的故事让我们得以一窥一个人在缺乏视觉和听觉信息的环境中成长的体验。乍一看，这似乎证明了一个观点：语言只有在与物理经验联系时才有意义。凯勒最终理解了“水”这个词，是因为她能通过皮肤感受到液体的冰凉。这就像是她描述了那个瞬间——当她第一次成功地将符号与现实世界的事物对应起来，意义便随之涌入。然而，与凯勒不同的是，当前的LLMs并没有“手”，它们无法感受水的冰凉，因此似乎被困在一个仅靠文本的世界里。

但问题远不止于此。如果我们认为只有能指向具体事物或事件的词语才具有意义（比如一只真正的猴子骑着一辆真正的自行车），那么语言中大量的词汇就会被剥夺其意义。事实上，我们理解许多并不直接对应物理对象的词，它们无法被看见，被感知，被体验，例如“平方根”“荒谬”“伽马射线”。我们甚至可以推理那些根本不存在的事物，比如一个如行星般巨大的桃子，或者一头统治印度洋的暴君鲸鱼。更重要的是，海伦·凯勒虽然无法看到或听到，却仍然理解了许多无法亲身感知的概念，如“云”“鸟鸣”“红色”。因此，词语的意义不仅仅来源于它们指涉的可见、可听、可触、可尝或可嗅的事物，它们还通过与其他词语的关联获得意义。

事实上，认为“意义”和“理解”只有在词语与物理感官体验相关时才会产生，这种观点实际上是不公平的。它暗示了感官受限的人所说的语言在某种程度上“缺乏意义”，或者他们自身“较难理解”自己所说的词语。这些论断显然是错误的。海伦·凯勒虽然终生失明、失聪，但她成为了一位杰出的学者、作家、政治活动家和残障权利倡导者，她的智慧很大程度上来自语言本身的结构——即词语之间的内在关联方式。

因此意义的获取有两种途径。一条是高速之路——我们通过语言数据学习，比如知道“蜘蛛”通常与“蜘蛛网”相关联。另一条是慢速之路——我们通过感官数据学习，比如看到晨露中闪耀的蜘蛛网中央，有一只八条腿的昆虫。大多数人可以同时踏上这两条路，因此能在“词与词”“物与物”“词与物”以及“物与词”之间建立联系。

相比之下，仅依靠文本训练的LLMs只能走“语言之路”，它们只能通过文本数据学习世界。这意味着，即便它们能够“思考”或“推理”，其方式也必然与人类不同。人类可以用源自现实经验的心智表征来思考，比如想象自己置身某个空间、回忆一段旋律或直观感受象棋棋局的布局，而不只是依赖语言表达。这也是为什么人类的“思考”与“说话”并非完全绑定。正如一篇研究论文指出的那样，我们的“形式化语言能力”（即能构造符合语法的句子）并不限制我们的“功能性语言能力”（即能进行合理推理或常识判断）。

一个有力的证据是失语症（aphasia）患者的案例。如果有人因中风损伤了大脑左半球，他们可能会出现语言障碍，例如发音困难、找不到合适的词（命名困难）或无法正确构造句子（句法障碍）。然而，这些语言障碍往往并不影响他们的推理能力。许多失语症患者仍然具备高度完好的逻辑思维和创造力。

当前大多数公开可用的LLMs主要是聊天机器人——它们以文本为输入，输出文本（尽管像GPT-4和Gemini这样的先进模型已经可以生成图像，而文本到视频的AI模型也即将普及）。它们的逻辑、数学和语法能力完全基于对符号系统的内部表示，如韩语或C++代码。

而人类的认知不仅限于语言，我们可以依靠多种形式的心智表征进行思考，比如聆听弦乐四重奏时感受到的和谐旋律、几何投影直观展现的代数公式，或是在规划象棋残局时对棋子位置的空间感知。这也是为什么当语言系统受损时，我们仍能通过其他认知方式保持部分推理能力。这再次凸显了LLMs与人类认知方式的显著不同。

然而，新一代的多模态LLMs正在崛起——它们不仅接收语言输入，还能处理图像和视频。随着LLMs的进化超越单纯的聊天机器人，它们将有更多机会通过照片和视频学习物理世界中的关系模式。随着这种能力的提升，它们的思维方式也将逐步向人类靠拢。

原文：

https://bigthink.com/the-future/ai-cognition-and-the-road-to-meaning/?utm_source=flipboard&utm_content=topic/brain