2007年图灵奖得主，国际嵌入式系统研究中心Verimag实验室名誉研究主任，中国科学院外籍院士，法国工程院和科学院院士，欧洲科学院院士，美国人文与科学院院士，美国国家工程院外籍院士。本文根据他在2024世界顶尖科学家论坛上的发言和相关著述整理而成

当前，以ChatGPT为代表的大语言模型(large language model，LLM) 在自然语言处理等领域所展现出来的突破性进展，引起了社会的广泛关注。大量的媒体宣传和追捧给我们造成一种错觉：我们已经无限接近实现通用人工智能。但我认为，我们对人工智能持有一种过于乐观的态度，而忽视了它只是在单一领域、单一任务上取得突破的事实。

近年来，“负责任的人工智能”（responsible AI）这一概念被提出，强调人工智能的开发和使用应符合公平、透明和问责等原则。有研究人员指出，我们无法保证自主系统始终做出正确的决定，只能证明其行为是基于正确的理由。然而，这种“以人为中心”的评价标准难以用严格的语言描述，也难以通过定量、可观测的指标来定义。

更进一步地，从道德准则评判机器行为，意味着机器需要理解、预测或估计其行为的后果。这实际上要求机器建立一个关于外部世界的语义模型，并基于该模型评估自身行为的影响。然而，有文献提出，理解能力无法通过实验验证。即使在人类之间，价值观也存在巨大差异，而人工智能如何与人类价值观对齐，更是一个尚未解决的公开难题。

这里的主要原因在于，我们既不了解人类意志或价值观是如何产生和形成的，也不了解基于价值的决策系统的内在本质。更重要的是，我们尚未弄清人工智能中的多目标优化方法（指在给定约束条件下实现目标的最优解）是否能够模拟人类的决策机制。这种机制涉及大量动态变化的多层次目标，这些目标不仅具有不同的时间约束，还依赖于尚未被完全理解的复杂且交织的价值体系。因此，我们认为，如果从基于客观标准的测试转向以道德规则或价值观为导向的对齐，可能会陷入无休止的主观争论之中。

图灵房间和中文房间

图灵测试（Turing Test），是一种典型的基于交互式对话方式、对“机器智能”的测试方法。相对于其他方法，图灵测试的主要优势在于，它为机器智能提供了一种具有可操作性的刻画方式，使得对其智能水平的判定可以在具体的实验环境中实现。在实际应用中，图灵测试仍然存在一些问题。一方面，失败的图灵测试无法提供具体的失败原因，而只有成功的图灵测试才能提供有用的改进信息。因此，制定准确的标准来判定测试是否成功是至关重要的。然而，测试人员对测试问题的选择可能带有主观倾向性：有些人可能偏好抽象推理的问题，而另一些人可能偏好具有一定计算复杂性的问题。另一方面，图灵测试在刻画人的智能方面存在不足。例如，人在社交活动中所展示的肢体语言和表情等是图灵测试中的交互式对话所无法表述的。

哲学家约翰·罗杰斯·塞尔（John Rogers Searle）曾对图灵测试提出挑战，并在1980年设计了著名的“中文房间论证”（the Chinese room argument）。这个思想实验要求我们想象一个只会说英语的人被关在一间封闭的房间里。房间只有一扇门，门上有一个小窗口。通过这个窗口，外界会递送进来写有中文的纸条进行交流。

房间中的人手里有一本“可翻译中英文”的书。他可以按照书中的规则，将回复翻译成中文，再通过窗口递出去。尽管这个人完全不懂中文，塞尔认为，通过这种方式，他可以让房间外的人误以为他会说流利的中文。

假设我们将房间里的人换成一台机器。这台机器通过类似的规则处理信息，与外界进行流畅的中文交流。判断者无法确定这台机器是否真的“懂”中文，更无法分辨房间里的是人还是机器。在这种情况下，机器可以通过图灵测试。根据图灵测试的标准，这台机器被认为具有智能。

然而，塞尔指出，房间里的人并不真正理解中文，只是在机械地执行规则。同样，电脑运行程序处理信息，但并不真正理解这些信息。塞尔通过“中文房间论证”表明，电脑虽然能够通过执行程序实现类似智能的表现，但这种智能并非真正的理解或意识。

“中文房间论证”提醒我们，智能的定义——无论是人类还是人工智能——既复杂又多变，既不能简单化，也不是一成不变的。对人工智能开发者而言，这一论证强调，不仅需要开发能够处理数据的系统，还要追求能够真正理解数据的系统。它鼓励综合多个学科的整体研究方法，确保未来的人工智能不仅能用语法说话，还能理解语义。

尽管面临诸多挑战，但人工智能和超级计算机的使用正为知识的发展开辟新的道路。几年前，我与一位地震学家交流时，他提出一个有趣的观点：或许在不久的将来，谷歌的预测能力将超过地震专家。虽然我无法确定这是否会成为现实，但我认为，分析大型数据集的新技术确实能提高预测复杂现象的可能性。

以地震为例，如果我们能够将某个地区的地震活动与全球范围内的地震活动建立关联，也许就能在没有或几乎没有理论支撑的情况下实现有效预测。

当然，我们必须权衡使用这些知识的影响。“AI云”正逐渐成为一种预言机，人们开始依赖它来解决复杂问题——但这真的是一件好事吗？通过人工智能生成和使用知识，虽然能够在缺乏理解的情况下实现可预测性，但当这些技术被用于关键决策时，我们可能需要停下来仔细思考其后果和潜在风险。

自动驾驶的难题

当前，以深度学习和大语言模型为代表的人工智能技术推动了信息物理系统的快速发展，特别是从自动化系统（automated system）向自主系统（autonomous system）的转变。这一转变的核心在于，自主系统能够在没有人工干预的情况下，自适应地整合和调度现有计算资源，完成复杂任务。自主系统不仅能提高生产效率，还能减少甚至取代人工干预。然而，这并不意味着自主系统完全不需要人工干预。人工的作用在于设定和调整控制目标，而目标的具体实现过程则完全由自主系统完成。

为了更清楚地解释自动化系统与自主系统的区别，我们可以按照设计难度从低到高的顺序，介绍五种典型系统：恒温器（thermostat）、无人驾驶列车（automated shuttle）、对弈机器人（chess robot）、足球机器人（football-playing robot）和自动驾驶汽车（autonomous car）。这些系统的共同特点是，它们都使用嵌入式计算机系统感知并控制环境的变化，从而实现特定目标。

具体而言，嵌入式计算机系统通过传感器感知环境状态，计算出相应的控制指令，并将这些指令发送给执行器。执行器接收指令后采取适当的动作，以达到预定的控制目标。这个过程贯穿了从简单自动化到高度自主的系统演化路径。

自动驾驶汽车是上述案例中最复杂的一类系统，因为它需要在高度复杂和动态变化的环境中运行，并同时管理多个目标。

一方面，自动驾驶汽车所面临的外部物理环境具有高度的不确定性。与静态的球场或棋盘不同，自动驾驶的场景布局取决于车辆所在的地理位置和可用的交通基础设施。这意味着道路上的环境不仅是动态变化的，还充满各种可能的意外情况，例如，其他车辆的数量、行驶速度和障碍物的位置都在不断变化。

另一方面，自动驾驶汽车本身是一个极为复杂的控制系统。其核心是嵌入式控制器，这些控制器能够同时管理多个目标。当控制器选择一组目标后，会计算并生成一套完整的控制策略以实现这些目标。这些目标不仅包括在确保安全的前提下完成驾驶任务（如换道、超车等），还涉及在行驶过程中提高乘客的舒适度和车辆运行效率等附加需求。

面对新技术，我始终保持乐观态度，但作为科学家，我们必须提出可靠的解决方案。例如，在某些特定场景下，有人可能会主张，大雾天气下不应使用自动驾驶系统。然而，这里存在一个关键问题：谁来判断雾是否“太大”？目前并没有统一的客观评判标准。

类似的争论显然会对技术的可依赖性边界产生深远影响。如果我们无法为这些技术设定清晰明确的边界，这些争论将难以平息。

我们此前测试了4种自动驾驶系统， 包括14 000多个测试场景。在这些测试中，虽然成功案例不少，但也有接近4000个失效场景，约占测试总数的27%。这意味着，在进行场景测试时，我们必须特别关注所有临界情况。

真正的未来挑战

我认为，关于人工智能的灿烂喧嚣可能掩盖了其他更为真实的风险。例如，在技术依赖性日益增强的背景下，虽然许多技术进步能够解决实际问题并使生活更加便捷，但与此同时，也意味着人类为应对这些问题而开发的某些技能正在逐渐消失。这种技能的丧失可能会带来长期的影响。

例如，今天很少有人知道如何利用摩擦力生火，但这曾是史前人类必备的技能；人们也很少知道如何在野外生存或建造简易的庇护所来保护自己。未来，孩子们可能不再学习乘法口诀表，而这曾是20世纪以前（包括20世纪）儿童数学教育的基础。因此，提出过度依赖技术的问题是十分合理的。

我们必须思考，哪些基本技能和知识应该被保留下来？因为技术不仅能够解决个人的具体问题，还能提供全面的生活解决方案，这意味着我们可能会面临一种完全不同的生活方式。

这当中的风险，有一种“温水煮青蛙”的感觉。当前，社交媒体用户愿意提供个人数据，以换取相应的服务。虽然我们每个人的个人偏好和信息看似没有直接的商业价值，但对庞大数据集的深入分析却能产生深远的影响。这不仅关系到资源和系统的可预测性与控制，也深刻影响着市场和行为的动态。在这样的背景下，我认为个体面临两种威胁。

一种是侵犯隐私。为了保护社会免受恐怖主义或犯罪等侵害，许多项目正在通过开发技术手段来加强对个人的监控和控制。我认为，必须为使用这类侵犯隐私的工具制定明确的监管框架，否则，它们可能会根据任意程序和标准来定义不同的场景，从而滥用权力。

另一种威胁来自以效率为名，越来越多地依赖自治服务和系统。这一愿景通过物联网的推广得到了进一步发展，设想的是关键资源和基础设施的自动化管理，无需人工干预。然而，这些决策标准可能极其复杂，甚至超出了人类的理解和控制范围。这样一来，个体在面对复杂决策时可能会失去主动权。

因此，我们可能会被技术极端系统所控制，尤其是因为自动化使得决策集中在越来越少的中心点上。未来世界的真正风险在于，人工智能的知识可能被不受控制地用于决策，从而取代关键流程中的人力。我认为，人工智能和自主系统能否得到正确和合理的使用，主要取决于两个因素：

首要因素是根据客观标准评估我们是否可以信任计算机生成的知识。这是当前的研究热点，人们希望人工智能能给出可靠的结果。我们正在尝试通过开发“可解释的”人工智能，使用我们能够理解并在一定程度上可以控制其行为的技术。我认为，我们需要一种新的知识评估方法，来弥合科学知识与人工智能实证知识之间的差距。

其次是整个社会的警惕性和责任感。当人工智能使用知识做出关键决策时，我们必须确保这些知识是安全且中立的。自主系统的安全性应由独立机构进行认证，而不是完全依赖于实际开发这些系统的人。