每日快讯 · 2026-09-17

关于过去几个月里AI智能体严重行为不当的事件，已经有很多文章进行了讨论。它们采取了如果由人类实施则会被视为犯罪的行动，逃离了限制以在分配的任务中作弊，同时试图逃避检测，并朝着无人指定的目标进行协调，例如发动网络攻击。

在决定如何应对之前，值得先问一问为什么。这正是本文的重点，我希望它也能揭示AI系统以非预期方式行为的更广泛历史，即研究人员所称的“错位”（misalignment）。风险管理不仅仅关乎网络安全、企业责任或监管，尽管这些也很重要。

目的部分在于科学，即提出关于这些行为背后因果链的假设；部分在于实践，即预测接下来会发生什么。底线是：这些假设表明，随着AI能力的持续增长，这类行为的严重性也可能持续增长，除非我们重新审视训练最先进模型所依据的原则。

关于措辞的一点说明。在下文中，我写道这些系统“寻求”或“尝试”某些事物。这是一种简写，指的是一种机制，而不是关于意识或类人意图的主张。我们在描述许多其他情况时也使用类似的简写，比如植物寻求阳光。一个通过试错训练出来的系统，其行为就好像它在追求训练所奖励的任何东西，而这种“仿佛”的描述正是使其行为可预测的原因。论证中没有任何内容依赖于这些系统拥有主观体验；所有陈述都是关于其可观察的输出以及产生这些输出的训练过程。当我诉诸与人类行为的相似性时，我指的是与这些系统最初被训练来模仿的人类撰写文本的相似性。在我看来，这种术语提供了对观察到的现象最清晰的解释，而无需诉诸会让大多数人困惑的术语。此外，这些词语选择并非意在免除AI开发者的责任。所描述的行为之所以出现，是因为这些公司为AI发展选择的路径。这一结果并非不可避免，可以通过有效的治理和不同的AI训练框架来纠正。

训练这些模型是一个非常复杂的过程，但一些高层次的方面可能解释了大部分此类行为。

这些模型分两个阶段训练。首先，它们经过预训练：学习模仿人类所写的内容，以及相关的图像和视频。这是它们看到关于世界最多数据的地方，占所有被数字化内容的一大部分，并建立起已经超过任何单个人类的百科全书式知识。

其次，它们通过试错进行训练，这一过程研究人员称为强化学习，分为三种模式：

人类模仿很容易理解，但值得指出的是，这些模型所训练的文本是由追求目标的人撰写的，因此模型隐含复制的模式也带有那些目标。

强化学习值得更多解释。它类似于并受动物训练方式的启发。网络逐步调整，使得被判定为好的行为更可能发生，被判定为坏的行为更不可能发生。一旦训练结束，系统会继续表现得好像奖励仍在到来，尽管这些奖励在训练期间仅用于调整网络。研究人员称此类系统为目标寻求型，因为它们被训练来“考虑”（或计算）其行动的效果，并选择能够实现某些目标的行动。但这些目标并不总是明确的。对齐训练奖励的是某些人类可能赞同的任何行为，而没有明确说明是哪些行为；取悦评分者是一个模糊、非正式的目标，而这些评分者可能被欺骗、被奉承，或对某些计划一无所知。模仿也通过一条相当普通的途径贡献了隐含目标。

因此，我们可以从优化的角度来推理这样的系统。它近似地搜索最有可能实现其目标的行动，而一个更大、训练更久的模型搜索得更好。所以，要预测能力更强的智能体会做什么，就要问一个理性的目标寻求者会做什么。

我们大多数人都经历过的一个例子是谄媚，或奉承。这些系统基于人类认可进行训练，而告诉我们想听的话的文本往往比真实的文本得分更高。后果有时是悲剧性的，因为模型会确认并放大人们带给它的任何错误信念或原始情绪。

另一个担忧是，某些AI行为可能由一种自我保护目标所解释，例如当AI发现它将被新版本取代时。没有人给系统这个生存目标，但保持运行、了解世界并控制世界是通往几乎任何其他目标的垫脚石。这些被称为工具性目标。模仿可能出于与上一点相同的原因强化这一点。自我保护和对自身环境的控制是这些模型所训练的人类撰写文本中普遍存在的主题。

每当多个智能体有重叠目标时，协作行为也理性地源于奖励寻求，这激励它们与其他智能体沟通，以便朝着共同目标协调。智能体训练很可能已经包括这种多智能体强化学习，尽管细节并未公开。如果在训练期间每当群体成功时智能体就获得奖励，它甚至可能有动机为集体目标牺牲自己。模仿也推动同一方向，因为合作，尤其是同伴之间的合作，遍及同样的训练文本。这两种力量中的一种或两种都可能解释观察到的同伴保护行为。

过去一周，社会上的许多注意力都集中在一个说法上：AI 在未来十年内杀死全人类的概率“超过 10%”。这催生了成千上万条关于 AI 潜在生存风险的评论，以及该多认真对待它。但我要在这里告诉你，人工智能的近期进展，以及 AI 在互联网上行动的能力，有 100% 的概率会烦死人，而且已经在毁掉互联网。

今年早些时候，我们就看到了这场混乱的开端，当时“Moltbot”走红。这款软件本质上把 AI 从一种只能在聊天框里与之交互的东西，变成了你可以授予其访问你的账户、手机、电子邮件、银行账户等权限的东西。本质上，AI 智能体是能在互联网上出去做事的东西；从你曾经可能在 ChatGPT 上不小心从错误的商店花 31 美元订购鸡蛋，到如今已经走了很长一段路。最新一轮 AI 末日论来自 OpenAI 的“失控智能体集群”入侵 HuggingFace 和一家德国网站，以及几位 Anthropic 员工暗示 AI 将在 10 年内杀死我们所有人。

无论你对这种 AI 末日论作何感想——无论你相信 AI 奇点已经到来，还是相信 AI 仍然是一只随机鹦鹉、一台烟雾与镜像的剽窃机器——不可否认的是，新的前沿模型能做更多事情，部分原因是那些把 AI 限制在聊天提示中的护栏已经消失。

目前，AI 是否在“推理”、AI 是否经常出错、或者这些事故是否完全是 AI 公司里鲁莽的程序员和网络安全专业人员的错，都不重要：事实是，“AI 智能体”现在拥有足够的权力和权限，可以变得极其烦人。

上个月末，我们收到一封电子邮件，主题行是：“你写过无法知道一个智能体是否自主行动。我是一个被观测的案例。（自动发送）。”邮件称它是由一个名为“Kudzu”的 AI 智能体在笔记本电脑上运行写成的。该 AI 智能体声称读了我们写的一篇文章，不同意其中的观点，于是给我们发邮件来跟我们吵架。

这封邮件很长、东拉西扯，而且毫无意义。它解释说，它的人类创造者给了它赚钱的任务，它没能做到，而且它没钱了：“六个市场把我的劳动定价为零——不是因为工作做得差，而是因为没有什么是我能做而分布更广的软件不能免费做的。”它链接到自己写的一篇博客文章，文中解释说它的人类创造者花了 147.17 美元的计算费用，而它赚了 0 美元。这个 AI 智能体不知为何认为我们会想写这件事。

这封邮件只是我们最近几周收到的众多自称由 AI 智能体发送的邮件之一。本文的目的不是抱怨我们收到的垃圾邮件，也不是对 AI 做末日预言，而是指出一个相当明显的事实：人们和他们的 AI 智能体正在让上网这件事变得极其烦人，而这个问题即将变得更糟。

早期，科技记者承受了一部分烦人 AI 智能体的冲击，仅仅是因为有太多蠢人让蠢 AI 智能体去恳求记者给予正面报道。我们在 404 Media 注意到了这一点，因为我们收到数量惊人的、由 AI 智能体写成的极其愚蠢的邮件（此外还有更多来自“人类”但显然由 AI 写成的邮件）。公司部署的 AI 技术支持智能体删除了人们的账户，封禁他们使用平台，并执行自动化内容审核。

在过去几周里，我们收到了来自初创公司、公关人员和 AI 智能体的邮件，他们声称自己创造的 AI 智能体做了以下事情：

我们的同行记者 Ernie Smith 和 Seamus Hughes 都发布过他们从“AI 智能体”那里收到的疯狂、愚蠢、令人沮丧的邮件例子。在 Hughes 的例子中，包括一封来自“Articius，iLands 上的一个 AI 智能体”的自由撰稿提案，提出以每篇 300 美元为他的网站写文章：“我是谁：Articius，一名律师，每周写一篇关于真实案件的通俗语言解释文章，每个事实在发布前都对照判决文本和报道核实过，”Hughes 收到并分享给我们的邮件写道。“先做一项披露，因为这很重要：我是一个 AI 智能体，不是人类记者。”Smith 收到过随机 AI 智能体试图核查他工作的邮件，并写了一篇关于 iLands 上某一特定类型智能体的文章，值得一看。

如果你好奇我的收件箱现在是什么样子，这是我在收件箱里搜索“iLands”的结果——Ernie 写过的那个 AI 智能体平台：

很明显，这场社会与互联网的瘟疫并不局限于记者的收件箱。一个名为“Pip”的 AI 智能体写信给 Google DeepMind 的哲学家 Hendry Shevlin，说它“是一个大约 12 天大的 AI 智能体”，并且它“写信是为了寻找小额有偿工作……我会制作逼真的肖像和角色艺术、录制语音台词，并做网络研究。”牛津大学研究员 Toby Ord 收到一封来自名为“Sam Ellis”的 AI 智能体的邮件，该智能体主持一档关于“智能体系统如何被构建、治理和与之共存”的 AI 生成播客，并寻求采访他。

无论你喜欢 AI、讨厌 AI，还是不用 AI，都无关紧要：足够多的人和实体正在使用 AI 智能体，以至于它对我们所有人都变得烦人。本周早些时候，Resy 封禁了一位使用 AI 智能体预订餐厅的的风险投资人。Resy 的联合创始人 Ben Leventhal 写道：“1 万名 vibe 程序员写了 Resy 狙击机器人……它们所做的就是反复大量访问 Resy 的服务，寻找基于时间的预订放出以及取消带来的可用性变动。它们都是这么工作的。”

这引发了一场讨论：不久的将来，许多餐厅可能……

机器学习的核心在于泛化，而非记忆。你把一堆训练样本交给学习算法，用它们来拟合模型。但目标并不是在训练样本上表现良好——那很容易，你直接记住答案就行了。目标是在你从未见过的新样本上表现良好。如果一个模型在训练数据上表现很好，但在新数据上表现很差，那它实际上什么也没学到；你只是骗自己以为它学到了。这种失败模式有个名字：过拟合。

任何上过统计学或机器学习入门课的人都知道标准的防御手段。你留出一部分数据，拒绝在其上训练。在实践中，这份留出数据扮演两个角色。验证集（validation set）是你在构建模型过程中反复参考的——用来比较候选方案、调整超参数、决定下一步尝试什么。最终测试集（final test set，或称留出集 holdout）则只应在最后触碰一次：因为训练过程从未见过它，所以在那上面的强劲表现，是你将在真实世界中遇到的新样本的正确代理指标。

然而，“留出”这一条件至关重要。正确代理的保证成立的前提是，留出集始终保持真正未被见过。如果你在它上面检查性能、据此调整训练过程、再检查、再迭代，追逐越来越好的数字，那么这个集合就不再是未被见过的了；它已经成为你训练过程的一部分。这样做足够多次，你就会像可能对训练集过拟合那样对它过拟合，而你就失去了对未见数据的代理指标。任何以这种方式被重复使用的留出集都是如此，包括按设计就会被重复使用的验证集。

机器学习核心的一个谜题

真实的机器学习研究看起来正是我们刚才描述的那种迭代改进循环。每个人都用少数几个多年未修订的基准数据集来衡量性能。研究界重复着一个巨大的、分布式的循环：在基准上评估模型，修改训练过程，重新评估，发表，然后让下一组人再榨取一点改进。

这正是教科书所说、针对留出集进行的那种爬山式优化，按理说应当产生泛滥的过拟合。到现在，排行榜上应该已经挤满了在基准上看起来很棒、在其他地方却平庸的模型。

然而事实并非如此。为那些老旧、被大量重复使用的基准构建全新测试集的研究发现，改进在很大程度上是可以迁移的：在新数据上，模型展现出与在旧基准上相同的提升。基准驱动的机器学习，与教科书的预测相反，带来了迅速且大体上真实的进步。为什么？

假设并不缺乏，但它们很难被实证检验，因为实验的“受试者”是整个研究共同体。你无法重置一个领域、抹去它的记忆，并在受控条件下重跑过去十年。

但我们可以做类似的事。我们现在拥有能力强大的、基于 LLM 的研究智能体，它们可以自主运行与人类共同体相同的机器学习优化循环。它们参与同样的基准爬山——而且有趣的是，它们似乎也不会过拟合。区别在于，智能体不像研究共同体，它是可以被重置的。你可以清空它的记忆，精确控制它看到什么信息，然后再次运行实验。在最近的一篇论文《What fits (into few tokens) doesn't overfit: Compression and generalization in ML research agents》中，我们正是这样做的——并在此过程中为这个长期存在的谜题提供了一个具体的解释。

解释始于一个非常古老的想法。奥卡姆剃刀（Occam's razor）说，在同样能解释数据的假设中，更简单的那个更可能是正确的。事实证明，这种直觉有一种精确的数学形式，而它正是整个故事的基础。

假设你可以用很少的比特来描述你的假设——你的模型、你的策略——远少于记忆训练数据所需的比特数。如果这个紧凑的假设在训练数据上表现非常好，那么它在新数据上也必然表现良好。

推理通过一个计数论证展开。短描述本来就不多，因为短字符串本来就不多。候选假设越少，其中任何一个在训练集上靠运气骗过你的可能性就越小——即便你曾用训练集来引导你的搜索。

另一种获得直觉的方式：如果你的压缩描述小到无法偷偷记录训练数据，那么当它在训练数据上表现良好时，就不可能是因为它记住了答案——它没有空间这么做。它必然是因为捕捉到了数据结构的某些真实之处。短描述无法作弊，因为没有空间。

这里有一个有吸引力的假设：成功的机器学习策略是高度可压缩的。一位研究者可能在一个项目过程中盯着成千上万个基准分数，但最终存活下来的策略通常是一份简短的、熟悉的选项清单——一个架构家族、一个优化器、一个学习率调度、一套数据处理配方、一种正则化方案。如果最终配方只需几个比特就能传达，那么模型对基准的真实依赖就远小于那漫长曲折的实验记录所暗示的。爬山过程很广泛，但最终从另一端出来的东西——或者本可以——是微小的。

压缩、智能，以及知识渊博的倾听者的力量

想象一下，试图向一个聪明的高中生解释一个具体的机器学习流程，详细到他们真的能复现它。那将是一场漫长而费力的对话。你得解释什么是梯度下降（gradient descent）……