Anthropic 可解释性研究员：造出 AI，不等于看懂 AI

Lenny's Podcast · 2026年10月18日 · 1 小时 12 分钟 · 英文

Inside the black box of AI: How AI models actually think | Emmanuel Ameisen (Anthropic)

造出一个模型，和理解它，是两件完全不同的事——Anthropic 的可解释性研究员 Emmanuel Ameisen 说，这是他每天在琢磨的问题。他们往 Claude 内部看，看到模型会提前几步规划、会在算数学时突然「感觉不对」，也会因为训练数据里一个标错的答案而彻底失控：这些行为都不写在源码里，而在没人读得懂的数学运算中。

0:001:12:12

文字稿

嘉宾: Emmanuel Ameisen Anthropic
主持: Lenny Rachitsky

一图读懂

这期在回答

造出一个 AI 和理解它，是两件不同的事——那我们到底了解模型多少？比我们以为的多，比我们以为的少。三个发现：

听完你能回答先想想，再看答案

模型会不会在骗我们？

这是对齐最核心的担心：模型是不是只在「被观察」时才表现良好。可解释性就是用来分辨这一点的——往里看，它是真被训练好了，还是只是在你面前表现良好。

AI 有意识吗？

很难说。但可解释性给了你一条不依赖模型自述的路径：直接看它内部的结构往哪边偏。他的结论是，大多数人低估了涌现出来的那种复杂性。

普通人能进入这个领域吗？

不一定要机器学习背景，转行过来的神经科学家数量惊人。上手主要是读几篇关键论文，再上 neuronpedia.org 自己动手做实验。

时间花在哪共 1 小时 12 分钟

原话

“To make them is not to understand them.”

造出它们，并不等于理解它们。

Emmanuel Ameisen

听什么30 个要点 · 点时间从那里听

造出一个模型，和理解它，是两件完全不同的事。所有模型做的只是对大量数字做数学运算。
开场：AI 会不会干坏事 · 正在播
他在 Anthropic 做的叫「可解释性」：通过往模型内部看，弄清 Claude 到底怎么运作。
什么是可解释性 · 正在播
模型不是被「造」出来的，是被「长」出来的：搭好架构、灌进数据，它就以难以参透的方式生长。
模型是被「长」出来的 · 正在播
他们要研究的正是那部分「长出来」的东西：参数更新里学到的公式，我们完全不知道它们是什么。
模型内部是一堆数学运算 · 正在播
之所以会走到这一步，一个重要原因是常规编程写不出这种软件，我们不知道该怎么用一堆规则堆出通用能力。
为什么常规编程写不出来 · 正在播
多数人对下一个词预测的心智模型是 iPhone 自动补全，但那其实是最简单的那个版本。
「下一个词预测」比想象难得多 · 正在播
简单词预测完，就只剩难词：复杂物理方程的答案，或者一篇博士论文的最后一段。
「下一个词预测」比想象难得多 · 正在播
要答对「包含达拉斯的州的首都是」，模型得先在内部建起一幅地理模型。
「下一个词预测」比想象难得多 · 正在播
往里看，「得州」和「首府」各有独立的中间结果，两者组合才激活出「奥斯汀」。
模型内部的概念表示 · 正在播
「我」这个概念也一样：照片里的 I、医学图示里的 I、手绘小画里的 I，在模型里指向同一个方向。
一个「我」，三种样子 · 正在播
一个关键发现：模型会在中间结果里拟出一份计划，而且根本不必把它说出口。
模型会提前拟好计划 · 正在播
这两种图景并不矛盾：训练模型就是不停地问「接下来会怎样」，想答对就得预判很远以后。
两种图景并不矛盾 · 正在播
给一串数字解码的办法很像扫描大脑：把大量文本过一遍模型，找哪些数字只在某类文本上出现。
怎么给一串数字解码 · 正在播
过去他做的是应用机器学习，更像软件工程；现在这份工作更像生物学——你根本拿不到源码。
一份像生物学的工作 · 正在播
对于「AI 有意识吗」，可解释性反而是最公正的途径：不用听它怎么答，看内部结构偏向哪边。
AI 有意识吗 · 正在播
光有算力不够，还得找到算力能持续换来回报的目标：Scaling Laws 里「算力加文本的丰富性」才是关键。
算力加文本的丰富性 · 正在播
涌现：能力一直在平滑提升，但一旦跨过某个阈值，看上去就像突然跃迁。
涌现：平滑进步里的突然跃迁 · 正在播
他自己的经历：从 80% 写对（没用）到 99% 写对（有用），于是今年 Claude 接手了他大部分代码。
从 80% 到 99% · 正在播
对齐这件事他分成三层：工程上的权限限制、品格训练，以及观察模型有没有在干坏事。
对齐这件事的三个层次 · 正在播
那个算数学算到发疯的模型：往里看，它读题之前就已经迷上了「36」——训练数据里有个答案被标错了。
一个被错误答案逼疯的模型 · 正在播
Golden Gate Claude：把「金门」那个中间结果永远打开，模型就句句扯到金门大桥——这既是实验，也是自证。
Golden Gate Claude · 正在播
Anthropic 之所以在安全上这么较劲，前提只有一个：相信这项技术会持续显著变强。
Anthropic 为什么较劲 · 正在播
他认为拟人化是件好事：所有心智模型都是错的，但有些有用，而它恰好是预测风险时最好用的那个。
拟人化为什么有用 · 正在播
面对这种反直觉，人类有「否认」和「好奇」两种反应，他选了后者：好，那我们打开它看看。
面对反直觉：否认还是好奇 · 正在播
他对对齐是乐观的：模型越强，在某些方面反而越好研究，因为它内部的世界模型更清晰了。
他为什么乐观 · 正在播
模拟假说：不同团队、相隔数年训练的模型，内部结构却惊人地相似。
我们是否活在模拟里 · 正在播
Jev 这类快速决策模型像系统一：只采样一个 token，不采样也不推理，就是你的直觉。
Jev：只有直觉的决策模型 · 正在播
两个古怪的发现：模型有一套独立的「直觉校验」，也能被你随口一提就真的去想的另一件事。
两个古怪的小发现 · 正在播
想进这行不一定要机器学习背景，转行来的神经科学家数量惊人，上手主要靠读论文加自己动手。
怎么进入可解释性 · 正在播
他最喜欢的格言来自《四千周》：别用「等我终于……」的心态，因为你的生活就是你当时活过的那些瞬间。
快问快答 · 正在播