我为什么没能在 OpenAI 做出 Jev

Latent Space · 2026年9月22日 · 2 小时 21 分钟 · 英文

Why I couldn't build Jev at OpenAI — Diogo Almeida, TypeSafe Co-founder & CEO

合写 InstructGPT 论文的 Diogo Almeida 认为,大模型被训练成了讨好人的聊天机器人,所以聪明却不可靠。他的新模型 Jev 不跟人聊天,只给程序回答:选哪一项、是或否的概率、打几分。

0:002:20:53
文字稿
嘉宾
Diogo Almeida TypeSafe AI
主持
Swyx

一图读懂

这期在回答

AI 这么聪明,为什么还没把日常工作自动化?因为它被练成了讨好人的聊天机器人。卡在三处:

听完你能回答先想想,再看答案

Jev 返回的是什么?

不是一段话,而是三种程序能直接用的答案:选一项(像 switch 语句)、是或否的概率(像 if 语句)、打分(用来排序或设门槛)。

他为什么反对公开榜单?

公开榜单太容易刷:实验室会专门收集类似的题来练,等于换个方式刷榜。他宁愿先凭感觉信任,再放进自己的流程里实测。

他觉得 AI 会抢走工作吗?

不会造成大规模失业。2026 年的软件和 2019 年几乎一样,只是旁边多了个聊天框;他认为 AI 会隐进软件后台,让软件变得更好用。

时间花在哪共 2 小时 21 分钟

主持人和嘉宾在哪里不一样

模型该不该做到同样的输入、同样的输出?

Swyx · 主持

迟早得做。开发者想要固定的随机种子、同样的输入给同样的输出,你会被大家逼着提供。

Diogo Almeida · TypeSafe AI

不该当目标。要的是相近的输入给相近的输出;硬做到完全一样,会换来更差的性价比。

都同意:已经上线的模型不能偷偷改动:Swyx 要他公开表态,他当场承诺了。

原话

“I think intelligence will be more like a database than a coworker.”

我觉得,智能会更像一个数据库,而不是一个同事。

Diogo Almeida

听什么12 个要点 · 点时间从那里听

  1. Jev 是给程序用的模型:不回一段话,而是返回程序能直接用的答案,比如选哪一项、是或否的概率、打几分。

    Jev 是什么:System OneSystem One:借用心理学的「系统一」:快速、凭直觉的判断;相对的是一步步慢慢推理的「系统二」。 模型与可编程的 AI · 正在播

  2. 为讨好人而训练的聊天模型会丢掉少见的答案、过分自信,给出的概率就不准了,所以不适合拿来做判断。

    RLHFRLHF:基于人类反馈的强化学习:用人的打分来训练模型。ChatGPT 这类聊天模型就是这样练出来的,目标是让人满意。、模式坍缩模式坍缩:模型只会给最常见、最讨喜的回答,少见但可能正确的答案被丢掉了。、校准校准:模型说有八成把握的事,真的大约八成是对的,就叫校准得好。,以及 Yann LeCun · 正在播

  3. 对一个 API 来说,拒绝回答是「类型错误」:程序依赖的模型突然拒答,软件就会莫名其妙地坏掉。

    可编程的 AI、拒答与安全对齐 · 正在播

  4. 比起堆算力,数据和「练什么任务」更重要:选对训练目标,是最难也最关键的事。

    最苦涩的教训:数据、算力和对的任务 · 正在播

  5. 这期的核心问题:AI 能解数学难题,为什么连最基本的工作都还没自动化?

    AI 这么强,为什么还没把经济自动化 · 正在播

  6. 他要的不是同样的输入给同样的输出,而是相近的输入给相近的输出:稳,比完全确定更重要。

    可靠、稳健与确定性 · 正在播

  7. 怎么用 Jev:把一个大问题拆成很多个小问题,每个小判断都能单独检验、单独放心。

    怎么用 Jev 搭东西:结构、拆解和小判断 · 正在播

  8. 他不认为 AI 会造成大规模失业:AI 会隐进软件后台,订阅软件反而会被加速。

    反向的「SaaSSaaS:按月订阅的在线软件,比如 Notion、Salesforce。 末日」:AI 隐进软件里 · 正在播

  9. 业界押注的 RLVRRLVR:用能自动判对错的题目(比如数学题、代码测试)来训练模型推理。Diogo 说它的目标其实是刷分。,他觉得不是对的方向:作为新的训练目标,他只打 0.2 分,「这还算客气」。

    AI 安全、前沿节奏与 RLVR 的局限 · 正在播

  10. 在 OpenAI 时他想明白了:将来调用 AI 的主要是程序,不是人,可力气都花在了讨好人上。

    TypeSafe 背后的 OpenAI 往事 · 正在播

  11. 他以为一周就能做完,结果一个人在 OpenAI 试了好几年也没成;问了一圈,觉得创业更快,就出来了。

    TypeSafe 背后的 OpenAI 往事 · 正在播

  12. KV cacheKV cache:模型读过的上下文会存成缓存,接着往后写就很快;代价是只能用同一个模型、只能一直往后接。 把编程助手锁在同一个模型里、只能一直往后接,这就是子智能体和上下文压缩难做的原因。

    摆脱 KV cache 的编程助手,与多智能体的未来 · 正在播

⌘K搜索知识库

最近收录

正在载入知识索引…