
我为什么没能在 OpenAI 做出 Jev
Why I couldn't build Jev at OpenAI — Diogo Almeida, TypeSafe Co-founder & CEO
合写 InstructGPT 论文的 Diogo Almeida 认为,大模型被训练成了讨好人的聊天机器人,所以聪明却不可靠。他的新模型 Jev 不跟人聊天,只给程序回答:选哪一项、是或否的概率、打几分。
- 嘉宾
- Diogo Almeida TypeSafe AI
- 主持
- Swyx
一图读懂
这期在回答
AI 这么聪明,为什么还没把日常工作自动化?因为它被练成了讨好人的聊天机器人。卡在三处:
听完你能回答先想想,再看答案
Jev 返回的是什么?
不是一段话,而是三种程序能直接用的答案:选一项(像 switch 语句)、是或否的概率(像 if 语句)、打分(用来排序或设门槛)。
他为什么反对公开榜单?
公开榜单太容易刷:实验室会专门收集类似的题来练,等于换个方式刷榜。他宁愿先凭感觉信任,再放进自己的流程里实测。
他觉得 AI 会抢走工作吗?
不会造成大规模失业。2026 年的软件和 2019 年几乎一样,只是旁边多了个聊天框;他认为 AI 会隐进软件后台,让软件变得更好用。
时间花在哪共 2 小时 21 分钟
主持人和嘉宾在哪里不一样
模型该不该做到同样的输入、同样的输出?
Swyx · 主持
迟早得做。开发者想要固定的随机种子、同样的输入给同样的输出,你会被大家逼着提供。
Diogo Almeida · TypeSafe AI
不该当目标。要的是相近的输入给相近的输出;硬做到完全一样,会换来更差的性价比。
都同意:已经上线的模型不能偷偷改动:Swyx 要他公开表态,他当场承诺了。
原话
“I think intelligence will be more like a database than a coworker.”我觉得,智能会更像一个数据库,而不是一个同事。
听什么12 个要点 · 点时间从那里听
Jev 是给程序用的模型:不回一段话,而是返回程序能直接用的答案,比如选哪一项、是或否的概率、打几分。
Jev 是什么:System OneSystem One:借用心理学的「系统一」:快速、凭直觉的判断;相对的是一步步慢慢推理的「系统二」。 模型与可编程的 AI · 正在播
为讨好人而训练的聊天模型会丢掉少见的答案、过分自信,给出的概率就不准了,所以不适合拿来做判断。
RLHFRLHF:基于人类反馈的强化学习:用人的打分来训练模型。ChatGPT 这类聊天模型就是这样练出来的,目标是让人满意。、模式坍缩模式坍缩:模型只会给最常见、最讨喜的回答,少见但可能正确的答案被丢掉了。、校准校准:模型说有八成把握的事,真的大约八成是对的,就叫校准得好。,以及 Yann LeCun · 正在播
对一个 API 来说,拒绝回答是「类型错误」:程序依赖的模型突然拒答,软件就会莫名其妙地坏掉。
可编程的 AI、拒答与安全对齐 · 正在播
比起堆算力,数据和「练什么任务」更重要:选对训练目标,是最难也最关键的事。
最苦涩的教训:数据、算力和对的任务 · 正在播
这期的核心问题:AI 能解数学难题,为什么连最基本的工作都还没自动化?
AI 这么强,为什么还没把经济自动化 · 正在播
他要的不是同样的输入给同样的输出,而是相近的输入给相近的输出:稳,比完全确定更重要。
可靠、稳健与确定性 · 正在播
怎么用 Jev:把一个大问题拆成很多个小问题,每个小判断都能单独检验、单独放心。
怎么用 Jev 搭东西:结构、拆解和小判断 · 正在播
他不认为 AI 会造成大规模失业:AI 会隐进软件后台,订阅软件反而会被加速。
反向的「SaaSSaaS:按月订阅的在线软件,比如 Notion、Salesforce。 末日」:AI 隐进软件里 · 正在播
业界押注的 RLVRRLVR:用能自动判对错的题目(比如数学题、代码测试)来训练模型推理。Diogo 说它的目标其实是刷分。,他觉得不是对的方向:作为新的训练目标,他只打 0.2 分,「这还算客气」。
AI 安全、前沿节奏与 RLVR 的局限 · 正在播
在 OpenAI 时他想明白了:将来调用 AI 的主要是程序,不是人,可力气都花在了讨好人上。
TypeSafe 背后的 OpenAI 往事 · 正在播
他以为一周就能做完,结果一个人在 OpenAI 试了好几年也没成;问了一圈,觉得创业更快,就出来了。
TypeSafe 背后的 OpenAI 往事 · 正在播
KV cacheKV cache:模型读过的上下文会存成缓存,接着往后写就很快;代价是只能用同一个模型、只能一直往后接。 把编程助手锁在同一个模型里、只能一直往后接,这就是子智能体和上下文压缩难做的原因。
摆脱 KV cache 的编程助手,与多智能体的未来 · 正在播