为什么压缩就是预测:从算术编码到 LLM
解读 ngrok 的《Compression is prediction》:压缩率为何取决于预测概率,算术编码、信息熵与 LLM 的交叉熵训练又如何指向同一套数学。
个人 AI 知识库
浏览知识库
持续整理与维护
解读 ngrok 的《Compression is prediction》:压缩率为何取决于预测概率,算术编码、信息熵与 LLM 的交叉熵训练又如何指向同一套数学。
Nick Nisi 复盘自己为何错把 pi 当成更快的 Claude Code,以及可扩展的 Harness 如何让工具从外部脚本真正进入智能体会话。
MiniMax 团队在 Reddit AMA 中回应 H3 开源、2K 重生成、稀疏注意力、低步数版本、图像模型与远景画质等关键问题。
Sean Goedecke 反思 AI 驱动的频繁上下文切换如何让人偏向快速判断,并讨论为什么亲自写作和阅读真正的书仍是维持深度思考的有效方式。
用通俗的方式解释 CLI、Harness、Skills、HTML 与 GitHub,帮助非技术用户建立一套实用的 AI 基础认知。
推理 API 正通过加密推理、隐藏搜索上下文、不透明压缩、密封的子代理消息和服务端 ID,把 AI 会话越来越深地绑定在单一提供商上。