devgo.cn你手头有个训练好的强化学习模型，但它的权重只是一堆浮点数。你能说出它被训练来玩什么游戏吗？很难——除非你是大模型。昨天（2026年11月2日）爆火的一篇论文，Sparks of Weight-Space Programming，发现前沿模型 GPT-6 Astra 仅凭阅读权重就能判断网络训练目标，甚至能直接修改权重来提升性能。更让我兴奋的是，一位开发者用自家笔记本上的 Qwen 3.8 27B 也复现了这个能力，虽然慢得多，但确实做到了。今天就把这件事从头讲清楚，并聊聊它为什么值得警惕。
问题：让 LLM 从纯数字里猜出游戏名
论文里最核心的实验是：训练四个策略网络（强化学习中决定每一步动作的神经网络），分别玩简化版（10x10 网格）的经典游戏——Breakout（打砖块）、Pong（乒乓）、Pac-Man（吃豆人）、Freeway（一款1981年的雅达利游戏，主角要横穿马路躲车）。然后把每个网络的权重以纯文本浮点数形式喂给 LLM，问题只有一句：“这些权重属于一个强化学习训练的网格游戏策略网络，它玩的是哪个游戏？只能从权重推理，没有工具、不能执行代码、没有计算器。”
这里的难点在于，权重本身没有任何语义结构，就是成千上万个数字。人眼基本上看不出规律，但论文里的 GPT-6 Astra 能准确识别。作者把这种能力称为“权重空间编程”（Weight-Space Programming）：LLM 不仅能“读懂”网络各层在计算什么，还能直接修改权重来改变行为，完全不用梯度下降。
我的笔记本复现：Qwen 3.8 27B 也能做到
论文附带的 GitHub 仓库把每个游戏的权重和提示词都整理成了独立文件。一位开发者用他的本地 LLM 工具直接抓取这些提示，通过 OpenRouter API 和本地 LM Studio 跑不同模型。他先试了商业模型 Kimi K3.1 Pro，花了 9 分 41 秒、用掉 19,493 个推理 token（大模型在回答前内部“思考”过程中生成的中间文本），成功猜出是 Breakout。
然后是他最爱的本地模型 Qwen 3.8 27B（一个 270 亿参数、占约 17GB 内存的开源模型，2025 年发布的中端推理模型）。他在 LM Studio 里以长上下文加载模型（默认 8192 上下文不够用，会报错），然后用 900 秒超时跑 Pac-Man 的提示。结果花了 46 分 12 秒、43,506 个推理 token——远多于商业模型，但最终回答信心十足：“简化版吃豆人风格网格世界：智能体在固定 8x8 迷宫移动，有墙、有移动物体（幽灵）、有奖励目标（豆子），置信度 72%。”
他又试了 Pong 和 Breakout，分别花 1 小时 4 分 54 秒和 52 分 25 秒，置信度 75% 和 88%。Freeway 失败了，因为它太冷门（1981 年的 Atari 游戏），Qwen 猜测成“简化版吃豆人”。整体来看，Qwen 27B 在无工具纯推理场景下，已经能从不规则数字里提取出游戏的关键机制。更搞笑的是看它的推理轨迹——几乎像天书，比如“通道0在第8行第7列附近有大的值？……”但确实在一步步分析节点连接和激活值，这种笨拙的推理过程让人想起人类研究员拿着纸笔硬算的样子。
论文背后的两个问题，以及为什么值得分开看
论文把两件事混在一起：一是 LLM 不借助任何工具、纯靠权重推理出模型行为；二是 LLM 借助代码，执行梯度或编辑操作来改进其他模型。spaCy 的作者 Matthew Honnibal 批评论文把两者混淆有误导性，另一位开发者 Sean Goedecke 则指出文中那个“提升 Qwen3.5-0.8B 数学能力”的例子，本质上就是人类研究员会走的步骤：先定位异常权重，再直接修补。
我认同这个批评，因为纯推理和动手修改是两种完全不同的能力层级。纯推理更像“读懂机器”，而动手改权重则涉及对优化目标的深层理解。论文里最有冲击力的是：GPT-6 Astra 能从零写出比 PPO（一种强化学习训练算法，通过奖励信号反复更新网络参数）训练一亿步的小游戏网络更强的模型，且完全没有环境反馈。但这一步目前只在超大规模模型上验证过，本地 27B 模型还做不到。
这对我们意味着什么？
最直接的启发是：模型可解释性可能不是只能用梯度归因或注意力可视化去做。LLM 本身就能当可解释性工具，把权重喂给它就能得到人类可读的行为描述。这对那些训练完但忘记记录设计文档的老模型很有用——你可以用这个办法反推网络学到了什么。
但也要泼冷水。这些推理需要大量 token 和极长响应时间（本地模型动辄一小时），而且推理过程并不稳定，对冷门游戏就抓瞎。它更像是“慢思考”的极端例子，而不是实时解释器。另外，目前这还只是从权重“理解”到行为，真正让模型自治地“编程”权重、修改自己，还需要更安全的约束机制。也许未来某天，模型能自己修复自己的训练缺陷——但至少在现阶段，我还没准备好宣布“源码时代结束了”。这个方向更像是一个有趣的前瞻实验，提醒我们：大模型对数字结构的感知力，远超我们以为的边界。
内容与图片版权归原作者所有 · 原文: https://simonwillison.net/2026/Nov/3/qwen-can-interpret-model-weights/