devgo.cn当整个行业都在用基准测试分数、上下文窗口大小来评判大模型时，一个开源编码Agent工具Kilo Code却从自家网关里挖出了40万亿Token的真实使用数据，得出了一个和主流叙事不太一样的结论：开发者选模型、用AI的方式，跟行业里讲的故事经常对不上。
先交代一下背景。Kilo Code是一个开源的agentic engineering工具（就是那种能自主规划、执行编码任务的AI助手，类似Claude Code或Cursor的开源版），提供CLI、VS Code插件、JetBrains插件，还搭了一个网关，让开发者能直接调用500多个模型，包括Opus、Codex这些前沿闭源模型，以及OpenRouter上的各种开源权重模型。这份数据就来自这个网关，排除了匿名用户和内部重度用户，也排除了自动补全（autocomplete）的数据——因为自动补全的使用模式跟Agent场景讲的是完全不同的故事。
作者Brendan O'Leary想用这份数据讲三件事。第一件事，开发者采用AI工具和模型的方式，跟行业假设的、跟采用其他工具的方式都不一样。核心原因在于AI这个工具的本质是**非确定性**的——同样的输入，它可能给出不同的输出。这导致开发者对AI的信任是分层的，作者称之为**信任阶梯（trust ladder）**：最底层是自动补全，往上是聊天和代码里的Agent，再往上是编排多个Agent同时干一堆事。跟过去的工具不一样，AI的底层必须非常稳固。如果最底层的建议很慢、感觉不对，或者Agent找错了路径、改错了文件，那上层的采用就根本没机会发生——信任一旦断裂，整个梯子就爬不上去了。
第二件事，采用会在三个可预测的技术点上断裂。第一个是**上下文构建（context construction）**，也就是怎么把相关的代码、文件、历史对话拼装给模型；第二个是**模型路由（model routing）**，怎么决定哪个任务交给哪个模型；第三个是**反馈回路（feedback loops）**，系统能提供什么样的信号让用户知道它干得好不好。作者说数据里能看到一致的模式，而且每个点都有具体的修法。
第三件事，信任这个东西听起来很玄，但其实是可测量的。信任的表现方式取决于你爬到了梯子的哪一级。越往上爬，信号就越稀疏、越延迟——底层自动补全的信任信号是即时的（补全对不对你马上就知道），但高层多Agent编排的信任信号要等很久才能验证。这对任何构建或部署AI系统的人都有设计含义：你怎么为这种稀疏、延迟的信号设计反馈回路。
这份数据最让人意外的地方在于，行业叙事几乎全是关于能力的——这个模型在某个基准上比那个模型高0.02分，那个模型上下文窗口有多大。但作者说，这些信息跟开发者能不能真正把模型用进Agent工具里，几乎没什么关系。他见过团队拿到了最好的模型、最好的基准分数，结果根本不用；也见过团队对某些基准上表现更差的工具产生了真实依赖，因为那些工具在他们的用例里就是好用。这个差距不是随机的，很大程度上就是信任问题。
为什么编码Agent的数据对做其他领域的人也有参考价值？因为编码是目前Token消耗最大的场景之一。OpenRouter（一个公开的模型路由服务，会发布Token使用量排名）的数据显示，Kilo Code自己连续几个月排在第一。开发者生产力是当前大模型最主流的消费场景之一，而这些数据背后是大量知识工作者（软件工程师）在真实工作流里用AI的痕迹。作者希望这些数据能帮到那些在别的领域（比如客服、文档、数据分析）构建AI系统的人——尤其是那些领域里也有知识工作者在试图用AI提升生产力。
一个值得注意的细节：演讲标题写的是25万亿Token，但实际提交后数据已经涨到了40万亿Token以上。这个增速本身就是AI采用率陡增的一个注脚。
对正在构建AI系统的工程师来说，这份数据最直接的启发是：别只盯着模型能力，要把信任阶梯的设计当成一等公民。具体来说，先保证底层体验的稳定和即时反馈——自动补全要快、要准，聊天要能正确找到文件、改对地方；然后再往上叠加多Agent编排。同时要主动设计反馈回路，尤其是高层级任务，因为信任信号天然稀疏且延迟，你得想办法让用户能验证Agent干得对不对。另外，模型路由不是选最强的，而是选最适合当前任务的——有时候一个基准分数低一点的模型，在特定场景下反而更可靠，用户就更愿意用。
这份数据也提醒我们，行业叙事和地面真相之间往往有落差。当你在评估一个AI工具或模型时，与其看基准测试的微小差距，不如看它在真实工作流里的信任表现——它能不能稳定地不犯错，能不能在出错时给你清晰的信号。这比0.02分的benchmark提升重要得多。
内容与图片版权归原作者所有 · 原文: https://www.infoq.com/presentations/agentic-ai-developer-trust-adoption/?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global