devgo.cn搞运维的都知道，Kubernetes 集群出故障时，最怕的就是告警轰炸和根因难寻。现在 AI SRE Agent（能自动排查故障、定位根因的智能运维助手）被寄予厚望，但市面上的产品宣传都吹得天花乱坠，到底谁真能打？光看厂商的 demo 和博客根本没法信。最近有个叫 AI SRE Arena 的开源项目，直接搭了个擂台：在 Kubernetes 集群里注入真实故障，让不同的 AI 运维产品去排查，再用统一的评分标准打分，结果一目了然。
这个项目的思路很实在：它不绑定任何厂商，提供了一个中立的起点。你可以在本地用 kind（一个在 Docker 里跑 Kubernetes 集群的工具）或者 AWS EKS（亚马逊的托管 Kubernetes 服务）上部署一套一次性的测试环境，然后注入故障，让被测的 AI 产品去调查，最后把调查记录保存下来，用可配置的裁判（judge，这里指一个 AI 模型）来打分。整个流程分得很清楚：部署集群和应用、连接你的产品、注入并验证故障、让产品调查、保存调查记录、用裁判打分、对比结果。每一步都是独立的命令，你可以灵活组合。
项目内置了 21 个故障场景的完整套件，还有一个 6 个场景的精简版（smoke suite，用于快速验证）。这些场景覆盖了各种典型的 Kubernetes 故障，比如内存溢出（OOM）、网络隔离问题等。部署方式也支持两种：直接通过 kubectl（Kubernetes 的命令行工具）应用配置，或者走 GitOps 流程，用 Argo CD（一个基于 Git 的持续交付工具）来自动同步。这给了不同团队选择的空间。
最吸引人的是它给出的对比结果。作者用这个框架实测了 Edge Delta 和 Grafana 这两个可观测性平台自带的 AI 调查功能，以及 Claude（Anthropic 的大语言模型）配合这两个平台的命令行工具（CLI）的表现。在 21 个 Kubernetes 故障场景中，Edge Delta 检测到了 18 个，Grafana 检测到了 12 个。在根因分析（Root cause analysis，即找出故障的根本原因）上，Edge Delta 原生功能达到了 83.3%，Grafana 是 75%，而 Claude 配合 edx（Edge Delta 的 CLI）和 gcx（Grafana 的 CLI）分别达到了 85.7% 和 90.5%。最让人意外的是在最终缓解方案（Supported final mitigation，即给出具体可执行的修复建议）上，Claude 配合 CLI 的表现（76.2% 和 71.4%）明显优于两个平台的原生功能（44.4% 和 41.7%）。这说明通用大模型在理解上下文和生成可操作建议方面，确实有它的优势。
这个基准测试的评分标准也设计得很细致，不是简单看有没有检测到故障。它从五个维度打分：检测（Detection）、根因分析（Root cause analysis）、爆炸半径（Blast radius，即故障影响的范围）、支持的最终缓解方案（Supported final mitigation）和实施就绪度（Implementation readiness，即建议是否足够具体，可以直接交给工程师去执行）。每个维度都有明确的得分标准，比如根因分析要求最终报告能正确解释故障原因，爆炸半径要求准确识别受影响的负载和下游影响，不能夸大故障范围。
对于想自己跑一遍的开发者，项目提供了详细的命令。比如初始化配置用 `python3 -m bench init`，部署应用用 `python3 -m bench deploy`，注入故障用 `python3 -m bench fault`，验证故障是否生效用 `python3 -m bench verify`，保存证据用 `python3 -m bench evidence`。调查完成后，把产品的最终报告保存为 `final.txt`，然后导入并评分。裁判（judge）可以配置成 OpenAI 的模型，也可以支持其他提供商或本地模型。评分结果会生成 `judgment.json`，包含分数、解释和支持性引用。最后用 `python3 -m bench report --summary` 生成汇总对比表。
这个项目的价值在于，它把 AI SRE Agent 的评估从“厂商自说自话”变成了“可重复、可对比的客观实验”。对于正在选型 AI 运维工具的团队，或者想评估自己内部 AI Agent 能力的团队，这套框架可以直接拿来用。需要注意的是，跑完整套件需要 AMD64 架构的 worker 节点，Apple Silicon Mac 只能跑精简版或者操作 EKS 集群。另外，裁判模型的选择和评分标准要保持一致，否则对比结果就没有意义。总的来说，这是一个思路清晰、工程实现完整的开源基准测试项目，值得所有关注 AI 运维的开发者深入研究。
内容与图片版权归原作者所有 · 原文: https://github.com/edgedelta/project-arena