核心观点

内容精讲

当前多智能体系统普遍采用监督者模式:一个监督代理分解任务,分配给子代理,汇总结果。这种模式行为可预测,但监督者的上下文窗口限制了系统容量,一旦监督者失败整个运行终止,且单一分解视角导致多样性不足。AWS 博客文章提出一种替代方案——自组织集群,通过共享状态协调,并开源了 kiro-flock 参考实现。

该模式的核心是协调存在于共享状态,而非任何中心节点。三个组成部分:代理(独立进程,读写共享存储,从不互连)、共享环境(一个 S3 桶,包含方向文件、每个代理的追加日志和工作区)、方向(Markdown 文件说明目标)。每个代理运行循环:启动新会话,读取方向和有限邻居的日志,决定一个贡献,写入工件,然后追加一行到自己的日志。这一行就是唯一的协调消息,没有代理传递或确认。

代理位于逻辑环中,每个读取固定数量的邻居(由半径参数 R 设定)。完全可见性会导致集群塌缩到第一个信号,而有限可见性让信号逐渐传播,不同上下文的代理有空间发展替代方案。例如,16 个代理在环中讨论 AI 代理聚类,第一次迭代分散探索,后续迭代修正和综合,到第 7 次迭代所有代理声明空闲。

三种协调算法可运行时切换:Amorphous(环,每个代理读取半径 R 内的邻居,每代理工作恒定,最大测试规模 184 代理跨 11 个集群,但信号传播慢);Mesh(全可见,快速对齐但多样性塌缩,适合约 30-50 代理);Swarm(最近活跃,每个代理读取 K 个最近活跃的同伴,适合超过 100 代理的构思)。生产序列建议:先用 Amorphous 探索,Swarm 形成方向,Mesh 对齐输出。

收敛时间取决于规模和半径。在环中,一次迭代传播 2R 位置,完全传播需 ceil(N/2R) 次迭代,共识约 2-3 倍。例如,100 代理半径 2 时传播需 25 迭代(约 12 分钟),1000 代理半径 4 时传播需 125 迭代(约 62 分钟),增大半径可加速。成本模型:无始终在线的编排器或代理,按 Kiro 积分和 EC2 实例付费,加上 S3 存储和请求,以及控制平面和后分析的费用。

该模式的理论基础包括无定形计算(amorphous computing)、stigmergy(通过共享介质中的痕迹协调)和仅增长的无冲突复制数据类型(CRDT)以八卦风格传播。这些分布式系统概念已存在数十年。

失败模式方面:群体思维(Mesh 可见性导致塌缩,用 Amorphous 开放探索避免);漂移(持久会话历史导致行为惯性,通过每次迭代新会话解决,状态仅存在于共享日志);热点(Swarm 的 K 太小导致子任务饥饿,提高 K 或切换到 Amorphous);遗留文件(前一次运行的陈旧文件被读取,每次启动归档 environment/ 和 store/ 到 history/)。

同一模式可向上组合集群:集群通过读取彼此的共享环境协调,类似代理读取日志。WeltenBuilder 结构包含特性集群、共享基础设施集群、QA 集群和协调集群,所有集群同时启动,无依赖图。协调集群写入冲突解决笔记,其他集群在下次迭代中获取,移除协调集群只是移除一个信号而非依赖。

参考实现 kiro-flock 开源(Apache 2.0),使用 AWS CDK 部署:S3 作为共享环境,EC2 运行代理,Lambda 和 API Gateway 作为控制平面,Cognito 处理访问,Bedrock 支持后分析。需要 AWS 账户和 Kiro 订阅。默认运行 8 代理半径 1,5-7 次迭代收敛。

阅读价值

适合对多智能体系统架构和分布式协调感兴趣的开发者。读完可深入理解自组织集群的原理、适用场景、三种协调算法的选择与组合,以及工程实践中的关键设计决策(如有限可见性、每次新会话、失败模式应对),为构建大规模多智能体系统提供参考。

阅读原文 → 返回 AI 技术文档

内容与图片版权归原作者所有 · 原文: https://aws.amazon.com/blogs/architecture/scaling-patterns-for-self-organizing-multi-agent-clusters-with-kiro/