中文精炼导读
核心观点
- 这是 Distill Circuits 线程的短文章，作者团队发现了一个"结构性现象"：打开任意 ImageNet 卷积网络、用 NMF 可视化最后一层权重，会看到一种在其他层完全见不到的"均匀空间条纹"——就像显微镜下不同生物组织的纹理截然不同，最后一层权重与网络其他层判然有别，他们称之为"权重带状"（weight banding）。
- 权重带状一致地出现在"使用全局平均池化（global average pooling）的视觉模型"的最后一层卷积里：InceptionV1、ResNet50、VGG19 都有，而 AlexNet 没有——因为 AlexNet 在最后的卷积层后没有池化、直接接全连接层，权重会随全局 y 位置强烈变化。
- 核心假设：权重带状是网络学到的"保存空间信息"的方法——水平条纹意味着滤波器不在乎水平位置、却在强烈编码相对垂直位置，这正是信息在各种池化操作中丢失时的一种补偿机制。
- 通过自建简化网络做单变量消融实验确认了因果链条：把输入旋转 90° 训练会产生竖直条纹（证明条纹源自 ImageNet 数据中空间位置的相关性）；移除全局平均池化后带状消失（但全连接层参数暴增 49 倍并过拟合）——强证据表明"最后卷积层后的激进池化"是权重带状的原因。
- 有意思的意外：只沿 x 轴做平均池化（保留垂直绝对位置、去掉水平绝对位置）时，5b 层的带状消失、但 5a 层又出现了带状——说明模型会把"保存位置信息"的职责"上移"到更早的层。
内容精讲
文章从现象描述开始：打开任意 ImageNet 卷积网络、看最后一层的权重，会发现一种均匀的空间图案——没有任何单个权重是反常的，但整体的均匀性如此惊人，团队第一次发现时还以为是 bug。就像不同生物组织在显微镜下各自不同（平滑规律的肌肉纹理对比上皮组织的其他形态），InceptionV1 的 mixed_5b 层用 NMF 可视化出的权重带状，与网络其他任何层（如 mixed_3a）相比都格外醒目。在此之前，Circuits 线程主要研究非常小的东西——单个神经元和小电路；而权重带状属于更大的"结构性现象"（结构层面、整个层尺度的图案），其他例子包括等变基序中反复出现的对称性、以及"分支特化"中的专门化切片。
权重带状发生在哪？它一致地在"使用全局平均池化的视觉模型"的最后一层卷积层中形成。可视化方法：对每个神经元，取它连接上一层的权重，用 NMF 把上一层的通道维度降成 3 个因子映射到 RGB 通道（因子分配是任意的，用启发式保证跨神经元一致），结果暴露出非常醒目的水平条纹（偶尔不是完全水平，中央带可能有轻微额外权重）。这些常见网络（InceptionV1 mixed 5b、ResNet50 block4 unit3、VGG19 conv5）在进入全连接层之前都有池化操作，都在最后卷积层显示带状；AlexNet 没有带状——它的全连接层直接连最后一层卷积，允许对不同位置区别对待，看它的全连接层权重会看到随全局 y 位置强烈变化。作者的解释是：水平条纹意味着滤波器不关心水平位置、但强烈编码相对垂直位置——权重带状可能是网络"学会在空间信息通过池化逐渐丢失时把它保存下来"的方式。
为了弄清哪些架构条件必然产生权重带状，团队构建了一个简化网络：6 组卷积、L2 池化分隔，最后全局平均池化把输入降到 512 个值、再喂给 1001 输出的全连接层。这个基线稳定地在最后一层（通常还在前两层）产生权重带状。然后做单变量消融。旋转 90°：输入旋转 90° 训练的结果是竖直带状而非水平带状——排除了训练 bug 或数值问题，证明带状源于 ImageNet 数据中"空间垂直位置（旋转后是水平位置）"的相关性。去掉全局平均池化：全连接层能看到所有空间位置，带状消失，但参数暴增 49 倍且过拟合——这是"最后卷积层后的激进池化导致权重带状"的最强证据，也与 AlexNet 无带状一致。只沿 x 轴平均池化：每行被平均掉、垂直绝对位置保留而水平绝对位置消失，参数只增 7 倍；结果 5b 层的带状看似消失，但仔细看 5a 层出现了与基线 5b 相似的清晰带状——这个意外结果说明模型把"保存位置信息"的职责从 5b 上移到了 5a。
文章还列出一些"带状仍然存在"的干预尝试：带学习空间掩码的全局平均池化（3/5/16 个掩码，学到的掩码对应大尺度全局结构，带状依然强烈）、在 5b 后加注意力层、加 7×7×512 学习掩码、给 5a/5b 输入加 CoordConv 通道、把 5b 输出分成 16 组各接全连接层、以及受 VGG 启发的全局最大池化 + 4096 单元全连接等——这些变化都没消除带状。最后团队在常见架构（如 InceptionV1 和 ResNet50）上确认了旋转与移除全局平均池化这两个干预的效果同样成立，把简化模型上的发现推广回真实网络。
阅读价值
适合对可解释性/可机制性（mechanistic interpretability）与"网络内部到底学到了什么"感兴趣的 ML 研究者：这篇文章展示了如何通过 NMF 可视化发现一个整层尺度的结构性现象，并用"简化网络 + 单变量消融"把"架构选择（是否用全局平均池化）→ 权重模式（是否出现带状）→ 算法作用（保存空间信息）"的因果链条一步步钉死；这种"先发现现象、再做受控实验、再推广回真实模型"的方法论本身就是宝贵的示范。
本文为中文精炼导读,由 AI 基于原文整理,内容与图片版权归原作者所有。原文: https://distill.pub/2020/circuits/weight-banding