半年前做图计算项目选型时我第一次认真接触层化神经网络Sheaf Neural NetworksSNN。任务背景很典型训练阶段只能看到一批图推理时要面对的是全新的图属于标准的归纳Inductive场景。当时翻资料SNN 的数学结构确实比普通 GNN 精致不少——节点携带向量空间边携带线性限制映射消息不再只靠标量决定强弱。我原本预期它在这种场景下会稳定胜过 GCN。结果第一批对照实验出来结论完全不是那么回事SNN 在训练集上拟合得很好换到新图后优势明显缩小有时候还不如一个加了残差的简单 GCN。这批实验让我意识到一个比“哪个模型更强”更值得回答的问题SNN 这个方向缺的也许不是更多架构改进而是一套针对归纳任务的、系统且严谨的基准测试方法。基准测试不是把标准实验脚本跑一遍就结束。拆分的粒度、基线的规模、超参搜索预算、限制映射的初始化方式每一条都会影响最终结论。这篇文章我打算从 SNN 的机制出发拆解归纳基准测试中的常见误区给出一个可以复用的评估框架并把真正落地时会遇到的工程问题一并说清楚。1. 层化神经网络到底改了消息传递的哪一环1.1 普通 GNN 里的标量消息本质上是一层近似先看最常规的消息传递。在一个 GCN 或 GAT 中节点 (v) 在第 (l) 层的更新可以写成[ m_v^{(l)} \sum_{u \in \mathcal{N}(v)} \alpha_{vu}^{(l)} , W^{(l)} h_u^{(l)} ]其中 (\alpha_{vu}^{(l)}) 要么是预定义的归一化系数要么是注意力机制算出来的标量。这个公式最大的特点是所有邻居的信息先被同一个线性变换 (W^{(l)}) 投影再用标量调节强弱。从工程角度看这个设计非常高效原因在于标量加权让计算成本很低而且很好训练。但它隐含了一个非常强的假设邻居节点提供的“信息类型”是一致的边与边之间的差异只是程度问题不是类型问题。现实图数据往往不是这样。举个例子在电商场景里“购买”和“浏览”这两类边都连接用户和商品但语义完全不同。若只用标量权重模型只能学会“购买边重要一点”或“浏览边弱一点”无法表达“浏览关系应该把用户特征往另一个方向变换而购买关系应该保留价格敏感度信息”。这种表达能力缺失在单纯做同质图节点分类时不太明显一旦迁移到归纳环境面对结构模式更多样的新图问题就会被放大。1.2 SNN 的关键变化边不再只是一个权重SNN 的做法是给图加上“层化结构”sheaf structure。具体来说每个节点 (v) 被分配一个向量空间 (\mathcal{F}v)通常可以理解为节点特征向量的一个扩展每条边 ((u,v)) 则被分配一个线性映射 (B{uv})也叫限制映射restriction map。消息传递过程变成[ m_v^{(l)} \sum_{(u,v) \in E} B_{uv} , h_u^{(l)} ]这里的 (B_{uv}) 不是标量而是一个矩阵。它把邻居节点 (u) 的特征先做一次线性变换再传向 (v)。用一个更贴近生活的类比普通 GNN 像一群人在房间里说话每个人音量不同但说出来的内容形式都一样SNN 则把这群人安排在不同语言环境里每条边上站着一个翻译翻译负责把对方的话转换成当前节点坐标系里能理解的语义再决定怎么合并。这个设计带来的直接变化是模型不再默认“所有邻居提供同一类信息”。边如果有不同类型限制映射可以学习出不同的变换方向节点如果有不同语义空间限制映射也可以做空间对齐。这就是 SNN 在理论上表达能力更强的根本原因。1.3 对归纳任务来说表达能力是双刃剑为什么这种表达能力对归纳任务尤其关键因为归纳任务要求模型从训练图中学到的规则能够迁移到没有见过的图上。如果模型只能记住“邻居特征求和”那当新图的度分布、特征分布、边模式都发生变化时它很容易失效。SNN 把传播过程参数化为边上的局部线性映射让模型有可能学到“这一类关系到底如何变换信息”而不是“这个图里我的邻居大概长什么样”。这是一种更接近模式识别的建模方式理论上更适合跨图泛化。但这里必须泼一盆冷水更强的表达能力意味着更多的可学习参数。可学习的限制映射完全有可能拟合训练图特有的局部结构比如训练图某些社区的度数特别高或某些边的权重分布特别集中。一旦发生这种情况模型在训练集上很漂亮换到新图上就会崩。这也解释了为什么我在开头提到的实验里SNN 训练拟合好、归纳提升小——它很可能记住了训练图的结构噪声。所以正确的态度不是“SNN 一定比 GNN 强”而是“SNN 给了传播过程更丰富的可能性但这种可能性必须在严格控制的归纳基准测试中验证”。如果基准测试设计得不够严格模型很容易靠记忆训练图结构换一个虚高的分数。2. 为什么归纳基准测试不只是换个数据集划分方式2.1 Induction 和 Transduction 是完全不同的契约很多人在评估图模型时没有把 Inductive 和 Transductive 的差异想清楚。Transductive 设置下训练节点和测试节点位于同一张图里。模型在训练阶段可以看到整张图的邻接矩阵即使某些节点没有标签它们的连接关系也已经被编码进消息传递路径。这等于模型在做推理时已经“偷看”过目标节点的局部结构。这种设置适合一些真实场景但它的分数很难说明模型的迁移能力。Inductive 设置不是这样。训练时看到的图和推理时看到的图是分离的。要么是同一张图的不同子图但测试子图在训练时完全不可见要么是多个图之间的拆分比如在若干社交网络上训练再在全新的社交网络上测试。无论哪种模型都必须依靠可迁移的局部模式来做判断不能依赖整张图的全局记忆。正因为契约不同一个模型在 Transductive 上的好坏几乎不能用来推断它在 Inductive 上的表现。SNN 在论文里展示的常见优势比如缓解过平滑、更丰富的特征传播很多是在同图半监督场景下评估的。拿这些结论去指导跨图任务会踩坑。2.2 归纳评估里最常见的隐性泄漏设计归纳基准测试时最容易出错的地方不是模型而是数据预处理。很多看起来无伤大雅的步骤其实已经把测试信息混进了训练过程。典型问题包括在全图上做特征标准化。用整张图的均值和方差去归一化特征等于把测试节点的分布信息暴露给了模型。归纳设置下只能使用训练子图统计量做标准化。用全图结构构造边特征或邻接矩阵。如果节点特征本身涉及边聚合而聚合过程又用了测试节点所在区域的连接关系数据泄漏就已经发生。同图随机删点当作归纳。如果删的是随机节点但它的邻居仍然大量保留在训练集中那模型在测试时还是能通过图上消息传递间接“碰到”训练信息。真正严格的同图归纳应该按连通分量、社区或区域拆开让训练和测试子图之间没有边直接相连。验证集参与早停后仍然报告验证集结果。这个不是数据泄漏但会高估模型真实水平。应该用验证集选模型再在完全独立的测试集上报告结果。这些泄漏不是每次都会造成巨大偏差但它们会污染结论。尤其当 SNN 的参数比 GCN 多、拟合能力更强时数据泄漏对 SNN 的加分通常更明显最终得出“SNN 全面优于 GCN”的假象。注意归纳基准测试的第一原则不是把模型调到最好而是确保测试图的信息在任何环节都没有进入训练流程。2.3 拆分粒度直接决定你回答的是哪个问题很多人以为“归纳”只有一个定义其实至少有三个层次同图局部归纳同一张图按社区或区域拆分训练区域和测试区域无边连接。回答的问题是模型能不能把已见区域学到的模式扩展到未见的区域。跨图归纳训练是一批图测试是完全不同的图。回答的问题是模型能不能跨图迁移。动态图归纳用前一个时间窗口的图训练预测后一个时间窗口新增的边和节点。回答的问题是模型能不能应对结构随时间演化。这三种场景对模型能力的要求完全不同。一个模型在跨图归纳上表现好不代表它在动态图上也能稳定。因此在基准测试设计阶段必须先明确要评估哪一种归纳能力再决定数据集的划分方式。不要笼统地说“我们做了归纳评估”而不说明拆分粒度。3. 一个可复用的归纳基准测试框架既然基准测试这么容易踩坑那就需要一套明确可执行的流程。我建议把整个过程拆成五个步骤每个步骤都做成书面记录。这样做的好处是当结果与预期不符时你可以回过头来逐层排查而不是从头猜。3.1 第一步明确任务类型与数据集边界首先要定义的是你要解决的是哪一类归纳任务。下面这张表可以作为自检清单任务类型典型数据形态评估目标特征要求同图局部归纳一张大图按社区/区域拆分模型能否把已见区域模式推广到未见区域节点特征在区域间不能有巨大分布差异跨图归纳多个图按图拆分模型能否跨图迁移图之间最好有一定分布差异但差异不能大到毫无关联动态图归纳图按时间窗口切分模型能否应对结构演化需要保留边的时间戳信息数据集选择上常见的引用网络数据如 Cora、Citeseer、PubMed在同图局部归纳场景下仍然有用但要注意它们节点特征非常稀疏、同质性较强容易高估模型性能。如果要做跨图归纳更建议使用带多个图的公开数据集或者把大型网络拆成多个连通子图。需要注意不同数据集的节点特征维度和图规模差异很大实际使用时先确认拟合、训练时间、显存占用这些基础条件。3.2 第二步统一并记录拆分协议拆分协议是整个基准测试的骨架。不统一拆分协议不同实验之间的比较就没有意义。我建议采用下面的规则固定一个随机种子生成训练、验证、测试的索引。对同图场景按连通分量或社区切分不要随机删节点。对跨图场景严格按图 ID 切分确保同一张图不会同时出现在训练和测试里。至少跑 3 个不同的种子。如果实验资源允许5 个更好。最终报告里要写明每个种子的结果以及均值、标准差。对动态图场景只用过去数据训练未来数据做测试任何涉及未来的统计量都不能提前计算。拆分方式难度适合场景注意事项随机删节点容易仅调试不建议作为最终评测容易产生信息泄漏结论虚高按社区/区域中等同图局部归纳拆分后要检查训练和测试子图是否仍有边相连按图 ID较难跨图归纳训练图和测试图的分布差异要写清楚按时间窗口中等动态图必须保证时间顺序不被破坏3.3 第三步公平设定基线和超参搜索预算归纳基准测试里最容易被质疑的环节是“模型不公平”。公平性不只是“让模型跑同样的 epoch 数”还包括让基线模型也有足够的容量。GCN 和 GraphSAGE 默认的隐藏维度通常比 SNN 小很多。如果不做等参数量对照SNN 的优势可能只是来自更大的模型容量而不是层化结构。统一训练超参搜索预算。每个模型给同样的尝试次数比如每个模型跑 30 组超参搜索而不是给 SNN 调 100 次、给 GCN 只跑默认参数。使用相同的特征预处理和优化器设置。对基线同样使用残差连接和归一化。普通 GCN 在加深到 2 层以上时如果不加残差会明显变差这不能算 SNN 的功劳。实际上GraphSAGE 是为归纳设置设计的经典基线理应出现在对比列表中。如果连一个标准的 inductive GNN 基线都没有只拿 GCN 做对比结论的说服力会大打折扣。3.4 第四步报告性能、稳定性与泛化差距最终报告不能只写一个“测试准确率”。我建议至少报告测试集上的准确率和加权 F1宏平均和样本量少类别的 F1 也要关注。多个种子的均值和标准差。标准差大说明模型对划分方式敏感这个信息比单纯看均值更关键。泛化差距也就是训练集最终表现与测试集最终表现的差值。如果 SNN 训练集 98、测试集 80而 GCN 训练集 90、测试集 79那 SNN 的优势就非常有争议——它只是记住了更多训练图的信息。训练耗时和收敛轮数。SNN 一般比普通 GNN 更慢慢到什么程度、值得不值得也是选型的重要依据。这里要特别注意选择模型的标准应来自验证集测试集只能用来最终报告。不要在测试集上调参。3.5 第五步把评估流程固化成一个可重跑的脚本基准测试的另一个价值是可复现性。我一般会把评估流程写成统一的接口保证所有模型跑同一套数据加载、拆分和评估逻辑。伪代码结构可以是这样# benchmark_inductive.py —— 伪代码示意 for seed in [0, 1, 2]: train_data, val_data, test_data build_inductive_splits(dataset, modegraph, seedseed) for model_name in [GCN, GraphSAGE, GAT, SNN]: best_val 0.0 for trial in range(30): # 统一搜索预算 config sample_hyperparams(model_name, trial) model build_model(model_name, config) model.fit(train_data, val_data) val_score model.evaluate(val_data) if val_score best_val: best_val val_score best_model model test_score best_model.evaluate(test_data) record(seed, model_name, best_val, test_score)这段代码只是一个结构示例具体实现要根据你的框架和数据集去补齐。但把流程固化成脚本后至少能保证你后续加新模型、新数据集时不会被手动作业干扰。建议在跑完整基准测试之前先拿一个小数据集把整个流程跑通确认拆分、训练、验证、保存、统计每个环节都正确再放开到完整数据。4. 当 SNN 表现不符合预期时如何定位瓶颈现实里SNN 不一定总是最好的。我刚接触 SNN 时就遇到过训练集上表现很好、验证集上上不去的情况。当时第一反应是“超参没调好”但后来发现很多问题的根源不在超参而在数据、实现或评估协议上。4.1 典型症状对照表现象优先排查方向修复思路训练损失下降验证指标一直不动模型过拟合或限制映射退化成无意义结构加大正则化、降低隐藏维、增加训练图数量、检查限制映射是否学到非零变换训练损失都不降数据、实现、初始化问题先跑小数据集确认输入输出形状检查特征是否包含 NaN换小学习率归纳测试分数明显低于转换测试拆分不严格或模型依赖全局统计量重新看划分代码确认测试图在训练时完全不可见SNN 与 GCN 结果几乎相同限制映射退化为恒等映射或表达优势没有被激活可视化限制映射权重观察是否趋向单位阵尝试增大限制映射维度训练过程不稳定损失抖动学习率过高、映射初始化过大降低学习率加梯度裁剪使用更保守的限制映射初始化跨图结果方差很大训练图和测试图分布差异过大检查不同图的特征分布、度分布考虑使用归一化策略4.2 限制映射本身就是一个诊断窗口SNN 和普通 GNN 最大的不同就是限制映射。它既是模型能力的来源也是问题最容易出现的地方。训练结束后把学到的 (B_{uv}) 拉出来看几个统计量是否趋向于单位阵的倍数。如果是说明模型其实退化成了带标量的普通 GNN层化结构没有发挥作用。这时候要反思是不是数据本身就不需要复杂变换或者初始化方式让模型很难偏离单位阵。是不是某一类边上的映射几乎为零。如果是说明模型学会了忽略某些边这可能是因为这些边的信息确实无用也可能是因为梯度信号不足以训练这些映射。映射矩阵的范数是否异常大。如果很大通常意味着训练不稳定或者模型在试图用极端变换拟合个别训练样本。这些诊断对调参方向很有帮助。如果限制映射一直退化成单位阵单纯增加隐藏维度没用应该先调整映射的初始化或正则化方式。4.3 科学地缩小排查范围定位问题的顺序可以固定成一条链路看现象是损失不降、验证不涨、测试方差大还是限制映射退化了看输入特征的分布、缺失值、标准化方式是否正确测试图的统计量有没有泄漏进训练看实现限制映射的分块逻辑是否正确处理了不同边的起点和终点维度看参数隐藏维度、层数、限制映射维度是否匹配数据规模看评估验证集和测试集是否完全独立最优模型选择是否只依赖验证集按这个顺序排查可以避免在错误层面浪费时间。比如我遇到过一个问题训练损失持续下降但验证集表现始终波动。后来发现是验证集来自同一张图中与训练集有边连接的节点消息传递让标签信息发生了泄漏。问题出在拆分协议上和模型本身完全无关。提醒不要一上来就调参。先确认数据拆分、统计量和接口正确再谈模型优化。5. 长期使用 SNN 前必须想清楚的工程问题即使 SNN 在基准测试里体现了明显优势落地到生产或长期研究任务时还有几个工程问题需要提前评估。5.1 计算成本不是线性增加普通 GNN 的邻居消息是一份向量乘以一个参数矩阵。SNN 的限制映射让每条边的变换维度都增加了这意味着参数量和计算量都会上升。一个简化的对比模型边操作典型参数量级主要额外开销GCN标量加权 共享线性层低几乎没有GAT注意力标量 共享线性层中注意力计算SNN每条边独立的线性映射较高限制映射矩阵、特征分块变换如果隐藏维度是 (d)限制映射维度也是 (d)每条边需要存储一个 (d \times d) 的矩阵。当图有上百万条边时这个存储和计算开销会很快变得不可忽略。所以实际使用中不能只是把模型从 GCN 换成 SNN还要统计训练时间、显存占用和推理延迟的变化。常见的做法是设置一个较小的“束维度”比如 2 或 4让每条边映射的矩阵维度低于节点特征维度从而控制参数量。这个值是超参需要通过实验权衡。5.2 限制映射的选择直接影响可迁移性限制映射有几种设计思路可学习的稠密映射灵活但容易过拟合。可学习的结构化映射比如对角矩阵或分块对角矩阵参数量更少泛化往往更好。离散/手工设计的映射从图的边类型或领域知识出发预先定义映射。这类方案在少量数据或泛化要求极高的场景里有价值但设计成本高。从工程经验看如果训练图数量充足可学习的结构化工映射通常是性价比最高的选择。如果训练图很少建议先用离散映射或强正则化的可学习映射不要直接上最灵活的版本。另外限制映射要配合适当的归一化。图拉普拉斯归一化在普通 GNN 中很常见在 SNN 里同样需要只是实现方式会更复杂。没有归一化深层 SNN 容易出现数值不稳定。5.3 什么时候可以回去用简单模型不是所有任务都需要 SNN。如果数据满足以下条件SNN 的优势很可能发挥不出来边的类型非常单一几乎不携带额外语义。图整体比较同质节点之间的差异主要来自特征而不是传播方式。训练图数量很少复杂模型容易过拟合。应用场景对推理延迟和内存占用极其敏感。反过来如果任务中边的类型有明确区分或者你对模型缓解过平滑有强烈需求又或者在跨图归纳中发现简单 GNN 的瓶颈确实存在于“信息变换方式”上那么 SNN 值得一试。关键是先证明问题确实出在消息传递的表达能力不足上再引入更复杂的模型。否则复杂的架构只会带来更高的维护成本和更不确定的稳定性。回到开头那个实验。我后来把评估流程重写了一遍严格按社区拆分、统一超参预算、加上了 GraphSAGE 基线、检查了限制映射的退化情况。重新跑出来的结论比第一次清晰得多SNN 在部分跨图场景下确实能带来提升但提升幅度取决于边语义丰富程度和训练图数量而在语义单一、训练图少的场景里它和普通 GNN 几乎打平甚至因为过拟合而更差。这个结果并不否 SNN 的价值。它说明的是任何架构创新只有在严格、可复现、能定位失效边界的基准测试里才能真正被理解。对一个准备在归纳任务上使用 SNN 的人来说最值得投入的也许不是继续堆新模块而是先把基准测试工具打磨到不误导自己。得到一个“SNN 在某些条件下更好”的结论比得到“SNN 总是更强”的结论有价值得多。
尧图网络