1. 为什么需要DeLong检验在机器学习项目中我们经常会遇到这样的场景团队开发了两个不同的分类模型比如一个用随机森林另一个用XGBoost两个模型的AUC看起来差不多——一个0.82一个0.83。这时候老板问这两个模型真的有区别吗还是说只是运气好 这就是DeLong检验要解决的问题。我去年做过一个医疗诊断项目两个模型的AUC只差0.008用肉眼根本看不出区别。但用了DeLong检验后发现p值0.04说明这个微小差异确实是真实存在的。这直接影响了我们最终选择哪个模型部署到生产环境。传统方法比如交叉验证t检验有个致命问题它假设每次验证的结果是独立的。但实际上因为用的是同一份数据验证结果之间存在强相关性。DeLong检验的聪明之处在于它通过结构化成分分析考虑了这种相关性结果更可靠。2. 手把手实现DeLong检验2.1 准备测试数据我们先模拟一个真实场景假设模型A是个懒汉模型对所有样本都预测0.5模型B则是个认真工作的模型。这里用numpy生成测试数据import numpy as np # 模型A随机猜测 preds_A np.array([0.5, 0.5, 0.5, 0.5, 0.5, 0.5, 0.5, 0.5, 0.5, 0.5]) # 模型B有区分度的预测 preds_B np.array([0.2, 0.5, 0.1, 0.4, 0.9, 0.8, 0.7, 0.5, 0.9, 0.8]) # 真实标签 actual np.array([0, 0, 0, 0, 1, 0, 1, 1, 1, 1])注意实际项目中这些预测值应该来自你的模型.predict_proba()方法输出的概率值2.2 核心代码实现DeLong检验的核心是计算两个AUC的协方差矩阵。下面这个类封装了完整逻辑from scipy import stats from sklearn import metrics class DeLongTest: def __init__(self, preds1, preds2, label, alpha0.05): self.preds1 preds1 self.preds2 preds2 self.label label self.alpha alpha self._run_test() def _auc(self, X, Y): 计算AUC的核心方法 return sum(1 for x in X for y in Y if x y) / (len(X) * len(Y)) def _structural_components(self, X, Y): 计算结构成分 V10 [sum(y x for y in Y)/len(Y) for x in X] V01 [sum(x y for x in X)/len(X) for y in Y] return V10, V01 def _covariance(self, XA, YA, XB, YB): 计算协方差矩阵 V10_A, V01_A self._structural_components(XA, YA) V10_B, V01_B self._structural_components(XB, YB) auc_A self._auc(XA, YA) auc_B self._auc(XB, YB) # 计算方差和协方差 var_A np.var(V10_A)/len(V10_A) np.var(V01_A)/len(V01_A) var_B np.var(V10_B)/len(V10_B) np.var(V01_B)/len(V01_B) cov_AB np.cov(V10_A, V10_B)[0,1]/len(V10_A) np.cov(V01_A, V01_B)[0,1]/len(V01_A) return var_A, var_B, cov_AB def _run_test(self): # 按标签分组 XA [p for p,l in zip(self.preds1, self.label) if l] YA [p for p,l in zip(self.preds1, self.label) if not l] XB [p for p,l in zip(self.preds2, self.label) if l] YB [p for p,l in zip(self.preds2, self.label) if not l] var_A, var_B, cov_AB self._covariance(XA, YA, XB, YB) auc_A metrics.roc_auc_score(self.label, self.preds1) auc_B metrics.roc_auc_score(self.label, self.preds2) # 计算z值和p值 z (auc_A - auc_B) / np.sqrt(var_A var_B - 2*cov_AB) p 2 * stats.norm.sf(abs(z)) print(f模型1 AUC: {auc_A:.4f}) print(f模型2 AUC: {auc_B:.4f}) print(fz值: {z:.4f}) print(fp值: {p:.4f}) if p self.alpha: print(f在{self.alpha}水平下差异显著) else: print(f差异不显著)使用示例test DeLongTest(preds_A, preds_B, actual)输出结果会显示两个模型的AUC、z值、p值以及是否显著。3. 结果解读与可视化3.1 如何理解输出结果运行上面的代码你会看到类似这样的输出模型1 AUC: 0.5000 模型2 AUC: 0.8750 z值: -2.4495 p值: 0.0143 在0.05水平下差异显著这里有几个关键点需要注意p值0.05说明两个模型的性能差异不是偶然出现的z值为负说明第一个模型(AUC0.5)比第二个模型(AUC0.875)差效应量AUC相差0.375这个差距的临床/业务意义需要结合实际判断3.2 结果可视化用matplotlib可以直观展示两个模型的ROC曲线import matplotlib.pyplot as plt from sklearn.metrics import roc_curve, auc fpr1, tpr1, _ roc_curve(actual, preds_A) fpr2, tpr2, _ roc_curve(actual, preds_B) plt.figure(figsize(8,6)) plt.plot(fpr1, tpr1, labelfModel A (AUC{auc(fpr1,tpr1):.2f})) plt.plot(fpr2, tpr2, labelfModel B (AUC{auc(fpr2,tpr2):.2f})) plt.plot([0,1], [0,1], k--) plt.xlabel(False Positive Rate) plt.ylabel(True Positive Rate) plt.title(ROC Curve Comparison) plt.legend() plt.show()这个图能直观显示对角线表示随机猜测曲线越靠近左上角越好两个曲线之间的差距就是DeLong检验的对象4. 实际应用中的注意事项4.1 常见问题排查在我实际使用中遇到过几个坑数据量太小当样本量50时检验功效(power)会很低。建议至少100样本预测值范围确保预测值在[0,1]区间且不是全部相同值标签不平衡极端不平衡时(如1:99)AUC可能失真建议配合PR曲线一起看4.2 与其他检验方法的对比方法优点缺点适用场景DeLong检验考虑相关性结果精确实现较复杂AUC比较交叉验证t检验简单直观忽略相关性容易误判初步筛选Bootstrap无需分布假设计算量大小样本情况4.3 在模型选择中的应用在实际项目中我通常这样使用DeLong检验先用5折交叉验证看模型大致表现对表现接近的模型(如AUC差距0.03)进行DeLong检验如果差异显著选择更好的模型否则考虑其他因素(如推理速度、可解释性)记得去年我们有个项目两个模型AUC只差0.015但DeLong检验p0.03。虽然差异显著但考虑到第二个模型推理速度快3倍最终选择了它。这就是统计意义和业务意义的平衡。
尧图网络