【模型显著性分析】配对样本 t 检验

写在前面：本博客仅作记录学习之用，部分图片来自网络，如需引用请注明出处，同时如有侵犯您的权益，请联系删除！

文章目录

前言
$t$ 检验
- 配对样本 $t$ 检验（适用于相关组）
- 代码
- 论文描述
总结
互动
致谢
参考

前言

在机器学习与数据科学领域，模型性能评估往往依赖单一指标（如mAP、准确率），但仅凭数值差异难以判断其是否具有统计意义。

例如，两个模型在测试集上的mAP分别为0.75和0.78，若直接断言后者更优，可能因样本波动或随机误差导致误判。这种“表面差异”可能掩盖真实性能差距，甚至误导决策。

显著性验证通过统计方法（如 $t$ 检验）量化差异的可靠性，其核心价值在于：区分随机波动与真实效应。当样本量有限或数据存在噪声时，显著性检验能提供客观的置信度（如p值），避免主观臆断。尤其在模型迭代、算法对比或实际应用部署中，仅依赖点估计值（如均值）无法支撑科学结论，而显著性验证为模型性能的比较提供了可重复、可量化的标准。

$t$ 检验

在统计学中，t检验用于比较两组样本的均值是否存在显著差异。

配对样本 $t$ 检验（适用于相关组）

场景：比较同一组样本在两种条件下的均值差异（如同一数据集上两个模型的重复实验）。

公式：

$\frac { \bar { d } } { s _ { d } / \sqrt { n } }$

$\overline { d }$ ：每组样本对的差值均值（如模型A和模型B的mAP差值）。
$s _ { d }$ ：差值的标准差。
$n$ ：样本对的数量。

自由度（df）：

$df = n - 1$

$t$ 值衡量差值均值相对于差值变异的程度。
较大的 $t$ 值表示差异更显著。
使用 $t$ 分布表或统计软件，根据 $t$ 值和自由度计算 $p$ 值。

代码

t分布表：根据 $t$ 值和自由度，查表得到对应的 $p$ 值。
统计软件：如Python的scipy.stats库可以自动计算 $p$ 值：

from scipy.stats import ttest_rel   # 配对t检验# map
mAP_baseline = [27.77, 27.91, 28.20, 27.92, 27.83]     # baseline
mAP_ours     = [28.24, 28.33, 28.41, 28.57, 28.59]     # ours # 配对t检验（同一数据集的重复实验）
t_stat, p_val = ttest_rel(mAP_ours, mAP_baseline)
print(f"Paired t-test - t statistic: {t_stat:.3f}, p-value: {p_val:.3e}")