机器学习常用评估指标

机器学习常用评估指标

机器学习的评价指标有精度、精确率、召回率、P-R曲线、F1 值、TPR、FPR、ROC等指标,还有在生物领域常用的敏感性、特异性等指标。

基础

在分类任务中,各指标的计算基础都来自于对正负样本的分类结果,用混淆矩阵表示,如 图1 所示:

在这里插入图片描述

其中:

  • TP(True Positives)表示真正例,即模型正确预测为正类的样本数量。

  • FN(False Negatives)表示假负例,即模型错误预测为负类的正类样本数量。

  • FP(False Positive)表示假正例,即模型错误地将负类预测为正类的情况。

  • TN(True Negative)表示真正例,即模型正确地将负类预测为负类的情况。

精度
Accuracy = T P + T N T P + F N + F P + T N \text{Accuracy} = \frac{TP + TN}{TP + FN + FP + TN} Accuracy=TP+FN+FP+TNTP+TN

即所有分类正确的样本占全部样本的比例。

精确率

精确率又叫Precision
Precision = T P T P + F P \text{Precision} = \frac{TP}{TP + FP} Precision=TP+FPTP

模型预测为正例的样本中,真正为正例的比例。

召回率

召回率又叫:Recall、查全率
Recall = T P T P + F N \text{Recall} = \frac{TP}{TP + FN} Recall=TP+FNTP

即模型正确识别出的正类样本占所有实际正类样本的比例。

P-R曲线

P-R曲线又叫做:PRC,通过可视化的方式展示了模型在精确率和召回率两个关键指标之间的权衡关系。
在这里插入图片描述
理想情况下,曲线应尽可能靠近右上角(精确率和召回率均为 1)。

AP(Average Precision)是 P-R 曲线与坐标轴围成的面积,用于量化模型整体性能。AP 值越高,模型在不同阈值下的综合表现越好。

F1 值

F1 值是机器学习中用于衡量分类模型性能的综合指标,它通过调和平均的方式整合了精确率和召回率。
F 1 = 2 ∗ P ∗ R P + R F1 = \frac{2 \ast P \ast R}{P + R} F1=P+R2PR

相较于算术平均,调和平均更强调对较小值的敏感性。这意味着当精确率或召回率任意一方过低时,F1 值会显著下降,从而强制模型在两者间寻求平衡。

TPR

真正例率,衡量正例识别能力,即召回率。
TPR = T P T P + F N \text{TPR} = \frac{TP}{TP + FN} TPR=TP+FNTP

FPR

假正例率,衡量负例误判为正例的比例。

FPR = F P F P + T N \text{FPR} = \frac{FP}{FP + TN} FPR=FP+TNFP

ROC

ROC曲线起源于二战时期的雷达信号检测理论,用于衡量 “信号” 与 “噪声” 的区分能力。

在这里插入图片描述

P-R 和 ROC 的区别:

ROC 曲线以FPR为横轴、TPR为纵轴,侧重展示模型在不同阈值下区分正负样本的整体能力,对样本不均衡不敏感,适用于医疗诊断等需平衡误判成本的场景;而 P-R 曲线以Recall为横轴、Precision为纵轴,直接刻画正例预测的 “查准率” 与 “查全率” 权衡,在正负样本高度失衡(如欺诈检测)时更能反映模型对稀有正例的识别性能,两者分别从不同维度揭示模型在分类阈值调整下的表现,需结合数据分布和业务目标选择使用。

AUC 即 ROC 曲线下的面积,是评估二分类模型性能的核心指标。其本质是衡量模型对正负样本的排序能力——AUC 值越高,模型将正样本排在负样本之前的概率越大。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/web/84789.shtml
繁体地址,请注明出处:http://hk.pswp.cn/web/84789.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

视频相似度检测算法(带课设报告)

摘 要 本文提出了一种基于关键帧特征提取的视频相似度检测方法,通过融合自适应采样与特征降维技术实现高效准确的视频内容比对。系统采用三阶段处理流程:首先对输入视频进行自适应关键帧采样,通过均匀间隔算法提取固定数量(默…

微服务江湖的爱恨情仇:Spring Cloud 与 Kubernetes 的双雄演义

引言:双雄并立,一个时代的序幕 微服务革命,如同一场燎原之火,将庞大、笨重的单体应用烧成灰烬,宣告了一个敏捷、独立、快速迭代的新纪元。然而,这场革命在摧毁旧世界的同时,也催生了一片混沌的新…

深度拆解RAGFlow分片引擎之切片实现

上一篇深度拆解RAGFlow分片引擎!3大阶段视觉增强,全网最硬核架构解析 讲了切片的整体流程,今天我们来拆下切片的实现。 我们在设置的时候,可以选择切片方法。这个参数是parser_id 在创建知识库的时候,选择对应的切片方…

CSS平滑滚动效果实现方法

一、纯CSS实现方案 使用 scroll-behavior 属性 属性值 auto (默认值):滚动框立即滚动smooth:滚动框以平滑的方式滚动 /* 全局平滑滚动 */ html {scroll-behavior: smooth; }/* 特定容器平滑滚动 */ .scroll-container {scroll-behavior: smooth;over…

李沐动手深度学习(pycharm中运行笔记)——12.权重衰退

12.权重衰退(与课程对应) 目录 一、权重衰退 1、使用均方范数作为硬性限制 2、使用均方范数作为柔性限制(通常这么做) 3、演示对最优解的影响 4、参数更新法则 5、总结 二、代码实现从零实现 三、代码实现简介实现 一、权重…

React Native【实战范例】同步跟随滚动

最终效果 实现原理 主动滚动区触发滚动事件,原生监听滚动值的变化,并用动画的方式实时同步到跟随滚动区 技术要点 使用 Animated.ScrollView 使用动画变量 const scrollY useRef(new Animated.Value(0)).current;主动滚动触发 onScroll,用 …

如何仅用AI开发完整的小程序<3>—创建小程序基础框架

1、启动小程序开发者工具-选择小程序,点击 2、创建一个项目工程 项目名称:自己填默认的也行,最好不要中文,拼音也行 目录:选择你的项目创建路径 AppID:可以先点测试号,后面再替换自己的AppID就…

SQL等价改写优化

or 与 union all的优化 在SQL开发中,我们经常会遇到这样的情况:需要组合多个相似但略有不同的查询结果。大多数开发者本能地使用UNION/UNION ALL来解决,这种方式直观易懂,但在特定场景下却隐藏着巨大的性能浪费。 本案例将从执行…

【已解决】 数据库INSERT操作时,Column count doesn’t match value count at row 1

【已解决】数据库INSERT操作时,ColumnColumn count doesn’t match value count at row 1 在开发过程中,我们经常会遇到数据库操作错误,其中之一就是 MySQL 中的 “Column count doesn’t match value count at row1” 错误。这个错误通常发…

管件接头的无序抓取

文章目录 1,目的2,过程3,易混易错点4,代码详解4.1,初始化窗口4.2,创建多视角立体视觉模型。4.3,创建表面匹配模型4.4,多视角立体视觉重建管件堆表面模型4.5,管道接头查找…

移远通信 × 紫光展锐,推动FWA “5G+AI”新体验

6月19日,在2025 MWC上海期间,移远通信宣布,携手紫光展锐,推出面向下一代CPE应用的“5GAI”融合解决方案。目前双方正联合多家CPE厂商开展方案深度调优,以加速5GAI CPE终端的产业化落地进程。 该方案以移远5G模组RG620…

深入理解Grad-CAM:用梯度可视化神经网络的“注意力“

深入理解Grad-CAM:用梯度可视化神经网络的"注意力" 引言 在深度学习的发展过程中,模型的可解释性一直是一个重要的研究方向。尽管现代神经网络在图像识别、自然语言处理等任务上取得了令人瞩目的成果,但它们往往被称为"黑盒…

离线环境jenkins构建前端部署镜像

gitlabjenkins 实现前端项目打包成 docker 镜像;gitlab部署就不赘述了;因部署的gitlab版本的webhooks有问题,无法进行配置,所以文章的构建是手动触发的。并且nodejs部署应该也能跟docker一样直接安装进jenkins的镜像(但是多版本可能就有其他问…

案例:塔能科技×某市智能照明——从传统亮化到智慧光生态的跨越

在城市发展的滚滚浪潮中,市政照明不仅是驱散黑夜的光明使者,更是衡量城市智能化水平的关键标尺。贵州某市的城市照明系统正经历一场意义深远的革新,塔能科技以创新科技为核心驱动力,为这座城市的夜间照明生态注入全新活力。通过智…

LeapMotion-HandPoseRecorder 脚本详解

HandPoseRecorder 脚本详解 这个脚本是一个用于在 Unity 中录制和保存 Leap Motion 手部姿势的工具。下面我将详细解释脚本的各个部分: 核心功能 该脚本的主要作用是: 从 Leap Motion 设备捕获当前手部姿势数据 将姿势数据序列化为可重用的 ScriptableObject 在 Unity 项目…

【Guava】0.做自己的编程语言

【Guava】0.做自己的编程语言 0.前言1.明确你的目标1.2.设计1.3.写一个介绍 2.开始吧! 0.前言 DO WHAT THE F**K YOU WANT TO DO 我相信,网上有许多各式各样的做自己的编程语言教程,but 都是这样 收费 shit 本教程教你真正教你实现一个名叫G…

【软考高级系统架构论文】论无服务器架构及其应用

论文真题 近年来,随着信息技术的迅猛发展和 应用需求的快速更迭,传统的多层企业应用系统架构面临越来越多的挑战,已经难以适应这种变化。在这一背景下,无服务器架构(Serverless Architecture) 逐渐流行,它强调业务逻辑…

国产MCU A\B SWAP原理及实操

看到有读者留言说还是没理清A\B SWAP的原理。 今天就以某国产MCU为例,实际演示一番,看看大家在芯片设计时思路是什么。 我们首先回顾下SWAP的基本思想。 SWAP的基本思想是将PFLASH分成两组Bank,Bank A(假设是active)和Bank B(假设是inacti…

目标检测neck经典算法之FPN的源码实现

┌────────────────────────────────────────────────────┐│ 初始化构造 (__init__) │└─────────────────────────────────────────────…

extern关键字:C/C++跨文件编程利器

在 C 和 C 中,extern 是一个关键字,用于声明变量或函数是在其他文件中定义的。它主要用于实现多个源文件之间的符号共享。 目录 📌 一、C语言中的 extern 1. 基本作用 2. 示例说明 定义全局变量(只在一个 .c 文件中&#xff…