张 关于大语言模型(LLM)置信度研究的经典与前沿论文 :温度缩放;语义熵;自一致性;事实与反思;检索增强;黑盒引导;

关于大语言模型(LLM)置信度研究的经典与前沿论文 :温度缩放;语义熵;自一致性;事实与反思;检索增强;黑盒引导;

目录

    • 关于大语言模型(LLM)置信度研究的经典与前沿论文 :温度缩放;语义熵;自一致性;事实与反思;检索增强;黑盒引导;
      • 一、校准方法:让模型概率更贴近真实正确性
        • 1. **温度缩放(Temperature Scaling)**
        • 2. **多校准(Multicalibration)**
      • 二、不确定性估计:量化模型“不知道”的能力
        • 1. **语义熵(Semantic Entropy)**
        • 2. **图不确定性(Graph Uncertainty)**
      • 三、推理优化:通过过程增强置信度
        • 1. **自一致性(Self-Consistency)**
        • 2. **事实与反思(Fact-and-Reflection, FaR)**
      • 四、检索增强:引入外部知识校准
        • 1. **检索增强生成(RAG)与置信度对齐**
      • 五、黑盒引导:无需模型内部信息的置信度估计
        • 1. **引导置信度(SteerConf)**
      • 六、后验校准:基于反馈修正置信度
        • 1. **证据深度学习(EDL)与信息瓶颈**
      • 总结:置信度研究的三大趋势

一、校准方法:让模型概率更贴近真实正确性

1. 温度缩放(Temperature Scaling)
  • 论文:《On Calibration of Modern Neural Networks》(Guo et al., 2017)
    原理:LLM输出的概率分布常因模型过参数化而“过于尖锐”(高概率答案实际正确率低)。温度缩放通过调整Softmax函数的温度参数 T T T),软化概率分布,使概率值更符合实际正确性。公式为:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/news/915306.shtml
繁体地址,请注明出处:http://hk.pswp.cn/news/915306.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ICT测试原理之--什么是假短

ICT测试原理之–什么是假短 文章目录ICT测试原理之--什么是假短一、假短的由来防止假短二、无法检测的短路示例解决无法检测的短路调试短路文件调试意外断路调试意外短路三、调试假短报告短路和断路报告假短报告短路设备/引脚功能性短路测试功能性短路测试的语法一、假短的由来…

三种深度学习模型(LSTM、CNN-LSTM、贝叶斯优化的CNN-LSTM/BO-CNN-LSTM)对北半球光伏数据进行时间序列预测

代码功能 该代码实现了一个光伏发电量预测系统,采用三种深度学习模型(LSTM、CNN-LSTM、贝叶斯优化的CNN-LSTM)对北半球光伏数据进行时间序列预测,并通过多维度评估指标和可视化对比模型性能。 算法步骤 1. 数据预处理 数据导入&am…

Typecho+阿里云CDN完整配置:防止DDoS攻击与IP暴露

文章目录 Typecho使用阿里云CDN保护网站真实IP地址的完整指南 背景与问题分析 技术选型与方案设计 详细实施步骤 第一步:阿里云CDN基础配置 第二步:DNS解析设置 第三步:源站服务器防护配置 Nginx服务器配置 防火墙配置(以Ubuntu为例) 第四步:Typecho配置调整 高级防护措施…

[硬件]运算放大器对相位噪声的影响与设计提示

运算放大器对相位噪声的影响与设计提示 文章目录运算放大器对相位噪声的影响与设计提示运放影响位噪声的主要因素如何最小化运放对相位噪声的影响总结运算放大器是常用的模拟电路元器件,通常用于放大信号,增强驱动。但是当使用运放放大一个信号时&#x…

github jekyll+chirpy主题搭建博客

github jekyllchirpy主题搭建博客 标签:后端、blog、jekyll 全文链接 本文简要介绍了如何基于 GitHub Pages、Jekyll 及 Chirpy 主题搭建个人博客的流程和注意事项。 主要内容 GitHub Pages 站点简介 可免费搭建个人博客,支持自定义域名,适…

Flutter状态管理篇之ValueNotifier(三)

目录 前言 一、ValueNotifier 概述 二、ValueNotifier 的实现原理 1.类定义 1.类定义 2.关键字段 3.关键方法 1.构造函数 2.getter:value 3.setter:value: 4.toString 2.继承自ChangeNotifier的机制 3.ValueListenable 接口 三、ValueNotifier 的用法 1.基本用法…

Ubuntu togo 系统安装指南

制作一个 “Ubuntu To Go” 系统(也就是一个可以随身携带、在不同电脑上启动并拥有持久化存储的U盘系统)是解决你问题的完美方案。 这样一来,你就可以: 不改动你现有的电脑系统 (保留你的Ubuntu 20.04 或 Windows)。拥有一个完整…

Python爬虫实战:研究pefile库相关技术

一、引言 可执行文件(Portable Executable,PE)是 Windows 操作系统中最常见的文件格式,包括.exe、.dll、.sys 等多种类型。对 PE 文件的分析在软件逆向工程、恶意软件检测、系统安全研究等领域具有重要意义。传统的 PE 文件分析主要依赖手动操作和专业工具,效率较低且对分…

盟接之桥说制造:差异化定位与效率竞争的双轮驱动

在当今竞争日益激烈的商业环境中,企业如何在市场中脱颖而出,既避免陷入同质化的价格战,又能够通过效率提升实现可持续发展,是每一个经营者必须思考的问题。本文将围绕“差异化”与“效率竞争”两大核心战略展开分析,探…

Vue基础(前端教程①-路由)

项目结构src/├── router/│ └── index.js # 路由配置├── components/│ ├── Home.vue # 首页组件│ ├── About.vue # 关于页组件│ └── Contact.vue # 联系页组件├── App.vue # 根组件(含导航栏&…

驾驭 Spring Boot 事件机制:8 个内置事件 + 自定义扩展实战

驾驭 Spring Boot 事件机制:8 个内置事件 自定义扩展实战在 Spring Boot 应用的完整生命周期中,框架为我们预埋了 8 个关键事件(Application-level & Context-level)。 理解并善用这些事件,可以在“不侵入框架、…

【kafka4源码学习系列】kafka4总体架构介绍

二 kafka架构介绍学习一个系统之前很重要的一点就是先了解这个系统整体的架构,这能够使我们对整个系统有个总体的认识,清楚地知道这个系统有什么能力。这不仅帮助我们学习时快速定位到我们想要的内容,还能避免我们学习过程中在庞大的系统中迷…

java内存图

java内存图java文件运行流程程序的内存空间认识虚拟机栈程序的执行流程认识堆java的类与对象的关系java文件运行流程 有这样的一份 java 文件 在该目录下的终端运行 javac Hello.java 命令,会生成 Hello.class 文件,内容如下: Hello.java 打…

vscode编辑Markdown文件

一.安装Markdown的插件 vscode的扩展,搜索Markdown Preview Enhanced的插件,并安装。 其他的常用插件,还包括: Markdown All in One :提供了许多有用的功能,如快捷键支持、自动预览、TOC(目录&…

【PTA数据结构 | C语言版】查找树中带有指定数据的结点

本专栏持续输出数据结构题目集,欢迎订阅。 文章目录题目代码题目 请编写程序,创建有 4 个结点的树,然后查找给定的 x。 输入格式: 输入首先在第一行给出 4 个正整数,依次对应树的根结点、根的第 1、2、3 个孩子结点的…

PostgreSQL常用命令与工具指南

文章目录PostgreSQL常用命令与工具指南简介1. 连接与基本操作连接数据库环境变量设置(避免密码输入)常用元命令2. 数据库与表管理数据库操作创建数据库删除数据库修改数据库属性表操作创建表修改表结构删除表索引管理创建索引删除索引3. 数据操作(CRUD)插…

SpringBoot项目部署至云服务器

目录 一、后端项目部署 1、修改配置文件 2、清理打包缓存,打jar包(两种方式二选一) 自动打包 手动打包 打包成功状态 3、将jar包导入宿主机上 jar包位置 jar包上传 jar包运行 浏览器测试 二、前端代码 docker搭建nginx的基本步骤 打…

Agent-S:重新定义下一代 AI 智能体开发框架

Agent-S:重新定义下一代 AI 智能体开发框架 —— 探索 simular-ai 的开源革命 引言 2025 年,AI 智能体(Agent)技术正从概念走向产业核心。从自动化工作流到复杂决策系统,开发者亟需更高效的工具链。在这一背景下&am…

保持视频二维码不变,如何更新视频内容,节省物料印刷成本

保持视频二维码不变,如何更新视频内容,节省物料印刷成本? 视频替换功能,是指在保持视频二维码不变、视频观看地址不变、视频调用代码不变的情况下替换视频内容,从而节省用户印刷物料的成本,满足用户更新视…

flutter项目调试问题小结

背景 目标是用android studio flutter 跑hello world 下载 android studio 我下载的是2024.3.2.15版本 最新版下载首页就能下:下载 Android Studio 和应用工具 - Android 开发者 | Android Developers 历史版本可在归档列表下载:Android Studio…