语义熵怎么增强LLM自信心的
一、传统Token熵的问题（先理解“痛点”）
比如模型回答“阿司匹林是否治疗头痛？”→ 输出“是”
- 传统Token熵：只看“词的概率”，比如“是”这个词的概率特别高（Token熵0.2，数值低说明确定性强 ）。
- 但实际风险：医学场景里，“是”的字面肯定，不代表语义上绝对正确（比如阿司匹林能缓解头痛，但有禁忌症、不能随便用 ）。传统Token熵没考虑语义层面的“模糊性、风险”，可能输出看着确定，实际语义上漏洞大。
二、语义熵的核心逻辑（解决什么问题？）
语义熵想干的事：不只看“选了哪个词”，更看“语义是否严谨、有没有隐藏风险”。
- 怎么做？→ 用“核函数”算词之间的语义相似性（比如“缓解”“治疗”“止痛”在语义上是相关的 ），再构建一个“语义密度”的概率分布（类似：哪些语义是模型实际想表达的？有多集中？）。
- 公式简化理解：
)
