1 前言

  本篇博客主要总结一下博主看过的人工智能领域的一些前沿论文，期待与大家一起进行交流探讨，列表中有超链接的是已经进行了精读的完整笔记，没有超链接的是进行了泛读的论文，博主会快马加鞭进行更新滴！请耐心等待博主嘿嘿，有什么比较好的论文也欢迎大家推荐给我啦，和大家一起学习共同进步！

2 大模型/自然语言处理

2.1 FreeAL：在大模型时代实现无需人工的主动学习

• 论文题目：FreeAL: Towards Human-Free Active Learning in the Era of Large Language Models
• 发表情况：2023-EMNLP
• 主要内容：

  传统主动学习（AL）高度依赖人工筛选数据量大的未标注样本并进行标注，导致应用成本高昂且效率低下，难以适应大语言模型（LLM）时代的需求。

  本文提出 FreeAL 框架，旨在完全消除人工参与。其核心创新在于利用LLM自身能力代替人工完成AL的两个关键步骤：

  （1）自动样本选择：设计基于“自信度-不确定性”的评估框架，利用LLM预测的置信度和不确定性自动识别高价值样本；

  （2）自动标注：直接使用LLM为选出的样本生成伪标签。

  在文本分类任务上的实验表明，FreeAL 仅依赖LLM进行样本选择与标注，其性能即可接近需要人工参与的经典AL方法。这显著降低了AL的应用门槛和成本，为实现全自动化、可扩展的主动学习提供了有效路径。

2.2 COLD：中文攻击性语言检测基准

• 论文题目：COLD: A Benchmark for Chinese Offensive Language Detection
• 发表情况：2022-EMNLP
• 主要内容：

  中文攻击性语言（如辱骂、仇恨言论）的检测缺乏高质量、细粒度的公开基准，现有数据集存在标注不一致、场景覆盖窄、缺乏上下文理解等问题，制约了中文内容安全技术的发展。本文提出首个综合性中文攻击性语言检测基准 COLD，核心创新包括：多维度标注体系、上下文增强设计、多任务评估框架。

2.3 将词汇的对比信息融入词嵌入以实现反义词-同义词区分

• 论文题目：Integrating distributional lexical contrast into word embeddings for antonym synonym
• 发表情况：2016-ACL
• 主要内容：

  传统词嵌入模型主要依赖上下文分布相似性建模词义，导致同义词（synonym）与反义词（antonym） 在向量空间中距离相近（如"热"与"冷"余弦相似度高），无法有效区分语义对立关系，制约了词义敏感型任务（如情感分析、文本推理）的性能。

  本文提出一种融合分布词汇对比的词嵌入框架，核心创新包括：

  （1）对比信号提取：基于语料库统计，量化词对间的分布对比强度（如共现模式差异）；

  （2）对比感知训练：将对比强度作为约束项融入损失函数，强制反义词对在向量空间中相互排斥，同时保持同义词对聚集。

  在标准语义评测集及下游任务验证中表明，同义词识别性能保持稳定，未因对比约束而下降。

2.4 LogRAG：基于检索增强生成的半监督日志异常检测

• 论文题目：LogRAG: Semi-Supervised Log-based Anomaly Detection with Retrieval-Augmented Generation
• 发表情况：2024-ICWS
• 主要内容：

  现有日志异常检测方法面临两大瓶颈：

  （1）严重依赖标注数据，而工业场景中异常样本稀缺且标注成本高昂；

  （2）难以泛化到未知异常模式，传统模型对未见过的故障类型检测能力骤降。

  本文提出 LogRAG，首个融合检索增强生成（RAG）的半监督日志分析框架，包含下面三个部分：

  （1）日志检索器：从历史未标注日志中动态检索相似序列，构建上下文知识库；

  （2）生成式检测器：基于LLM解码器，融合检索到的上下文与实时日志流，生成异常分数与根因解释；

  （3）半监督训练：仅需少量标注样本，通过对比学习对齐正常/异常模式表示。

  实验结果表明，本文提出的模型较纯监督模型在低标注场景下有一定提升，显著增强泛化性，同时生成式框架同步输出人类可读的根因分析，助力运维决策。

2.5 RankRAG：基于大模型的上下文排序与检索增强生成的统一框架

• 论文题目：RankRAG：Unifying Context Ranking with Retrieval-Augmented Generation in LLMs
• 发表情况：2024-NeurIPS
• 主要内容：

  现有检索增强生成（RAG）系统存在关键缺陷：检索模块与生成模块优化目标割裂，导致检索结果与生成需求错配（如返回冗余或低相关性上下文），严重制约大语言模型（LLM）的知识利用效率与答案准确性。

  本文提出 RankRAG，首创端到端可训练的检索-排序-生成统一框架，主要如下：

  （1）可调上下文排序器：基于LLM隐状态动态评估检索段落与生成任务的相关性，替代传统不可微检索；

  （2）生成导向联合训练：通过任务感知损失函数同步优化排序质量（提升关键段落权重）与生成准确性（利用精排上下文），实现两模块深度协同。

  实验结果表明，RankRAG超越了所有的基线模型，并且各个组件也都有一定的效果，为高效可信的LLM知识增强提供新范式。

2.6 解耦大语言模型中的记忆与推理能力

• 论文题目：Disentangling Memory and Reasoning Ability in Large Language Models
• 发表情况：2025-ACL
• 主要内容：

  当前大语言模型（LLM）将事实记忆与逻辑推理能力耦合于同一参数网络，导致两大缺陷：

  （1）知识更新需全模型微调，时效性差且成本高昂；

  （2）推理过程受记忆干扰，易产生事实性幻觉（如混淆相似概念）。

  本文提出双路径解耦架构，对问答数据集所有应答句进行记忆/推理分类，并添加可学习的控制标记<memory>或<reason>。这种机制强制模型显式执行知识检索（记忆阶段）与逻辑推演（推理阶段），通过结构化引导规避混合处理导致的知识遗忘与幻觉风险，为构建可维护、高可靠的LLM提供新范式。

3 搜索/推荐/营销

3.1 PLE：一种面向个性化推荐的新型多任务学习模型

• 论文题目：Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personalized Recommendations
• 发表情况：2020-RecSys
• 主要内容：

  本文针对个性化推荐系统中多任务学习（MTL）普遍存在的任务冲突和负迁移问题，提出了创新模型PLE。传统共享底层参数的MTL模型在处理任务相关性差异大的复杂场景时效果受限。PLE的核心创新在于设计了一种分层专家结构，明确分离出共享专家层（用于提取跨任务共性知识）和任务专属专家层（用于学习任务特定知识），从根源上减少参数冲突。同时，PLE引入了渐进式提取机制，在更高层级通过门控网络动态、渐进地融合底层共享专家和任务专属专家提取的信息，优化知识迁移路径。

  实验证明，在腾讯视频推荐等实际工业场景中，PLE显著优于如YouTube、MMoE等主流基线模型，特别是在任务差异大的情况下，有效提升了点击率（CTR）和观看时长等关键指标，成功缓解了负迁移问题，为构建高效鲁棒的工业级推荐系统提供了强有力的多任务学习解决方案。

3.2 MMoE：多任务学习中的任务关系建模

• 论文题目：Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
• 发表情况：2018-SIGKDD
• 主要内容：

  传统多任务学习（MTL）采用硬参数共享机制，所有任务强制共享底层网络。当任务间相关性低或存在冲突时，易导致负迁移（任务相互干扰）和性能下降，制约模型在复杂场景（如推荐系统）的应用。

  本文提出 MMoE（Multi-gate Mixture-of-Experts） 模型，核心创新为：(1) 混合专家层（MoE）：构建多组独立专家网络（Expert），提取差异化特征；(2) 多门控机制（Multi-gate）：为每个任务设计独立门控网络（Gating Network），动态学习专家组合权重，实现任务自适应知识共享。

  最后在真实数据集（如大规模内容推荐）上验证，MMoE显著优于共享底层模型，成功缓解负迁移问题，为工业级多任务学习提供了高效解决方案。

3.3 SLMRec：将大语言模型蒸馏至小型序列化推荐模型

• 论文题目：SLMRec：Distilling Large Language Models into Small for Sequential Recommendation
• 发表情况：2025-ICLR
• 主要内容：

  生成式大语言模型（LLM）虽在序列化推荐任务中表现优异，但参数量庞大、推理延迟高，难以部署至资源受限场景（如移动端）。传统蒸馏方法直接压缩LLM，但会丢失其关键的序列模式建模能力，导致推荐效果显著下降。

  本文提出 SLMRec，首创面向序列推荐的层级化蒸馏框架，主要如下：

  （1）行为模式蒸馏：通过对比学习对齐教师LLM与学生小模型的序列表示空间，保留用户行为转移规律；

  （2）偏好逻辑蒸馏：设计多监督感知策略，强制学生模型学习教师LLM对"下一交互项预测"的细粒度偏好逻辑（如商品关联性、时序依赖）。

  实验结果表明，在训练效率上，相比原始LLMRec，训练速度提升6.6倍（NVIDIA A100）；在推理性能上，服务响应速度提升8.0倍；在模型压缩上，参数量减少87%的同时，在Amazon数据集上略有提升，因此为轻量级高精度推荐系统提供新范式。

3.4 基于分层树搜索的大语言模型用户终身行为建模

• 论文题目：Hierarchical Tree Search-based User Lifelong Behavior Modeling on Large Language Model
• 发表情况：2025-SIGIR
• 主要内容：

  现有大语言模型（LLM）处理用户终身行为序列（如电商/社交平台多年交互记录）时面临两大瓶颈：

  （1）长序列建模低效：超长行为数据（>10,000项）超出LLM上下文窗口，直接截断丢失关键历史信息；

  （2）行为模式挖掘粗粒化：传统方法难以动态识别跨时间尺度的细粒度兴趣演化（如短期冲动购买 vs. 长期品牌忠诚）。

  本文提出基于层次树搜索的用户终身行为建模框架（HiT-LBM）该框架整合了分块用户行为提取（CUBE）和层次树搜索兴趣（HTS）两个模块，以捕捉用户的多样化兴趣及其演变过程，为超长用户行为建模提供新范式。

4 机器学习

4.1

5 深度学习

5.1 LogAnomaly：非结构化日志中序列异常与数值异常的无监督检测

• 论文题目：LogAnomaly: Unsupervised Detection of Sequential and Quantitative Anomalies in Unstructured Logs
• 发表情况：2019-IJCAI
• 主要内容：

  工业系统日志普遍存在非结构化特性（如文本描述+动态参数），传统异常检测方法难以同时捕捉日志序列模式异常（如流程违规）和参数数值异常（如超阈值波动），且依赖人工标注或预定义规则，扩展性差。

  本文提出首个无监督双流检测框架LogAnomaly，创新如下：

  （1）语义序列建模：通过语言模型提取日志模板的语义特征，学习正常执行序列模式；

  （2）数值模式建模：设计定量模板 动态解析日志参数，统计关键数值分布（如请求延迟、错误码频次）；

  （3）联合预测任务：融合语义与数值特征进行序列预测，偏差超阈值即判为异常。

  在BGL、HDFS等开源数据集上进行实验验证，均超过了现有的日志异常检测方法，并有效降低了误报率，为工业运维提供高效的日志监控方案。