论文阅读：PURPLE: Making a Large Language Model a Better SQL Writer

论文地址：PURPLE: Making a Large Language Model a Better SQL Writer

摘要

大语言模型（LLM）技术在自然语言到 SQL（NL2SQL）翻译中扮演着越来越重要的角色。通过大量语料训练的 LLM 具有强大的自然语言理解能力和基本的 SQL 生成能力，无需针对 NL2SQL 任务进行额外调优。现有的基于 LLM 的 NL2SQL 方法试图通过增强 LLM 对用户意图的理解来改进翻译。然而，LLM 有时会因缺乏组织复杂逻辑运算符组合的知识而无法生成合适的 SQL。一种有前景的方法是向 LLM 输入包含来自各种数据库的已知 NL2SQL 翻译示例，使 LLM 能够从输入示例中学习针对给定任务的运算符组合。在本文中，我们提出了 PURPLE（利用预训练模型检索逻辑增强提示），通过检索包含当前 NL2SQL 任务所需逻辑运算符组合的示例来提高准确性，从而引导 LLM 生成更好的 SQL 翻译。PURPLE 在流行的 NL2SQL 基准测试 Spider 的验证集上实现了新的最先进性能，精确集合匹配准确率为 80.5%，执行匹配准确率为 87.8%。PURPLE 在不同的基准测试、预算约束和各种 LLM 中保持高精度，显示出鲁棒性和成本效益。

论文总结

本文提出了 PURPLE，一种新颖的基于 LLM 的 NL2SQL 方法，通过示例选择提高翻译精度。PURPLE 通过四级自动机对运算符组合知识进行建模，并设计了相关的自动机构建和匹配策略用于示例选择。模式修剪和骨架预测辅助这一选择过程，数据库适配模块则用于稳定输出并缓解幻觉问题。PURPLE 成功地为 LLM 提供了 SQL 运算符组合知识，在四个流行的基准测试中实现了可靠的性能。我们还评估了 PURPLE 的鲁棒性和 LLM 选择的影响。未来的一个有前途的研究方向是开发基于生成的提示方法。虽然 PURPLE 有效地检索现有示例来构建提示，但这种基于检索的策略受到可用示例池的固有限制。使用 PLM 直接生成提示是一种潜在的更灵活的方法。这一方法可以提供一种更通用和直观的提示创建方式。然而，基于生成的方法的主要挑战在于微调 PLM 以有效地生成优化的提示。尽管在先前的研究中使用强化学习进行提示优化已经取得了一些成功，但专门针对提示生成微调 PLM 仍然存在困难。以现有示例为基础，如 PURPLE，可能是未来开发更先进的基于生成的提示方法的宝贵起点。

一、设计方法、内容、原理

PURPLE 的核心目标是通过向 LLM 提供包含特定逻辑运算符组合的示例，提升其在 NL2SQL 任务中的 SQL 生成能力，尤其是在复杂逻辑处理上的准确性。其设计方法围绕四个关键模块展开，结合了模式修剪、骨架预测、示例选择和数据库适配，形成了一个完整的流程来优化 LLM 的输出。以下是各模块的详细内容和原理：

1. 模式修剪（Schema Pruning）

目标：精简数据库模式，去除与当前查询无关的表和列，缩短输入长度并降低 LLM 处理复杂度。

  • 步骤：
    • 相关性分类：使用 微调的 T5 分类器，预测每个表 / 列与 NL 查询的相关性概率，设置阈值 τp​=0.5 筛选高概率项。
    • 斯坦纳树建模：将保留的表构建为 图结构（节点为表，边为外键关联），通过 斯坦纳树算法 确保保留的表形成 连通子图，避免遗漏通过外键关联的隐含相关表。
    • 列修剪：对每个保留的表，保留概率高于 τp​ 的列及主键，确保最少保留 τn​=5 列以维持表语义。
  • 效果：减少输入长度约 30%–50%，同时通过冗余边界策略保证召回率，避免关键信息丢失。
2. 骨架预测（Skeleton Prediction）

目标：生成 SQL 的逻辑结构骨架，屏蔽具体数据库元素（如表名、列名），聚焦 逻辑运算符组合（如 JOIN、WHERE、EXCEPT 的顺序）。

  • 步骤：
    • 骨架生成：使用 T5-3B 模型 微调为骨架生成器，输入修剪后的模式和 NL 查询，输出 SQL 骨架（如 SELECT _ FROM _ EXCEPT SELECT _ FROM _ JOIN _ ON _ = _ WHERE _ = _）。
    • 波束搜索：采用 Top-3 波束搜索 生成多个骨架候选，增加逻辑组合的多样性，提升后续示例匹配的召回率。
  • 原理：骨架通过 占位符 抽象具体数据，仅保留运算符顺序和结构，帮助 LLM 学习复杂逻辑的组织方式。
3. 示例选择（Demonstration Selection）

目标：根据预测的 SQL 骨架，从训练数据中检索包含 匹配逻辑运算符组合 的示例，构建提示以引导 LLM 生成正确 SQL。

  • 核心方法：四级自动机建模
    将 SQL 骨架抽象为 4 层自动机状态，从低到高逐步屏蔽细节，增强泛化能力：
    • 细节级（Detail-Level）：保留表 / 列占位符（如 SELECT _ FROM TABLE1 JOIN TABLE2 ON _ = _）。
    • 关键字级（Keywords-Level）：仅保留 SQL 关键字（如 SELECT FROM JOIN ON WHERE）。
    • 结构级（Structure-Level）：将具体运算符泛化为类别（如 <CMP> 代表比较运算符，<IUE> 代表集合运算符 EXCEPT/UNION 等）。
    • 子句级（Clause-Level）：仅保留主句子结构（如 SELECT FROM [子句] JOIN [子句]）。
  • 匹配策略：
    • 优先匹配 低抽象层次（更精确）和 高预测概率 的骨架，逐步提升泛化等级（如从细节级到子句级）以覆盖预测误差。
    • 使用 自动机状态序列匹配 检索示例，结合 Top-k 骨架候选 和 多抽象层次，平衡精度与覆盖范围。
4. 数据库适配（Database Adaption）

目标：修复 LLM 生成的 SQL 中与具体数据库模式或语法不兼容的错误（如幻觉表名、语法错误）。

  • 错误类型及处理：
    • 表列不匹配：通过模式映射修正列所属表（如将错误的 T2.title 改为正确的 T1.title）。
    • 列歧义：为同名列随机分配表别名，确保唯一性。
    • 缺失表：根据外键关系补全 FROM 子句中遗漏的表。
    • 函数幻觉：移除数据库不支持的函数（如 SQLite 不支持的CONCAT）。
    • 模式幻觉：用编辑距离最小的现有列 / 表替换虚构元素。
    • 聚合幻觉：拆分非法的多列聚合（如COUNT(DISTINCT A, B) 拆分为两个独立计数）。
  • 执行一致性策略：生成多个 SQL 候选，通过数据库执行结果投票选择一致结果，减少随机错误。

二、数据集

论文主要使用以下 4 个 NL2SQL 基准数据集 进行实验，均基于跨领域（Cross-Domain）场景设计：

1. Spider
  • 规模：包含 200 个数据库（平均每个数据库含多个表）和 10,181 条自然语言 - SQL 对，其中训练集 8,659 条，验证集 1,034 条。
  • 特点：主流 NL2SQL 基准，要求处理复杂多表关联查询，侧重评估跨领域泛化能力。
  • 用途：作为主基准，验证模型在标准场景下的性能。
2. Spider-DK
  • 规模：基于 Spider 验证集的 领域知识增强版本，包含 535 条查询，涉及 10 个数据库。
  • 特点：引入 领域特定知识（如专业术语、隐含逻辑），测试模型对未显式提及的数据库模式的理解能力。
3. Spider-SYN
  • 规模：1,034 条查询，20 个数据库（与 Spider 验证集同规模）。
  • 特点：通过 同义词替换 修改原始 NL 查询（如 “电影”→“影片”），挑战模型对词汇变体的鲁棒性，避免依赖字面匹配。
4. Spider-Realistic
  • 规模：508 条查询，20 个数据库。
  • 特点：模拟真实场景，NL 查询中 省略显式列名引用（如用 “价格” 指代数据库中的 “price” 列），要求模型通过语义推断映射到正确的数据库模式。

三、实验设计

论文选取了 两类主流方法 作为对照组，全面评估 PURPLE 的性能：

1. 基于大语言模型（LLM）的方法
  • 零样本（Zero-shot）：
    • C3：通过手工设计指令引导 LLM 生成 SQL，使用 ChatGPT/GPT4 作为后端。
    • ChatGPT-SQL：直接测试 ChatGPT 的零样本 NL2SQL 能力，无任何示例输入。
    • Zero-shot (GPT4)：纯指令驱动的 GPT4 零样本方法。
  • 少样本（Few-shot）：
    • DIN-SQL：采用 “思维链”（CoT）策略，通过分解问题步骤提升复杂查询生成能力，使用 GPT4。
    • DAIL-SQL：基于 NL 查询和 SQL 的相似度选择示例，结合 GPT4 的少样本学习。
    • Few-shot (GPT4)：随机选取少量示例的基线少样本方法，使用 GPT4。
2. 基于预训练语言模型（PLM）的方法
  • PICARD：通过增量解析约束自回归解码，基于 T5 模型。
  • RESDSQL：解耦模式链接和骨架解析，基于 T5 的排序模型。
  • RASAT/Graphix-T5：引入图神经网络增强模式表示的 PLM 方法。

四、实验评价指标

论文采用 3 个核心指标 评估 NL2SQL 翻译质量，覆盖语法、语义和鲁棒性：

1. 精确集合匹配（Exact-Set Match, EM）
  • 定义：比较生成 SQL 与标准答案的组件级等价性（如 SELECT 列、JOIN 条件、WHERE 子句等），要求结构完全一致。
  • 特点：严格评估语法和逻辑正确性，避免执行匹配的 “假阳性” 问题（不同 SQL 可能产生相同结果但语义不同）。
2. 执行匹配（Execution Match, EX）
  • 定义：在数据库中执行生成的 SQL，对比结果集与标准答案的一致性。
  • 特点：反映实际执行效果，但可能掩盖语义错误（如使用NOT IN替代EXCEPT导致结果相同但逻辑不同）。
3. 测试套件匹配（Test-Suite Match, TS）
  • 定义：使用蒸馏数据库（通过随机抽样生成的小数据集，覆盖多种语义场景）执行 SQL，验证结果的语义正确性。
  • 特点：比 EX 更严格，能区分逻辑相近但语义不同的查询（如EXCEPT与NOT IN的去重差异）。

五、关键实验结论

  • PURPLE vs 对照组：在 Spider 验证集上，PURPLE（GPT4）实现80.5% EM和87.8% EX，远超 DAIL-SQL（68.7% EM, 83.6% EX）和 RESDSQL（80.5% EM，PLM 最高）。
  • 泛化能力：在 Spider-DK（领域知识）、Spider-SYN（同义词替换）等变种数据集上，PURPLE 的 EM 比 C3 高 22% 以上，显示更强鲁棒性。
  • 成本效率：PURPLE 在输入长度 2048 tokens 时已接近最优性能，而 DIN-SQL/GPT4 需 10,000 tokens，体现更高性价比。

六、论文动机和创新点

问题创新解决方案
LLM 缺乏逻辑运算符组合知识四级自动机建模逻辑结构，通过示例检索传递组合模式
输入长度限制与泛化需求骨架预测 + 分层抽象（从细节到子句级），压缩知识表示
示例选择与任务逻辑不匹配基于骨架和自动机状态的示例检索策略，而非单纯语义 / 语法相似度
生成 SQL 与具体数据库不兼容数据库适配模块修复幻觉错误，结合执行一致性策略

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.pswp.cn/news/906906.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【图像大模型】ControlNet：深度条件控制的生成模型架构解析

【图像大模型】ControlNet：深度条件控制的生成模型架构解析

ControlNet&#xff1a;深度条件控制的生成模型架构解析 一、核心原理与技术突破1.1 基础架构设计1.2 零卷积初始化1.3 多条件控制机制 二、系统架构与实现细节2.1 完整处理流程2.2 性能指标对比 三、实战部署指南3.1 环境配置3.2 基础推理代码3.3 高级控制参数 四、典型问题解…
阅读更多...
【从0到1搞懂大模型】chatGPT 中的对齐优化（RLHF）讲解与实战（9）

【从0到1搞懂大模型】chatGPT 中的对齐优化（RLHF）讲解与实战（9）

GPT系列模型的演进 chatgpt系列模型演进的重要节点包含下面几个模型&#xff08;当然&#xff0c;这两年模型发展太快了&#xff0c;4o这些推理模型我就先不写了&#xff09; (Transformer) → GPT-1 → GPT-2 → GPT-3 → InstructGPT/ChatGPT(GPT-3.5) → GPT-4 下面介绍一…
阅读更多...
2025年AEI SCI1区TOP，改进麻雀搜索算法MSSA+建筑三维重建，深度解析+性能实测

2025年AEI SCI1区TOP，改进麻雀搜索算法MSSA+建筑三维重建，深度解析+性能实测

目录 1.摘要2.麻雀搜索算法SSA原理3.整体框架4.改进SSA算法5.结果展示6.参考文献7.代码获取8.读者交流 1.摘要 对现有建筑进行高质量的三维重建对于其维护、修复和管理至关重要。图像采集中的有效视角规划会显著影响基于摄影测量的三维重建质量。复杂的建筑结构常常导致传统视…
阅读更多...
鸿蒙开发：如何实现列表吸顶

鸿蒙开发：如何实现列表吸顶

前言 本文基于Api13 列表吸顶功能&#xff0c;在实际的开发中有着很大的作用&#xff0c;比如可以让列表层级之间更加分明&#xff0c;减少一定程度上的视觉混乱&#xff0c;由于吸顶的标题会随着滚动固定在顶部&#xff0c;可以让用户无需反复滑动回顶部确认分组位置&#xff…
阅读更多...
使用Zotero的RSS订阅功能快速了解感兴趣领域最新文章

使用Zotero的RSS订阅功能快速了解感兴趣领域最新文章

文章目录 写在前面中文期刊的RSS订阅英文期刊的RSS订阅回到Zotero有啥用&#xff1f; 写在前面 作为一名研究生或者科研工作者&#xff0c;肯定需要经常检索自己研究领域的最新文献&#xff0c;相比于不定期的去各大数据库检索文献&#xff0c;借助RSS订阅功能则更加便捷。 R…
阅读更多...
Windows安装Docker Desktop开启 Kubenetes制作并部署本地镜像

Windows安装Docker Desktop开启 Kubenetes制作并部署本地镜像

1、安装Docker Desktop docker desktop官方下载链接&#xff0c;下载后一路点下来安装就好了。 2、制作本地镜像 跟着docker步骤制作镜像&#xff0c;需要先配置docker 镜像源&#xff0c;因为网络问题 {"builder": {"gc": {"defaultKeepStorage&…
阅读更多...
嵌入式学习笔记 - freeRTOS 列表，链表，节点跟任务之间关系

嵌入式学习笔记 - freeRTOS 列表，链表，节点跟任务之间关系

一 下图说明了 freeRTOS 就绪列表&#xff0c;链表&#xff0c;节点跟任务之间关系 一个任务对应一个节点&#xff0c;一个链表对应一个优先级&#xff0c;一个任务根据优先级可以插入任何一个链表中。 插入函数为&#xff0c;这也是freeRTOS的核心函数&#xff0c;对每个任务…
阅读更多...
scikit-learn pytorch transformers 区别与联系

scikit-learn pytorch transformers 区别与联系

以下是 scikit-learn、PyTorch 和 Transformers 的区别与联系的表格形式展示： 特性/库scikit-learnPyTorchTransformers主要用途传统机器学习算法深度学习框架预训练语言模型与自然语言处理任务核心功能分类、回归、聚类、降维、模型选择等张量计算、自动微分、神经网络构建与…
阅读更多...
【C/C++】从零开始掌握Kafka

【C/C++】从零开始掌握Kafka

文章目录 从零开始掌握Kafka一、Kafka 基础知识理解&#xff08;理论&#xff09;1. 核心组件与架构2. 重点概念解析 二、Kafka 面试重点知识梳理三、C 使用 Kafka 的实践&#xff08;librdkafka&#xff09;1. librdkafka 简介2. 安装 librdkafka 四、实战&#xff1a;高吞吐生…
阅读更多...
Spyglass：目标文件(.spq)的结构

Spyglass：目标文件(.spq)的结构

相关阅读 Spyglasshttps://blog.csdn.net/weixin_45791458/category_12828934.html?spm1001.2014.3001.5482 预备知识 为了方便检查&#xff0c;Spyglass向用户提供Guideware作为检查参考&#xff1b;Guideware又包含各种方法(Methodology)&#xff0c;应用于设计的不同阶段&…
阅读更多...
一些Dify聊天系统组件流程图架构图

一些Dify聊天系统组件流程图架构图

分享一些有助于深入理解Dify聊天模块的架构图 整体组件架构图 #mermaid-svg-0e2XalGLqrRbH1Jy {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-0e2XalGLqrRbH1Jy .error-icon{fill:#552222;}#mermaid-svg-0e2XalGLq…
阅读更多...
地理空间索引：解锁日志分析中的位置智慧

地理空间索引：解锁日志分析中的位置智慧

title: 地理空间索引：解锁日志分析中的位置智慧 date: 2025/05/24 18:43:06 updated: 2025/05/24 18:43:06 author: cmdragon excerpt: 地理空间索引在日志分析中应用广泛，涉及用户登录IP定位、移动端位置轨迹和物联网设备位置上报等场景。MongoDB支持2dsphere和2d两种地理…
阅读更多...
分库分表深度解析

分库分表深度解析

一、为什么要分库分表&#xff1f; 通常&#xff0c;数据库性能受到如下几个限制&#xff1a; 硬件瓶颈&#xff1a;单机的 CPU、内存、磁盘 I/O 等资源总是有限。例如&#xff0c;当单表中的记录达到上亿、甚至更高时&#xff0c;表扫描、索引维护和数据迁移会变得非常慢。单…
阅读更多...
QListWidget的函数,信号介绍

QListWidget的函数,信号介绍

前言 Qt版本:6.8.0 该类用于列表模型/视图 QListWidgetItem函数介绍 作用 QListWidget是Qt框架中用于管理可交互列表项的核心组件&#xff0c;主要作用包括&#xff1a; 列表项管理 支持动态添加/删除项&#xff1a;addItem(), takeItem()批量操作&#xff1a;addItems()…
阅读更多...
ModbusRTU转profibusDP网关与RAC400通讯报文解析

ModbusRTU转profibusDP网关与RAC400通讯报文解析

ModbusRTU转profibusDP网关与RAC400通讯报文解析 在工业自动化领域&#xff0c;ModbusRTU和ProfibusDP是两种常见的通信协议。ModbusRTU以其简单、可靠、易于实现等特点&#xff0c;广泛应用于各种工业设备之间的通信&#xff1b;而ProfibusDP则是一种高性能的现场总线标准&am…
阅读更多...
Python容器

Python容器

一、容器 1. 列表【】&#xff1a;有序可重复可混装可修改 [元素1&#xff0c;元素2&#xff0c;元素3&#xff0c;...] • 可以容纳多个元素 • 可以容纳不同类型的元素&#xff08;混装&#xff09; • 数据是有序存储的&#xff08;有下标序号&#xff09; • 允许重复数…
阅读更多...
webpack面试问题

webpack面试问题

一、核心概念 Webpack的构建流程是什么？ 答案： 初始化：读取配置，创建Compiler对象编译：从入口文件开始，递归分析依赖关系，生成依赖图模块处理：调用Loader转换模块（如babel-loader）输出：将处理后的模块组合成Chunk，生成最终文件Loader和Plugin的区别？ Loader：文件…
阅读更多...
uniapp-商城-66-shop（2-品牌信息显示，数据库读取的异步操作 放到vuex actions）

uniapp-商城-66-shop（2-品牌信息显示，数据库读取的异步操作 放到vuex actions）

完成页面的显示&#xff0c;但是还需要进行修改&#xff0c;这里涉及到修改中的信息同步显示。也会涉及到数据的读取&#xff0c;修改和同步。 本文介绍了如何使用Vuex管理品牌数据&#xff0c;实现数据的同步显示和修改。主要内容包括&#xff1a;1.将获取品牌数据的异步操作封…
阅读更多...
使用Pyinstaller打包python，全过程解析【2025最详细】

使用Pyinstaller打包python，全过程解析【2025最详细】

一、如何使用 Pyinstaller 打包 Python 程序 1.打开终端 右键点击文件夹空白处&#xff0c;选择 打开于 > 打开终端 2.安装 pyinstaller 在打开的终端中&#xff0c;输入命令【pip install pyinstaller】 使用 Python 包管理工具 pip 来安装 Pyinstaller。等待安装过程结…
阅读更多...
GPU加速Kubernetes集群助力音视频转码与AI工作负载扩展

GPU加速Kubernetes集群助力音视频转码与AI工作负载扩展

容器编排与GPU计算的结合&#xff0c;为追求性能优化的企业开辟了战略转型的新路径 基于GPU的托管Kubernetes集群不仅是技术选择&#xff0c;更是彻底改变企业处理高负载任务的战略部署方式。 随着人工智能和机器学习项目激增、实时数据处理需求的剧增&#xff0c;以及高性能媒…
阅读更多...
最新文章

Copyright @ 2022~2023