嵌入式分析利器:DuckDB与SqlSugar实战

一、DuckDB 的核心特性与适用场景

DuckDB 是一款 嵌入式分析型数据库(OLAP) ,专为高效查询设计,主要特点包括:

  1. 列式存储与向量化引擎
  • 数据按列存储,提升聚合统计效率(如 SUM/AVG),减少 I/O 开销 。
  • 向量化处理支持批量数据操作,显著加速分析查询 。
  1. 轻量级与嵌入式部署
  • 无需独立服务器,以单文件(如 train_services.db)形式运行,类似 SQLite 。
  • 跨平台支持(Windows/Linux/macOS),压缩后仅约 8MB 。
  1. 兼容性与扩展性
  • 支持标准 SQL 语法 ,兼容 Pandas/R/Python 等工具 。
  • 可直接读取 CSV、JSON、Parquet 等文件,支持远程文件(HTTP/S3)。
  1. 适用场景
  • 实时数据分析、本地数据科学计算、嵌入式应用(如 IoT 设备)。
  • 替代传统 OLAP 的轻量级解决方案,降低部署成本 。

二、SqlSugar 集成 DuckDB 的步骤

  1. 环境准备
    安装 NuGet 包:
Install-Package SqlSugarCore
Install-Package SqlSugar.DuckDBCore
  1. 初始化数据库连接
// 注册 DuckDB DLL(避免运行时缺失)
InstanceFactory.CustomAssemblies = new[] {typeof(SqlSugar.DuckDB.DuckDBProvider).Assembly 
};var db = new SqlSugarClient(new ConnectionConfig() {DbType = DbType.DuckDB,                  // 指定数据库类型ConnectionString = "DataSource=train_services.db", // 数据库文件路径IsAutoCloseConnection = true,            // 自动释放连接LanguageType = LanguageType.Default       // 语言类型
}, it => {// SQL 日志输出(调试用)it.Aop.OnLogExecuting = (sql, para) => {Console.WriteLine(UtilMethods.GetNativeSql(sql, para));};
});

关键参数解析:

  • ConnectionString:支持内存模式(:memory:)或文件路径 。
  • IsAutoCloseConnection=true:避免手动管理连接生命周期 。
  • DLL 注册必要性:DuckDB 依赖原生库,需显式加载程序集防止运行时错误 。

三、CodeFirst 初始化表结构

通过实体类映射自动创建表:

// 创建数据库(若不存在)
db.DbMaintenance.CreateDatabase(); // 根据实体类生成表
db.CodeFirst.InitTables<UserInfo001>(); // 差异处理:当实体类与表结构不一致时
db.CodeFirst.InitTables<UserInfo002>(); 

实体类定义规范:

[SugarTable("UserInfo001")] // 指定表名
public class UserInfo001 {[SugarColumn(IsPrimaryKey = true, IsIdentity = true)] // 主键且自增public int UserId { get; set; }[SugarColumn(Length = 50)] // 字段长度限制public string UserName { get; set; }public string Email { get; set; }public decimal Price { get; set; }public DateTime RegistrationDate { get; set; }
}

注意事项:

  • InitTables 自动同步实体属性与表字段 。
  • 字段差异处理:通过 [SugarColumn] 配置数据类型、长度、主键等 。

四、CRUD 操作实现

  1. 插入数据
var id = db.Insertable(new UserInfo001() {UserName = "admin",Email = "dfafa@qq.com",Price = 1.1m,Context = "Context",RegistrationDate = DateTime.Now
}).ExecuteReturnIdentity(); // 返回自增主键值
  1. 查询数据
// 按主键查询
var userInfo = db.Queryable<UserInfo001>().InSingle(id); // 条件查询
var list = db.Queryable<UserInfo001>().Where(u => u.Price > 10).ToList();
  1. 更新数据
userInfo.Email = "updated@qq.com";
db.Updateable(userInfo).ExecuteCommand(); 
  1. 删除数据
db.Deleteable<UserInfo001>().Where(u => u.UserId == id).ExecuteCommand();

性能优化:

  • 批量操作使用 db.Fastest().BulkCopy() 提升海量数据写入效率 。
  • DuckDB 的向量化引擎加速复杂查询 。

五、常见问题解决方案

  1. DLL 加载失败
  • 使用工具(如金山毒霸 DLL 修复)自动修复 。
  • 手动注册:regsvr32 “C:\Path\To\SqlSugar.dll”(管理员权限)。
  1. 表结构同步异常
  • 检查实体类属性与数据库类型的匹配(如 decimal 对应 DECIMAL)。
  • 通过 db.Ado.GetDataTable(“SELECT …”) 验证表结构 。
  1. 连接配置错误
  • 确保 DbType = DbType.DuckDB,文件路径权限正确 。
  • 内存模式路径设为 “:memory:” 。

六、最佳实践建议

  1. 适用场景选择
  • DuckDB 适合 本地分析型任务(如数据清洗、报表生成),高并发事务场景建议用 SQLite/MySQL。
  1. 性能调优
  • 启用 DuckDB 的 列式压缩 减少存储 。
  • 使用 db.Ado.CommandTimeOut=30 设置查询超时 。
  1. 扩展性
  • 通过 MotherDuck 扩展至云端,实现混合查询 。
  • 集成 Apache Arrow 实现零拷贝数据交换 。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.pswp.cn/pingmian/83592.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

React---day6、7

6、组件之间进行数据传递 **6.1 父传子&#xff1a;**props传递属性 父组件&#xff1a; <div><ChildCpn name"蒋乙菥" age"18" height"1,88" /> </div>子组件&#xff1a; export class ChildCpn extends React.Component…

Windows上用FFmpeg采集摄像头推流 → MediaMTX服务器转发流 → WSL2上拉流播放

1. Windows上 FFmpeg 推流&#xff08;摄像头采集&#xff09; 设备名称可用 ffmpeg -list_devices true -f dshow -i dummy 查询&#xff0c;假设为Integrated Camera 采集推流示例&#xff08;推RTMP到MediaMTX&#xff09;&#xff1a; ffmpeg -rtbufsize 100M -f dshow …

SpringBoot1--简单体验

1 Helloworld 打开&#xff1a;https://start.spring.io/ 选择maven配置。增加SpringWeb的依赖。 Generate之后解压&#xff0c;代码大致如下&#xff1a; hpDESKTOP-430500P:~/springboot2/demo$ tree ├── HELP.md ├── mvnw ├── mvnw.cmd ├── pom.xml └── s…

MATLAB 中调整超参数的系统性方法

在深度学习中&#xff0c;超参数调整是提升模型性能的关键环节。以下是 MATLAB 中调整超参数的系统性方法&#xff0c;涵盖核心参数、优化策略及实战案例&#xff1a; 一、关键超参数及其影响 超参数作用典型范围学习率 (Learning Rate)控制参数更新步长&#xff0c;影响收敛…

根目录0xa0属性对应的Ntfs!_SCB中的FileObject是什么时候被建立的----NTFS源代码分析--重要

根目录0xa0属性对应的Ntfs!_SCB中的FileObject是什么时候被建立的 第一部分&#xff1a; 0: kd> g Breakpoint 9 hit Ntfs!ReadIndexBuffer: f7173886 55 push ebp 0: kd> kc # 00 Ntfs!ReadIndexBuffer 01 Ntfs!FindFirstIndexEntry 02 Ntfs!NtfsUpda…

(二)stm32使用4g模块(移远ec800k)连接mqtt

下面代码是随手写的&#xff0c;没有严谨测试仅供参考测试 uint8_t msgBuf[200]{"msg from mcu"}; uint8_t txBuf[250]{0}; uint16_t msgid0; uint16_t mqttTaskState0; uint16_t t100msCount0; uint8_t sendFlag10; uint8_t sendFlag20; void t100msTask1(void) { …

哈希表入门:用 C 语言实现简单哈希表(开放寻址法解决冲突)

目录 一、引言 二、代码结构与核心概念解析 1. 数据结构定义 2. 初始化函数 initList 3. 哈希函数 hash 4. 插入函数 put&#xff08;核心逻辑&#xff09; 开放寻址法详解&#xff1a; 三、主函数验证与运行结果 1. 测试逻辑 2. 运行结果分析 四、完整代码 五、优…

Windows下运行Redis并设置为开机自启的服务

下载Redis-Windows 点击redis-windows-7.4.0下载链接下载Redis 解压之后得到如下文件 右键install_redis.cmd文件&#xff0c;选择在记事本中编辑。 将这里改为redis.windows.conf后保存&#xff0c;退出记事本&#xff0c;右键后选择以管理员身份运行。 在任务管理器中能够…

2025年ESWA SCI1区TOP,改进成吉思汗鲨鱼算法MGKSO+肝癌疾病预测,深度解析+性能实测

目录 1.摘要2.成吉思汗鲨鱼优化算法GKSO原理3.MGKSO4.结果展示5.参考文献6.代码获取7.算法辅导应用定制读者交流 1.摘要 本文针对肝癌&#xff08;HCC&#xff09;早期诊断难题&#xff0c;提出了一种基于改进成吉思汗鲨鱼优化算法&#xff08;MGKSO&#xff09;的计算机辅助诊…

李沐-动手学深度学习:RNN

1.RNN从零开始实现 import math import torch from torch import nn from torch.nn import functional as F from d2l import torch as d2l#8.3.4节 #batch_size&#xff1a;每个小批量中子序列样本的数目&#xff0c;num_steps&#xff1a;每个子序列中预定义的时间步数 #loa…

【C++ Qt】多元素控件(ListWidget、TableWidget、TreeWidget)

每日激励&#xff1a;“不设限和自我肯定的心态&#xff1a;I can do all things。 — Stephen Curry” 绪论​&#xff1a; 本章将通过代码示例详细介绍了Qt中QListWidget、QTableWidget和QTreeWidget三种多元素控件的使用方法与核心功能&#xff0c;涵盖列表的增删操作、表格…

基于TI DSP控制的光伏逆变器最大功率跟踪mppt

基于TI DSP&#xff08;如TMS320F28335&#xff09;控制的光伏逆变器最大功率跟踪&#xff08;MPPT&#xff09;程序通常涉及以下几个关键部分&#xff1a;硬件电路设计、MPPT算法实现、以及DSP的编程。以下是基于TI DSP的光伏逆变器MPPT程序的一个示例&#xff0c;主要采用扰动…

Python实现P-PSO优化算法优化卷积神经网络CNN回归模型项目实战

说明&#xff1a;这是一个机器学习实战项目&#xff08;附带数据代码文档&#xff09;&#xff0c;如需数据代码文档可以直接到文章最后关注获取。 1.项目背景 随着人工智能和深度学习技术的快速发展&#xff0c;卷积神经网络&#xff08;CNN&#xff09;在图像分类、目标检测…

计算机视觉入门:OpenCV与YOLO目标检测

计算机视觉入门&#xff1a;OpenCV与YOLO目标检测 系统化学习人工智能网站&#xff08;收藏&#xff09;&#xff1a;https://www.captainbed.cn/flu 文章目录 计算机视觉入门&#xff1a;OpenCV与YOLO目标检测摘要引言技术原理对比1. OpenCV&#xff1a;传统图像处理与机器学…

【PCB工艺】绘制原理图 + PCB设计大纲:最小核心板STM32F103ZET6

绘制原理图和PCB布线之间的联系,在绘制原理图的时候,考虑到后续的PCB设计+嵌入式软件代码的业务逻辑,需要在绘制原理图之初涉及到 硬件设计流程的前期规划。在嵌入式系统开发中,原理图设计是整个项目的基础,直接影响到后续的: PCB 布线效率和质量 ☆☆☆重点嵌入式软件的…

Centos系统搭建主备DNS服务

目录 一、主DNS服务器配置 1.安装 BIND 软件包 2.配置主配置文件 3.创建正向区域文件 4.创建区域数据文件 5.检查配置语法并重启服务 二、从DNS服务配置 1.安装 BIND 软件包 2.配置主配置文件 3.创建缓存目录 4.启动并设置开机自启 一、主DNS服务器配置 1.安装 BIN…

LeetCode[513]找树左下角的值

思路&#xff1a; 找树左下角的值&#xff0c;有可能这个值不是左叶子节点&#xff0c;可能是右叶子节点&#xff0c;但怎么说这个值都是叶子节点&#xff0c;首先这道题用层序遍历的思路比如什么队列和BSF的递归都可以做&#xff0c;但我比较喜欢用纯递归来搞&#xff0c;因为…

ubuntu20.04.5--arm64版上使用node集成java

ubuntu20.04.5arm上使用node集成java #ssh&#xff0c;可选 sudo apt update sudo apt install openssh-server sudo systemctl status ssh sudo systemctl enable ssh sudo systemctl enable --now ssh #防火墙相关&#xff0c;可选 sudo ufw allow ssh sudo ufw allow 22…

更新 Docker 容器中的某一个文件

&#x1f504; 如何更新 Docker 容器中的某一个文件 以下是几种在 Docker 中更新单个文件的常用方法&#xff0c;适用于不同场景。 ✅ 方法一&#xff1a;使用 docker cp 拷贝文件到容器中&#xff08;最简单&#xff09; &#x1f9f0; 命令格式&#xff1a; docker cp <…

JavaEE->多线程:定时器

定时器 约定一个时间&#xff0c;时间到了&#xff0c;执行某个代码逻辑&#xff08;进行网络通信时常见&#xff09; 客户端给服务器发送请求 之后就需要等待 服务器的响应&#xff0c;客户端不可能无限的等&#xff0c;需要一个最大的期限。这里“等待的最大时间”可以用定时…