【数据治理】要点整理-信息技术数据质量评价指标-GB/T36344-2018

导读:指标为数据质量评估提供了一套系统化、标准化的框架,涵盖规范性、完整性、准确性、一致性、时效性、可访问性六大核心指标,助力组织提升数据处理效率、支持决策制定及业务流程优化,确保数据在数据生存周期各阶段的质量可控。

目录

1、数据质量指标说明

2、数据质量评价表模板实例

3、数据质量评价过程 


1、数据质量指标说明


2、数据质量评价表模板实例

序号评价指标评价维度评价规则案例说明评价结果问题描述改进建议
1规范性数据标准符合性数据是否符合国家标准、行业标准或企业规定的数据格式、编码规则等。身份证号字段需符合GB 11643-1999标准,某记录身份证号为“12345678901234567X”(校验位正确)。 合格保持校验规则,定期抽查数据。
2数据模型符合性数据是否符合数据模型定义,如字段类型、长度、约束等。客户姓名字段定义为VARCHAR(50),某记录姓名为“张三”(长度符合)。 合格确保数据录入时字段类型与模型一致。
3元数据一致性数据是否与元数据描述一致,如取值范围、业务含义等。元数据定义“性别”字段取值范围为“男”“女”,某记录值为“男”。 合格定期更新元数据,确保与实际数据一致。
4完整性数据元素完整性必填字段是否均有值,无缺失。订单记录中商品ID字段为必填,某记录商品ID为“P001”(无缺失)。 合格设置必填校验,录入时提示补全。
5记录完整性数据集中是否包含所有应存在的记录。某日应生成100条订单记录,实际生成100条(无缺失)。 合格建立数据完整性监控机制,定期核对记录数。
6准确性数据内容正确性数据值是否准确反映实际对象。账户余额应为1000元,某记录余额为1000元(准确)。 合格通过与权威数据源比对,确保数据准确。
7空值率关键字段空值率是否在可接受范围内。某字段空值率应低于5%,实际空值率为2%(符合要求)。 合格监控空值率,对高空值率字段进行清洗或补全。
8一致性数据逻辑一致性数据间逻辑关系是否一致,如库存与订单数量匹配。库存100件,某订单商品数量为50件(库存充足)。 合格建立数据一致性校验规则,实时同步数据。
9数据冲突检查数据是否与其他上下文数据无矛盾。CRM系统中商品名称为“手机”,ERP系统中为“智能手机”(需统一)。 不合格商品名称不一致统一数据命名规范,建立数据映射关系。
10时效性数据更新延迟数据更新是否及时,如包裹状态更新。包裹签收后,系统状态应在2小时内更新(实际延迟1小时)。 合格设置超时提醒,优化数据更新流程。
11数据时效性影响数据时效性是否影响决策或业务。实时库存数据支持快速补货决策(无影响)。 合格确保关键数据实时更新,支持业务决策。
12可访问性数据可访问率数据接口成功率是否达标。某数据接口成功率应达99%,实际为99.5%(达标)。 合格监控接口性能,优化服务器资源。
13访问权限管理数据访问权限是否合理设置。敏感数据仅授权人员可访问(已设置)。 合格定期审计访问权限,确保数据安全。

3、数据质量评价过程 

环节具体内容实例说明作用
与职责分工明确组织架构与职责分工 成成立由数据管理员、业务部门(销售、客服、物流)代表、数据分析师组成的数据质量管理团队。数据管理员主导规则制定与执行监督;业务部门提供业务视角的数据需求和使用反馈;数据分析师负责数据质量评估与分析明确各部门在数据质量管理中的职责和分工,为后续工作提供组织保障
规范标准制定数据相关规范标准1. 数据格式规范:规定商品编号为 8 位数字,客户姓名不超过 20 个字符且支持中英文,订单日期格式为“YYYY - MM - DD”统一数据标准,避免因数据格式、录入方式等不一致导致的数据质量问题
2. 数据录入规范:客服录入客户电话需为 11 位数字,地址详细到门牌号
3. 数据存储规范:交易数据存于关系型数据库特定表,用户数据按用户 ID 分区存储
确定评价指标确定衡量数据质量的指标1. 完整性:订单关键字段(商品 ID、客户 ID、订单金额)完整率 ≥ 99%提供量化标准,用于准确评估数据质量状况
2. 准确性:商品价格误差 ≤ ±1%,客户地址准确率 ≥ 95%
3. 一致性:商城前端与后台库存数据误差 ≤ 1%
4. 时效性:订单状态更新时间 ≤ 实际变更后 1 小时
实施评价执行数据质量评估并反馈1. 定期检查:每周抽样检查订单关键字段完整性并统计完整率及时发现数据质量问题,形成持续改进机制
2. 实时监控:利用工具实时监测商品价格,超误差范围即报警
3. 数据比对:每日定时比对商城前后台库存数据,记录不一致情况
4. 循环反馈:发现问题反馈给相关部门整改,整改后重新评估
数据质量提升采取措施提升数据质量1. 问题修复:通过与业务系统日志和财务数据比对,补全缺失订单金额解决已发现的数据质量问题,提高整体数据质量水平
2. 流程优化:优化客服录入客户地址界面,增加自动联想和校验功能
3. 培训教育:组织客服参加数据录入规范培训,强调正确录入的重要性
数据交付使用将数据投入业务使用并持续监控1. 数据交付:把高质量数据提供给业务部门,如营销部门用准确客户数据开展精准营销,物流部门用完整订单数据安排配送让数据发挥实际价值,支持企业决策和业务运营,保障数据质量持续稳定
2. 持续监控:在数据使用过程中持续监测质量,确保满足业务需求

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.pswp.cn/bicheng/83111.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

前端实现图片压缩:基于 HTML5 File API 与 Canvas 的完整方案

在 Web 开发中,处理用户上传的图片时,前端压缩可以有效减少服务器压力并提升上传效率。本文将详细讲解如何通过<input type="file">实现图片上传,结合 Canvas 实现图片压缩,并实时展示压缩前后的图片预览和文件大小对比。 一、核心功能架构 我们将实现以…

通信算法之280:无人机侦测模块知识框架思维导图

1. 无人机侦测模块知识框架思维导图, 见文末章节。 2. OFDM参数估计,基于循环自相关特性。 3. 无人机其它参数估计

单片机寄存器的四种主要类型!

1. 控制寄存器&#xff08;Control Registers&#xff09;​​ ​​专业定义​​&#xff1a;用于配置硬件行为或触发操作的寄存器。 ​​大白话​​&#xff1a; 相当于设备的​​“控制面板”​​&#xff0c;通过写入特定值来​​开关功能​​或​​调整参数​​。例如&am…

第100+41步 ChatGPT学习:R语言实现误判病例分析

本期是《第33步 机器学习分类实战&#xff1a;误判病例分析》的R版本。 尝试使用Deepseek-R1来试试写代码&#xff0c;效果还不错。 下面上R语言代码&#xff0c;以Xgboost为例&#xff1a; # 加载必要的库 library(caret) library(pROC) library(ggplot2) library(xgboost)…

HTML Day04

Day04 0.引言1. HTML字符实体2. HTML表单2.1 表单标签2.2 表单示例 3. HTML框架4. HTML颜色4.1 16进制表示法4.2 rgba表示法4.3 名称表达法 5. HTML脚本 0.引言 刚刚回顾了前面几篇博客&#xff0c;感觉写的内容倒是很详细&#xff0c;每个知识点都做了说明。但是感觉在知识组织…

comfyui 工作流中 视频长度和哪些参数有关? 生成15秒的视频,再加上RTX4060 8G显卡,尝试一下

想再消费级显卡上生成15秒长视频&#xff0c;还是比较慢的&#xff0c;不过动漫的画质要求比较低 在ComfyUI中生成15秒视频需综合考虑视频参数配置、模型选择和硬件优化&#xff0c;尤其针对RTX 4060 8G显存的限制。 ⏱️ 一、影响视频长度的核心参数 总帧数&#xff08;video_…

Netty 实战篇:构建高性能聊天服务器

在前两篇文章中&#xff0c;我们深入探讨了 Netty 的 IO 模型以及其核心组件的工作原理。本篇文章将通过一个实际的聊天服务器示例&#xff0c;展示如何使用 Netty 构建高性能的网络应用。 一、项目结构 项目主要包含以下几个部分&#xff1a; ChatServer&#xff1a;服务器启…

智绅科技——科技赋能健康养老,构建智慧晚年新生态

当老龄化浪潮与数字技术深度碰撞&#xff0c;智绅科技以 “科技赋能健康&#xff0c;智慧守护晚年” 为核心理念&#xff0c;锚定数字健康与养老服务赛道&#xff0c;通过人工智能、物联网、大数据等技术集成&#xff0c;为亚健康群体与中老年人群构建 “监测 - 预防 - 辅助 - …

Tkinter软件——显示txt标签的目标水平边框图像

代码&#xff1a; import tkinter as tk from tkinter import filedialog from tkinter import messagebox import cv2 from PIL import Image, ImageTk import osclass ImageBoxApp:def __init__(self, master):self.master masterself.master.title("Image Box Drawer…

Linux 文件覆盖机制与实践:以 mv 命令为切入点

引言&#xff1a;文件覆盖的本质 文件覆盖是 Linux 文件系统中常见的操作&#xff0c;指的是在目标路径已存在文件的情况下&#xff0c;将源文件的内容写入目标文件&#xff0c;导致目标文件的原有内容被替换。在 Linux 中&#xff0c;文件覆盖通常通过命令行工具&#xff08;…

学习路之PHP--easyswoole操作数据库

学习路之PHP--easyswoole操作数据库 0、安装orm插件一、创建数据库二、创建模型三、控制器显示四、效果五、问题 0、安装orm插件 composer require easyswoole/orm一、创建数据库 表&#xff1a; CREATE TABLE cases (id int(11) NOT NULL AUTO_INCREMENT COMMENT 主键,titl…

手写multi-head Self-Attention,各个算子详细注释版

文章目录 MultiHeadAttentionFormal的实现操作详解1. &#x1f50d; attention_mask2. &#x1f50d; matmul✅ 其他实现方式1. 使用 运算符&#xff08;推荐简洁写法&#xff09;2. 使用 torch.einsum()&#xff08;爱因斯坦求和约定&#xff09;3. 使用 torch.bmm()&#xf…

尚硅谷redis7 41-46 redis持久化之AOF异常恢复演示

AOF每一秒钟写入一次。当内容才写了一小半,没有写完整时&#xff0c;突然,redis挂了,导致aof文件错误。 故意乱写正常的AOF文件,模拟网络闪断文件写error 重启 Redis 之后就会进行AOF文件的载入,发现启动都失败 首先cd /usr/local/bin 异常修复命令:redis-check-aof -- fix 进…

004时装购物系统技术解析:构建智能时尚消费平台

时装购物系统技术解析&#xff1a;构建智能时尚消费平台 在电商行业蓬勃发展的当下&#xff0c;时装购物系统凭借其便捷性与多样性&#xff0c;成为消费者选购时尚单品的重要渠道。该系统通过商品信息、订单管理等核心模块&#xff0c;结合前台展示与后台录入功能&#xff0c;…

数据湖 (特点+与数据仓库和数据沼泽的对比讲解)

数据湖就像一个“数据水库”&#xff0c;把企业所有原始数据&#xff08;结构化的表格、半结构化的日志、非结构化的图片/视频&#xff09;原样存储&#xff0c;供后续按需分析。 对比传统数据仓库&#xff1a; 数据仓库数据湖数据清洗后的结构化数据&#xff08;如Excel表格&…

深度剖析Node.js的原理及事件方式

早些年就接触过Node.js&#xff0c;当时对于这个连接前后端框架就感到很特别。尤其是以独特的异步阻塞特性&#xff0c;重塑了了服务器端编程的范式。后来陆陆续续做了不少项目&#xff0c;通过实践对它或多或少增强了不少理解。今天&#xff0c;我试着将从将从原理层剖析其运行…

【AI预测】5月30日尼克斯大战前瞻:东部黑马能否再下一城?

&#x1f3c0; 随着赛季进入白热化阶段&#xff0c;5月30日尼克斯的这场比赛注定焦点十足。作为东部近年来少有的“黑马型”球队&#xff0c;尼克斯用硬朗的防守和团队配合让人重新认识了这支老牌劲旅。 这篇文章&#xff0c;我们将从数据模型球员表现战术执行力三个维度&…

人工智能赋能基础教育个性化学习的理论建构与实践探索

一、引言 1.1 研究背景与意义 随着科技的飞速发展&#xff0c;人工智能&#xff08;Artificial Intelligence&#xff0c;AI&#xff09;已逐渐成为推动社会进步的重要力量。在教育领域&#xff0c;人工智能的应用正逐步改变传统的教学模式&#xff0c;为个性化学习提供了新…

历年四川大学计算机保研上机真题

2025四川大学计算机保研上机真题 2024四川大学计算机保研上机真题 2023四川大学计算机保研上机真题 在线测评链接&#xff1a;https://pgcode.cn/school 分数求和 题目描述 有一分数序列&#xff1a; 2 / 1 2/1 2/1, 3 / 2 3/2 3/2, 5 / 3 5/3 5/3, 8 / 5 8/5 8/5, 13 /…

正点原子Z15I ZYNQ 开发板发布!板载PCIe2.0、SPFx2、MIPI CSI等接口,资料丰富!

正点原子Z15I ZYNQ 开发板发布&#xff01;板载PCIe2.0、SPFx2、MIPI CSI等接口&#xff0c;资料丰富&#xff01; 正点原子Z15I ZYNQ开发板&#xff0c;核心板全工业级设计&#xff0c;主控芯片的型号是XC7Z015CLG485-2I。开发板由核心板&#xff0b;底板组成&#xff0c;外设…