你有没有遇到过这种情况?
• 凌晨3点做报表,发现客户年龄显示"200岁"
• 月度复盘时,整个月的销售数据神秘消失
• 两个系统里同一个人性别显示"男"和"女"
这些让人抓头发的数据问题,本质都是「数据质量」不过关!
今天我们就来聊聊——数据质量评估到底是什么?怎么避坑?
什么是数据质量评估?
简单说,数据质量评估就是给数据做"体检",通过系统性的检查和衡量,判断数据是否符合国家标准和业务需求。
核心价值:精准识别数据缺陷,为后续清洗、优化提供方向,最终保障数据分析、决策支持的可靠性,以及系统运行的稳定性。
数据质量评估依据的国家标准:《GB/T36344-2018信息技术数据质量评价指标》
数据质量评估的强制要求
深圳市政务服务数据管理局发布的深政数[2022]136号文《深圳市政务信息化项目检测与验收管理办法》中明确提出,信息化项目验收材料需要包括数据质量评估报告。
数据质量的痛点
1、准确性不足
数据偏离真实值,常见表现:
▸数值错误(比如年龄填"200");
▸虚假记录(比如伪造的交易流水);
▸逻辑矛盾(比如订单金额为负数)。
2、完整性缺失
关键信息漏填漏录,典型场景:
▸用户表缺手机号/邮箱等必填字段;
▸销售数据漏录某月份完整记录;
▸订单未关联客户ID,无法追溯来源。
3、一致性差
跨系统/场景冲突,具体表现:
▸同一用户在A表性别显示"男",B表显示"女" ;
▸编码标准混乱(比如"1"和"已婚"混用);
▸格式不统一(日期存成"2023/10/1"和"2023-10-01")。
4、时效性弱
数据更新不及时,常见类型:
▸订单状态延迟几小时才同步到系统;
▸用户地址变更后,数据库未更新最新信息。
我们如何帮你检测数据质量?
数据质量评估流程:
1、准备阶段
阶段目标:明确“评估对象”、“对象概况”、“怎么评估”。
阶段流程:结合客户需求、项目概况,明确评估范围;采集目标数据;确认数据基本信息,包括行数、列数,字段含义等;制定数据质量评估方案。
2、预处理阶段
阶段目标:为后续评估提供准确数据源。
阶段流程:对数据进行清洗,剔除无评估价值数据;将分散的多表的数据进行集成关联,整合关联数据。
3、评估阶段
阶段目标:基于数据指标进行数据质量评估。
阶段流程:按标准逐项检测→记录问题细节→留存评估结果。
4、分析阶段
阶段目标:从数据问题表象定位项目薄弱环节。
阶段流程:从指标、维度、模块三个层面打分,并从项目层面定位薄弱环节。
5、项目交付
阶段目标:将评估结果可视化。
阶段流程:汇总评估结果+全程问题清单+可落地的改进建议,并形成检测报告。
当你的数据出现:
销售预测总偏差20%以上;
客户投诉"信息错误"占比超30%;
每月要花40+小时人工修正数据...
说明你的数据已经"癌细胞扩散"!
立即联系客服!获取数据健康扫描名额!
助力可持续发展 | CTI华测认证可持续发展与信息披露线上高峰论坛成功召开
2024年7月25日,华测认证有限公司(以下简称“CTI华测认证”)可持续发展与信息披露线上高峰论坛成功召开。本次论坛会议旨在帮助企业更好地理解和实施CDP(碳信息披露项目)、SBT(科学碳目标倡议)及ESG(环境、社会及治理)等国际标准。
2024-07-25 06:57:49
实用攻略|CDM项目参与方的撤销流程
2013年之后,欧洲碳市场对CDM项目需求的降低,CDM项目市场萎缩,不少CDM项目的参与方(PP)退出项目或者公司注销。2021年,CDM市场需求活跃,但部分CDM项目由于参与方(减排量购买方)注销无法联系,造成CDM项目业主方无法进行减排量签发和交割。本文介绍根据CDM规则项目业主撤销项目参与方的流程。
2022-01-07 01:41:12
标签上的这个信息,你标对了吗?
大家会发现在这些服饰鞋包品类标识的不合格点中,生产者或经销者的名称、地址这一项目一直有出现。也许大家会产生疑惑,这个项目本身是非常简单的,为什么会出现这么多的不合格呢?主要是由于大家对服饰鞋包品类标识的标准要求不是非常了解。
2021-10-14 17:38:28