速德贝斯数据质量管理解决方案
作者:管理员    发布于:2014-07-01 14:10:06    文字:【】【】【
摘要:质量事件、规则处理

1.背景

         数据仓库、BI应用要发挥好功能,需要有高质量的数据。同时,非数据仓库的数据库应用如财务、地理信息数据库也需要好的数据质量。

 

2. 面临的挑战

1)特定品牌的数据质量工具往往只适合于此品牌的数据仓库产品。然而,企业内的信息系统需要一个通用的、适应多系统(结构化、非结构化数据)的数据质量管理系统。

2)企业业务的不断改进优化,需要数据质量管理系统也是能个性化定制,随着业务的需求而改进。固化的数据质量管理系统往往无法满足企业内部标准和业务的发展需求,因此需要有灵活的数据导向的质量规则定义

3)等到进入数据仓库后发现质量问题往往意味着较大的修复成本。需要有质量事件驱动的实时质量监控,及时反馈给数据源头进行修改,以最小的代价保证数据质量。

 

3.功能点

3.1 元数据

1)对不满足质量标准的数据进行统计分析。如transaction code应该为T-XXXXX(T-五位数字),统计不满足标准的数据数量和大致情况。

2)对表之间的关系进行分析,防止数据修复引起级联误删。

3.2数据

1)定位数据缺失

2)除去重复数据

3)纠正数据不一致,属性补全

4)自定义的其他质量规则

4. 项目实施

         数据质量改进项目实施通常包含四个步骤:质量评估、质量设计、质量改进和数据处理、质量监控。

质量评估:搜集企业内容数据库、数据仓库的类型,表结构的定义。另外,进行数据的预导入。

质量设计:定义数据质量控制规则

质量改进和数据处理:对发现的数据质量问题进行处理和修复。

质量监控:定义质量监控事件,进行数据质量的实时监控

 

5 通常的质量规则

(1)       null

(2)       数据类型、长度、范围、精度不正确

(3)       数据格式不正确

(4)       数据依赖不正确

(5)       数据重复

 
版权所有 Copyright(C)2009-2018 速德贝斯科技有限公司  
keywords:CEP CEP