ODS层设计规范
命名规范
一.表命名规范表命名规则:
{层次}{源系统表名}{保留位/delta与否}。
- 增量数据:{project_name}.s{源系统表名}delta。
- 全量数据:{project_name}.s{源系统表名}。
- ODS ETL过程的临时表:{project_name}.tmp{临时表所在过程的输出表}{从0开始的序号}。
- 按小时同步的增量表:{project_name}.s{源系统表名}{delta}_{hh}。
- 按小时同步的全量表:{project_name}.s{源系统表名}{hh}。
- 当不同源系统同步到同一个Project下的表命名冲突时,您需要给同步较晚的表名加上源系统的dbname以解决冲突。
二.字段命名规范
- 字段默认使用源系统的字段名。
- 同步任务命名规范
- 任务名:{源系统表名}[delta]。
说明:同一Project下异库同名表的任务名为{源系统表名}{tddl的appname}[_delta]。 - 任务的输出名称,即输出表的名称,需要与数据存储及生命周期管理规范保持一致。
数据质量规范
- 每个ODS全量表必须配置唯一性字段标识。
- 每个ODS全量表必须有注释。
- 每个ODS全量表必须监控分区空数据。
- 建议对重要表的重要枚举类型字段进行枚举值变化及枚举值分布监控。
- 建议对ODS表的数据量及数据记录数设置周同环比监控,如果周同环比无变化,表示源系统已迁移或下线。
作者:liuyang 创建时间:2023-09-20 11:32
最后编辑:liuyang 更新时间:2023-10-23 13:28
最后编辑:liuyang 更新时间:2023-10-23 13:28