物联网软件开发公司数据处分尺度秩序（文档）

栏目分类

热点资讯

物联网软件开发公司数据处分尺度秩序（文档）

物联网软件开发公司幽默小品：有教无类，“铁公鸡”，礼多东谈

物联网软件开发公司 1977年回家相亲，被女方嫌弃，我提干后

物联网app开发中信建投周君芝：这次会议瑰丽着中央加杠杆，

物联网软件开发公司网上买的稻种种下后迟迟不结穗志愿者多方

你的位置：定做一个物联网软件的费用 > 物联网app开发 > 物联网软件开发公司数据处分尺度秩序（文档）

物联网app开发

物联网软件开发公司数据处分尺度秩序（文档）

发布日期：2024-11-05 07:17 点击次数：166

注：里面尊府，低调使用，限时删除，仅供学习交流。见谅咱们，星标置顶，可以过资源与福利。

文末赢得原文档

1 小序

1.1

概述

除名数据尺度秩序条件，联结名堂推行情况，制定稳妥名堂数据特

征及大数据愚弄条件的照看及艳羡体系，确保大数据的活泼可用性，稳妥改日数

据扩展、海量数据增长及大数据发展的趋势，为名堂数据资源的连通、分享、交

互打好基础。本文是名堂数据模子的定名，计算和照看秩序。

1.2

文档地点

 先容主题模子定名秩序

 先容主题模子数据类型界说秩序

 先容主题模子布局秩序

 先容主题模子精通及版块照看秩序

1.3

适用读者

名堂的参与成员，包括名堂参与东谈主员、客户参与东谈主员、协调伙伴等但愿了解

本名堂主题模子的东谈主员可以参考本文档。

2 术语和界说

 STG：stage，数据缓冲区。

 ODS：operational data store，数据尺度化层。

 DWD：data warehouse detail，数据仓库明细层。

 DWS：data warehouse subject，数据仓库主题层。

 ADM：analysis data market，数据专题层。

第51分钟，恩佐-费尔南德斯推射，梅西在禁区前沿碰了一下皮球入网。

制约中国青少年足球发展的问题是什么？如何破解中国足球青训的诸多难题？为了寻找答案，记者在北京足球青训领域进行了调研式采访。

3 计算地点

3.1

业务地点

将基础数据动作一个大家干事，为用户提供大家数据干事援助，匡助数据应

用擢升赢得数据的后果，裁汰数据加工的深度和复杂度；擢升各个产物和愚弄间

数据的一致性。主要包括以下几方面的内容：

 将业务系统数据同步插足到 ODPS，建筑和谐、一致、唯独的 ODS 数据

层

 已矣通用模子层（DWD、DWS）逻辑的加工和改革。

3.2

时代地点

在昂扬业务地点的同期，在数据模子计算上，要点见谅以下地点：

1、本钱：模子计算者必须均衡性能和本钱成分对数据模子的影响，尤其是

海量数据情况下，在保险业务和性能的前提下，应该使用合理的数据模子决策和

存储策略，尽量排斥不必要的数据复制和冗余。

2、性能：模子计算者需要兼顾模子刷新性能支拨、产出时辰和看望性能。

3、数据一致性和数据互通：各个数据模子大略数据表之间保险数据输出的

一致性，交流粒度的交流数据项（方针、维度）具有交流的字段称呼和业务形色，

不同算法的业务方针应显性化区分。

4、数据质地：数据模子需要屏蔽起源垃圾数据源，一方面要保险数据自己

的高质地，减少数据缺失、不实、相等等情况发生；另一方面需要保险其对应的

业务元数据的高质地，数据有明确的业务含义，为数据使用者提供正确的指点。

5、易用：在保险以上地点的前提下，数据用户能从业务角度开赴快速找到

所需的数据；能较快的掌捏模子的适用场景和使用方法；能相对方便赢得数据。

关联词，在地点出现冲破时，在通用数据模子并不透顶承载用户使用数据的易用性

地点条件，数据消耗产物和数据愚弄可以擢升数据使用的易用性。

4 计算原则

 大家处理逻辑下千里及单一：越是底层公用的处理逻辑更应该在数据改革

依赖的底层进行封装与已矣，不要让大家的处理逻辑表示给愚弄层已矣，

不要让大家逻辑在多处同期存在。

 数据可追思性：处理逻辑不变，在不同时代屡次运行数据罢了笃定不变。

 一致性：交流的字段在不同表字段名交流。

 定名明晰可贯穿：表定名秩序需明晰、一致，表名需易于下贱贯穿和使

用。

 本钱与性能均衡：符合的数据冗余换取查询和刷新性能，不宜过度冗余

与数据复制。

5 数据分层

数据分为 5 层，每层的作用如下：



DWD 层（整合数据资源库）：DWD 层按业务过程和业务对象整合数据，

并把数据表按一定如东谈主口、法东谈主、办件、策略等数据域进行分类存放。

 ADM 层（愚弄资源库）

:将数据按照分析的专题组织成多为宽表的相貌存

放，数据主要起头于 DWD 和 DWS 层

6 模子计算秩序

6.1

STG 层模子计算秩序

6.1.1表定名秩序

STG 层表定名秩序：stg_{业务库名}_{业务库原始表名}。

6.1.2数据存储及生命周期照看秩序

数据表类型

软件开发

增量表

存储方式

按日分区

最长保存策略

100 天6.1.3字段集定名秩序

字段默许使用源系统字段称呼,字段名与 maxcompute 要津字冲破时处理规定：

加一个”_col”后缀，即：源字段名_col。

6.2

ODS 层模子计算秩序

6.2.1 表计算秩序

ODS 层数据对 STG 层数据进行数据全/增量合并以及数据清洗和尺度化动作，

ODS 层有两类数据表：

1、保持原始样式的全量数据表，主若是用于溯源，按照业务主键对 STG 表

数据与前一天 ODS 清洗全量数据进行合并去重。

2、清洗和代码尺度化，代码称呼字段延迟后的尺度基础数据表，尺度化动

作：

 尺度代码改革，按行业代码界说尺度，对源系统代码进行改革，源系统

代码字段及尺度代码字段均保留，弗成改革成尺度代码的代码值在尺度

代码项内保存成未知值。

 代码值扩展，对常用代码，将代码对应的称呼字段扩展到表内。

 字符样式改革，进行全半角改革，null/none/空字符串和谐瞥换为 null，

字段中部分特定字段的计帐。



时辰尺度化，延迟按 datatime 类型的时辰字段。

 身份证样式尺度化，和谐样式化为 18 位长度的身份证。

如果部份表的改革或清洗动作较多，为能溯源，可单独保留和 STG 表一致

的原始表模子。

6.2.2 表定名秩序

尺度表：ods_{业务库简写象征}_{业务库原始表名}[_分区象征]。

原始表：ods_{单元简称}_{业务库简写象征 }_{业务库原始表名 } [_分区标

识][_ys]。针对溯源场景使用。

6.2.3 数据存储及生命周期照看秩序

数据表类型

全量表

增量表

存储方式

按日分区

最长保存策略

100/30/15 天

长期/7200 天

凭据存储本钱及数据价值的需要动态休养生命周期。运行阶段保险数据的溯

源排错，使用较长的生命周期存储策略，熟习阶段和清爽阶段就可以使用较短的

生命周期存储策略。

6.2.4 字段集定名秩序

1、字段默许使用源系统字段称呼，即 stg 层字段定名。

2、有进行代码改革的字段，新增尺度代码字段在原代码字段基础上增多 c_

前缀。

3、扩展增多的代码称呼属性字段在原数据项称呼的基础上加上 mc 后缀。

4、尺度样式化后延迟的日历字段，在原字段基础上加上_dt 后缀。

6.3

DWD 层模子计算秩序

6.3.1 表计算秩序

（一）数据准入

政府数据起头于多个渠谈，各渠谈提供的数据中，有许多相同性的数据存在，

举例民政局的东谈主口基本信息、社保局的东谈主口基本信息、卫计委的东谈主口基本信息等。

这些相同的数据会带来使用本钱，因为每个使用者皆需要处理两份数据，况且对

于这两份数据处理的逻辑也会存在各异。数据整合的方针，是为了更好的建筑统

一的数据视角来形色归并个事实，方便下贱数据使用。

政府数据具有丰富性的特色，如东谈主的基本信息、造就信息、社保信息、违纪

信息、健康信息；企业的注册信息、筹划信息、征税信息、变更信息、处罚信息。

这些信息皆洒落在各个部门，把这些信息集聚起来，提供和谐的数据视图，准确

客不雅的形色城市照看中的各个主体，亦然本层需要达到的地点。数据准入原则如下：

1) 基于 ODS 层，明确哪些数据动作主数据，哪些数据动作补凑数据，并建

立主数据与补凑数据的干系。

2) 去除关于莫得明确属性分解的信息表。

3) 去除数据质地差，数据缺失严重，无东谈主艳羡的死数据。

（二）表结构计算

按照除名事实，同期兼顾中性分享和活泼可扩展的原则，对数据进行分类合

并。

1) 建树 DWD 结构时，概述商量需要合并的数据表，取舍具有业务含义和业

务用途的属性，放入 DWD 中。

2) 使用代理键动作数据纪录的唯独象征。

3) 纪录中保留数据起头系统和数据起头表信息，方便溯源。

（三）数据更新

1) 关于总体在千万级数据量的数据，所少见据每天生成一个全量分区。

2) 关于大于千万级数据量的数据，逐日增量按照业务日历放入一个新的分

区。

3) 按照业务日历作念数据分区

4) 关于起源提供的历史数据，需要凭据业务日历索求所波及的分区，然后

把权衡分区数据和历史数据合并，再行凭据业务日历建筑动态分区，覆

盖原有分区。

5) delta 表保留：关于需要获胜同步到 ADM 的增量数据，物联网软件开发公司在 DWD 层数据处

理中，需要计算成长期表来保留增量数据，特意用于同步增量数据到 ADM，

减少同步本钱。

6.3.2 表定名秩序

dwd_｛数据域｝_<数据子域>[_数据形色][_分区象征]

数据域联结行业训诲如按照东谈主口、法东谈主、信用、策略、地舆空间等等鉴别数

据域，将数据按所属业务类别进行模子构建，数据子域是按对象及业务过程对数

据域进行进一步细分。举例：dwd_rk_jy_xsxjxx_df

 dwd：代表数据模子脉络

 rkxx：代表东谈主口信息域

 jy: 代表造就子域

 xsxjxx：业务形色，示例暗意：学生学籍信息

 df：代表逐日全量分区

6.3.3 数据存储及生命周期照看秩序

数据表类型

全量表

增量表

delta 表

存储方式

按日分区

最长保存策略

100/30/15 天

长期/7200 天

100 天

凭据存储本钱及数据价值的需要动态休养生命周期。运行阶段保险数据的溯

源排错，使用较长的生命周期存储策略，熟习阶段和清爽阶段就可以使用较短的

生命周期存储策略。

6.3.4 字段集定名秩序

字段定名选定汉字拼音首字母定名。示举例下：姓名：xm；性别：xb，如遇

到冲破情况时，举例杭州：hz，护照：hz，分别取冲破字段的前两个字母，杭州：

haz，护照：huz。

6.3.5 例外处理秩序

关于数据中出现的相等业务日历，举例 2086-9-28 日，会影响肤浅的分区，

需要在数据处理过程中，把这类信息和谐放入到 19000101 分区中。数据质地检

查的功课需要逐日分析出现的不实数据，并需要东谈主工见谅和审核。

6.4

DWS 层模子计算秩序

6.4.1 表计算秩序

DWS 层在 DWD 层的基础上进行对象的交融及汇认为较，主要包含三种类型的

数据表：

1. 全局抽象的业求实体及汇总型事实表.

DWS 全局抽象的业求实体是整合 DWD 中悉数业务数据中存在的同类数据

对象信息，是悉数对象实例的一个全集，酿成维度实体数据的主数据信

息。如公安行业 DWS 层中东谈主的实体，需要整合户籍登记过程中产生的东谈主，

也需要整合来自于出行举止中登记的东谈主。酿成一个全量的东谈主的信息。

汇总型事实表是对事实进行抽象分类，把归并分类下的各类明细事实进

行合并，提练通用的属性和方针，如东谈主的步履数据，会提练代表东谈主的证

件类型，证件号码，步履发生的时辰，地点，步履性质等属性。

2. 面向主题的通用业务方针统计表。

通用业务方针表是面向主题业务计较需求，按维度或维度组合对一些度

量及方针进行统计计较，如东谈主的通迅聚合表统计两个东谈主的权衡次数，联

系时长等。



干系主题



步履主题



轨迹主题

3. 业务标签表

业务标签表是联结业务需求，按设定例则或通过算法进行计较，从各类基础

数据中归纳出一些对象或事实的繁衍属性/方针。如东谈主的金钱现象，是否昼伏夜

出等。

6.4.2 表定名秩序

dws_{主题域}_<主题分类>[_数据及业务形色]_[分区象征]

表定名中包括主题域，主题分类，数据及业务形色，分区象征等各部份的缩

略词，如

dws_jy_jyss_xxfb_df

dws：代表数据模子脉络



jy: 代表造就主题域



jyss：代表造就才能主题分类



xsxjxx：业务形色，示例暗意：学校散布



df：day_full，代表逐日全量分区

6.4.3 数据存储及生命周期照看秩序

数据表类型

全量表

增量表

delta 表

存储方式

按日分区

最长保存策略

100/30/15 天

长期/7200 天

100 天

凭据存储本钱及数据价值的需要动态休养生命周期。运行阶段保险数据的溯

源排错，使用较长的生命周期存储策略，熟习阶段和清爽阶段就可以使用较短的

生命周期存储策略。

6.4.4 字段集定名秩序

 字段默许使用 DWD 层模子字段称呼。

 字段使用 ODS 层时，字段定名选定汉字拼音首字母定名。字段定名冲破

时，取冲破字段的前两个字母。

6.5

ADM 层模子计算秩序

6.5.1 表计算秩序

在 DWD/DWS 基础数据的上进行加工汇总酿成的方针数据存储分析型和加工汇

总型数据。起头于尺度化的各源系统的汇总、报表数据，是基础数据经过加工按

一定维度汇总的方针，或分析数据。加工汇总层的数据需求起头于愚弄的一些共

同性方针，可以是一些中间数据，这些方针的存在，可以大大提高愚弄系统的处

理后果。6.5.2 表定名秩序

表定名规定:adm_{专题域}_[_专题分类] <愚弄数据形色 >[_自界说业务标

签]_[分区象征]。

表定名中包括专题域，愚弄数据形色及自界说业务形色，分区象征等各部份

的缩略词，如

adm_fr_qy_qcyj_df



adm：代表数据模子脉络



fr: 代表法东谈主专题域



qy：代表企业专题分类



qcyj：业务形色，迁出预警



df：day_full，代表逐日全量分区

6.5.3 数据存储及生命周期照看秩序

数据表类型

全量表

增量表

存储方式

按日分区

最长保存策略

100/30/15 天

长期/7200 天

凭据存储本钱及数据价值的需要动态休养生命周期。运行阶段保险数据的溯

源排错，使用较长的生命周期存储策略，熟习阶段和清爽阶段就可以使用较短的

生命周期存储策略。

6.5.4 字段集定名秩序

 字段默许使用 DWD/DWS 层模子字段称呼。

 字段使用 ODS 层时，字段定名选定汉字拼音首字母定名。字段定名冲破

时，取冲破字段的前两个字母。

6.6

其他通用秩序

6.6.1 域定名秩序

凭据不同业业限制模子的定名策略，域定名可为数据域称呼的华文拼音首字

母拼音或英文单词缩写。

6.6.2 数据类型秩序

ODS 层的数据类型基于源系统数据类型改革，改革规定如下：

表 1 Mysql 与 Odps 数据类型映射

Mysql 数据类型

TINYINT/SMALLINT/ MEDIUMINT/ INTEGER / BIGINT

FLOAT/ DOUBLE/ DECIMAL

LONGTEXT/TEXT/VARCHAR/ CHAR

DATE/ DATETIME

ODPS 数据类型

Bigint

Double

String

表 2 Oracle 与 Odps 数据类型映射

Oracle 数据类型

numeric

默许使用 bigint。

VARCHAR2/VARCHAR

DATE

CLOB

String

ODPS 数据类型

ID 改革为 bigint，凭据推行数据，如果是浮点数则使用 double，

表 3 Sqlserver 与 Odps 数据类型映射

sqlserver 数据类型

INT/TINYINT/SMALLINT/INTEGER / BIGINT

REAL/FLOAT / DOUBLE / DECIMAL /NUMERIC

TEXT/VARCHAR/ CHAR

SMALLDATE/ DATETIME /TIMESTAMP

ODPS 数据类型

Bigint

Double

String

DWD 层如果是援用 ODS 层数据，默许使用 ODS 层字段数据类型。繁衍加工数据字段类型按以下尺度实行：

 字符类数据：string

 象征类和计较乞降类：bigint/double



时辰类型数据：datetime

6.6.3 大家字段

大家字段秩序：



sjly 数据起头，填写起头表信息，多个以逗号分隔。

 yxzt 数据状态，默许为灵验写入“I”，删除“D”，更新“U”。

 dw_rksj 处理时辰，样式为 14 位的时辰 STRING 类型。

6.6.4 唯独纪录象征

DWD 及 DWS 选定唯独纪录象征，ODS 不需要

 和谐对 dwd、dws 增多“唯独纪录象征”字段，使用 MD5 对业务主键创

建唯独 ID。



唯独纪录象征和谐定名秩序：dwd 表 dwd_zjid，dws 表 dws_zjid。

 用途：数据去重。

6.6.5 分区定名秩序

 分区字段：悉数脉络数据表常用时辰分区为日分区，字段均定名为 dt，

样式为 yyyymmdd。

 其他时辰类型分区象征如下表，时辰类型样式为字符串：

分区象征

不分区

增量处理表

小时增量

小时全量

日增量

日全量

定名秩序

all

delta

样式类型

yyyymmdd

yyyymmddhh

yyyymmdd

yyyymmdd周增量

周至量

月增量

月全量

季增量

季全量

年增量

年全量

yyyymm[01-04]

yyyymm

yyyy[01-04]

yyyy

其他非时辰类型的分区字段定名为 fq_[分区字段形色]，字符限度在 5

个以内。

6.6.6 时辰修饰秩序

华文名