The Data Warehouse Toolkit 阅读笔记

前言#
这篇笔记的主要内容来至于The Data Warehouse Toolkit，该书可以称为数仓建模的圣经

什么是星型模型#
以一个业务事实为主表。比如一笔订单就是一个业务事实。订单有商品的SKU信息，销售市场信息，日期信息，这些基本属性，叫做维度。

雪花#
一个产品维度，本身还有分类、包装等信息，也独立做成表，围绕在事实表身边，就像一片雪花。

为什么要用星型模型#
OLTP针对的是线上事务，写多的场景，所以粒度要细。数仓模型的应用场景是数据分析，涉及大量查询，所以要少关联，多整合
降低业务理解难度和复杂性，有些业务事实，跨了很多表，甚至跨了很多库，比如一个订单的生命周期，牵扯订单团队、仓储团队、物流团队。如果不建模，则需要所有使用数据的人员明白对应的业务细节，表的数据结构
三种模型类型#
总结来看，事实表分为三种类型。

事务事实表，比如一次商品销售记录
周期快照表。按一定时间周期记录业务实体快照。比如记录每天的促销商品销售情况
累计快照表，记录业务实体一些列业务流程变更的事实表
数仓的数据模型，为了应对不同的OLAP场景，往往三者皆有之。他们三者之间的区别如下

累计事实模型#
有些业务实体，会发生一系列的业务流程变更，在事实表中，使用一条记录，记录该业务实体各关键流程的所有信息，并随各业务事件的发生来更新这条记录，也就是一条记录会累计各种变化，叫做累计快照表。比如一个商品进入仓库的的整个流程可能有，收货，验货，装箱，运输等。其模型设计示例如下：

一行数据的变更示例如下：

累计快照事实表要保证流程节点个数确定有限。动态任意多个流程，不适合做成累计快照事实表，因为变化太频繁。

一个模型怎么定义#
选定业务事实，一条事实一定能回答谁、何时、何地、做了什么事，为什么要这么做，怎么做的？(who, when, where, what, why, and how)
定义数据粒度，事实表的粒度一定要细，才能灵活承载更上层的各种逻辑口径的指标计算。
标识维度表
标识事实表
如何响应维度表的变化#
维度表相对比较稳定，但也不是完全不会变化。比如用户的信息维度表，就可以变更用户的年龄，地址等。那如何应付这些变化？主要有以下几种

保留原值
改维度表属性值
拉链表
添加新字段记录老数据
迷你维度表(Mini-Dimension)
混合
保留原值#
事实表存储原值，而不是关联维度表。这样当相关属性变化时，新的事实表记录对应的值就是新属性值。
比如，商品当时的价格，就可以直接存储到事实表上

修改维度表属性值#
直接将维度表对应变化字段的值进行修改。这会导致事实表中的老数据，关联维度表，也获取到了新值，使得报表结果出现变化，已经预计算的OLAP Cube需要重新计算等问题。所以慎用这种方式。举例如下：

拉链表#
给维度表加上数据有效时间字段，将维度表变成拉链表，使得维度表不光能体现当前的值，还能记录历史的信息。示例如下：

每个记录都有一个id，事实表关联当时的维度id。

添加新字段记录老数据#
有的报表场景，可能就是需要根据新的维度信息，去关联老的的事实表记录，且变化不会太频繁。可以通过在维度表加字段，记录老数据，这样新老数据都存在，即可满足这种需求。示例如下：

迷你维度表(Mini-Dimension)#
有些维度表的数据字段较多，且部分字段数据变更较为频繁，如果采用拉链表的方式设计，那维度表的数据，将会快速增加。所以拉链表不是一个好的设计。比如用户信息中，籍贯、民族等信息变化较少。但用户的收入等级、位置范围却会频繁的变化。所以可以将这些变化项抽出来，做成一个迷你维度表。同时为了减少迷你维度表的数据条数。可以使用范围做字段值，比如一张可能的用户迷你维度表表示例如下：

最终的模型设计如下：

迷你维度记录了那些变化频繁的属性值所有可能的组合。事实表关联迷你维度表，即可覆盖每一种变化需求。由于迷你维度表，使用了范围值。所以如果想要获取某个具体属性值是不可能的。所以针对这种变化频繁，数据量大的业务数据，可以想办法做成事实表，而不是维度表。

层级维度如何处理#
比如一个部门，有自己的父部门，还有自己的子部门。这种层级维度，怎么在维度表中体现？分为有限层级和无限层级。

层级是少量有限#
层级少量有限，比如省、市、区、县，最多到村，不可可能无限。对于这种层级，可以在一行中，加如多个字段来显示。

Province city zone county
不固定的层级#
比如部门这种实体，其层级是不固定的。那通过上述一行中加字段来应对就不现实。这个时候需要通过更抽象的父子关系，来指定两行记录的关系。比如加上parent key:

一些建模规范#
打平所有的层级#
有些维度信息，本身是多层级，比如产品术语某个品牌，某个品牌属于某个分类。他们都是多对一的关系。我们建一张产品表，不应该也按事务型数据库中的范式来建多张表，而是应该打平层级。方便查询，提高性能，因为维度表数据量一般都很小，不用担心冗余情况。比如一个产品维度表示例如下：

将编码中隐含的信息抽出#
有些业务会有业务编码。一个业务编码含有多种信息，比如前2位代表大区，中间2位代表省份等。这种数据，我们除了要存储业务编码外，还要将编码中隐含的信息，分别用字段存放。所有的目的，都是细粒度并且直观的存放各种数据，方便报表的计算，以及提升计算性能。

避免字段为null#
如果一个字段，特别是会用作关联的字段，应该尽量避免为Null。因为null会导致表关联，或数据统计，展示时出现一些问题。所以当确实缺失值时，使用一些特殊的值作为替代，比如-1，或者一个文本去填充对应字段。具体到维度字段的null,可以在维度表中创建一条专门用来解释为空的记录，同样用描述性文本填充这条记录。然后在事实表中关联这个id.

退化维度(Degenerate Dimensions)#
事实表中的字段，除了存放普通维度表主键外，还可以存放退化维度主键。比如事实表中有一个productId资源，对应的维度表为product表。而事实表中的一条记录对应的业务事件，其在关系型数据库中的的id,或者发票编号等，对报表后续计算依然是有意义的。这种字段我们依然会存放到事实表中，作为一个维度，但它不像产品id一样，有一个标准的维度表，我们称这种情叫退化维度。

没有发生的事实表(Factless Fact Tables)#
正常情况下，我们会按实际发生的业务事件来建模，比如有实际购买行为的促销商品记录。其数据模型设计如下：

但这种方式的数据模型，但该事实模型无法回答哪一个促销商品在指定日期没有被购买的记录。因为没有被购买，就没有零售记录发生，数据库中根本就没有信息，也就无从统计。这个时候，我们可以增加另外一个事实表，只记录每天参与促销商品的信息。同时再建一个促销维度表，去描述具体的促销信息。模型设计如下：

这样为了回答前面的问题，第一步根据日期查询某天去促销事实表中找出当天参与消息的商品。第二步，从最开始建立的实际销售事实表中找出那天实际售卖的商品。这两部数据做一个外关联，就可以解答该问题。

维度表主键(Surrogate Keys)#
维度表不要使用操作性数据库中对应的ID，也即不要使用OLTP对应表的id，而要自己生成int类型的id.原因有以下几点。

OLTP库主要对应线上业务的处理，其中的表结构和业务数据新增、更新频繁，原始OLTP的表可能随着业务量增加而分库分表
维度表的数据来源，可能是OLTP中的好几个表，本来就没有一个固定的主键
提升性能，维度表的数据本来就不会很多，所以使用int绰绰有余。维度表的id，会被事实表做为外键存储，事实表的数据量往往会很大，选用更小的存储类型更节省存储空间
方便做一些OLTP库中不存在的业务记录，比如记录促销维度表，记录一个No Promotion的记录。方便事实表关联。
事实表主键#
虽然事实表一条记录可以通过其存储的各维度外键组合一起来唯一确定，但最好还是想维度表主键一样，单独设一个事实表主键，有以下好处：

一些处理恢复时，可以记录断点处的主键ｉｄ来判断恢复量，因为主键一般是有序的
快速唯一定位一条事实表记录
在多个事实表有父子关系时，可以作为关联键使用
多角色维度表#
事实表中可能有多个字段，使用同一个维度表。那最后基于事实表做报表计算将会出现问题。因为不可能join同一张维度表两次。解决办法是基于公用维度表，建不同的维度表，让事实表关联这些新建的维度表，新建的维度表可以是实体表，也可以视图。假设一个事实表有多个字段关联时间维度表，按照这种处理方式的建模示例如下：

事实表中有多个extend指标属性，其作用是将一些可以提前计算的指标，提前计算出来，提升报表性能，统一计算口径。前提是这些指标毫无争议，能被广泛使用

事实表泛型粒度#
比如订单有订单明细这个业务。
我们可以基于订单明细事实建模型。但订单的总金额怎么分摊到订单明细上，按什么规则分摊？如果不分摊，直接将订单总金额冗余在订单明细上，在有些场景做聚合计算时，会多算金额。

所以最好订单主表事实和明细表事实都做，再将其用主外键关联。同时为了性能考虑，一些不参与计算的订单属性，可以冗余到订单明细，如果只使用订单明细事实表时，不至于关联太多表。下面是一个坏案例，订单的主表的客户信息，没有冗余到明细表

实时计算与数仓#
通常数据仓库的数据都是T+1的。但有些业务场景需要实时数据。实时数据又分两种：

瞬时(Instantaneous)，一般数据数据应用直接接入源数据的变化数据。为了减少数据延迟，中间不经过etl处理。
日内(Intra-Day)，同普通的T+1数据处理方式一样，只是一天之内多次去源数据拉取，然后走完整的etl流程
对于第二种，也需要建模，但其相关的维度表需要实时响应当天的数据变化

宏观流程#
启动会议，确立相关人员职责#
包括，业务负责人，业务驱动人员，项目管理人员，数据架构，系统架构，业务用户，开发人员。其中，懂业务的权利负责人确立是非常重要的。因为数仓系统的核心目的，便在于满足业务方的需求。这需要大量了解和梳理业务，需要极富能力和权力的业务负责人。

宏观模型梳理#

使用矩阵图，对公司的整体业务建模，找出公共维表，统一各种业务术语。

如果术语不统一
数仓最终计算出的报表，可能不同团队的名称都不一致，出现歧义，互相不能理解，增加使用者的门槛
如果不统一维度
比如时间维度的不一致，比如两个时间维度中的环比时间段不一致，可能导致最终两张报表的同一个指标产出了不同的值。反之，统一了时间维度，使得使用相同维度表的两个事实模型可以join分析
计算选型和建模#
培训使用，后期维护升级#
统一各种术语
培训各类业务人员相关系统知识，减少信息不对称，并时刻听取他们的难点、痛点、进行系统迭代，升级。

数据质量把控#
数据的清洗，数据质量的校验，尽量放到数据架构初始阶段，及早发现问题。
数据质量问题检查主要分为三个部分（Quality Screens）：
1、字段质量检查，检查非空字段是否有空值，检查字段数据的格式是否满足要求
2、数据结构检查，比如某两个表有父子关系，需要检查这种父子关系是否存在
3、业务规则检查，比如航空业务，检查源系统给的白金用户，是否飞行里程都达标？
对问题数据的处理有如下几种：
1、中断etl处理进程，不推荐，需要立刻介入解决问题，然后重启
2、记录问题数据和其对应的执行条件，并继续走完etl流程，推荐，可以方便重现问题

对于错误数据的记录

ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/172
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/177
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/178
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/173
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/179
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/174
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/180
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/175
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/181
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/176
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/182
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/177
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/183
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/178
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/184
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/179
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/185
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/180
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/186
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/187
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/181
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/188
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/182
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/1
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/1
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/2
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/2
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/3
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/3
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/4
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/4
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/5
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/5
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/6
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/6
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/7
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/7
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/8
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/8
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/9
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/10
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/9
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/11
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/12
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/10
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/13
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/14
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/11
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/15
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/12
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/16
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/13
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/14
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/17
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/15
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/18
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/16
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/17
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/19
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/20
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/18
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/21
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/19
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/22
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/20
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/23
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/21
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/24
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/22
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/25
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/26
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/23
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/27
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/24
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/28
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/29
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/30
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/25
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/26
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/31
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/27
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/28
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/32
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/29
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/33
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/34
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/30
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/31
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/35
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/32
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/36
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/33
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/37
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/38
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/34
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/39
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/35
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/36
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/40
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/37
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/41
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/42
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/38
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/43
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/39
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/44
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/40
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/45
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/41
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/46
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/42
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/47
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/43
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/48
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/44
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/49
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/50
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/45
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/51
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/52
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/46
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/53
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/47
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/54
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/48
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/49
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/55
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/56
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/50
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/57
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/51
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/58
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/52
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/59
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/53
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/60
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/54
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/61
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/55
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/62
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/56
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/63
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/57
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/64
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/58
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/65
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/59
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/66
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/60
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/67
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/68
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/61
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/69
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/62
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/63
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/70
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/71
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/64
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/65
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/72
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/66
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/73
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/67
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/74
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/68
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/75
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/69
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/76
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/70
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/77
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/71
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/72
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/78
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/79
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/73
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/80
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/74
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/75
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/81
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/82
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/76
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/83
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/77
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/84
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/78
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/79
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/85
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/80
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/86
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/81
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/87
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/88
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/82
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/89
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/83
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/84
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/85
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/90
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/91
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/92
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/86
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/93
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/94
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/87
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/95
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/96
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/88
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/89
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/97
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/98
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/90
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/99
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/91
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/100
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/92
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/93
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/101
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/94
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/102
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/103
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/95
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/104
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/96
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/105
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/97
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/98
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/106
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/99
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/107
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/100
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/108
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/101
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/110
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/102
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/103
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/111
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/104
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/112
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/105
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/113
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/106
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/114
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/107
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/115
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/108
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/116
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/109
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/117
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/110
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/118
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/111
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/119
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/112
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/113
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/120
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/121
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/114
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/115
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/122
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/116
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/123
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/117
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/124
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/118
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/125
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/126
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/119
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/127
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/120
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/128
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/129
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/121
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/130
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/122
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/131
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/123
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/132
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/124
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/133
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/134
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/125
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/135
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/126
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/136
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/127
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/137
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/128
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/138
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/129
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/130
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/139
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/140
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/141
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/131
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/142
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/132
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/143
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/133
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/144
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/134
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/145
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/135
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/136
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/146
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/137
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/147
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/138
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/148
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/149
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/139
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/150
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/151
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/140
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/141
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/152
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/142
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/153
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/154
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/155
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/143
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/156
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/144
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/157
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/145
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/158
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/159
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/147
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/160
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/148
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/161
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/149
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/150
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/162
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/151
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/163
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/152
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/153
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/164
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/154
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/165
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/155
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/166
ｈｔｔｐｓ：／／github.com/l32nyw20/twggpilioq/discussions/156
ｈｔｔｐｓ：／／github.com/91sipp68/rfrepzlnrj/discussions/167
一些踩坑最佳实践#

基础打牢，我们一般把星型模型放在DWD层，一定要把DWD建好，万丈高楼平地起，后续DWD模型一定要有设计，评审的流程。
建设数据质量系统，对数仓各层的数据质量进行监控，及时报警，数据质量管理系统应该嵌入到数仓的每一层
建设元数据管理系统，这个是数仓的地图。
所有报表开发，原则上，不允许直接使用ODS层的表，这样会导致数据烟囱
如果没有质量管理系统#
报表质量在用户侧才发现问题，排查需要整条链路去做，排查耗时
排查出问题后，重跑数据，重跑耗时
如果没有元数据管理系统#
没有地图数仓建设会失控，会失控，会抓瞎
数仓能力，口口相传，离职就失传
无法回答领导的灵魂拷问，做了多少报表？做了什么报表？数仓有哪些资产？

你可能感兴趣的:(The Data Warehouse Toolkit 阅读笔记)

WPF中的ComboBox控件几种数据绑定的方式互联网打工人no1 wpf c#
一、用字典给ItemsSource赋值（此绑定用的地方很多，建议熟练掌握）在XMAL中：在CS文件中privatevoidBindData(){DictionarydicItem=newDictionary();dicItem.add(1,"北京");dicItem.add(2,"上海");dicItem.add(3,"广州");cmb_list.ItemsSource=dicItem;cmb_l
将cmd中命令输出保存为txt文本文件落难Coder Windows cmd window
最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
利用Requests Toolkit轻松完成HTTP请求 nseejrukjhad http 网络协议网络 python
RequestsToolkit的力量：轻松构建HTTP请求Agent在现代软件开发中，API请求是与外部服务交互的核心。RequestsToolkit提供了一种便捷的方式，帮助开发者构建自动化的HTTP请求Agent。本文旨在详细介绍RequestsToolkit的设置、使用和潜在挑战。引言RequestsToolkit是一个强大的工具包，可用于构建执行HTTP请求的智能代理。这对于想要自动化与外
Linux MariaDB使用OpenSSL安装SSL证书 Meta39 MySQL Oracle MariaDB Linux Windows ssl linux mariadb
进入到证书存放目录，批量删除.pem证书警告：确保已经进入到证书存放目录find.-typef-iname\*.pem-delete查看是否安装OpenSSLopensslversion没有则安装yuminstallopensslopenssl-devel开启SSL编辑/etc/my.cnf文件（没有的话就创建，但是要注意，在/etc/my.cnf.d/server.cnf配置了datadir的，
网络编程基础记得开心一点啊网络
目录♫什么是网络编程♫Socket套接字♪什么是Socket套接字♪数据报套接字♪流套接字♫数据报套接字通信模型♪数据报套接字通讯模型♪DatagramSocket♪DatagramPacket♪实现UDP的服务端代码♪实现UDP的客户端代码♫流套接字通信模型♪流套接字通讯模型♪ServerSocket♪Socket♪实现TCP的服务端代码♪实现TCP的客户端代码♫什么是网络编程网络编程，指网络上
K近邻算法_分类鸢尾花数据集 _feivirus_ 算法机器学习和数学分类机器学习 K近邻
importnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score1.数据预处理iris=load_iris()df=pd.DataFrame(data=ir
4.C_数据结构_队列荣世蓥数据结构数据结构
概述什么是队列：队列是限定在两端进行插入操作和删除操作的线性表。具有先入先出(FIFO)的特点相关名词：队尾：写入数据的一段队头：读取数据的一段空队：队列中没有数据，队头指针=队尾指针满队：队列中存满了数据，队尾指针+1=队头指针循环队列1、基本内容循环队列是以数组形式构成的队列数据结构。循环队列的结构体如下：typedefintdata_t;//队列数据类型#defineN64//队列容量typ
vue项目element-ui的table表格单元格合并酋长哈哈 vue.js elementui javascript 前端
一、合并效果二全部代码exportdefault{name:'CellMerge',data(){return{tableData:[{id:'1',name:'王小虎',amount1:'165',amount2:'3.2',amount3:10},{id:'1',name:'王小虎',amount1:'162',amount2:'4.43',amount3:12},{id:'1',name:'
python tif转png Python与遥感 python 开发语言
importosfromosgeoimportgdalimportnumpyasnpfromPILimportImage#提取432三波段fromspectralimport*#输入文件夹路径defget_img(dataset_img):width=dataset_img.RasterXSize#获取行列数height=dataset_img.RasterYSizebands=dataset_i
MongoDB知识概括 GeorgeLin98 持久层 mongodb
MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
Vue中table合并单元格用法 weixin_30613343 javascript ViewUI
地名结果人名性别{{item.name}}已完成未完成{{item.groups[0].name}}{{item.groups[0].sex}}{{item.groups[son].name}}{{item.groups[son].sex}}exportdefault{data(){return{list:[{name:'地名1',result:'1',groups:[{name:'张三',sex
uniapp map组件自定义markers标记点以对_ uni-app学习记录 uni-app javascript 前端
需求是根据后端返回数据在地图上显示标记点，并且根据数据状态控制标记点颜色，标记点背景通过两张图片实现控制{{item.options.labelName}}exportdefault{data(){return{storeIndex:0,locaInfo:{longitude:120.445172,latitude:36.111387},markers:[//标点列表{id:1,//标记点idin
阅读笔记：阅读方法中的逻辑和转念施吉涛
聊聊一些阅读的方法论吧，别人家的读书方法刚开始想写，然后就不知道写什么了，因为作者写的非常的“精致”我有一种乡巴佬进城的感觉，看到精美的摆盘，精致的食材不知道该如何下口也就是《阅读的方法》，我们姑且来试一下强劲的大脑篇，第一节：逻辑通俗的来讲，也就是表达的排列和顺序，再进一步就是因果关系和关联实际上书已经看了大概一遍，但直到打算写一下笔记的时候，才发现作者讲的推理更多的是阅读的对象中呈现出的逻辑也
博客网站制作教程 2401_85194651 java maven
首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
vue + Element UI table动态合并单元格我家媳妇儿萌哒哒 element UI vue.js 前端 javascript
一、功能需求1、根据名称相同的合并工作阶段和主要任务合并这两列，但主要任务内容一样，但要考虑主要任务一样，但工作阶段不一样的情况。（枞向合并）2、落实情况里的定量内容和定性内容值一样则合并。（横向合并）二、功能实现exportdefault{data(){return{tableData:[{name:'a',address:'1',age:'1',six:'2'},{name:'a',addre
Python实现TIFF 文件转换为 PNG 和 JPG 格式 sand&wich python 开发语言
在日常的图像处理工作中，可能会遇到需要将TIFF格式的图像转换为其他格式的情况，例如PNG和JPG。下面，本文将介绍如何使用Python和GDAL库实现这一功能。准备工作在开始之前，请确保已经安装了必要的库：GDAL（GeospatialDataAbstractionLibrary）可以使用以下命令安装GDAL：pipinstallgdal代码实现以下是一个将TIFF文件转换为PNG文件的示例代码
使用datepicker和uploadify的冲突解决（IE双击才能打开附件上传对话框） zhanglb12
在开发的过程当中，IE的兼容无疑是我们的一块绊脚石，在我们使用的如期的datepicker插件和使用上传附件的uploadify插件的时候，两者就产生冲突，只要点击过时间的插件，uploadify上传框要双才能打开ie浏览器提示错误Missinginstancedataforthisdatepicker解决方案//if(.browser.msie&&'9.0'===.browser.version
golang获取用户输入的几种方式余生逆风飞翔 golang 开发语言后端
一、定义结构体typeUserInfostruct{Namestring`json:"name"`Ageint`json:"age"`Addstring`json:"add"`}typeReturnDatastruct{Messagestring`json:"message"`Statusstring`json:"status"`DataUserInfo`json:"data"`}二、get请求的
探索ASPICE V3.1：汽车行业软件开发的中文指南阮懿同
探索ASPICEV3.1：汽车行业软件开发的中文指南ASPICE_V3.1中文版.pdf.zip项目地址:https://gitcode.com/open-source-toolkit/422a2在汽车软件工程领域，高质量的标准对于确保行车安全和提升用户体验至关重要。今天，我们为您介绍一个珍贵的开源宝藏——ASPICEV3.1中文版资源。这是一篇专为国内汽车行业开发者、质量管理者准备的深度解读，旨
【Java】已解决：org.springframework.jdbc.datasource.lookup.DataSourceLookupFailureException 屿小夏 java 开发语言
文章目录一、分析问题背景问题背景描述出现问题的场景二、可能出错的原因三、错误代码示例四、正确代码示例五、注意事项已解决：org.springframework.jdbc.datasource.lookup.DataSourceLookupFailureException在使用Spring框架进行开发时，数据源的配置和使用是非常关键的一环。然而，有时候我们可能会遇到org.springframewo
el-table实现全选整表，单元一页复选框功能周bro vue.js elementui javascript 前端
全选整表单选一页0":popper-append-to-body="false":total="tableData.length":page-size="pageObj.pagesize":page-sizes="[10,50,100]"layout="total,sizes,prev,pager,next"@size-change="handleSizeChange"@current-chang
Vue + Express实现一个表单提交九旬大爷的梦
最近在折腾一个cms系统，用的vue+express，但是就一个表单提交就弄了好久，记录一下。环境：Node10+前端：Vue服务端：Express依赖包：vueexpressaxiosexpress-formidableelement-ui（可选）前言：axiosget请求参数是：paramsaxiospost请求参数是：dataexpressget接受参数是req.queryexpresspo
Kubernetes部署MySQL数据持久化沫殇-MS Kubernetes MySQL数据库 kubernetes mysql 容器
一、安装配置NFS服务端1、安装nfs-kernel-server：sudoapt-yinstallnfs-kernel-server2、服务端创建共享目录#列出所有可用块设备的信息lsblk#格式化磁盘sudomkfs-text4/dev/sdb#创建一个目录：sudomkdir-p/data/nfs/mysql#更改目录权限：sudochown-Rnobody:nogroup/data/nfs
Hadoop架构 henan程序媛 hadoop 大数据分布式
一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
使用input[type=file]遇上的一些问题刘圣凯
项目遇到一个需要，如下image.png功能大致就是添加图片，展示出来，然后在用户点击提交的时候把图片传给后台，在和后台交涉之后，决定在用户选择图片之后转成formdata传给后台，后台返回一个url，提交的时候将url返回给后台/**转formdata*/varformdata=newFormData();formdata.append("file1",$("#pic")[0].files[0]
详解mybatis的一二级缓存以及缓存失效原因仰望天花板缓存数据库 mybatis java mysql
数据库的大部分场景下是从磁盘读取，如果数据从内存进行读取，速度较比磁盘要快得多。但因为内存的容量有限，所以一般只会把使用和查询较多的数据缓存起来，以便快速反应，其他使用率不太多的继续存放在磁盘。mybatis分为一级缓存和二级缓存1.一级缓存一级缓存存放在SqlSqeeion上，默认开启1.1pojo@DatapublicclassRole{privateLongid;privateStringr
20220226号今日份（6）张雅苑Momo
考虑以下必备行程安排：1作息规律2三餐规律3早茶下午茶4晨练运动5阅读笔记6挚爱亲朋联络20220226号今日份快乐是有哪一些呢？1：视频号直播的持续今天已经是第221/190天啦今天主讲人在分享事上练的能力，事上见2：持续吉他练习今天已经第25天啦3：今天持续带动某人整理屋子，要加油哦，要持续哦今天的过程持续比较轻松愉快4：今天老佛爷入院的第四天，上阵父子兵，期待他们仨早起凯旋归来如何成为自己喜
小程序通过js控制页面字体颜色属性祈澈菇凉
需求：当电量少于百分之20的时候，显示电量的字体显示为红色。1：在wxml里面设置属性batStyle：style="{{item.batStyle}}"电量:{{item.battery}}%2：当复合逻辑条件的时候，在js里面carList[i].batStyle="color:red";success:function(res){constcarList=res.data.list;for(
Golang Channel PandaSkr golang
Channel解析1.Channel源码分析1.1Channel数据结构typehchanstruct{qcountuint//channel的元素数量dataqsizuint//channel循环队列长度bufunsafe.Pointer//指向循环队列的指针elemsizeuint16//元素大小closeduint32//channel是否关闭0-未关闭elemtype*_type//元素类
matlab游标标注移动,matlab实现图形窗口的数据游标莫白想 matlab游标标注移动
DatacursorsforfigurewindowSeveralrelatedfunctions:CreateCursorsetsupaverticalcursoronallaxesinafigure.Thecursorscanbemovedaroundusingthemouse.MultiplecursorsaresupportedineachfigureGetCursorLocationre
mysql主从数据同步林鹤霄 mysql主从数据同步
配置mysql5.5主从服务器(转) 教程开始：一、安装MySQL 说明：在两台MySQL服务器192.168.21.169和192.168.21.168上分别进行如下操作，安装MySQL 5.5.22 二、配置MySQL主服务器（192.168.21.169）mysql -uroot -p &nb
oracle学习笔记 caoyong oracle
1、ORACLE的安装 a>、ORACLE的版本 8i,9i : i是internet 10g,11g : grid (网格) 12c : cloud (云计算) b>、10g不支持win7 &
数据库，SQL零基础入门天子之骄 sql 数据库入门基本术语
数据库，SQL零基础入门做网站肯定离不开数据库，本人之前没怎么具体接触SQL，这几天起早贪黑得各种入门，恶补脑洞。一些具体的知识点，可以让小白不再迷茫的术语，拿来与大家分享。数据库，永久数据的一个或多个大型结构化集合，通常与更新和查询数据的软件相关
pom.xml 一炮送你回车库 pom.xml
1、一级元素dependencies是可以被子项目继承的 2、一级元素dependencyManagement是定义该项目群里jar包版本号的，通常和一级元素properties一起使用，既然有继承，也肯定有一级元素modules来定义子元素 3、父项目里的一级元素<modules> <module>lcas-admin-war</module> <
sql查地区省市县 3213213333332132 sql mysql
-- db_yhm_city SELECT * FROM db_yhm_city WHERE class_parent_id = 1 -- 海南 class_id = 9 港、奥、台 class_id = 33、34、35 SELECT * FROM db_yhm_city WHERE class_parent_id =169 SELECT d1.cla
关于监听器那些让人头疼的事宝剑锋梅花香画图板监听器鼠标监听器
本人初学JAVA，对于界面开发我只能说有点蛋疼，用JAVA来做界面的话确实需要一定的耐心（不使用插件，就算使用插件的话也没好多少）既然Java提供了界面开发，老师又要求做，只能硬着头皮上啦。但是监听器还真是个难懂的地方，我是上了几次课才略微搞懂了些。
JAVA的遍历MAP darkranger map
Java Map遍历方式的选择 1. 阐述　　对于Java中Map的遍历方式，很多文章都推荐使用entrySet，认为其比keySet的效率高很多。理由是：entrySet方法一次拿到所有key和value的集合；而keySet拿到的只是key的集合，针对每个key，都要去Map中额外查找一次value，从而降低了总体效率。那么实际情况如何呢？　　为了解遍历性能的真实差距，包括在遍历ke
POJ 2312 Battle City 优先多列+bfs aijuans 搜索
来源：http://poj.org/problem?id=2312 题意：题目背景就是小时候玩的坦克大战，求从起点到终点最少需要多少步。已知S和R是不能走得，E是空的，可以走，B是砖，只有打掉后才可以通过。思路：很容易看出来这是一道广搜的题目，但是因为走E和走B所需要的时间不一样，因此不能用普通的队列存点。因为对于走B来说，要先打掉砖才能通过，所以我们可以理解为走B需要两步，而走E是指需要1
Hibernate与Jpa的关系，终于弄懂 avords java Hibernate 数据库 jpa
我知道Jpa是一种规范，而Hibernate是它的一种实现。除了Hibernate，还有EclipseLink(曾经的toplink)，OpenJPA等可供选择，所以使用Jpa的一个好处是，可以更换实现而不必改动太多代码。在play中定义Model时，使用的是jpa的annotations，比如javax.persistence.Entity, Table, Column, OneToMany
酸爽的console.log bee1314 console
在前端的开发中，console.log那是开发必备啊，简直直观。通过写小函数，组合大功能。更容易测试。但是在打版本时，就要删除console.log，打完版本进入开发状态又要添加，真不够爽。重复劳动太多。所以可以做些简单地封装，方便开发和上线。 /** * log.js hufeng * The safe wrapper for `console.xxx` functions *
哈佛教授：穷人和过于忙碌的人有一个共同思维特质 bijian1013 时间管理励志人生穷人过于忙碌
一个跨学科团队今年完成了一项对资源稀缺状况下人的思维方式的研究，结论是：穷人和过于忙碌的人有一个共同思维特质，即注意力被稀缺资源过分占据，引起认知和判断力的全面下降。这项研究是心理学、行为经济学和政策研究学者协作的典范。　　这个研究源于穆来纳森对自己拖延症的憎恨。他7岁从印度移民美国，很快就如鱼得水，哈佛毕业
other operate 征客丶 OS osx
一、Mac Finder 设置排序方式，预览栏在显示－》查看显示选项中二、有时预览显示时，卡死在那，有可能是一些临时文件夹被删除了，如：/private/tmp[有待验证] -------------------------------------------------------------------- 若有其他凝问或文中有错误，请及时向我指出，我好及时改正，同时也让我们一
【Scala五】分析Spark源代码总结的Scala语法三 bit1129 scala
1. If语句作为表达式 val properties = if (jobIdToActiveJob.contains(jobId)) { jobIdToActiveJob(stage.jobId).properties } else { // this stage will be assigned to "default" po
ZooKeeper 入门 BlueSkator 中间件 zk
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。值得注意的是，ZK并非天生就是为这些应用场景设计的，都是后来众多开发者根据其框架的特性，利
MySQL取得当前时间的函数是什么格式化日期的函数是什么 BreakingBad mysql Date
取得当前时间用 now() 就行。在数据库中格式化时间用DATE_FORMA T(date, format) . 根据格式串format 格式化日期或日期和时间值date，返回结果串。可用DATE_FORMAT( ) 来格式化DATE 或DATETIME 值，以便得到所希望的格式。根据format字符串格式化date值: %S, %s 两位数字形式的秒（ 00,01,
读《研磨设计模式》-代码笔记-组合模式 bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.List; abstract class Component { public abstract void printStruct(Str
4_JAVA+Oracle面试题(有答案) chenke oracle
基础测试题卷面上不能出现任何的涂写文字，所有的答案要求写在答题纸上，考卷不得带走。选择题 1、 What will happen when you attempt to compile and run the following code? （3） public class Static { static { int x = 5; // 在static内有效 } st
新一代工作流系统设计目标 comsci 工作算法脚本
用户只需要给工作流系统制定若干个需求，流程系统根据需求，并结合事先输入的组织机构和权限结构，调用若干算法，在流程展示版面上面显示出系统自动生成的流程图，然后由用户根据实际情况对该流程图进行微调，直到满意为止，流程在运行过程中，系统和用户可以根据情况对流程进行实时的调整，包括拓扑结构的调整，权限的调整，内置脚本的调整。。。。。在这个设计中，最难的地方是系统根据什么来生成流
oracle 行链接与行迁移 daizj oracle 行迁移
表里的一行对于一个数据块太大的情况有二种(一行在一个数据块里放不下) 第一种情况: INSERT的时候，INSERT时候行的大小就超一个块的大小。Oracle把这行的数据存储在一连串的数据块里(Oracle Stores the data for the row in a chain of data blocks)，这种情况称为行链接(Row Chain)，一般不可避免(除非使用更大的数据
[JShop]开源电子商务系统jshop的系统缓存实现 dinguangx jshop 电子商务
前言 jeeshop中通过SystemManager管理了大量的缓存数据，来提升系统的性能，但这些缓存数据全部都是存放于内存中的，无法满足特定场景的数据更新（如集群环境）。JShop对jeeshop的缓存机制进行了扩展，提供CacheProvider来辅助SystemManager管理这些缓存数据，通过CacheProvider,可以把缓存存放在内存,ehcache,redis，memcache
初三全学年难记忆单词 dcj3sjt126com english word
several 儿子；若干 shelf 架子 knowledge 知识；学问 librarian 图书管理员 abroad 到国外，在国外 surf 冲浪 wave 浪；波浪 twice 两次；两倍 describe 描写；叙述 especially 特别；尤其 attract 吸引 prize 奖品；奖赏 competition 比赛；竞争 event 大事；事件 O
sphinx实践 dcj3sjt126com sphinx
安装参考地址:http://briansnelson.com/How_to_install_Sphinx_on_Centos_Server yum install sphinx 如果失败的话使用下面的方式安装 wget http://sphinxsearch.com/files/sphinx-2.2.9-1.rhel6.x86_64.rpm yum loca
JPA之JPQL（三） frank1234 orm jpa JPQL
1 什么是JPQL JPQL是Java Persistence Query Language的简称，可以看成是JPA中的HQL， JPQL支持各种复杂查询。 2 检索单个对象 @Test public void querySingleObject1() { Query query = em.createQuery("sele
Remove Duplicates from Sorted Array II hcx2013 remove
Follow up for "Remove Duplicates":What if duplicates are allowed at most twice? For example,Given sorted array nums = [1,1,1,2,2,3], Your function should return length
Spring4新特性——Groovy Bean定义DSL jinnianshilongnian spring 4
Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API Spring4新
CentOS安装Mysql5.5 liuxingguome centos
CentOS下以RPM方式安装MySQL5.5 首先卸载系统自带Mysql： yum remove mysql mysql-server mysql-libs compat-mysql51 rm -rf /var/lib/mysql rm /etc/my.cnf 查看是否还有mysql软件： rpm -qa|grep mysql 去http://dev.mysql.c
第14章工具函数（下） onestopweb 函数
index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
POJ 1050 SaraWon 二维数组子矩阵最大和
POJ ACM第1050题的详细描述，请参照 http://acm.pku.edu.cn/JudgeOnline/problem?id=1050 题目意思：给定包含有正负整型的二维数组，找出所有子矩阵的和的最大值。如二维数组 0 -2 -7 0 9 2 -6 2 -4 1 -4 1 -1 8 0 -2 中和最大的子矩阵是 9 2 -4 1 -1 8 且最大和是15
Java8全新打造，英语学习supertool yangshangchuan java superword 闭包 java8 函数式编程
superword是一个Java实现的英文单词分析软件，主要研究英语单词音近形似转化规律、前缀后缀规律、词之间的相似性规律等等。Clean code、Fluent style、Java8 feature: Lambdas, Streams and Functional-style Programming。升学考试、工作求职、充电提高，都少不了英语的身影，英语对我们来说实在太重要