BW:EDW——一次小小的探讨
方其华|北京 2010/9/17 10:46:13
这个有点差别的。我们采用的是EDW的架构。所以到我这里的话。源显示的不是ODS。而是数据源。
郑平§深圳 2010/9/17 10:47:04
郑岩|北京(332327496) 2010/9/17 10:50:06
EDW架构？
郑岩|北京(332327496) 2010/9/17 10:50:09
怎么讲
方其华|北京 2010/9/17 10:52:52
数据源-->EDW--->BW。EDW负责数据的抽取和合并。BW负责数据的分析。
方其华|北京 2010/9/17 10:53:01
教材上讲得比较详细。
郑平§深圳 2010/9/17 10:53:30
EDW 是dso?
方其华|北京 2010/9/17 10:54:28
郑岩|北京(332327496) 2010/9/17 10:54:53
EDW和DSO有啥关系。。
郑岩|北京(332327496) 2010/9/17 10:54:57
真是迷糊
郑岩|北京(332327496) 2010/9/17 10:55:01
不懂啊。。
方其华|北京 2010/9/17 10:55:57
EDW存储明细数据，加工后的数据。然后再传给BW。
方其华|北京 2010/9/17 10:56:04
哈哈。你们去看教材爸
方其华|北京 2010/9/17 10:56:05
吧
郑岩|北京(332327496) 2010/9/17 10:56:30
啊哈
郑岩|北京(332327496) 2010/9/17 10:56:34
哪本，我去看
郑平§深圳 2010/9/17 10:56:50
EDW 是用dso实现？
王洋-上海 2010/9/17 10:57:27
可以cube可以dso
王洋-上海 2010/9/17 10:58:16
只要能用来出报表
方其华|北京 2010/9/17 10:58:30
BW330
郑平§深圳 2010/9/17 10:58:48
那没有什么区别，只是一个思想吧？还是dso和cube？
方其华|北京 2010/9/17 10:59:38
刘军|北京 2010/9/17 11:00:05
EDW是dso
方其华|北京 2010/9/17 11:00:07
教材上的EDW还都是用ODS来实现的。
刘军|北京 2010/9/17 11:00:14
dso包括3个
刘军|北京 2010/9/17 11:00:31
EDW采用了输出层的dso
王洋-上海 2010/9/17 11:00:44
edw用dso 那cube属于哪一层？
刘军|北京 2010/9/17 11:00:51
也就是写优化的dso,跟标准的dso不一样
刘军|北京 2010/9/17 11:01:13
cube属于Data Mart
刘军|北京 2010/9/17 11:01:17
数据集市
刘军|北京 2010/9/17 11:01:48
EDW的概念实际上就是分层
郑平§深圳 2010/9/17 11:01:49
edw用的dso，是直接更新那种dso？
王洋-上海 2010/9/17 11:01:57
不能这么说
郑平§深圳 2010/9/17 11:02:16
写优化怎么理解？
王洋-上海 2010/9/17 11:02:25
其实edw和数据集市没有很明显的界限
刘军|北京 2010/9/17 11:03:24
edw跟非edw的最大区别就是 dso是否和cube必须在同一台机器上
王洋-上海 2010/9/17 11:04:15
恩 如果不在的话就要用到dm对吧
刘军|北京 2010/9/17 11:04:28
在同一台机器上面，说明有耦合性，就是非edw架构
刘军|北京 2010/9/17 11:04:51
所以用专门的写优化dso接触耦合
刘军|北京 2010/9/17 11:05:01
是一种架构
刘军|北京 2010/9/17 11:05:33
一般超大型系统用edw架构
郑岩|北京(332327496) 2010/9/17 11:08:17
郑岩|北京(332327496) 2010/9/17 11:08:20
很详细
郑岩|北京(332327496) 2010/9/17 11:08:37
我想问下，写优化貌似可以本机用的
郑岩|北京(332327496) 2010/9/17 11:08:49
你的意思是说，只有写优化的才能给别人用
郑岩|北京(332327496) 2010/9/17 11:08:51
？
郑平§深圳 2010/9/17 11:08:56
我们这先到写优化dso再到标准dso再到cube
刘军|北京 2010/9/17 11:09:08
哦，跟我们相反
郑平§深圳 2010/9/17 11:09:14
刘军|北京 2010/9/17 11:09:48
我们开始都是标准dso,抽取层-》合并层-》输出层-》cube->multicube
郑平§深圳 2010/9/17 11:10:49
你们的架构是不是比我们这种好？
刘军|北京 2010/9/17 11:11:02
因为主要的转换再合并层完成，合并层到输出层直接是写数据，所以写优化的dso就可以了
郑岩|北京(332327496) 2010/9/17 11:11:06
那一层用写优化DSO
刘军|北京 2010/9/17 11:11:18
输出层
刘军|北京 2010/9/17 11:11:33
这是edw推荐的标准架构
郑平§深圳 2010/9/17 11:12:10
看来我们的比较山寨？
李飞|北京 2010/9/17 11:12:34
现在大部分都是edw层
郑岩|北京(332327496) 2010/9/17 11:12:39
Write-Optimized DSO适用以下场景：
•构建EDW的原始数据层，无报表需求，不需要激活，ETL过程更快
•存储大量document level的明细数据
•每次加载的都是新数据，例如从POS读数
•临时存储数据
刘军|北京 2010/9/17 11:12:53
哦，这个根据实际情况来，分层多了性能就差了
刘军|北京 2010/9/17 11:13:04
所以一般用在大型系统中
李飞|北京 2010/9/17 11:13:09
不啊 EDW还是很不错的
陈维钦|上海8 2010/9/17 11:13:27
分层不分层，主要考虑ETL和报表性能的平衡。
陈维钦|上海8 2010/9/17 11:13:45
另外，就是存储开销和性能间的平衡。
刘军|北京 2010/9/17 11:13:46
还有就是复用
王洋-上海 2010/9/17 11:13:48
然后明细数据就存储在合并层？刘军？
陈维钦|上海8 2010/9/17 11:14:04
不过，EDW这种分层架构还是被广泛采用的。
刘军|北京 2010/9/17 11:14:04
是的
刘军|北京 2010/9/17 11:14:17
sap推荐edw架构
李飞|北京 2010/9/17 11:14:34
教材上也讲过啊
刘军|北京 2010/9/17 11:14:36
但是实际上用的不多，但是大型系统一定得用edw
李飞|北京 2010/9/17 11:14:35
呵呵
李飞|北京 2010/9/17 11:14:52
一般都是数据集市层那中
刘军|北京 2010/9/17 11:16:15
维钦，你们也用的是edw架构？
郑平§深圳 2010/9/17 11:16:23
我们 数据源--写优化dso-标准dso-cube-muticube是不是很有缺点？感觉重复了
刘军|北京 2010/9/17 11:17:01
我觉得写优化dso和标准dso应该换个位置吧？
陈维钦|上海8 2010/9/17 11:17:27
整体上，没有EDW。但是对部分应用，是按EDW原则去分层的。
刘军|北京 2010/9/17 11:17:49
因为标准dso是用来处理数据的，写优化dso只是对写优化，而对处理和读没有优化
郑平§深圳 2010/9/17 11:17:57
数据源--写优化dso这步好像直接上上来的，没任何过滤
王洋-上海 2010/9/17 11:18:06
写优化是优化从r3抽数据到bw的效率
王洋-上海 2010/9/17 11:18:42
如果交换了 写优化dso就没意义了
陈维钦|上海8 2010/9/17 11:19:08
写优化，有时用来代替PSA。
廖浩|上海 2010/9/17 11:19:12
staging layer一般用写优化吧 因为一般不做过滤 数据量较大 从效率考虑的话用写优化
陈维钦|上海8 2010/9/17 11:19:48
law data layer是唯一可能用到写优化的地方，也就是staging layer.
刘军|北京 2010/9/17 11:19:51
恩，我们一般是放到抽取层
刘军|北京 2010/9/17 11:20:15
还有输出层也可以用写优化啊
刘军|北京 2010/9/17 11:20:44
我们抽取层要做一些初步处理，删除无效的数据，做初步清洗
刘军|北京 2010/9/17 11:20:54
所以用的是标准的dso
刘军|北京 2010/9/17 11:21:24
bi7.0里面是自己抽数到psa吧
郑岩|北京(332327496) 2010/9/17 11:21:25
郑平§深圳 11:16:21我们 数据源--写优化dso-标准dso-cube-muticube这里，写优化的DSO不是用在staging layer么
洪金林|上海 2010/9/17 11:21:46
我觉得郑平的没问题啊
王洋-上海 2010/9/17 11:22:23
郑平的应该属于最常见的架构方式吧
刘军|北京 2010/9/17 11:22:30
如果中间有些无效数据，比如只要2005年以后的数据
刘军|北京 2010/9/17 11:22:48
那直接写到dso中？
郑平§深圳 2010/9/17 11:23:46
刘军的和我相反啊
刘军|北京 2010/9/17 11:24:10
我们的处理方式跟你的不一样
刘军|北京 2010/9/17 11:24:35
因为我们在抽取层 dso要做些数据的清理工作，所以用标准的dso
刘军|北京 2010/9/17 11:24:47
一般删除无效的数据
刘永平|北京13 2010/9/17 11:24:49
反正 从r3到bw最好是写优经的，因为这样不用执行标准ODS的复杂的分析过程 吧，
刘军|北京 2010/9/17 11:25:18
主要是效率跟空间的关系
廖浩|上海 2010/9/17 11:25:21
刘军|北京 11:24:35 AM
因为我们在抽取层 dso要做些数据的清理工作，所以用标准的dso那你们就是没有标准的staging layer喽？
陈维钦|上海8 2010/9/17 11:25:53
理论一回事，实际都没那么讲究。我们还大把DS-->Cube的应用呢。
刘军|北京 2010/9/17 11:25:58
psa->抽取层dso
刘军|北京 2010/9/17 11:26:04
用了啊，呵呵
刘军|北京 2010/9/17 11:26:18
infopackage直接抽取到psa啊
洪金林|上海 2010/9/17 11:26:37
理论联系实际。。。
郑岩|北京(332327496) 2010/9/17 11:26:42
7,0强迫使用PSA吧
刘军|北京 2010/9/17 11:27:07
所以我说大型系统一般用edw架构，
刘军|北京 2010/9/17 11:27:27
一般也没必要用，太啰嗦了，呵呵
郑岩|北京(332327496) 2010/9/17 11:28:10
我感觉咱们这波探讨比较深刻呀
郑岩|北京(332327496) 2010/9/17 11:28:24
本来就是一个转换不能复制的问题，升级到EDW了。。
刘军|北京 2010/9/17 11:28:37
这些东西应该是架构师讨论的问题，呵呵
刘军|北京 2010/9/17 11:28:50
我们基本只是看看，决定不了
郑岩|北京(332327496) 2010/9/17 11:29:10
洪金林|上海 2010/9/17 11:29:17
感谢方其华同志
廖浩|上海 2010/9/17 11:29:32
概念性的东西 推荐是推荐的 根据实际需要吧
郑岩|北京(332327496) 2010/9/17 11:30:07
有收获。。
刘军|北京 2010/9/17 11:30:09
恩，讨论下也挺好的
洪金林|上海 2010/9/17 11:30:09
方其华。。。出来颁奖了
郑岩|北京(332327496) 2010/9/17 11:30:22
刘军贡献也很大
刘军|北京 2010/9/17 11:31:31
大家一起讨论，相互学习啊
刘军|北京 2010/9/17 11:32:28
方其华|北京 2010/9/17 11:32:52
刘军|北京 2010/9/17 11:32:56
大家看看这张图，edw实际上就是写优化的dso
方其华|北京 2010/9/17 11:33:01
不敢当啊。
刘军|北京 2010/9/17 11:33:17
psa->ods->edw->data Mart
刘军|北京 2010/9/17 11:33:25
恩，方兄的图片
刘军|北京 2010/9/17 11:34:01
记得以前还有人面试 什么是edw架构
方其华|北京 2010/9/17 11:34:03
哈哈。教材上剽窃的。我也没仔细的琢磨。比如为什么DSO的颜色会不一样。哎。
方其华|北京 2010/9/17 11:34:10
下班干饭去了。
陈维钦|上海8 2010/9/17 11:35:01
这是我认为比较符合EDW concepts的 BW实现。
刘军|北京 2010/9/17 11:35:46
我们目前是这样架构的，因为机器性能好，所以性能上没啥问题
陈维钦|上海8 2010/9/17 11:36:03
这个架构在其他非BW环境一样适用，是目前最普遍接受的一种EDW架构。
刘军|北京 2010/9/17 11:36:34
维钦接触过oracle的吗？
刘军|北京 2010/9/17 11:37:00
edw好像是oralce最先提出来的
陈维钦|上海8 2010/9/17 11:37:03
一点接触而已。
刘军|北京 2010/9/17 11:37:10
ibm,sap才跟进的
陈维钦|上海8 2010/9/17 11:37:16
不是，EDW在理论界好久了。
陈维钦|上海8 2010/9/17 11:37:26
大家都提出自己的实现方式而已。
陈维钦|上海8 2010/9/17 11:37:43
我大学的时候学的EDW教材好像还是95年编的。
刘军|北京 2010/9/17 11:40:02
哦，感觉到现在还没有完全成熟