大数据之路

《大数据之路：阿里巴巴大数据实践》第一篇 数据技术篇-读书笔记

目录2.日志采集2.1浏览器的页面日志采集2.2无线客户端的日志采集2.3日志采集的挑战案例3.数据同步3.1数据同步基础3.2数据同步策略3.2.1批量数据同步3.2.2实时数据同步3.3数据同步问题3.3.1分库分表处理3.3.2高效同步和批量同步3.3.3增量与全量同步的合并3.3.4数据同步性能3.3.5数据漂移4.离线数据开发4.1统一计算平台4.2统一开发平台4.3任务调度系统4.4特
程序员学习圈·2023-04-04 19:59

视频教程-TensorFlow零基础入门实战教程-深度学习

TensorFlow零基础入门实战教程数据产品讲师，人工智能探索者，15年一线IT研发经验，国内顶级互联网行业工作背景，社区达人，著有长篇连载《胖子哥的大数据之路》，《数据实践之美》和《运营前线》共同作者
weixin_27184609·2023-04-04 18:34

大数据之路之Linux篇

1.Linux简介篇1.1为什么要学习Linux工作需要，从事IT工作或多或少都要设计Linux；迟早老子会有钱，要买一台苹果Mac坐在星巴克追剧，那你会发现，Mac的命令行模式竟然和Linux惊人的相识，我每次用到Mac命令行操作都是直接网上直接copy的，不知道啥意思，这是我一个做设计的朋友跟我吐槽的，嘿嘿，就怕哪天你copy了个rm-rf*每次看美国大片，发现那些电脑高手都在一个黑框框里啪啦
若隐_RowYet_大数据·2023-04-01 12:45

概念-数据域是什么？

第一次接触这个概念，是看《大数据之路-阿里巴巴大数据实践》的第九章。可里面对数据域的描述内容很少，在体系架构中却是个很重要的节点。
钱锋0519·2023-03-30 16:28

大数据之路—— 实时技术

五、数据技术篇——实时技术5.1简介5.2流式技术架构@5.2.1数据采集5.2.2数据处理5.2.3数据存储5.2.4数据服务5.3流式数据模型5.3.1数据分层5.3.2多流关联5.3.3维表使用@5.4大促挑战5.4.1大促特征5.4.2大促保障@5.1简介流计算，业务希望能在第一时间拿到经过加工的数据，实时监控状态作出运营决策，引导业务往好的方向发展。特征：实效性高，延时可能到达毫秒级常驻
jialun0116·2023-03-29 15:26

数据仓库(7)数仓规范设计

Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统规范设计在这里取《大数据之路：阿里巴巴大数据实践》中的定义，这里记录一下本人对这一块自己的理解。
pythonxxoo·2023-03-29 07:58

阿里大数据之路：数据模型篇大总结

全网最全大数据面试提升手册！第1章大数据领域建模综述1.1为什么需要数据建模有结构地分类组织和存储是我们面临的一个挑战。数据模型强调从业务、数据存取和使用角度合理存储数据。数据模型方法，以便在性能、成本、效率之间取得最佳平衡成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果复用，极大地降低大数据系统中的存储和计算成本。效率：良好的数据模型能极大地改善用户使用数据的体验，提高使用数据
王知无(import_bigdata)·2023-03-29 04:29

浅谈一个新人的大数据之路-ORC篇

@[TOC](CCCCCold丶大数据之禅)#ORCFile原理**ORCFile是什么？**ORC的全称是(OptimizedRowColumnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式。**ORCFile作用**用于降低Hadoop数据存储空间和加速Hive查询速度。**ORCFile演变史***TEXTFile->列式存储->RCFile->ORCFile****本文会从
CCCCCColdkl·2023-03-22 06:38

浅谈一个新人的大数据之路

第一章，大数据之路浅谈数仓&数据集市&数据湖**数据仓库**：英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。
CCCCCColdkl·2023-03-14 14:57

从0到1介绍一下开源大数据比对平台dataCompare

其实在《阿里巴巴大数据之路》这本其实有提到
诸葛子房_·2023-01-30 04:25

2019年规划

成为一个合格的产品经理（对产品经理的套方法论能熟练掌握）；2：对大数据底层知识有全面的了解，包括底层的架构，中间的数仓，后面的应用层；3：打造溢米的大数据平台，银河系统；4：通过坚持产出，书写一份自己的大数据之路
Edan栋·2023-01-28 18:21

【大数据之路】数据模型篇 《四》事实表设计 【搬运小结】

文章目录【大数据之路】数据模型篇《四》事实表设计1事实表基础1.1事实表特性1.2事实表设计原则1.3事实表设计方法2事务事实表2.1设计过程2.2单事务事实表2.3多事务事实表2.4两种事实表对比2.5
一阵暖风·2022-12-19 09:37

【大数据之路】数据管理篇 《一》元数据 【搬运小结】

文章目录【大数据之路】数据管理篇《一》元数据1元数据概述1.1元数据定义1.2元数据价值1.3统一元数据体系建设2元数据应用2.1DataProfile2.2元数据门户2.3应用链路分析2.4数据建模2.5
一阵暖风·2022-12-19 09:06

【大数据之路】数据管理篇 《二》计算管理 【搬运小结】

文章目录【大数据之路】数据管理篇《二》计算管理1系统优化1.1HBO1.1.1HBO原理1.1.2HBO效果1.1.3HBO改进与优化1.2CBO1.2.1优化器原理1.2.2优化器新特性1.2.3优化器使用
一阵暖风·2022-12-19 09:06

数据中台之OneID (ID-Mapping)架构设计细节全解

OneID简介《阿里巴巴大数据之路》中有讲到关于数据中台OneData的方法论，其中分别涉及到OneModel、OneService、OneID。OneID
大数据架构师Evan·2022-12-10 09:06

【大数据之路】数据模型篇 《三》维度设计 【搬运小结】

文章目录【大数据之路】数据模型篇《三》维度设计1.维度设计基础1.1维度的基本概念1.2维度的基本设计方法维度设计方法第一步：选择维度或新建维度。第二步：确定主维表。第三步：确定相关维表。
一阵暖风·2022-12-05 13:06

智能多轮对话机器人案例剖析（附源码）-张子良-专题视频课程

讲师介绍张子良更多讲师课程数据产品讲师，人工智能探索者，15年一线IT研发经验，国内顶级互联网行业工作背景，社区达人，著有长篇连载《胖子哥的大数据之路》，《数据实践之
数据饕餮·2022-12-04 15:39

【大数据之路】数据模型篇 《二》阿里巴巴数据整合及管理体系 【搬运小结】

文章目录数据模型篇《二》阿里巴巴数据整合及管理体系概述定位及价值体系架构规范定义名词术语指标体系1．基本原则1.1组成体系之间的关系1.2命名约定1.3算法2．操作细则2.1算法派生指标的种类模型设计指导理论模型层次数据模型篇《二》阿里巴巴数据整合及管理体系面对爆炸式增长的数据，阿里巴巴内部使用OneData方法体系对数据进行有序和有结构地分类组织和存储，避免重复建设和数据不一致性，保证数据的规范
一阵暖风·2022-12-01 08:34

【大数据之路】数据模型篇 《一》 大数据领域建模综述 【搬运小结】

文章目录数据模型篇《一》大数据领域建模综述1.为什么需要数据建模2.关系数据库系统和数据仓库3.从OLTP和OLAP系统的区别看模型方法论的选择4.典型的数据仓库建模方法论4.1ER模型4.2维度模型5.阿里巴巴数据模型实践综述数据模型篇《一》大数据领域建模综述1.为什么需要数据建模数据爆发式增长，我们需要将数据进行有序、有结构地分类组织和存储。数据模型就是数据组织和存储方法，它强调从业务、数据存
一阵暖风·2022-12-01 08:57

基于MaxCompute的数仓数据质量管理

参考文献《大数据之路——阿里巴巴大数据实践》——阿里巴巴数据技术及产品部著。背景及目的数据对一个企业来说已经是一项重要的资产，既然是资产，肯定需要管理。
阿里云技术·2022-11-30 18:25

数据仓库(7)数仓规范设计

规范设计在这里取《大数据之路：阿里巴巴大数据实践》中的定义，这里记录一下本人对这一块自己的理解。
张飞的猪大数据·2022-11-30 10:29

大数据之路读书笔记-09阿里巴巴数据整合及管理体系

大数据之路读书笔记-09阿里巴巴数据整合及管理体系面对爆炸式增长的数据，如何建设高效的数据模型和体系，对这些数据进行有序和有结构地分类组织和存储，避免重复建设和数据不一致性，保证数据的规范性，直是大数据系统建设不断追求的方向
潘小磊·2022-11-29 20:53

学习笔记-大数据之路-数据模型篇-数据整合及管理体系-规范定义

第9章阿里巴巴数据整合及管理体系  数据模型：如何构建优良的模型，如何优化模型出现的问题  体系：包含数据模型、分层、主题划分、数据治理、元数据管理、可视化等等9.1，概述  阿里大数据建设方法论核心：从业务架构设计到模型设计，从数据研发到数据服务，做到数据可管理、可追溯、可规避重复建设9.1.1，定位及价值  建设统一的、规范化的数据接入层（ODS）和数据中间层（DWD和DWS），通过数据服务和
dyson不只是吹风机·2022-11-29 19:47

【大数据之路】第9章阿里巴巴数据整合及管理体系

9.2规范定义名词术语数据域：面向业务分析。既能涵盖目前所有的业务需求，又能在新业务进入时不影响的进入到已有的数据域或扩展新的数据域。业务过程：注意不可拆分的行为事件，例如下单、支付、浏览等。就是企业活动中的事件。修饰类型：修饰词的概括。例如订单中的支付方式、日志域中的访问终端类型等。派生指标：等于原子指标+一个或者多个修饰词+时间周期。派生指标唯一归属一个原子指标。派生指标可以分为三类：-事务型
GO_BY_GO_BY_GO·2022-11-29 19:47

《大数据之路：阿里巴巴大数据实践》笔记——数据模型篇

为什么要数据建模性能：良好的数据模型能帮助我们快速查询所需要的数据，减少数据的吞吐。成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果复用，极大地降低大数据系统中的存储和计算成本。效率：良好的数据模型能极大地改善用户使用数据的体验，提高使用数据的效率。质量：良好的数据模型能改善数据统计口径的不一致性，减少数据计算错误的可能性。数据仓库建模方法论ER模型：用实体关系（EntityRe
Godxv·2022-11-29 19:16

学习笔记-大数据之路-数据模型篇-数据整合及管理体系-模型设计

9.3，模型设计9.3.1，指导理论维度建模为基础，构建一致性的维度和事实9.3.2，模型层次三层结构操作数据层（ODS）公共维度模型层（CDM）应用数据层（ADS）其中CDM包括明细数据层（DWD）和汇总数据层（DWS）各层详细说明ODS层：业务数据和日志数据等需要存储分析的数据无处理地存放在数据仓库系统中；CDM层：存放明细事实数据、维表数据及公共指标汇总数据。其中明细事实数据、维表数据一般根
dyson不只是吹风机·2022-11-29 19:16

学习笔记-大数据之路-数据模型篇-数据整合及管理体系-模型实施

9.4，模型实施9.4.1，业界常用的模型Kimball和Inmon模型9.4.2，OneData实施过程指导方针数仓建设时，需要充分进行业务调研（自下而上）和需求分析（自上而下）。使用OneData工具完成指标规范定义和模型设计。实施工作流（1）数据调研业务调研业务领域：在阿里如电商、数字娱乐、导航、移动互联网等业务领域包含业务线：如电商领域涵盖ToC（淘宝、天猫、天猫国际）和ToB（阿里巴巴中
dyson不只是吹风机·2022-11-29 19:16

《大数据之路：阿里巴巴大数据实践》-第3篇 数据管理篇 -第14章 存储和成本管理

《大数据之路：阿里巴巴大数据实践》系列丛书 第1章总述第1篇数据技术篇 第2章日志釆集 第3章数据同步 第4章离线数据开发 第5章实时技术 第6章数据服务 第7章数据挖掘第2篇数据模型篇 第8章大数据领域建模综述
九层之台起于累土·2022-11-29 19:45

《大数据之路：阿里巴巴大数据实践》-第3篇 数据管理篇 -第15章 数据质量

《大数据之路：阿里巴巴大数据实践》系列丛书 第1章总述第1篇数据技术篇 第2章日志釆集 第3章数据同步 第4章离线数据开发 第5章实时技术 第6章数据服务 第7章数据挖掘第2篇数据模型篇 第8章大数据领域建模综述
九层之台起于累土·2022-11-29 19:45

《大数据之路：阿里巴巴大数据实践》-第4篇 数据应用篇 -第16章 数据应用

《大数据之路：阿里巴巴大数据实践》系列丛书 第1章总述第1篇数据技术篇 第2章日志釆集 第3章数据同步 第4章离线数据开发 第5章实时技术 第6章数据服务 第7章数据挖掘第2篇数据模型篇 第8章大数据领域建模综述
九层之台起于累土·2022-11-29 19:45

《大数据之路：阿里巴巴大数据实践》-第2篇 数据模型篇 -第9章 阿里巴巴数据整合及管理体系

《大数据之路：阿里巴巴大数据实践》系列丛书 第1章总述第1篇数据技术篇 第2章日志釆集 第3章数据同步 第4章离线数据开发 第5章实时技术 第6章数据服务 第7章数据挖掘第2篇数据模型篇 第8章大数据领域建模综述
九层之台起于累土·2022-11-29 19:15

《大数据之路：阿里巴巴大数据实践》-第3篇 数据管理篇 -第12章 元数据

《大数据之路：阿里巴巴大数据实践》系列丛书 第1章总述第1篇数据技术篇 第2章日志釆集 第3章数据同步 第4章离线数据开发 第5章实时技术 第6章数据服务 第7章数据挖掘第2篇数据模型篇 第8章大数据领域建模综述
九层之台起于累土·2022-11-29 19:15

阿里巴巴大数据之路-数据整合&管理体系

数据整合&管理体系OneDataOneData即是阿里巴巴内部进行数据整合及管理的方法体系和工具。阿里巴巴的大数据工程师在这一体系下，构建统一、规范、可共享的全域数据体系，避免数据的冗余和重复建设，规避数据烟囱和不一致性，充分发挥阿里巴巴在大数据海量、多样性方面的独特优势。借助这一统一化数据整合及管理的方法体系，我们构建了阿里巴巴的数据公共层，并可以帮助相似的大数据项目快速落地实现。下面重点介绍O
村口蹲点的阿三·2022-11-29 19:14

大数据之路：阿里巴巴大数据实践（数据模型篇）

第8章大数据领域建模综述一、典型的数据仓库建模方法论1、ER模型特点：需要全面了解企业业务和数据、实施周期非常长、对建模人员的能力要求非常高。2、维度模型步骤：选择需要进行分析决策的业务过程、选择粒度、识别维表、选择事实（确定分析需要衡量的指标）3、DataVault模型DataVault模型由以下几部分组成：Hub：是企业的核心业务实体，由实体key、数据仓库序列代理键、装载时间、数据来源组成；
风满楼i·2022-11-29 19:14

数据仓库进阶 《阿里大数据之路》第二篇 数据模型篇 (完整版)

第8章大数据领域建模综述此文章为学习笔记，有兴趣的小伙伴可以根据以下指引获取更多，学习内容链接如下：视频：【一起啃书】阿里大数据之路数据仓库建模基础理论研读(已完结)_哔哩哔哩_bilibili书籍：《
:Concerto·2022-11-29 19:14

《大数据之路：阿里巴巴大数据实践》-第1篇 数据技术篇 -第3章数据同步

《大数据之路：阿里巴巴大数据实践》系列丛书 第1章总述第1篇数据技术篇 第2章日志釆集 第3章数据同步 第4章离线数据开发 第5章实时技术 第6章数据服务 第7章数据挖掘第2篇数据模型篇 第8章大数据领域建模综述
九层之台起于累土·2022-11-29 19:14

《大数据之路：阿里巴巴大数据实践》第二篇 数据模型篇-读书笔记

目录8.大数据领域建模综述8.1为什么需要数据建模8.2关系数据库系统和数据仓库8.3从OLTP和OLAP系统的区别看模型方法论的选择8.4典型的数据仓库建模方法论8.4.1ER模型8.4.2维度模型8.4.3DataVault模型8.4.4Anchor模型8.5阿里巴巴数据模型实践综述9.阿里巴巴数据整合及管理体系9.1概述9.1.1阿里巴巴的大数据建设方法论的核心是9.1.2定义及价值9.2规
程序员学习圈·2022-11-29 19:39

【数仓】数据同步-数据仓库的数据来源之二

本文参考《大数据之路》，对书中的要点进行记录。可以关注公众号回复802获取pdf。其他章节更新中。可以点
和风与影·2022-11-23 10:21

视频教程-人工智能产品经理实践视频精讲-强化学习

人工智能产品经理实践视频精讲数据产品讲师，人工智能探索者，15年一线IT研发经验，国内顶级互联网行业工作背景，社区达人，著有长篇连载《胖子哥的大数据之路》，《数据实践之美》和《运营前线》共同作者。
weixin_30505663·2022-11-09 10:06

《大数据之路：阿里巴巴大数据实践》-第1篇 数据技术篇 -第7章 数据挖掘

《大数据之路：阿里巴巴大数据实践》系列丛书第1章总述第1篇数据技术篇 第2章日志釆集 第3章数据同步 第4章离线数据开发 第5章实时技术 第6章数据服务 第7章数据挖掘第2篇数据模型篇 第8章大数据领域建模综述
九层之台起于累土·2022-09-03 07:40

数据仓库(07)数仓规范设计

规范设计在这里取《大数据之路：阿里巴巴大数据实践》中的定义，这里记录一下本人对这一块自己的理解。
·2022-08-17 14:05

大数据之路读书笔记-13计算管理

大数据之路读书笔记-13计算管理目前内部MaxCompute集群上有200多万个任务，每天存储资源、计算资源消耗都很大。
潘小磊·2022-07-21 11:14

大数据之路：数据同步

目录1.数据同步基础2.阿里数据仓库的同步方式3.数据同步遇到的问题和解决方案1.数据同步基础大数据的数据同步主要包括从分布式业务系统同步进入数据仓库和数据从数据仓库同步进入数据应用和数据服务两个方面。本文主要讲述的是前者。从业务系统同步数据到数据仓库的数据同步总的说来分为三种，直连同步(侵入式)，数据文件同步，数据库日志解析。直连同步：通过JDBC方式直接连接源系统抽取数据，当数据量大时容易对数
嗯嗲和滴·2022-07-08 14:17

大数据之路----3.数据同步

文章目录数据来源数据同步直连同步数据文件同步数据库日志解析同步数据仓库同步方式批量数据同步实时数据同步数据同步遇到的问题和解决办法分库分表的处理增量与全量同步的合并数据漂移的处理数据来源关系型数据库的结构化数据：MySQL、Oracle、DB2、SQLServer非关系型数据库的非结构化数据：OceanBase、HBase、MongoDB、来源于文件系统的结构化或非结构化数据（通常以文件形式存储）
noworldling·2022-07-08 14:17

大数据之路之Linux篇

目录1.Linux简介篇1.1为什么要学习Linux1.2Linux是什么1.3Linux创始人1.4Linux主要发行版本1.5Linux和Unix前世今生2.Linux系统基础篇2.1Linux安装2.2Linux用户管理、组管理、权限管理2.3Linux磁盘基础知识、分类、分区、挂载、卸载、扩容等操作；2.4Linux网络配置（配置网卡、固定IP，固定hostname，终端远程登录）2.5L
╭⌒若隐_RowYet——大数据·2022-05-23 15:06

数据仓库(7)数仓规范设计

规范设计在这里取《大数据之路：阿里巴巴大数据实践》中的定义，这里记录一下本人对这一块自己的理解。
张飞的猪·2022-04-20 12:00

大数据之路 --- Hbase（分布式数据库）

HBase是一个在HDFS上开发的面向列的分布式数据库。---->HBase数据库的特点：列式存储：按列存储海量存储：无单机存储量限制，分布式存储极易扩展：自动分区、非常容易根据数据量自动扩展高并发：支持高并发、随机快速读写稀疏：支持超宽列、不必每列都包含内容，可以为空值HBase版本选择：HBase是依赖于Hadoop的，因此需要根据Hadoop的版本来选择对应的HBase版本。HBase的数据
Mai_Noe·2022-03-31 10:06

大数据之路—— 事实表设计

十一、数据模型篇——事实表设计11.1事实表基础11.1.1事实表特性11.1.2事实表设计原则11.1.3事实的设计准则11.1.4事实表设计方法11.2事务事实表11.2.1单事务事实表11.2.2多事务事实表11.2.3两种事实表比较11.3周期快照事实表11.3.1特性11.3.2设计步骤11.3.3注意事项11.4累计快照事实表11.4.1特性11.4.2设计步骤11.4.3特殊处理11
jialun0116·2021-11-18 08:00

大数据之路—— 维度设计

十、数据模型篇——维度设计10.1维度设计基础10.1.1基本概念10.1.2维度的基本设计方法10.1.3层次结构10.1.4规范化和反规范化10.1.5一致性维度和交叉探查10.2维度设计高级10.2.1维度整合10.2.2维度拆分10.2.3历史归档10.3维度变化10.3.1缓慢变化的维度10.3.2快照维表10.3.3极限存储10.3.4微型模型10.4特殊维度10.4.1递归层次10.
jialun0116·2021-11-16 18:02

大数据之路—— 数据整合和管理体系

九、数据模型篇——数据整合和管理体系9.1体系架构图9.2名词术语9.3指标体系9.4模型设计9.4.1基本原则9.5模型实施大数据建设方法论的核心：从业务架构设计到模型设计，从数据研发到数据服务，做到数据可管理性、可追溯、可规避重复建设。<>建设统一的、规范的数据接入层和中间层，完成数据公共层建设，提供标准化的、共享的、数据服务能力，降低成本等。9.1体系架构图9.2名词术语数据域：指面向业务分
jialun0116·2021-11-15 16:50
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他