大数据之路

大数据之路—— 离线数据开发

四、数据技术篇——离线数据开发4.1数据开发平台4.1.1统一计算平台@4.1.2统一开发平台4.2任务调度4.2.1核心设计模型4.2.2任务状态机模型@4.2.3工作状态机模型4.2.4调度引擎工作原理4.2.5执行引擎逻辑架构图@4.2.6调度系统的特点数据存储及计算、数据整合及管理体系4.1数据开发平台了解需求->模型设计->ETL开发->测试->发布上线->日常运维->任务下线4.1.1
jialun0116·2021-11-11 19:16

大数据之路——数据同步

三、数据技术篇——数据同步3.1数据同步基础@3.1.1直连同步3.1.2数据文件同步3.1.3数据库日志解析同步3.2数据仓库同步方式3.2.1批量数据同步3.2.2实时数据同步3.3同步遇到的问题3.3.1分库分表3.3.2增量全量同步的合并@3.3.3数据漂移的处理@有多种不同应用场景：主数据库和备份数据库之间的数据备份，主系统和子系统的数据更新，不用地域、数据库类型的数据传输交换3.1数据
jialun0116·2021-11-11 10:26

《大数据之路：阿里巴巴大数据实践》笔记——数据同步篇

数据同步方式方式定义优点缺点直连同步通过定义好的规范接口API和基于动态链接库的方式直接连接业务库配置简单，实现容易，比较适合操作型业务系统的数据同步对源系统的性能影响较大数据文件同步通过约定好的文件编码、大小、格式等，直接从源系统生成数据的文本文件，由专门的文件服务器，如FTP服务器传输到目标系统后，加载到目标数据库系统中。当数据源包含多个异构的数据库系统（如MySQLOracleQLServe
Godxv·2021-10-27 19:00

大数据之路 ——（一）算法建模中的数据清洗

作者：Mochou来源：恒生LIGHT云社区在当前大数据的背景下，数据处理占了极大的份额，就像一个西红柿做成西红柿炒鸡蛋，需要经过调料整合，菜料清洗，饭菜加工等等才能发布到生产，不，发送到餐桌。这里简单分享一下我对数据清洗的理解，其具有很重要的地位，不然面对着脏乱差的西红柿炒鸡蛋，没人愿意下口。一份未经清洗过的数据一般会存在这些不符合分析要求的问题：比如重复，错误，空值，异常数据等，对于错误数据，
·2021-08-05 15:06

2021-02(完成事项)

并要总结与复习把java基础中的核心概念在看一遍,有所遗忘把spark源码学习一下把博客中的flink给学习完并结合书籍,把b站上的flink架构学习完(这个部分至少要花费2-4个月的时间)把阿里云的大数据之路给看完把数据仓库的架构给学习一下
隐约喜欢萌萌哒·2021-06-22 23:29

读书清单

1.计划读领域驱动设计11月读完mysql索引和锁设计与原理，主从同步，分布式集群检索设计方案codis主从同步原理golang包相关翻译已读:金字塔原理大数据之路逆流而上go并发编程实战可伸缩性架构mysqlinnodb
长征路上的IT男·2021-05-16 17:20

大数据采集标准-我们到底需要什么样的数据？

胖子哥的大数据之路（16）：大数据采集标准-我们到底需要什么样的数据？
葡萄喃喃呓语·2021-05-14 11:42

Python工程师的大数据之路（6f）图解Kafka生产者和消费者API

图解Kafka的JavaAPI1、前言2、生产者1.1、复习一下命令1.2、写入分区的策略有哪些1.3、Java代码原理图1.4、Java代码1.5、试运行2、生产者2.1、复习一下命令2.2、消费者偏移量2.3、Java代码1、前言Kafka官网：http://kafka.apache.org/documentation/因为不同版本的Kafka的API不同，所以我们要尽量去官网看配置和找dem
小基基o_O·2021-05-07 14:40

Python工程师的大数据之路（6c）Kafka理论知识

高吞吐的目录1、基础理论1.1、什么是消息队列1.2、消息队列的两种模式1.3、高可用原理2、Kafka概述3、主题和分区4、数据存储原理5、生产数据的可靠性5.1、ack5.2、ISR附录1、基础理论1.1、什么是消息队列MessageQueue消息的传输过程中保存消息的容器应用场景：程序解耦、异步消息、流量削锋…1.2、消息队列的两种模式点对点模式（消费者主动拉取数据，拉取成功后删除队列上的数
小基基o_O·2021-04-29 21:34

读透《华为数据之道》

这是傅一平的第361篇原创【提醒：公众号推送规则变了，如果您想及时收到推送，麻烦右下角点个在看，或者把本号置顶】正文开始很多年前阿里出了《大数据之路》一书，在数据技术层面给出了有价值的指导，算是一本经典的书籍
傅一平·2020-12-28 07:00

阅读笔记（2019.10.11）

目录《数据资产管理》当数据分析成为一种搜索……构建智慧众筹的数据应用商店《数据虚拟化》《企业IT架构转型之道阿里巴巴中台战略思想与架构实战》《增长黑客》《大数据之路：大数据实践》《大数据大创新：阿里巴巴云上数据中台之道
itbgj·2020-09-17 14:34

大数据之路、阿里巴巴大数据实践读书笔记 --- 第十六章、数据应用

本篇主要介绍两个应用：提供给外部商家使用的数据产品平台-生意参谋和服务于阿里巴巴内部的数据产品平台一、生意参谋作为大数据公司，阿里巴巴在推动业务数据化的同时，也在不断地帮助商家实现数据业务化。在对外产品方面，阿里巴巴以“生意参谋”作为官方统一的数据产品平台，为商家提供多种多样化，普惠性的数据赋能；截止2016财年，生意参谋累计服务商家已超过2000万，越服务商家超过500万。在月成交额30W元以上
杨鑫newlfe·2020-09-17 03:19

大数据大牛博客

姜冰博客：binospace阿里封神博客：专注海量数据yaron'sspace博客：记录学习过程的点点滴滴hadoop博客：胖子哥的大数据之路IT行业尖兵，主要从事金融支付、大数据和系统架构，金融大数据行业专家
weixin_34123613·2020-09-13 13:09

大数据之路、阿里巴巴大数据实践读书笔记 --- 第十章、维度设计

零、写在前面此章节是我读到现在较难懂的一部分，如果数据仓库水平、处理的数据量、业务种类并不多的情况下，很多情况还是较难理解的，希望大家可以对不懂的地方多读些，欢迎交流讨论；内含拉链表，以及极限压缩等部分，对于数据仓库模型的优化很有帮助；一、维度设计基础维度的基本概念维度是维度建模的基础和灵魂；在维度建模中，将度量称为“事实”，将环境称为“维度”；维度所包含的表示维度的列，称为维度属性。维度属性是查
杨鑫newlfe·2020-09-11 04:41

我的大数据之路 --pyspark连接mysql数据库

pyspark连接mysql数据库说明一点，spark2.0（包括spark2.0）以下的版本不支持python3.6以上的版本（包括python3.6）。（亲测到怀疑人生）三台机都要。由于CentOS本身自带python2.7.5，而2.-.-现在已经逐步退出。所以建议大家使用python3。下载python3以及安装点这里呀下载mysql:jdbc驱动包提取码q4nn，我这里使用的是mysql
小牛头#·2020-09-11 03:32

胖子哥的大数据之路（二）- 大数据结构化数据存储应用模式

一、楔子胖子哥是我网名，叫了很多年的网名，网名的来历与自己的沧桑和身材有关，不知是IT改变了我，显得苍老，还是我本就苍老，顺应了IT行业的需要。25岁那年，曾被跟我一样高的漂亮美眉叫叔叔，从此再也不敢打小姑娘的注意，走上了重口味热爱阿姨级别女性的不归路；曾被三十五、六岁的同事阿姨说苍老：看你也就三十五六吧，那年我25；周一的时候，还有一个60后的同事问及我的年龄，他很含蓄的，明显带着保留的口吻问我
weixin_34245082·2020-09-10 19:31

实用大数据系统设计

另外，如果你选择合适的开源工具，也往往会使你的大数据之路起到事半功倍的效果。下面会列出实用并且较低成本的大数据实施系统，供参考。
BoYang·2020-08-24 13:03

基于MaxCompute的数仓数据质量管理

参考文献《大数据之路——阿里巴巴大数据实践》——阿里巴巴数据技术及产品部著。背景及目的数据对一个企业来说已经是一项重要的资产，既然是资产，肯定需要管理。
阿里云云栖号·2020-08-22 12:43

大数据之路-数据仓库概述

原来在学校实验室也进行过开发工作，有一定的项目经验，后来也靠这些项目经验以实习生的身份加入了现公司。但是万万没想到，加入的是大数据部门啊，导致现在一直在补大数据相关的知识。最后悔的是之前也有参加过一个大数据的特色班，可惜那时候没好好学，一直忙着实验室的Java后台的一些项目，难受~好了，牢骚也发完了。今天也把之前的一些课件翻了出来，重新学习一下，然后对数据仓库进行一个理解和总结。一、什么是数据仓库
Badgehu·2020-08-19 08:08

技术新人的大数据之路

不可否认，大数据学习最重要的是学习的能力，这种能力要远比你掌握的知识多少要重要，所以，练习大于理论，加油吧。首先，大数据不得不讲神器的Google三大论文，你可以骂它看不懂，你可以骂自己英语不好，但是你确实要看的，不推荐你看中文版，会让你误解很多概念和词汇，还是要从英文的开始看起：http://pan.baidu.com/s/1o6G8PGAMapReduce可谓是总结了大数据计算的核心：分而治之
晓阳的数据小站·2020-08-18 11:01

大数据之路：阿里巴巴大数据实践

文章目录第1章：总述第2章：日志采集2.1浏览器的页面日志采集2.1.1页面浏览日志采集流程2.1.2页面交互日志采集2.1.3页面日志的服务器端清洗和预处理2.2无线客户端的日志采集2.2.1页面事件2.2.2控件点击及其他事件2.2.3特殊场景2.2.4H5&Native日志统一2.2.5设备标识2.2.6日志传输2.3日志采集的挑战2.3.1典型场景2.3.2大促保障第3章：数据同步3.1数
涛声依旧（竞涛）·2020-08-16 10:11

大数据之路之为什么要用大数据

数据自古就存在古代从结绳记事到仓颉造字到甲骨八卦再到蔡伦制纸近代从1800年第一块伏特电池到1946年人类发明第一台电脑现代从世纪初开发出Hadoop生态到十三五计划把大数据上升到国家级战略数据作为一种资源自古就存在着，尤其到了近现代，数据通过电子化，数字化无线增值，人类存储的数据量以指数级在增长，数据传输速度也从天级到秒级甚至毫秒级4G让短视频，直播走上风口浪尖，而5G元年的到来，数据应该直接是
江楼月美人·2020-08-16 07:59

华为云BigData Pro解读： 鲲鹏云容器助力大数据破茧成蝶

华为云鲲鹏云容器见证BigDataPro蝶变之旅大数据之路顺应人类科技的进步而诞生，一直顺风顺水，不到20年时间，已渗透到社会生产和人们生活的方方面面，。
华为云·2020-08-15 02:42

视频教程-人工智能--智能多轮对话机器人案例剖析（附源码）-NLP

人工智能--智能多轮对话机器人案例剖析（附源码）数据产品讲师，人工智能探索者，15年一线IT研发经验，国内顶级互联网行业工作背景，社区达人，著有长篇连载《胖子哥的大数据之路》，《数据实践之美》和《运营前线
weixin_30767941·2020-08-11 14:36

视频教程-语音识别开发实战案例教程-语音识别

语音识别开发实战案例教程数据产品讲师，人工智能探索者，15年一线IT研发经验，国内顶级互联网行业工作背景，社区达人，著有长篇连载《胖子哥的大数据之路》，《数据实践之美》和《运营前线》共同作者。
weixin_27202159·2020-08-11 13:33

java程序员的大数据之路（15）：Pig Latin用户自定义函数

过滤函数所有的过滤函数都要继承FilterFunc类，并且实现抽象方法exec()，该方法的返回类型为Boolean。示例代码如下：packagecom.udf.filter;importorg.apache.pig.FilterFunc;importorg.apache.pig.backend.executionengine.ExecException;importorg.apache.pig.
Jackyzhe·2020-08-10 12:41

视频教程-Python疫情监控完整项目实战-Python

Python疫情监控完整项目实战数据产品讲师，人工智能探索者，15年一线IT研发经验，国内顶级互联网行业工作背景，社区达人，著有长篇连载《胖子哥的大数据之路》，《数据实践之美》和《运营前线》共同作者。
weixin_32580913·2020-08-10 07:21

C#码农的大数据之路 - 使用C#编写MR作业

写在前面从Hadoop出现至今，大数据几乎就是Java平台专属一般。虽然Hadoop或Spark也提供了接口可以与其他语言一起使用，但作为基于JVM运行的框架，Java系语言有着天生优势。而且能找到的与大数据框架如Hadoop等使用介绍的文章也都以Java语言作为示例居多。许多C#er为了转投大数据怀抱也开始学习Java。微软为了拥抱大数据在这方面也做了许多，提供了一些工具及库使C#可以更好的与H
dotNET跨平台·2020-08-05 14:50

richard_w0ng的技术博客导航

本页面是博客目录导航页，会持续更新本文的小标题就是对应文章标题，点击小标题会有传送门送到对应的文章处，方便阅读陆续会开新的坑，比如Kafka、Flume、Flink等等，目前就先把旧坑给填上再二、漫漫无边的大数据之路
richard_w0ng·2020-08-04 11:30

阿里巴巴大数据体系学习资料

《大数据之路--阿里巴巴大数据实践》这本书很有价值，下面是一些读后总结，对于理解这本书也是非常有帮助的。
Ryan_Fn·2020-07-30 15:29

阿里巴巴大数据之路——数据模型篇

阿里巴巴大数据之路——数据模型篇一、概述1.什么是数据模型？数据模型就是数据的组织和存储方法。主要关注的是从业务、数据存取和使用角度合理存储数据。
starzhou·2020-07-30 00:15

大数据之路-Hadoop-5-HDFS原理解析及NameNode、DataNode工作机制

一HDFS的工作机制1概述二HDFS写数据流程1概述2详细步骤图3详细步骤解析三HDFS读数据流程1概述2详细步骤图3详细步骤解析四NameNode工作机制1问题场景2NameNode的职责3元数据管理31元数据存储机制32元数据手动查看33元数据checkpoint34元数据目录说明五DataNode工作机制1问题场景2概述21DataNode工作职责22DataNode掉线判断时限参数3观察验
幸运的天才小驴·2020-07-16 02:44

大数据之路~第十二章 元数据

1元数据概述1.1元数据定义阿里常见的技术元数据：1分布式计算系统存储元数据，如MaxCompute表、列、分区等信息。记录了表的表名、分区信息、责任人信息、文件大小、表类型、生命周期，以及列的字段名、字段类型、字段备注、是否是分区字段等系统。2分布式计算系统运行元数据，如MaxCompute上所有作业运行等信息；类似于Hive的Job日志，包括作业类型、实例名称、输入输出、SQL、运行参数、执行
yaofangxugo·2020-07-15 11:00

大数据之路~第八章 模型概述

原理论篇~第三章数据模型设计2017年09月24日10:07:02wer0735阅读数：3455版权声明：本文为博主原创文章，未经博主允许不得转载。https://blog.csdn.net/wer0735/article/details/78075223常见数据模型介绍1ER模型数据仓库之父BillInmon提出的建模方法，是从全企业的高度设计一个3NF模型，用实体关系（EntityRelati
yaofangxugo·2020-07-15 11:59

后端开发 - 收藏集 - 掘金

撒哈拉沙漠下载nginx和nginx-rtmp源码：http://nginx.org/download/ngi...https://github.com/arut/nginx-rtmp-modul...卷皮的大数据之路
weixin_34199405·2020-07-13 18:02

基于MaxCompute的数仓数据质量管理

参考文献《大数据之路——阿里巴巴大数据实践》——阿里巴巴数据技术及产品部著。背景及目的数据对一个企业来说已经是一项重要的资产，既然是资产，肯定需要管理。
weixin_34023863·2020-07-12 23:40

Kafka创建Topic时如何将分区放置到不同的Broker中

留言点赞数排名前5名的粉丝，各免费赠送一本《大数据之路：阿里巴巴大数据实践》，明天18点就结束了，赶紧去参加吧。
两天·2020-07-12 18:57

Java大数据之路--责任链模式

责任链模式概述责任链模式，在面向对象里是一种软件设计模式，它包含了一些命令对象和一系列的处理对象。使多个对象都有处理请求的机会，从而避免请求的发送者和接收者之间的耦合关系，这个请求沿着一条链下去直至处理完为止。角色抽象处理者角色：定义出一个处理请求的接口，如果需要，接口中可以定义出一个方法以设定和返回下家的引用，这个角色通常是一个java抽象类或者是java的接口来实现的。具体处理者角色：具体处理
Normcorer·2020-07-11 01:41

《大数据之路 阿里巴巴大数据实践》笔记

此书下载传送门http://www.java1234.com/a/javabook/yun/2018/0308/10578.html第1章总述阿里巴巴大数据系统体系主要分为，数据采集、数据计算、数据服务和数据应用四大层次。数据采集工具：web端、App端、H5数据计算层：数据存储、云计算平台（离线计算平台、实时计算平台、数据整合管理体系ONEDATA）数据服务层：以数据仓库整合计算好的数据作为数据
不知星期二·2020-07-10 09:42

国企转型----北京市供销社探索大数据之路！

还记得早年间，海龙是中关村电子大卖场的一块“金字招牌”，也是我国北方地区最大的IT产品集散中心，电脑发烧友曾经戏称这里是自己"心中的圣殿"；如今随着电商冲击，海龙一改卖场“龙头老大”的角色，逐渐转变为科技公司孵化器以及创新中心等模式。热闹的海龙大厦外景（图片来源：www.foooooot.com）无论是当初的电子大卖场还是现在的创新孵化器，海龙大厦的存在都归功于北京市供销合作总社的运筹帷幄，今天讲
科技星象·2020-07-10 01:08

《大数据之路-阿里巴巴大数据实践》读书笔记

ps：这本书主讲阿里的大数据体系架构方案，从底层到高层阐述，目前对我来说此书的难度较大，不是很懂，大部分为对原书的引用归纳，我会给出相应的大牛的关于此书的读书笔记的传送门供参考。以下为大牛关于本书的读书笔记供参考：读书笔记传送门https://www.jianshu.com/p/69dbf35713ad此书下载传送门http://www.java1234.com/a/javabook/yun/20
alanjia163·2020-07-09 23:24

Java大数据之路--集合-流结构Stream、泛型上下限表达

Stream用于操作集合元素的流式结构，提供了大量的函数式接口方便使用---jdk1.8新特性。泛型：参数化类型----jdk1.5出现的。泛型可以支持任意引用数据类型，泛型的擦除在编译时期publicclassStreamDemo{publicstaticvoidmain(String[]args){//创建集合对象Listlist=newArrayLists=list.stream();//s
Normcorer·2020-07-09 12:48

《大数据之路：阿里巴巴大数据实践》：看阿里人从IT时代走向DT时代的经验之谈！

一、前言最近一直在看《大数据之路：阿里巴巴大数据实践》一书，读完之后感觉受益良多。
云祁·2020-07-08 23:00

大数据之路、阿里巴巴大数据实践读书笔记 --- 第十二章、元数据

一、元数据概念元数据定义按照传统的定义，元数据（Metadata）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程；元数据主要记录数据仓库中的模型的定义、各层级间的映射关系、监控数据仓库的数据状态一级ETL的任务运行状态；在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便的找到他们所关心的数据，用于指导其进行数据管理和开发工作，提高工作效率；类
杨鑫newlfe·2020-07-08 10:33

大数据之路、阿里巴巴大数据实践读书笔记 --- 第九章、阿里巴巴数据整合及管理体系

OneData即是阿里巴巴内部进行数据整合及管理的方法体系和工具。阿里巴巴大数据工程师在这一体系下，构建统一、规范、可共享的全域数据体系，避免数据的冗余和重复建设，规避数据烟囱和不一致性，充分发挥阿里巴巴在大数据海量、多样性方面独特优势。借助这一统一化数据整合及管理的方法体系，我们构建了阿里巴巴的数据公共层。一、概述阿里巴巴的大数据建设方法论的核心是：从业务架构到模型设计；从数据研发到数据服务；数
杨鑫newlfe·2020-07-08 10:33

大数据技术与应用原理

0.前期准备个人前言：最近一方面也是工作需要，另一方面也是个人兴趣，准备坚持学习一段时间的大数据相关的知识，就写了点学习笔记，一来勉励自己坚持学下去，二来也可以帮助刚入门想一起探索大数据之路的朋友们一点小小参考
Elinice·2020-07-05 12:13

我的hadoop大数据之路（一）

首先说明一下我这里的内容都是最最基础的hadoop内容，高手大大们可以绕路了。那么这里首先要说一下环境：vmworkstation（虚拟机，版本自己选吧，我用的是12），系统是centos6.5（不是我不想用7，我的电脑带7真的很费劲很费劲）。那么我们开始：1.安装JDK由于Hadoop需要JDK的支持，那么首先你的linux系统上得有jdk，建议越高越好。我这里用的是jdk8，大家到oracle
爱国者002·2020-07-05 03:49

数据分析 大数据之路 六 matplotlib 绘图工具

散点图#导入必要的模块importnumpyasnpimportmatplotlib.pyplotasplt#产生测试数据x=np.arange(1,10)y=xfig=plt.figure()ax1=fig.add_subplot(111)#设置标题ax1.set_title('ScatterPlot')#设置X轴标签plt.xlabel('X')#设置Y轴标签plt.ylabel('Y')#画
weixin_30408739·2020-07-04 02:22

十三年来，淘宝走过的大数据之路

2003年至今淘宝网从零开始飞速发展，走过了13个年头，支撑淘宝业务野蛮式生长背后是一套不断完善的技术平台，淘宝大数据平台，就是其中非常重要的一个组成部分，承担了数据采集、加工处理、数据应用的职责，淘宝大数据平台一路到今天，总共经历了三个大的阶段（如图1），不同阶段面临了不一样的挑战，随着我的理解回顾下这些年大数据所经历过的故事：图1数据仓库平台发展三个阶段第一个阶段：RAC时代2008年前的单节
AMY行致远·2020-07-02 01:58

阿里巴巴大数据实践-读书笔记

7月份，阿里的数据技术及产品部的同学们出了一本书，大数据之路-阿里巴巴大数据实践，号称全面系统的介绍了阿里巴巴的大数据系统架构。
彩色蚂蚁·2020-07-01 20:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他