大数据之路

如何设计一张事务事实表？

根据书籍：大数据之路，设计一张事务事实表的步骤分以下几步：1.选择业务过程在设计事实表的时候，首先得知道这张事实表要记录什么事实，也就是说，对应的业务过程是什么，是关于下单这个业务过程，还是支付还是交互之类的
泽米·2019-09-05 11:09

大数据之路【第十三篇】:数据挖掘---中文分词

一、数据挖掘---中文分词•一段文字不仅仅在于字面上是什么，还在于怎么切分和理解。•例如：–阿三炒饭店：–阿三/炒饭/店阿三/炒/饭店•和英文不同，中文词之间没有空格，所以实现中文搜索引擎，比英文多了一项分词的任务。•如果没有中文分词会出现：–搜索“达内”，会出现“齐达内”相关的信息•要解决中文分词准确度的问题，是否可以提供一个免费版本的通用分词程序？–像分词这种自然语言处理领域的问题，很难彻底完
Simon92·2019-09-04 01:00

大数据之路【第十二篇】：数据挖掘--NLP文本相似度

一、词频----TF•假设：如果一个词很重要，应该会在文章中多次出现•词频——TF（TermFrequency）：一个词在文章中出现的次数•也不是绝对的！出现次数最多的是“的”“是”“在”，这类最常用的词，叫做停用词（stopwords）•停用词对结果毫无帮助，必须过滤掉的词•过滤掉停用词后就一定能接近问题么？•进一步调整假设：如果某个词比较少见，但是它在这篇文章中多次出现，那么它很可能反映了这篇
Simon92·2019-09-03 15:00

大数据之路【第十篇】：kafka消息系统

一、简介1、简介简介•Kafka是Linkedin于2010年12月份开源的消息系统•一种分布式的、基于发布/订阅的消息系统2、特点–消息持久化：通过O(1)的磁盘数据结构提供数据的持久化–高吞吐量：每秒百万级的消息读写–分布式：扩展能力强–多客户端支持：java、php、python、c++……–实时性：生产者生产的message立即被消费者可见3、基本组件•Broker：每一台机器叫一个Bro
Simon92·2019-08-29 16:00

大数据之路

7个例子全面掌握HadoopMR深入理解与应用Hadoop中的MapReducehive总结与优化hive笔试题练习（hql）
_XueW·2019-08-22 14:33

阿里巴巴大数据之路读书分享

阿里巴巴大数据之路读书分享文章目录阿里巴巴大数据之路读书分享前言阿里巴巴大数据系统的体系架构图及介绍数据采集层数据采集数据传输数据计算层离线数据开发实时数据开发数据服务层数据应用数据模型模型体系架构模型实施维表设计事实表设计规范定义结语前言
Kumquatlemon·2019-08-16 12:14

Java大数据之路--JS

javascript概述javascript是一门基于对象的语言。javascript是一门独立的语言。javascript是一门脚本语言。脚本语言特点：直接解释执行。javascript常用于浏览器端，在后台也有技术实现，Node.jsjavascript不得不说的历史和JAVA的关系：语法十分相似，但其实毫无关系。1995年5月，Netscape，LiveScript1995年12月，改名为J
Normcorer·2019-08-05 18:37

Java大数据之路--集合（子接口Set）

Set(散列)不能存储重复元素，且顺序不能保证。实现类：HashSet、LinkedHashSet、TreeSetHashSetHashSet底层根据HashMap实现的，HashMap底层是由数组+链表（链式栈结构）实现的，不能保证存入数据顺序，底层数组长度（容量）一定是2的n次幂。链结构意味着内存不连续，不存在扩容，单链表组成栈，链式结构不方便查询。如果已经存储元素的桶数/总桶数如果大于负载因
Normcorer·2019-07-21 12:58

大数据之路之平台数据开发规范

一数据开发规范命名标准这个命名包含了表命名，项目命名，作业命名等，拿表名来说，一般都是按系统来为首，业务做次之，接着是表名，最后还加上一些备注信息，demo是系统_业务_表名_备注，比如来自外部互联网的一条用于监控的每日更新的日志表HLW_JK_LOG_RT，不过具体命名以实际业务来定，唯一需要认真的就是无论是表，项目，还是作业资源这一类的命名都要统一一致，方便后续开发以及管理脚本规范•脚本命名由
Mochou_liqb·2019-07-20 22:08

大数据之路之数据上云解决方案(增量)

上篇说到全量数据上云，这里继续讲增量为什么要用到增量？因为小数据库还好，数据量大的，每一次都要全量既对存储压力巨大，也对上云效率产生弊端，每次都要上全量代价太大了，所以这时候为什么不考虑全量+增量=全量的模式呢，即如果某库数据是一天一调度，那就是昨天的全量+今天的增量=今天的全量，如此一来只需要第一次上一份全量，后续每次的调度只抽取增量即可难点：如何获取到云下数据库的增量数据如何保证全量+增量的合
Mochou_liqb·2019-07-19 17:33

大数据之路之数据上云解决方案(全量)

定义：数据上云又称数据采集，数据集成，数据迁移，是大数据架构中的最基础也是最根本的一环，从性质上来讲属于ETL中的一部分操作，即把数据从一个地方迁移汇总到另外一个地方。数据上云解决了信息孤岛问题，解决了信息不对称问题，即”车同轨书同文“，同时把数据迁移到云计算平台，对后续数据的计算和应用提供了第一步开山之路难点：数据上云如何做到在数量上，质量上保持无误？数据上云如何解决不同平台的网络，架构等数据兼
Mochou_liqb·2019-07-19 16:57

StartDT_AI_Lab | 开启“数据+算法”定义的新世界

本文先回顾这些年大数据之路，帮大家理解在奇点云发展过程中，人工智能技术是如何由业务需求孵化并成长为产品一部分的，同时为今后的分享内容做一个宏观概述。2013年，一本《大数据》成
StartDT·2019-07-19 10:10

StartDT_AI_Lab | 开启“数据+算法”定义的新世界

本文先回顾这些年大数据之路，帮大家理解在奇点云发展过程中，人工智能技术是如何由业务需求孵化并成长为产品一部分的，同时为今后的分享内容做一个宏观概述。2013年，一本《大数据》成
cuba7764·2019-07-19 10:07

大数据之路之交通大数据应用总体架构设计

上期简单介绍了大数据，了解了大数据应用的可行性与必然性，事实上也的确如此，大数据在公共管理（某省的最多跑一次），教育行业(某省交通厅大数据建设)，税务行业(某省税务大数据平台应用建设)，信息管理（某省人口库建设）等等方面都有很多建树，本文以智慧交通为主题介绍下主流大数据应用的总体架构设计云服务首先了解下基于云计算的三种服务模式，现在的大数据总体架构基本上都是基于此来设计云服务架构IaaS：基础服务
Mochou_liqb·2019-07-18 13:12

Java大数据之路--异常

异常在java中针对问题的反馈以及处理的一套机制。Throwable----代表异常和错误的父类ERROR（错误）是一个合理（符合语法且代码执行逻辑没有问题）的应用程序，不应该处理Exception（异常）是一个合理的应用程序，出现之后可以处理也可以不处理1、运行时异常-----编译没错，运行有错，可以处理也可以不处理，总的运行时异常的父类，RuntimeExceptionAtrthmeticEx
Normcorer·2019-07-18 10:40

Java大数据之路第二天

关键字指Java内置的有特殊含义的单词。const，goto这两个词也是关键词，但没有任何功能，是Java的预留关键字，关键字都是小写下列是Java关键字表：用于定义数据类型的关键字classinterfacebyteshortintlongfloatdoublecharbooleanvoidenum用于定义数据类型值的关键字truefalsenull用于定义流程控制的关键字ifelseswitc
Normcorer·2019-07-08 09:46

大数据之路

1.总述人类从“IT时代”进入“DT时代”。本书介绍了阿里巴巴的大数据系统架构，为了满足不断变化的业务需求，同时实现系统的高扩展性、灵活性以及数据展现的高性能。数据体系主要包括：数据采集、数据计算、数据服务和数据应用四大层次。大数据系统体系架构1.数据采集层包括两大体系：Aplus.JS是Web端日志采集技术方案，UserTrack是APP端日志采集技术方案。2.数据计算层包括两大体系：数据存储及
奉先·2019-07-01 17:59

大数据之路

1.总述人类从“IT时代”进入“DT时代”。本书介绍了阿里巴巴的大数据系统架构，为了满足不断变化的业务需求，同时实现系统的高扩展性、灵活性以及数据展现的高性能。数据体系主要包括：数据采集、数据计算、数据服务和数据应用四大层次。大数据系统体系架构1.数据采集层包括两大体系：Aplus.JS是Web端日志采集技术方案，UserTrack是APP端日志采集技术方案。2.数据计算层包括两大体系：数据存储及
奉先·2019-07-01 17:59

浏览器 HTTP 协议缓存机制详解

浏览器HTTP协议缓存机制详解作者：大数据之路转载地址：https://my.oschina.net/leejun2005/blog/3691481、缓存的分类缓存分为服务端侧（serverside，比如
-零·2019-06-24 12:00

《大数据之路》读书笔记：维度设计

《大数据之路-阿里巴巴大数据实践》，作者阿里巴巴数据技术及产品部，第十章“维度设计”《大数据之路》读书笔记：维度设计《大数据之路》读书笔记：维度设计（续）维度建模，维度的设计也是至关重要的，书中说“维度是维度建模的基础和灵魂
橘猫吃不胖·2019-05-10 17:26

《大数据之路》读书笔记：维度设计（续）

接上一篇：《大数据之路》读书笔记：维度设计缓慢变化维这个应该是知名度最高的，“缓慢变化”也是经常会被提起的一个场景。
橘猫吃不胖·2019-05-10 17:04

行在说 | 从阿里巴巴大数据之路看企业中台战略

戳链接观看精彩视频行在说|从阿里巴巴大数据之路看企业中台战略视频导读：提到阿里巴巴，我们首先想到的是一家电商互联网企业，淘宝、天猫、支付宝等一系列平台和产品已经彻底改变了我们的生活。
奇点云·2019-05-07 10:27

十年开发经验大咖分享的零基础自学大数据之路

前言：一、背景介绍二、大数据介绍正文：一、大数据相关的工作介绍二、大数据工程师的技能要求三、大数据学习规划四、持续学习资源推荐（书籍，博客，网站）五、项目案例分析（批处理+实时处理）前言一、背景介绍本人目前是一名大数据工程师，项目数据50T，日均数据增长20G左右，个人是从Java后端开发，经过3个月的业余自学成功转型大数据工程师。二、大数据介绍大数据本质也是数据，但是又有了新的特征，包括数据来源
阿q宣你·2019-04-22 16:21

基于MaxCompute的数仓数据质量管理

参考文献《大数据之路——阿里巴巴大数据实践》——阿里巴巴数据技术及产品部著。背景及目的数据对一个企业来说已经是一项重要的资产，既然是资产，肯定需要管理。
阿里云云栖社区·2019-04-12 00:00

大数据之路 阿里巴巴大数据实践 读书笔记

一、总述人类正在从IT时代走向DT时代。现在的数据呈爆炸式增长，其潜在的巨大价值有待发掘。但是如果不对数据进行有序、有结构的分类组织和存储，它将变成一场灾难。在阿里内部，数据的存储达到EB级别。这些给数据采集、存储、计算都带来了极大的挑战。随着数阿里内部数据量的剧增，以及日益丰富的业态，这些都给大数据系统的构建提供了更复杂的要求。本书介绍的阿里巴巴大数据系统架构，就是为了满足不断变化的业务需求，同
南风剑声·2019-03-19 16:43

推荐数据相关的书单

0x01书单一、《大数据之路：阿里巴
木东居士·2019-03-10 22:06

大数据之路

目录数据技术篇日志采集数据同步离线数据开发实时技术数据服务数据挖掘数据模型建模综述数据整合及管理体系维度设计事实表设计数据管理元数据计算管理存储和成本管理数据质量数据应用整个大数据体系分为四层数据采集，Web端/移动端/pc端数据采集，离线/实时数据同步数据计算，离线计算/实时计算数据服务，各种关系/非关系型数据存储数据应用，搜索，推荐，广告，金融，信用，保险，文娱，物流，使用的是下层数据服务的内
hixiaoxiaoniao·2019-01-26 10:36

大数据之路——阿里巴巴大数据实践：数据同步要点

1.数据同步分为DB数据同步和日志数据同步：如下是DB数据同步机制：数据库按照规定的格式，将数据发给数据文件管理系统。日志同步解析：如下是日志文件，通过数据的日志解析模块，将有用的数据过滤出来，然后按照一定的格式发给数据文件管理系统。（数据的过滤是通过日志的方式，可能里面对user表某一行有增删改查等等，怎样保持其中的数据版本，方式与“从Hlog中恢复数据库”的方式如出一辙）2.离线数据同步和实时
LUK流·2019-01-21 15:09

Java转大数据之路--Hadoop学习笔记之Hadoop分布式集群搭建

文章目录1.基础环境准备1.1三台Linux服务器:CentOS71.2JDK1.81.3修改hosts1.4关闭防火墙1.5设置ssh免密码登录2.Hadoop集群安装2.1Hadoop安装包下载2.2集群规划2.3解压2.4修改配置文件修改hadoop-env.sh修改yarn-env.sh修改core-site.xml修改hdfs-site.xml（fixme）修改yarn-site.xml
克己丶·2019-01-06 20:06

Java转大数据之路--Hadoop学习笔记之Hadoop简介

文章目录1.Hadoop是什么？官方介绍百度百科介绍2.Hadoop的发展历程3.Hadoop核心组件3.1HDFS3.2YARN3.3MapReduce4.Hadoop的特点1.Hadoop是什么？官方介绍TheApache™Hadoop®projectdevelopsopen-sourcesoftwareforreliable,scalable,distributedcomputing.The
克己丶·2019-01-06 16:38

大数据之路——阿里巴巴大数据实践（小白笔记）

第一章总述1.阿里巴巴大数据系统体系架构分为三大部分数据采集层、数据计算层、数据服务层2.数据采集层日志采集系统：Aplus.JS是web端日志采集技术方案；UserTrack是APP端日志采集方案数据传输：TimeTunnel（TT）体系进行数据传输，既包括数据库的增量数据传输，也包括日志数据的传输，既支持实时流式计算，也支持时间窗口的批量计算数据同步工具（DataX和同步中心（基于Datax易
cainiao22222·2018-11-12 17:23

新一代大数据引擎操作系统：DataWorks V2.0重磅来袭

新一代大数据引擎操作系统众所周知，MaxComput与Blink分别是阿里巴巴自主研发的离线计算、实时计算大数据计算引擎，不仅拥有多项国家专利技术，而且多项关键指标已远超业内开源引擎平均能力，名副其实地成为了阿里巴巴大数据之路上的领航者
代码派·2018-09-06 10:28

阿里巴巴大数据之路——数据管理篇

一、概述数据管理主要分为：元数据管理、计算管理、存储和成本管理、数据质量管理二、元数据元数据主要分为两大类：技术元数据和业务元数据技术元数据：存储数据仓库技术细节的数据，包括：存储元数据：表名、字段名、分区信息等运行元数据：作业类型、SQL、运行参数等开发元数据：数据同步、计算任务、任务调度等信息监控元数据：告警配置、运行日志等信息业务元数据：纬度及属性、指标等的规范定义数据产品等配置和运行元数据
weixin_30621919·2018-08-03 13:00

读书学习笔记

CC++的设计和演化程序员的自我修养-链接，加载和库目标文件静态链接可执行文件的加载和进程动态链接共享库的组织内存运行库和系统调用D大型网站系统与java中间件大数据日知录大型网站技术架构大数据之路F分布式相关技术
hixiaoxiaoniao·2018-07-06 23:43

扣丁学堂带你快速掌握大数据体系产品思路

无论是自学，还是准备参加大数据培训，你都需要先了解大数据整体体系，才能更准确的选择自己要走的大数据之路。
扣丁学堂·2018-02-23 13:51

小公司的大数据之路：打破孤岛，打击造假

2013年，Netflix推出的根据BBC同名剧集改编的《纸牌屋》（HouseofCards）成为大数据指导内容制作的口碑之作，Netflix鼓吹的大数据方法论迅速被内容产业的从业者们奉之为圭臬。同一年，酷云成立了。一开始，这家公司野心勃勃地试图在PC互联网和移动互联网之外占领“家庭互联网”。而在此之前，同样雄心勃勃的陈天桥的盛大盒子最终都不得不折戟沉沙。在软硬件条件都不成熟的情况下，在各方面势力
商业价值·2018-02-10 00:00

商业银行大数据之路三部曲1：去IOE

商业银行大数据之路三部曲1：去IOE商业银行大数据之路三部曲2：数据治理商业银行大数据之路三部曲3：智能化------------------------------------------------
zzhonghe2·2018-01-31 12:34

商业银行大数据之路三部曲1：去IOE

阅读更多商业银行大数据之路三部曲1：去IOE商业银行大数据之路三部曲2：数据治理商业银行大数据之路三部曲3：智能化--------------------------------------------
zzhonghe·2018-01-31 12:00

大数据之路-Hadoop-4-hadoop shell 命令基本操作

一HDFS基本概念1HDFS前言2HDFS的概念和特性它是一个文件系统用于存储文件通过统一的命名空间目录树来定位文件它是分布式的由很多服务器联合起来实现其功能集群中的服务器有各自的角色重要特性如下二HDFS基本操作1命令行客户端支持的命令参数2常用命令参数一、HDFS基本概念1.1HDFS前言设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运
幸运的天才小驴·2018-01-24 22:26

大数据之路-Hadoop-3-hadoop HA集群搭建

一前期需要准备的环境1Mac中准备7台Centos65虚拟机2配置Linux主机名-7台机子都配置3配置IP-7台机子都分别配置4配置主机名和IP的映射关系5配置SSH免密登录二安装zookeeper集群1hadoop用户目录下创建一个apps文件夹2解压zookeeper-348targz3修改配置文件zoocfg4zoocfg中配置zookeeper数据存放位置5dataDir路径下新增配置m
幸运的天才小驴·2018-01-18 22:49

Spark源码分析 之 Driver和Excutor是怎么跑起来的?(2.2.0版本)

更多内容参考：我的大数据之路Spark作为目前最流行的大数据计算框架，已经发展了几个年头了。版本也从我刚接触的1.6升级到了2.2.1。
xingoo·2018-01-10 19:00

java程序员的大数据之路（16）：Hive简介

安装HiveHive的安装比较简单，可以直接从官网下载。然后把解压到合适的位置。Hive的配置解压完成后，需要配置好环境变量。vim/etc/profileexportHIVE_HOME=/usr/local/hiveexportPATH=$PATH:$HIVE_HOME/bin修改$HIVE_HOME/conf目录下的两个文件名mvhive-default.xml.templatehive-si
Jackyzhe·2018-01-02 18:23

java程序员的大数据之路（14）：Pig Latin

结构一个PigLatin程序由一组语句构成，一个语句可以理解为一个操作，或一个命令。语句必须以分号结束。PigLatin有两种注释方法，双减号表示单行注释。多行注释可以使用/*和*/表示。语句在PigLatin程序执行时，每个命令按次序进行解析。如果遇到句法或语义错误，解释器会终止运行，并显示错误消息。解释器会给每个关系操作建立一个逻辑计划。逻辑计划是PigLatin程序的核心。在逻辑计划构造完成
Jackyzhe·2017-12-15 13:54

java程序员的大数据之路（13）：Pig入门

Pig简介Pig为大型数据集的处理提供了更高层次的抽象。Pig包括两部分：用于描述数据流的语言，称为PigLatin。用于运行PigLatin程序的执行环境。当前有两个环境：单JVM中的本地执行环境和Hadoop集群上的分布式执行环境。Pig的安装Pig的安装条件Java环境对于Pig是必需的，如果想要Pig运行在MapReduce模式下，则还需要安装Hadoop。Hadoop的安装方法可以在我之
Jackyzhe·2017-12-11 13:17

java程序员的大数据之路（12）：Hadoop的守护进程

关键属性Hadoop守护进程的关键属性大多标记为final，使作业的配置无法覆盖。典型的core-site.xml配置文件fs.default.namehdfs://namenode/true典型的hdfs-site.xml配置文件dfs.name.dir/disk1/hdfs/name,/remote/hdfs/nametruedfs.data.dir/disk1/hdfs/data,/remo
Jackyzhe·2017-11-29 13:38

java程序员的大数据之路（11）：MapReduce的连接

Map端连接在两个大规模输入数据集之间的map端连接会在数据到达map函数之前就执行连接操作。各个输入数据集必须被划分成相同数量的分区，并且均按相同的键排序。同一键的所有记录均会放在同一分区之中。Reduce端连接reduce端连接比map端连接更为常用，因为reduce端连接并不要求输入数据集符合特定结构。但是由于两个数据集均需经过MapReduce的shuffle过程，所以reduce端连接的
Jackyzhe·2017-11-28 17:38

java程序员的大数据之路（10）：MapReduce的排序

排序排序是MapReduce的核心技术。尽管应用本身可能不需要对数据排序，但仍对能使用MapReduce的排序功能来组织数据。部分排序默认情况下，MapReduce根据输入记录的键对数据集排序。当然我们也可以利用RawComparator来控制排列顺序。方法如下：1.设置属性mapred.output.key.comparator.class，调用JobConf的setOutputKeyCompa
Jackyzhe·2017-11-27 13:40

大数据之路-MAC中VMwareFusion安装CentOS6.8

MAC中安装虚拟机，其实和windows中几乎是一样的，就是虚拟机地址配置稍微有点曲折，但都是小问题。网上好多教程也有一点坑，我就将自己学习过程中的记录下来。MAC中虚拟机第一步MAC中安装VMWareFusion第二步下载Centos68mini_64第三步安装Centos68第四步配置网络和mac通信类似于windows的NAT模式1设置虚拟机MAC地址完了彻底退出2配置虚拟机IP和MAC地址
幸运的天才小驴·2017-10-30 23:55

java程序员的大数据之路（9）：MapReduce的类型

概述Hadoop的MapReduce中，map和reduce函数遵循如下常规格式：map:(K1，V1)->list(K2,V2)reduce:(K2,list(V2))->list(K3,V3)输入数据的类型由输入格式进行设置。例如，对应于TextInputFormat的键类型是LongWritable，值类型是Text。其他类型通过调用JobConf上的方法进行显示设置。如果没有显示设置，中间
Jackyzhe·2017-10-24 13:59

java程序员的大数据之路（7）：基于文件的数据结构

SequenceFile介绍由于日志文件中每一条日志记录是一行文本。如果想记录二进制类型，纯文本是不合适的。这种情况下，Hadoop的SequenceFile类非常合适。SequenceFile可以作为小文件容器。而HDFS和MapReduce是针对大文件进行优化的，所以通过SequenceFile类型将小文件包装起来，可以获得更高效率的存储和处理。读写操作publicclassSequenceF
Jackyzhe·2017-09-22 09:10
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他