大数据笔记

【大数据笔记】白话详解Zookeeper的一致性

下面内容主要摘抄于>,红色高亮部分是本人添加的白话注释.Zookeeper是一种高性能、可扩展的服务。Zookeeper的读写速度非常快，并且读的速度要比写的速度更快。另外，在进行读操作的时候，ZooKeeper依然能够为旧的数据提供服务。这些都是由于ZooKeepe所提供的一致性保证，它具有如下特点：【Zookeeper提供的一致性是弱一致性,首先数据的复制有如下规则:zookeeper确保对z
iteye_18979·2020-07-13 05:48

大数据学习笔记 第一章 大数据简介与概论

大数据笔记第一章Hadoop简介Hadoop简介Apache开源软件计算框架：分布式、可靠、可伸缩搜索引擎、海量数据存储。
数据汪东哥·2020-07-09 09:03

大数据笔记

hadoop生态圈：HDFS分布式文件储存系统MapReduce分布式离线计算引擎Yarn资源调用Zookeeper分布式协调服务Hive数据仓库/数据分析Flume数据采集Spoop数据迁移HBaseNoSql:实现百万数据级的毫秒级操作Sparkkafka消息队列Scala函数式编程语言SparkRDDSparkSqlSparkStreamingSparkCore缓存机制Elasticsear
qq_40220816·2020-07-08 00:52

大数据个人笔记——Zookeeper、Hadoop、flume、hive、sqoop、hbase、kafka、storm、spark的安装及使用

大数据笔记Zookeeper的安装及使用安装步骤如下：[root@localhost~]#cd/home/software[root@localhostsoftware]#tar-xvfzookeeper
Winyar Wen·2020-07-06 03:39

平均值mean 和 方差variance 在变分自编码器（VAE）中的应用

个人主页1.window下安装Keras、TensorFlow（先安装CUDA、cuDNN，再安装Keras、TensorFlow）2.C/C++笔记、Python笔记、JavaWeb+大数据笔记3.Keras
あずにゃん·2020-07-01 07:08

大数据笔记 1--hadoop中的hdfs写数据流程详解

上图是一个简版的流程图，图画的不标准，但能说明问题就OK，下面是根据上图描述的写数据流程，如有不对的地方请指教。注：以下简化名称所对应的全称：NN==NameNode；IO==hdfsFileoutputStream；DN==DataNode；DN1==DataNode1；DN2==DataNode2；DN3==DataNode3；详细流程1、当需要向HDFS中写数据时，客户端向NN发起写数据请求
BigCabbageFy·2020-07-01 00:47

大数据笔记-01、hdp2.6整合kylin2.4.1注意

在hdphive的config中添加下列项，否则kylin无法启动hive.security.authorization.sqlstd.confwhitelist.append=dfs.replication|hive.input.format..*|tez.queue.name|mapreduce..*|mapreduce.job.split.metainfo.maxsize|hive.secu
wangzhpwang·2020-06-27 13:00

大数据笔记（六）：Spark

spark简介Spark具有如下几个主要特点：•运行速度快：使用DAG执行引擎以支持循环数据流与内存计算•容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过SparkShell进行交互式编程•通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件•运行模式多样：可运行于独立的集群模式中，可运行于Hadoop中，也可运行于AmazonE
Ding_xiaofei·2020-06-21 19:38

大数据笔记（学习归纳）

本文初衷是为了学习归纳，若有错误，请指出。修改记录时间内容2020年4月10日第一次发布2020年4月16日添加MaxComputeSQL部分2020年9月14日新增数仓部分笔记大数据架构基础知识题大数据组件概念集群：多个人做同样的事分布式：多个人协作，干不同的事情。Hadoop：Hadoop是一个分布式存储和计算框架，具有高可靠,高扩展,高容错的特点（数据副本和集群）；由底层HDFS分布式文件系
宇宙中的Philip·2020-04-10 11:43

20180107-决战大数据笔记

image.png大数据的应用阶段已经从发现问题、分析问题过渡到帮助企业挖掘更大的商业机会、辅助高层决策了。于此同时，很多企业的数据应用依然停留在表面，不仅错过了大数据蕴藏的巨大商业机会，也没有用数据给企业带来实打实的利润。因此，本书的核心内容主要分享作者在数据领域深耕十几年的经验，阿里巴巴数据实战应用的方法论，以及提出了大数据在未来实战层面上的应用趋势。image.jpeg一、大数据怎么样从说到
liumw1203·2020-02-06 11:33

大数据笔记之系统环境搭建(一)

1、新建虚拟机菜单>文件>新建虚拟机，快捷键Ctrl+N新建虚拟机.png选择自定义，单击下一步新建虚拟机.png单击下一步新建虚拟机.png选择稍后安装操作系统新建虚拟机.png选择CentOS664位新建虚拟机.png设置虚拟机名称和虚拟机存放目录，单击下一步新建虚拟机.png设置虚拟机处理器数量、每个处理器的内核数量，单击下一步新建虚拟机.png设置虚拟机使用的内存大小，单击下一步新建虚拟机
mr_酱·2020-01-07 16:50

解读hadoop命令

【大数据笔记】-解读hadoop命令-flyfoxs-ITeye技术网站http://flyfoxs.iteye.com/blog/2113064下面是hadoop发布版本,bin目录下面的hadoop
葡萄喃喃呓语·2019-12-11 23:42

大数据笔记#解决Mac系统Scala退出终端/iterm2需重新source /etc/profile的问题

问题尝试：首先按Scala学习教程安装Scala，配置环境变量到source/etc/profile问题一：==>输入Scala-version，出现catreleasenosuchfileordirectory以及Scala版本。（可以使用Scala指令）解决方法：==>出现cat.....原因是因为没有配置java变量，将JAVA_HOME/PATH配置到vim/etc/profile，再次s
VincentLeon·2019-10-30 15:02

Keras 深度学习实战、PyTorch 深度学习、Python 深度学习、动手学 深度学习

Keras、PyTorch、MXNet用户画像C、C++笔记JavaWeb+大数据笔记CDH6、CDH5Python笔记https://pan.baidu.com/s/1OBd1rbwGx0F8YnefM7R0Uw
wx58496ad5e0126·2019-09-21 16:09

C/C++ 笔记、Python 笔记、JavaWeb + 大数据 笔记

Keras、PyTorch、MXNet用户画像C、C++笔记JavaWeb+大数据笔记CDH6、CDH5Python笔记https://pan.baidu.com/s/1OBd1rbwGx0F8YnefM7R0Uw
wx58496ad5e0126·2019-09-21 16:04

CDH 6系列（CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等）安装和使用

用户画像C、C++笔记JavaWeb+大数据笔记CDH6、CDH5Python笔记Keras、PyTorch日语语法、日语单词学习/s/1OBd1rbwGx0F8YnefM7R0Uw提取码0hal/s/
日萌社·2019-09-19 10:58

人工智能AI：Keras PyTorch MXNet 深度学习实战（不定时更新）

用户画像C、C++笔记JavaWeb+大数据笔记CDH6、CDH5Python笔记Keras、PyTorch日语语法、日语单词学习/s/1OBd1rbwGx0F8YnefM7R0Uw提取码0hal/s/
日萌社·2019-09-19 10:30

笔记文档

用户画像C、C++笔记JavaWeb+大数据笔记CDH6、CDH5Python笔记Keras、PyTorch日语语法、日语单词学习/s/1OBd1rbwGx0F8YnefM7R0Uw提取码0hal/s/
日萌社·2019-09-19 10:42

window下 人工智能 Keras、TensorFlow、PyTorch、CUDA、cuDNN 的环境安装 总文章

用户画像C、C++笔记JavaWeb+大数据笔记CDH6、CDH5Python笔记Keras、PyTorch日语语法、日语单词学习/s/1OBd1rbwGx0F8YnefM7R0Uw提取码0hal/s/
日萌社·2019-09-18 18:57

深度学习、机器学习、人工智能的区别

人工智能AI：KerasPyTorchMXNet深度学习实战（不定时更新）用户画像C、C++笔记JavaWeb+大数据笔记CDH6、CDH5Python笔记Keras、PyTorch日语语法、日语单词学习
日萌社·2019-09-18 18:42

C/C++ 笔记、Python 笔记、JavaWeb + 大数据 笔记

【日萌社】用户画像【日萌社】C、C++笔记【日萌社】JavaWeb+大数据笔记【日萌社】CDH6、CDH5【日萌社】Python笔记【日萌社】Keras、PyTorch【日萌社】日语语法、日语单词学习
日萌社·2019-09-05 00:00

搜索引擎：Elasticsearch、Solr、Lucene

www.rimengshe.comC/C++笔记word文档下载链接：日萌社原创点击打开链接请到日萌社的C/C++板块中的置顶帖中回复查看度娘链接下载【日萌社】用户画像【日萌社】C、C++笔记【日萌社】JavaWeb+大数据笔记
日萌社·2019-05-09 23:52

大数据组件使用 总文章

www.rimengshe.comC/C++笔记word文档下载链接：日萌社原创点击打开链接请到日萌社的C/C++板块中的置顶帖中回复查看度娘链接下载【日萌社】用户画像【日萌社】C、C++笔记【日萌社】JavaWeb+大数据笔记
日萌社·2019-03-16 18:32

大数据组件安装(非CDH) 总文章

www.rimengshe.comC/C++笔记word文档下载链接：日萌社原创点击打开链接请到日萌社的C/C++板块中的置顶帖中回复查看度娘链接下载【日萌社】用户画像【日萌社】C、C++笔记【日萌社】JavaWeb+大数据笔记
日萌社·2019-03-16 18:10

用户画像 总文章

www.rimengshe.comC/C++笔记word文档下载链接：日萌社原创点击打开链接请到日萌社的C/C++板块中的置顶帖中回复查看度娘链接下载【日萌社】用户画像【日萌社】C、C++笔记【日萌社】JavaWeb+大数据笔记
日萌社·2019-03-12 18:18

大数据笔记之HDFS架构

HDFS架构节点分为两类:一类叫“主节点”(MasterNode)或者也被称为“名称结点”(NameNode)，另一类叫“从节点”（SlaveNode）或者也被称为“数据节点”(DataNode)NameNode（NN）：负责管理集权的命名空间，并且为所有文件和目录维护一个树状结构的元数据信息。元数据持久化存储在硬盘中。保存文件,block，datanode之间的映射关系。全权管理数据块的复制，它
WaterBigchicken·2019-03-12 10:21

大数据笔记--Azkaban3.50.0搭建教程（采坑笔记）

大数据笔记–Azkaban3.50.0搭建教程（采坑笔记）所需环境服务器一台3.50.0安装包mysql搭建完成下载安装包3.50.0安装包下载通过FTP上传压缩包并修改邮件代码#进入azkaban目录修改
csp1021·2019-02-21 11:06

大数据笔记之分布式文件系统HDFS笔记一

分布式文件系统就是把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。这些节点分为两类。一类叫做“主节点”(MasterNode)，也叫做“名称节点”(NameNode)另一类叫“从节点”（SlaveNode）或者也被称为“数据节点”(DataNode)1.HDFS总体而言，HDFS要实现以下目标：兼容廉价的硬件设备流数据读写大数据集简单的文件模型强大的跨平台兼容性HD
Master_Yoda·2018-10-20 20:26

大数据笔记04--HDFS接口

HDFSAPI搭建集群客户端原因搭建步骤配置开发环境（windows）JAVA操作HDFSFileSystem类的常用方法示例代码错误处理搭建集群客户端原因集群内操作会产生由硬件导致的数据倾斜问题：若每次上传都是选择某台DN作为客户端，根据默认备份机制，block会优先存储到本机DN，导致该节点磁盘IO大大超过其他节点；同时，block副本会由此节点向其他节点分发，导致网络IO负载过高，久而久之该
KissshotAHUB·2018-10-13 12:36

大数据笔记03--高可用的完全分布式HDFS及HDFS操作

menu高可用的完全分布式HDFS存在的问题HA架构图构成如何解决单点故障HDFS常用操作高可用的完全分布式HDFS存在的问题NameNode单点故障，造成整个集群不可用，即可用度低解决：高可用（HighAvailability），通过备用NN解决NameNode内存受限，影响扩展性解决：联邦（Federation）机制，横向扩展，多个NN分管元数据（仅了解）HA架构图构成主备NameNode，一
KissshotAHUB·2018-10-12 20:47

大数据笔记02--HDFS的搭建

HDFS搭建三种模式伪分布式搭建步骤遇到的问题完全分布式搭建步骤遇到的问题高可用的完全分布式集群规划搭建步骤遇到的问题*虚拟机的配置三种模式1.伪分布式：只有一台服务器，运行所有节点（仅用于测试学习）2.完全分布式：各个节点分布在不同服务器上，资源使用不冲突3.高可用的完全分布式：提高HDFS的可用性伪分布式仅使用hadoop01一台服务器搭建步骤1.配置免密登录hadoop01->hadoop0
KissshotAHUB·2018-10-12 20:37

大数据笔记 3--MapReduce工作流程

详细步骤：1、客户端会提交相应的切片、jar包、配置文件信息到Yarn上，Yarn上的AppMater会为mapreduce申请相应的资源；2、AppMater根据相关信息计算给mapreduce程序分配出几个MapTask资源。3、MapTask会利用InputFormat中的recorderReader将待处理的文本分割成键值对的形式，然后根据用户自定义的Map方法进行逻辑计算输出到colle
BigCabbageFy·2018-09-28 18:46

大数据笔记

介绍主要分为以下几个部分，首先是大数据的概述，会介绍各种类型的大数据框架和相应的技术，其次是spark的笔记23号开始，在这个目录里面加入大数据算法的内容大数据原理大数据笔记（一）：HDFSIntellijidea
Ding_xiaofei·2018-08-08 00:00

大数据笔记spark篇（二）：pyspark的安装

开篇关于spark的配置其实没有必要详细地写，这边我放上我学习参考的厦门大学的博客，拖了n年，我总算把单机版的spark给安装上了。环境变量exportJAVA_HOME=/usr/lib/jvm/default-javaexportHADOOP_HOME=/usr/local/hadoopexportSPARK_HOME=/usr/local/sparkexportPYTHONPATH=$SPA
Ding_xiaofei·2018-06-08 22:37

大数据笔记spark篇（二）：pyspark的安装

开篇关于spark的配置其实没有必要详细地写，这边我放上我学习参考的厦门大学的博客，拖了n年，我总算把单机版的spark给安装上了。环境变量exportJAVA_HOME=/usr/lib/jvm/default-javaexportHADOOP_HOME=/usr/local/hadoopexportSPARK_HOME=/usr/local/sparkexportPYTHONPATH=$SPA
Ding_xiaofei·2018-06-08 22:37

大数据笔记：spark篇（一）

Spark简介大数据笔记RDD执行过程例1：一个Spark的“HelloWorld”程序这里以一个“HelloWorld”入门级Spark程序来解释RDD执行过程，这个程序的功能是读取一个HDFS文件，
Ding_xiaofei·2018-06-06 15:11

大数据笔记：spark篇（一）

Spark简介大数据笔记RDD执行过程例1：一个Spark的“HelloWorld”程序这里以一个“HelloWorld”入门级Spark程序来解释RDD执行过程，这个程序的功能是读取一个HDFS文件，
Ding_xiaofei·2018-06-06 15:11

大数据笔记（六）：Spark

spark简介Spark具有如下几个主要特点：•运行速度快：使用DAG执行引擎以支持循环数据流与内存计算•容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过SparkShell进行交互式编程•通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件•运行模式多样：可运行于独立的集群模式中，可运行于Hadoop中，也可运行于AmazonE
Ding_xiaofei·2018-05-30 23:16

大数据笔记（五）：Hadoop

Hadoop的优化和发展Hadoop的局限和不足Hadoop1.0的核心组件（仅指MapReduce和HDFS，不包括Hadoop生态系统内的Pig、Hive、HBase等其他组件），主要存在以下不足：•抽象层次低，需人工编码•表达能力有限•开发者自己管理作业（Job）之间的依赖关系•难以看到程序整体逻辑•执行迭代操作效率低•资源浪费（Map和Reduce分两阶段执行）•实时性差（适合批处理，不支
Ding_xiaofei·2018-05-28 21:04

Hadoop笔记：HDFS文件读写流程详解

大数据笔记：HDFS文件读写流程详解标签：大数据大数据笔记：HDFS文件读写流程详解三个角色HDFS写数据HDFS读数据优缺点优点缺点通过一个工作流的形式，展示HDFS读写流程三个角色client：客户端
Japson_z·2018-05-27 10:07

大数据笔记（四）：Hive

Hive概述数据仓库的概念传统数据仓库面临的挑战•（1）无法满足快速增长的海量数据存储需求•（2）无法有效处理不同类型的数据•（3）计算和处理能力不足数据库和数据仓库的区别数据库：传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。数据仓库：数据仓库系统的主要应用主要是OLAP（On-LineAnalyticalProcessing），支持复杂的分析操作，侧重决策支持，并且提
Ding_xiaofei·2018-05-26 23:21

大数据笔记（三）：Map-Reduce

分布式并行编程在MapReduce出现之前，已经有像MPI这样非常成熟的并行计算框架了，那么为什么Google还需要MapReduce？MapReduce相较于传统的并行计算框架有什么优势？MapReduce模型简介•MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数：Map和Reduce•编程容易，不需要掌握分布式并行编程细节，也可以很容易把自己的程序运行在分布式
Ding_xiaofei·2018-05-25 21:45

大数据笔记（二）：HBase

开篇重要的视频链接在我的第一篇大数据笔记里面都已经更新了，关于环境的配置在后面的改版博客里面会陆续给出，现在新版本可能有些特性已经被修改了，但是基本思想还是在的，希望能够帮助自己记忆，也帮助大家去梳理HBase
Ding_xiaofei·2018-05-10 15:18

大数据笔记（一）：HDFS

开篇这是一篇学习笔记，绝大部分内容来自于厦门大学的大数据课程，这边是课程在中国大学mooc上的链接大数据技术原理，希望这篇笔记能够帮助我记录重要的知识点，也帮助大家顺利地理解HDFS是什么？云计算的两个要点，分布式存储和分布式处理，这里的HDFS就是分布式文件系统，也就是要点之一的分布式存储。OK，我们下面正式开始这篇的内容，HDFS。我们按照林老师上课的思路来记录我们的笔记。我们将重点讲下面几个
Ding_xiaofei·2018-05-07 13:39

大数据笔记|Cloudera Manager下安装kafka

Kafka安装包准备：parcel包：http://archive.cloudera.com/kafka/parcels/（根据自己的集群的系统版本下载）下载对应的parcel包，如下图所示CDH集成Kafka实现：[if!supportLists]1、[endif]将上面下载好的parcel包放到cm安装节点下的/opt/cloudera/parcel-repo目录下，并到目录下执行命令mvKA
云成鹏·2018-04-23 10:53

大数据笔记|hadoop-CDH 5.10.0 HA配置

1，环境信息基于clouderamanagerCDH5.10-Hadoop2.6的环境信息。2，配置Namenode的HA2.1，进入HDFS界面，点击“启用HighAvailability”2.2，输入NameService名称，这里设置为：nameservice1，点击继续按钮。2.3，设置另一个NameNode节点，这里设置为：cdh-node3.grc。设置JournalNode节点，这里
云成鹏·2018-04-23 10:43

大数据笔记16：Hadoop入门

第16天——Hadoop入门一、Hadoop概述1、Hadoop创始人DougCutting2、Hadoop简介3、Hadoop发展简史4、Hadoop特性5、Hadoop应用现状6、Hadoop在企业中的应用架构7、ApacheHadoop版本演变8、Hadoop各种版本二、Hadoop项目结构三、Hadoop安装方式四、伪分布式安装Hadoop五、小结一、Hadoop概述1、Hadoop创始人
howard2005·2018-03-04 07:01

大数据笔记15：大数据概述

第15天——大数据概述一、Zebra项目缺点二、大数据概述1、大数据时代2、大数据概念3、大数据的影响4、大数据的应用5、大数据关键技术6、大数据计算模式7、大数据产业8、大数据与云计算、物联网的关系一、Zebra项目缺点1、没有涉及到大数据的处理和管理问题2、没有数据备份，可能会有数据丢失的可能3、没有采用计算框架的思想来处理，比如逻辑切块、文件位置追溯等可以提炼到框架里，以后再遇到相同业务逻辑
howard2005·2018-03-04 06:45

大数据笔记10：ZooKeeper入门

第10天——ZooKeeper入门一、ZooKeeper概述二、Zookeeper单机模式安装三、Zookeeper数据结构与指令一、ZooKeeper概述官网：http://zookeeper.apache.org/WhatisZooKeeper?ZooKeeperisacentralizedserviceformaintainingconfigurationinformation,naming
howard2005·2018-03-01 20:15

大数据笔记07：shell基础

第7天——shell基础一、常用shell命令二、shell脚本1、执行shell脚本2、test命令3、判断符号[]4、shellscript参数5、条件判断if..else...fi；case6、函数7、Script检查8、循环结构三、课件分发任务四、定时任务一、常用shell命令1、管道命令：|命令1|命令2命令1的输入作为命令2的输入2、grep命令3、find命令选项参数：-type,-
howard2005·2018-02-25 11:49
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他