hadoop学习笔记

hadoop学习笔记（一）：大数据存储与处理技术的原理

一、Hadoop是什么？漫画大数据Hadoop是模仿Google大数据技术的开源实现，Google大数据技术有：MapReduce、BigTable、GFS。Hadoop是开源的分布式存储和分布式计算平台。可以用来搭建大型数据仓库，PB级数据存储、处理、分析、统计等业务；二、Hadoop组成（两核心+开源框架）两核心：HDFS和MapReduce1、HDFS（分布式文件系统，存储海量数据）2、Ma
玫瑰小鹿angelina·2020-04-07 03:15

hadoop2.*学习笔记三（YARN+ MapReduce+Eclipse Demo）

关于hadoophdfs配置请参考hadoop学习笔记二内容概括：在笔记二所在的环境上配置YARN和MapReduce。然后在eclipse中远程连接hdfs并运行一个简单的demo。
Notput·2020-03-31 07:45

Hadoop学习笔记(3)-Flume

自行整理,学习用途,侵知删歉Flume的设计目标:可靠性,可量测性,可扩展性高层架构Agent将数据写成多种HDFS文件格式(text,SeqFile,JSON,Avro).Source:告诉节点从哪里接受数据Sink:告诉节点把数据发送到哪里去Channel:Source和Sink之间的序列,可以放在内存或者可持续化,持续化的掉电后不失去数据[可放入硬盘]向下agent传送失败会回滚,然后重试;
丸蛋蟹·2020-03-15 21:35

MapReduce概览

本文参考自网上的各种MapReduce讲解的博客文章，其中很大一部分来自【hadoop学习笔记：mapreduce框架详解】，里边包括词频统计的JAVA源码和较详细的解释。
刺猬ciwei_532a·2020-03-06 07:07

mapreduce框架详解

参考：hadoop学习笔记：mapreduce框架详解[toc]总结Mapreduce是一个计算框架，既然是做计算的框架，那么表现形式就是有个输入（input），mapreduce操作这个输入（input
小小少年Boy·2020-03-06 01:55

[实例]网站日志分析项目案例

Hadoop学习笔记—20.网站日志分析项目案例（三）统计分析http://www.tuicool.com/m/articles/nABN3yI一、借助Hive进行统计1.1准备工作：建立分区表为了能够借助
葡萄喃喃呓语·2020-03-04 23:43

Hadoop学习笔记（六）实战wordcount

配置工程在maven官网上下载最新的maven压缩包并解压。下载IntelliJIDEA并安装。在IDEA中新建工程，选择maven，sdk选择javajdk的目录，勾选上Createformarchetype，选择quickstart，下一步。填写GroupId和ArtifactId，version填写1.0，下一步。Usersettingsfile配置选择下载解压后的maven目录下的conf
陌上疏影凉·2020-03-04 07:53

Hadoop学习笔记（五）MapReduce

MapReduce概述源自于Google的MapReduce论文，发表于2004年12月HadoopMapReduce是GoogleMapReduce的克隆版MapReduce优点：海量数据的离线处理、易开发、易运行。所谓海量数据，说明MapReduce可以处理的数据量非常大，离线处理说明MapReduce跟实时响应不同，用户将作业提交，系统按批次进行处理，由于数据量大，自然非常耗时。所谓易开发，
陌上疏影凉·2020-03-03 22:17

[Hadoop学习笔记]调优

MapReduce优化从6个方面考虑：数据输入:大量小文件问题Map阶段:Shuffle过程(尤其是溢写)Reduce阶段:个数设置不合理IO阶段数据倾斜常用的调优参数1.合并小文件在执行MR任务之前将小文件合并。大量的小文件会增加Map任务个数，大量的Map任务会增加装载次数，Map任务装载比较耗时，从而影响MapReduce的效率.解决方案:采用CombineTextInputFormat作为
自然语言不理解·2020-03-02 08:19

Hadoop学习笔记(5)-MapReduce

自行整理,学习用途,侵知删歉一.MapReduce定义MP是一种编程模型记录导向的数据处理方式(键值对)帮助多节点下的任务分配由Map和Reduce两部分组成Mapper每次对一个独立记录进行处理Reducer汇集Mapper送来的结果Map后的数据通过shuffle和sort送往Reduce自动并行和分布容错功能具备状态和监控工具二.基本概念每一个Mapper处理一个HDFS单独的inputsp
丸蛋蟹·2020-03-01 10:32

Hadoop学习笔记（MR执行流程）

执行MR的命令：hadoopjar例子：hadoopjar/root/wc1.jarcn.itcast.d3.hadoop.mr.WordCounthdfs://itcast:9000/words/out2MR执行流程(1).客户端提交一个mr的jar包给JobClient(提交方式：hadoopjar...)(2).JobClient通过RPC和JobTracker进行通信，返回一个存放jar包
Seo_sir·2020-02-27 10:01

Hadoop学习笔记（一）安装Hadoop单机版

资源下载常用的Hadoop发行版：/优点缺点Apache纯开源不同版本/不同框架之间整合jar冲突CDH有比较完善的客户端cm、可以一键式安装升级cm不开源、与社区版本有些许出入Hortonworks原装Hadoop、纯开源、支持tez企业级安全不开源其中CDH占市场使用率的60%-70%，所以本次学习打算使用CDH的版本Hadoop-2.6.0-cdh5.11.1下载地址CDH官方文档CentO
蓝色_fea0·2020-02-26 14:48

mapreduce框架详解

参考：hadoop学习笔记：mapreduce框架详解[toc]总结Mapreduce是一个计算框架，既然是做计算的框架，那么表现形式就是有个输入（input），mapreduce操作这个输入（input
小小少年Boy·2020-02-18 07:24

吴裕雄--天生自然HADOOP学习笔记：基本环境配置

实验目的学习安装Java学习配置环境变量学习设置免密码登陆的方法掌握Linux环境下时间同步的配置实验原理1.Java的安装java是大数据的黄金语言，这和java跨平台的特性是密不可分的，大数据的大部分框架，包括hadoop、hbase、tachyon等，都是用java实现，而spark框架的scala语言，也是基于java的虚拟机的，所以安装java是进行大数据处理的第一步。java的安装很简
吴裕雄·2020-01-07 22:00

吴裕雄--天生自然HADOOP学习笔记：使用yum安装更新软件

实验目的了解yum的原理及配置学习软件的更新与安装学习源代码编译安装实验原理1.编译安装前面我们讲到了安装软件的方式，因为linux是开放源码的，我们可以直接获得源码，自己编译安装。例如：新建一个hello.c的文件，在里面添加一下内容：#includeintmain(void){printf("HelloWorld\n");}然后，使用"gcchello.c"编译，生成一个a.out的可执行文件
吴裕雄·2020-01-07 21:00

吴裕雄--天生自然HADOOP学习笔记：Shell工具使用

实验目的学习使用xshell工具连接Linux服务器在连上的服务器中进入用户目录熟悉简单的文件操作命令实验原理熟悉shell命令是熟悉使用linux环境进行开发的第一步，我们在linux的交互式命令行输入的每一个命令都是一个shell指令，Shell本质是一个用C语言编写的程序，它是用户使用Linux的桥梁。Shell既是一种命令语言，又是一种程序设计语言。Shell是指一种应用程序，这个应用程序
吴裕雄·2020-01-07 21:00

Hadoop学习笔记（一）初识Hadoop

前言研究生阶段将要接触大数据和深度学习的知识，在网上找的教程大多一上来就是一堆名词又解释不清楚，对新手相当不友好，在慕课网看到一个教程，利用博客记录下自己学习的过程。hadoop介绍关于hadoop最好的介绍莫过于官网的文档，hadoop的官网如下，http://hadoop.apache.org我们一句一句来看看hadoop官网是怎么介绍的。TheApacheHadoop®projectdeve
陌上疏影凉·2020-01-03 09:19

Spark学习笔记四：Spark Yarn集群搭建

服务器准备SparkYarn集群搭建基于HDFS，需参照【Hadoop学习笔记四：基于Yarn的MapReduce集群搭建】搭建好高可用的Yarn-Hadoop集群。
开发者连小超·2019-12-24 15:30

Storm学习笔记二：伪分布式搭建

Storm需要依赖Java和python环境，我的克隆机里python已有，但还没有安装jdk，所以需要先安装一下（安装JDK教程在【Hadoop学习笔记一：伪分布式搭建（Hadoop1.x）】里有）。
开发者连小超·2019-12-13 16:13

Hadoop学习笔记三：全分布式搭建（Hadoop1.x）

本文记录学习过程，安装全分布式的Hadoop服务器准备使用VM快照克隆功能，克隆出4台网络已设置、防火墙关闭、SELINUX关闭、网卡和MAC的映射取消的机器，可参照【Linux学习笔记三：VM下配置模板机和克隆】https://www.jianshu.com/p/0310c24bda69。全分布分配方案.png建立各节点通讯（hosts）192.168.197.31node01192.168.1
开发者连小超·2019-12-13 11:24

Hadoop学习笔记

注：本文是我学习Hadoop权威指南的时候一些关键点的记录，并不是全面的知识点Hadoop避免数据丢失的方法：副本冗余硬盘队列数据结合问题：结合不同来源的数据进行分析MapReduce自身具有很高的稳定性，对外部只提供Map和Reduce接口Hadoop为我们提供了一个可靠地共享和分析系统Hadoop实现了数据的存贮，MapReduce实现数据的分析与处理。Hadoop虽然还有其他的功能，但是HD
利伊奥克儿·2019-12-13 03:52

Hadoop学习笔记（十）——HDFS Snapshot快照功能

Hadoop——HDFSSnapshot快照功能一、概述二、具体操作一、概述快照snapshots是HDFS文件系统的只读的基于某时间点的拷贝，可以针对某个目录，或者整个文件系统做快照。快照比较常见的应用场景是数据备份，以防一些用户错误或灾难恢复。快照的高效性实现：（1）快照可以即时创建。（2）只有当涉及到快照目录的修改被执行时，才会产生额外的内存消耗。（3）创建快照时，block块并不会被拷贝。
AidenBrett·2019-11-19 15:23

Hadoop学习笔记（一）

Hadoop的起源发展历史2003-2004年，Google公布了部分GFS和MapReduce思想的细节，受此启发的DougCutting等人用2年的业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。然后Yahoo招安DougGutting及其项目。2005年，Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会。2006年2月被分离出来，成为一套完
弦上的梦·2019-10-23 17:45

Hadoop学习笔记（一）

一、什么是大数据，本质？1.数据的存储：分布式文件系统(分布式存储)----HDFS：HadoopDistributedFileSystem2.数据的计算：分布式计算大数据应用场景？例如：1、商品推荐中：大量的订单如何存储以及大量的订单如何计算？2、天气预报场景中：大量的天气数据存储、大量的天气如何计算问题使用大数据的分布式文件系统与分布式计算可以很好的解决此类场景问题。如何解决大数据的存储？—分
Jayboy.chen·2019-10-18 22:00

hadoop学习笔记（四）：HDFS文件权限，安全模式，以及整体注意点总结

本文原创，转载注明作者和原文链接！一：总结注意点：到现在为止学习到的角色：三个NameNode、SecondaryNameNode、DataNode1.存储的是每一个文件分割存储之后的元数据信息。具体的信息有：2.而且NameNode的存储是内存存储的，不会有和磁盘的数据交换的过程，这样的话提高了整体的集群的效率,但是这个数据都是需要持久化的，因为不持久化的话，数据是不安全的，加假如哪一天hado
fen斗·2019-09-19 16:00

Hadoop学习笔记（五）

hdfs的四大机制和两大核心四大机制：1，心跳机制当namenode连续10次没有接受到DataNode的心跳报告，则会向DataNode发送一次检查（检查时间：5分钟）检查时间由以下参数决定（单位为毫秒）如果一次检查没有结果返回，则再进行一次检查，如果再获取不到结果返回信息，则判断DataNode死了。namenode最终判断DataNode宕机总共需要630秒。2，安全模式集群启动时namen
寂天风·2019-09-19 16:00

hadoop学习笔记（二）：hdfs优点和缺点

优点其中的10k+，指的是每一个块必须>=1M缺点低延迟：是指hadoop处理数据都是以分钟为单位的，而不像storm那样的是以毫秒级为单位的。高吞吐率：是指你分布式存储的文件块的大小必须最小是1M，不能再小了。小文件存取的问题：如2亿的文件，虽然规模很大，但是每一个文件都很小，这样的话每一个都仍然会消耗NameNode的内存，所以此时不利于NameNode，所以当文件特别小的时候，不适合用had
fen斗·2019-09-17 15:00

hadoop学习笔记（一）：NameNade持久化和DataNode概念

其中的fsimage称为时点备份，又叫磁盘镜像快照，这个是NameNode的一个持久化的方式之一：缺点，在内存数据序列化的时候比较慢具体的过程：因为我们所知道的NameNode一般是存储在内存中的，并没有和磁盘进行交互，这和redis这类的非关系型数据库差不多，但是内存中的数据总是没有持久化的，那么怎么去持久化呢？就比如我们的NameNode结点数据的持久化过程：先将内存中的数据序列化为二进制字节
fen斗·2019-09-17 11:00

Hadoop学习笔记（四）

Windows下的eclipse远程连接Linux下的Hadoop添加jar包：D:\Hadoop2.6.4\hadoop-2.6.4\share\hadoop\hdfs下的三个jar包以及D:\Hadoop2.6.4\hadoop-2.6.4\share\hadoop\hdfs\lib下的所有jar包D:\Hadoop2.6.4\hadoop-2.6.4\share\hadoop\common下
寂天风·2019-09-12 13:00

Hadoop学习笔记（三）

hadoop帮助文档：https://hadoop.apache.org/docs/stable/HDFS原理：HDFS分块存储思想：用hdfs存储数据应该考虑每个节点负载均衡。Hadoop2.xx中默认块大小为128MB，当数据大小小于128MB也是单独存一个块。HDFS默认备份思想：用hdfs存储数据块默认备份个数为3，在hdfs-site.xml中dfs-replication设置个数。备份
寂天风·2019-09-11 23:00

Hadoop学习笔记（二）

配置Hadoop2.6.4：https://hadoop.apache.org/docs/r2.6.4/hadoop-project-dist/hadoop-common/SingleCluster.html格式化：hadoopnamenode-format验证：hdfs:主机名：50070yarn:主机名：8088远程发送文件：scp-r文件名主机名：$pwd(与当前主机相同的目录)配置core
寂天风·2019-09-11 20:00

Hadoop学习笔记 | NJU 大数据实验课MapReduce 课程设计邮件分类实验报告

Github源码地址：https://github.com/courseralxy/MapReduce-Big-Data-Processing/tree/master/final%20project文字版实验报告：MapReduce大数据课程设计3：邮件自动分类牛哥1161220082月哥2161220085圆哥31612200831(南京大学计算机科学与技术系,南京210023)2(南京大学计算
我是乖孩子真的·2019-08-17 22:58

Hadoop学习笔记2

Hadoop学习笔记23Hadoop集群搭建3.1创建第一台虚拟机3.1.1网络配置3.1.2Hosts文件设置3.1.3安装JDK3.2克隆虚拟系统3.3配置免密登录3.3.1免密登录机制3.3.2Master
ChengZi~·2019-08-12 23:14

Hadoop学习笔记1

Hadoop学习笔记11大数据概述1.1什么是大数据1.2大数据典型应用1.2.1影视推荐系统1.2.2精准营销系统2Hadoop概述2.1Hadoop简介2.2Hadoop1.x与Hadoop2.x的区别
ChengZi~·2019-08-11 14:28

Hadoop学习笔记之一：Hadoop介绍

序前段时间，公司安排部署CDH4的集群环境，并对集群环境做初步验证，现在把安装部署过程、基准测试报告一一分享出来，并顺便整理下Hadoop的系列知识点，以备后面查阅需要。在学习Hadoop之前，有必要简单了解一下大数据知识1.大数据背景大数据的产生：众所周知，随着信息社会的快速发展，信息量以爆发式的速度增长，这些信息包括来自互联网的大数据、大量传感器的机器数据、行业的内容数据。这些数据的特征表现为
bobo79888·2019-07-10 21:37

hadoop学习笔记：MapReduce原理

首先hadoop1.0主要的组成部分分别为HDFS和MapReduce。其中，HDFS是hadoop的文件系统，MapReduce是hadoop的计算框架，上一篇博文，根据paper对其hdfs进行了介绍，学习了框架及执行流程等。这篇博文将对hadoop的计算框架MapReduce进行一下梳理，这里主要还是梳理MapReduce1.0，虽然有些过时，但对于学习后面的新版本也具有十分重要的意义。为什
奋斗的瘦胖子·2019-03-24 16:29

Hadoop学习笔记（1）

使用docker搭建分布式环境今天开始，准备学习大数据分析，参考的教材是O‘REILLY的《Hadoop数据分析》,算是一本比较新的书吧！我自己也属于刚入门，写笔记除了分享，更重要的是可以提高学习的效果！！这里我使用的是docker而不是书上推荐的在vmware上安装虚拟机，至于为什么抛弃vm而选择docker，当然是docker更加轻量级更加好用，docker可以说是当今虚拟化技术的潮流，当然想
FantasTowns·2019-03-24 10:36

hadoop学习笔记-ubuntu使用：IP查看、xshell连接和ftp环境搭建

第一部分IP查看1.下载net-tools，ifconfig命令工具包sudoapt-getinstallnet-tools2.输入命令：ifconfig，inet之后为IP信息hadoop@ubuntu:~$ifconfigens33:flags=4163mtu1500inet192.168.36.128netmask255.255.255.0broadcast192.168.36.255ine
h90p0820·2019-03-23 22:00

Hadoop学习笔记————MapReduce

简介MapReduce是一种编程模型，并且是处理和生成大数据集的相关实现。用户指定一个map函数去处理key/value对，生成一个包含新的key/value对的集合（中间数据）；reduce函数合并具有相同key值的中间数据。用户的程序按照这个模式编写，并且在一个集群上运行，这是利用分布式的一个典型的『并行』思想。用户无需关注输入文件的分割、任务在集群上的调度、集群内部的通信以及机器运行的失败，
chenge_j·2019-03-07 22:55

hadoop学习笔记之配置、三种模式配置及区别

目录JDK、Hadoop安装、配置本地模式（standaloneoperation）配置实例1实例2伪分布式模式配置本地运行YARN上运行三种模式区别单机模式伪分布式模式完全分布式模式JDK、Hadoop安装、配置先去官网http://hadoop.apache.org/下载hadoop，我下的是hadoop2.5.2.tar.gz去jdk官网下载jdk1.7linux.tar.gz或者百度网盘h
Dilly__dally·2019-03-02 02:48

hadoop学习笔记之配置、三种模式配置及区别

目录JDK、Hadoop安装、配置本地模式（standaloneoperation）配置实例1实例2伪分布式模式配置本地运行YARN上运行三种模式区别单机模式伪分布式模式完全分布式模式JDK、Hadoop安装、配置先去官网http://hadoop.apache.org/下载hadoop，我下的是hadoop2.5.2.tar.gz去jdk官网下载jdk1.7linux.tar.gz或者百度网盘h
Dilly__dally·2019-03-02 02:48

Hadoop学习笔记：数据分析引擎Hive

概述Hive是一个构建在Hadoop之上的数据仓库，和传统的数据仓库一样主要用来访问和管理数据，提供了类SQL查询语言；和传统数据仓库不一样的是可以处理超大规模的数据，可扩展性和容错性非常强。Hive是由FaceBook开源的分布式数据分析引擎，它把SQL语句转化成MapReduce作业提交到Hadoop上运行并返回结果。Hive可以做日志分析（包括统计网站一个时间段内的pv、uv），海量结构化数
GaryBigPig·2019-01-16 01:55

Hadoop学习笔记：分布式计算引擎MapReduce

MapReduce简介MapReduce源自于Google发表于2004年12月的MapReduce论文，HadoopMapReduce是GoogleMapReduce克隆版。MapReduce源于函数式编程，包括Map和Reduce两个算子，它是一个通用的计算引擎，所以易于编程，可以实现任意的算法，表达能力很强，只是效率有区别。MapReduce是一个分布式应用框架，解决数据导入读取，用户只需要
GaryBigPig·2019-01-11 20:34

Hadoop学习笔记： 分布式数据库 HBase

HBase概述HBase是一个构建在HDFS上的分布式列存储系统，是ApacheHadoop生态系统中的重要一员，主要用于海量结构化数据存储。HBase是GoogleBigtable的开源实现，从逻辑上讲，HBase将数据按照表、行和列进行存储，它是一个分布式的、稀疏的、持久化存储的多维度排序表。Hbase会把数据写到HDFS文件系统中。HBase具有以下特点：1）良好的扩展性；2）读和写的强一致
GaryBigPig·2019-01-11 00:18

Hadoop学习笔记：分布式文件系统HDFS

背景HDFS（HadoopDistributedFileSystem）源自于Google发表于2003年10月的GFS论文，HDFS是GFS克隆版。它是一个易于扩展的分布式文件系统，可以运行在大量普通廉价机器上，它提供容错机制，为大量用户提供性能不错的文件存取服务。它具有以下优点：高容错性：数据自动保存多个副本，副本丢失后，自动恢复适合批处理：移动计算而非数据，数据位置暴露给计算框架适合大数据处理
GaryBigPig·2019-01-08 15:24

Java转大数据之路--Hadoop学习笔记之Hadoop分布式集群搭建

文章目录1.基础环境准备1.1三台Linux服务器:CentOS71.2JDK1.81.3修改hosts1.4关闭防火墙1.5设置ssh免密码登录2.Hadoop集群安装2.1Hadoop安装包下载2.2集群规划2.3解压2.4修改配置文件修改hadoop-env.sh修改yarn-env.sh修改core-site.xml修改hdfs-site.xml（fixme）修改yarn-site.xml
克己丶·2019-01-06 20:06

Hadoop学习笔记：一致性服务系统Zookeeper

Zookeeper背景单节点的系统是不存在不一致情况的，分布式系统会出现不一致情况。在大规模集群中，各个节点在应用执行时会出现各种情况，造成在执行一个任务的时候，有些成功了，有些失败了，这样就出现了不一致的情况。比如A,B,C三个节点都存储了TEST=10，一个应用更新TEST=20，A和C成功了，B没成功，那么A和C认为TEST=20，而B认为TEST=10，这就出现了不一致情况。Zookeep
GaryBigPig·2019-01-06 16:40

Java转大数据之路--Hadoop学习笔记之Hadoop简介

文章目录1.Hadoop是什么？官方介绍百度百科介绍2.Hadoop的发展历程3.Hadoop核心组件3.1HDFS3.2YARN3.3MapReduce4.Hadoop的特点1.Hadoop是什么？官方介绍TheApache™Hadoop®projectdevelopsopen-sourcesoftwareforreliable,scalable,distributedcomputing.The
克己丶·2019-01-06 16:38

【喜加一】Hadoop和Hdfs学习笔记

hadoop学习笔记：安装hadoop2.7.6：在http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.6/下载2.7.6的tar.gz
某Zz·2018-12-20 19:48

Hadoop学习笔记（二）——四节点搭建Hadoop HA（高可用）集群模式

准备工作：四个节点间的ssh互通，（至少两个NN节点和其他节点ssh互通）；JDK1.7+，环境变量配置，各节点保持一致；/etc/hosts节点名映射，各节点保持一致；保证各组件版本间兼容性，推荐使用cdh的jar包datas:当做所有软件的安装目录jars:当做提交jar包的目录。文本数据目录；software：软件包目录workdata:软件包的数据存放目录一、关闭防火墙（永久关闭）chkc
steve涛·2018-11-10 16:26
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他