hadoop学习笔记

Hadoop 学习笔记一：介绍

Hadoop学习笔记一：介绍Hadoop是什么Hadoop发展历史Hadoop三大发行版本Hadoop优势Hadoop的组成HDFS架构概述YARN架构MapReduce架构概述大数据技术生态体系Hadoop
人在囧途^o^·2020-08-16 18:18

[转]Hadoop学习笔记

Hadoop学习笔记作者：wayne1017一、简要介绍这里先大致介绍一下Hadoop.本文大部分内容都是从官网Hadoop上来的。
黑夜路人·2020-08-16 17:17

hadoop学习笔记之hadoop伪分布集群搭建（五）

本次hadoop伪分布搭建环境：Windows10_64位+VMware9.0+Centos6.4（32位）默认以上环境已经配置好，下面开始进行hadoop伪分布集群安装......============================================================内容如下：一、给主机服务器（Centos6.4）配置IP地址二、安装jdk，并配置环境变量三、安装
YF_Li123·2020-08-16 17:32

hadoop学习笔记之hadoop伪分布集群搭建（四）

本次hadoop伪分布搭建环境：Windows10_64位+VMware9.0+Centos6.4（32位）默认以上环境已经配置好，下面开始进行hadoop伪分布集群安装......============================================================内容如下：一、给主机服务器（Centos6.4）配置IP地址二、安装jdk，并配置环境变量三、安装
YF_Li123·2020-08-16 17:01

hadoop学习笔记（一）：hadoop集群搭建

hadoop集群搭建阅读目录一、准备工作：二、搭建Hadoop集群：回到顶部一、准备工作：1、环境：CentOS6.4-64bitJDK1.7-64bit基于虚拟机拷贝4个虚拟机，一个作为Master，另外三个作为Slave，在这拷贝出来的四台虚拟机上分别执行下面的脚本初始化网卡eth0设备：/install/initNetwork.sh2、配置集群网络A、Master机器：1#配置主机名2hos
跨链技术践行者·2020-08-16 17:40

Hadoop学习笔记（四）-- HBase

HBase是什么：HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，它是GoogleBigtable的开源实现，运行于HDFS文件系统之上，利用MapReduce处理数据，使用Zookeeper作为协同服务，因此可以容错地存储海量稀疏的数据。特点：海量数据存储，方便扩展快速的随机访问，独特的设计使得写操作比读操作有时更快数据存储在hdfs上，备份不用担心不适合做关联查询(JOIN等
弦上的梦·2020-08-15 03:13

Hadoop学习笔记三：MapReduce的Shuffle图解

学习的时候没有太过留意Shuffle这个概念，以至于还以为是不是漏掉了什么知识点，后面看了一些帖子才发现Shuffle原来是map()方法执行结束到reduce()方法执行这么一大段过程....小声BB：实质上该过程包含许多环节，不知道为啥就统称Shuffle了......1.Mapper的写出图见意现--直接上图：需要明确的点：在环形缓冲区触发溢写时，进行的排序是先根据每个键值对的分区进行排序，
Chord_Gll·2020-08-11 18:31

Hadoop学习笔记二：MapReduce的IO类型 && 文件切片

1.对MapReduce的理解是什么：Hadoop默认自带的分布式计算框架做什么：提供一系列接口(核心类：InputFormat、OutputFormat、Mapper、Reducer、Driver)，让用户能够实现自定义业务功能的分布式计算任务【优点】：高扩展性：计算资源不够，直接增加节点数量即可。质量可能不够，数量一定管够高容错性：一个节点任务失败，能自动转移到其他空闲节点适合大数据处理：得益
Chord_Gll·2020-08-11 18:26

hadoop学习笔记之

hadoopfs命令MostofthecommandsinFSshellbehavelikecorrespondingUnixcommands.Differencesaredescribedwitheachofthecommands.Errorinformationissenttostderrandtheoutputissenttostdout.IfHDFSisbeingused,hdfsdfsi
bgk083·2020-08-10 15:38

Hadoop学习笔记

1.Hadoop中为什么每次开启之前都要输如Hadoopnamenode-format?其实问题就出在tmp文件，默认的tmp文件每次重新开机会被清空，与此同时namenode的格式化信息就会丢失，于是我们得重新配置一个tmp文件目录。首先在home目录下建立一个hadoop/tmp目录sudomkdir~/hadoop/tmp然后修改hadoop/conf目录里面的core-site.xml文件
一生所爱丶·2020-08-10 13:50

Hadoop学习笔记一 ：HDFS总结

Hadoop的核心优势高可靠性：Hadoop支持同一数据多个副本保存机制，能有效避免数据丢失情况高扩展性：Hadoop能够很方便地扩展大量节点，用于分布式存储与计算高效率性：Hadoop结合MapReduce的思想，支持分布式并行工作，处理工作高容错性：在Hadoop集群中，能够自动将失败节点的任务重新分配Yarn的架构ResourceManager：负责集群任务调度与资源分配的核心，启动监控NM
Chord_Gll·2020-08-10 10:57

ES-Hadoop学习笔记-初识

ES-Hadoop是连接快速查询和大数据分析的桥梁，它能够无间隙的在Hadoop和ElasticSearch上移动数据。ESHadoop索引Hadoop数据到Elasticsearch，充分利用其查询速度，大量聚合能力来使它比以往更快，同时可以使用HDFS作为Elasticsearch长期存档。ES-Hadoop可以本地集成Hadoop生态系统上的很多流行组件，比如Spark、Hive、Pig、S
人生偌只如初见·2020-08-10 08:54

Hadoop学习笔记——Hadoop完全分布式集群搭建配置文件详解

写在前面：在本教程中，默认虚拟机系统已配置好hadoop和JDK，并且集群之间的免密登录已经完成。这里我的hadoop版本号为hadoop-2.10.0，记得要全部替换为你自己的版本号哦1.采用三台虚拟机搭建一个分布式集群系统，主机名和地址映射分配如下：集群主机-地址映射主机名IP地址虚拟机1hadoop01192.168.1.101虚拟机2hadoop02192.168.1.102虚拟机3had
三月和九月·2020-08-07 09:21

hadoop学习笔记--11.hive DDL操作

一、ｈｉｖｅ的数据类型１.基本类型整数类型：TINYINT，SMALLINT，INT，BIGINT，以上类型分别对应java中的byte，short，int，long。小数类型：FLOAT，DOUBLE布尔类型：BOOLEAN字符串类型：STRING，VARCHAR，CHAR２.复杂类型ARRAY，MAP，STRUCT，TIMESTAMP(DATE)常用的就是int，string，float。二、
liuzebin9·2020-08-04 15:36

Hadoop学习笔记—14.ZooKeeper环境搭建

从字面上来看，ZooKeeper表示动物园管理员，这是一个十分奇妙的名字，我们又想起了Hadoop生态系统中，许多项目的Logo都采用了动物，比如Hadoop采用了大象的形象，所以我们可以猜测ZooKeeper就是对这些动物进行一些管理工作的。一、ZooKeeper基础介绍1.1动物园也要保障安全zookeeper是hadoop下面的一个子项目，用来协调跟hadoop相关的一些分布式的框架，如ha
HoterSpring·2020-08-03 16:56

十五、Hadoop学习笔记————Zookeeper的环境搭建

linux中/opt一般用来存放应用/var目录一般用来存放日志sample为样例文件，复制一份zoo.cfg文件配置zoo文件，id为服务器id（整数），host为服务器的ip地址，第一个port为follow的端口，第二个port为leader选举端口，输入任意可用值即可创建一个zookeeper目录，用来存放日志，而后修改zoo文件中dataDir配置：在目录下新建一个myid文件，里面写入
weixin_30563917·2020-08-03 11:33

hadoop学习笔记——zookeeper平台搭建

zookeeper是一个自动管理分布式集群的一个工具，以实现集群的高可用。比如集群中的一个机器挂掉了，没有zookeeper的话就得考虑挂一个机器对剩下集群工作的影响，而有了zookeeper，它就能自动帮你协调这些事儿。正规的解释如下：zookeeper是一个开源的针对大型分布式系统的可靠协调系统。设计目标是：将复杂且容易出错的分布式式一致性服务封装起来，构成一个高效可靠的原语集，并以简单易用的
weixin_30343157·2020-08-03 11:56

Hadoop学习笔记

作者：伍栋梁编辑：陈人和1.hadoop安装与介绍1.1hadoop生态圈介绍分布式系统—Google三架马车（GFS,mapreduce,Bigtable）。google公布了发布了这三个产品的详细设计论文，但没有公布这三个产品的源码。Yahoo资助的Hadoop按照这三篇论文的开源Java实现:Hadoop对应Mapreduce,HadoopDistributedFileSystem(HDFS
l7H9JA4·2020-08-01 13:31

Hadoop学习笔记（一）---Linux基本知识说明

Hadoop的生成环境都是在linux下面，不过呢hadoop2.x已经开始支持windows平台，但是支持并不是很好，因此熟悉linux的命令是很重要的，需要熟悉linux的基本命令和环境的基本配置：1.可以采用vmware虚拟机的方式来安装linux，安装过程省略，去网上查一下便可。2.linux的版本很多，但是这里还是采用centos,当然可以采用其他的linux，请自便。3.安装完成后需要
garychenqin·2020-08-01 12:15

Hadoop学习笔记—12.MapReduce中的常见算法

Hadoop学习笔记—12.MapReduce中的常见算法一、MapReduce中有哪些常见算法（1）经典之王：单词计数这个是MapReduce的经典案例，经典的不能再经典了！
weixin_34248487·2020-08-01 04:27

Hadoop学习笔记之深入浅出MR

MapReduce有一则形象的博文，如何向妻子解释MapReducehttp://www.csdn.net/article/2011-08-26/303688其实MapReduce在日常生活中无处不在，像文章末尾说的数图书馆的书，每个人数一个书架（相当于Map），最后将每个人的数字加起来（Reduce）。MapReduce是一个计算框架，用于分布式计算。解决海量数据的计算问题。有一个普遍的例子是：
JNSimba·2020-07-30 17:09

Hadoop学习笔记-MapperReduce简介

Hadoop学习笔记-MapperReduce简介前言：本文将对Hadoop里面的一个核心木块—MapperReduce进行一定的了解。
iteye_4515·2020-07-30 15:22

Hadoop学习笔记之HBase Shell语法练习

下面我们看看HBaseShell的一些基本操作命令，我列出了几个常用的HBaseShell命令，如下：名称命令表达式创建表create'表名称','列名称1','列名称2','列名称N'添加记录put'表名称','行名称','列名称:','值'查看记录get'表名称','行名称'查看表中的记录总数count'表名称'删除记录delete'表名','行名称','列名称'删除一张表先要屏蔽该表，才能对
致简致优·2020-07-30 15:29

Hadoop计算框架Mapreduce

参考博客Hadoop学习笔记：MapReduce框架详解hadoop一些基本知识——Hadoop简介(1):什么是Map/Reduce一个完整的MapReduce程序HadoopMapreduce本地调试大数据
网瘾少年安涂·2020-07-30 13:17

Hadoop学习笔记（一）安装Hadoop单机版

资源下载常用的Hadoop发行版：/优点缺点Apache纯开源不同版本/不同框架之间整合jar冲突CDH有比较完善的客户端cm、可以一键式安装升级cm不开源、与社区版本有些许出入Hortonworks原装Hadoop、纯开源、支持tez企业级安全不开源其中CDH占市场使用率的60%-70%，所以本次学习打算使用CDH的版本Hadoop-2.6.0-cdh5.11.1下载地址CDH官方文档CentO
a1003873553·2020-07-29 04:22

Hadoop学习笔记（11）－搭建Hive伪分布式及简单操作

1.下载Hivehttp://hive.apache.org/downloads.html从该网址下载hive。我下载的是hive－2.1.0版本之后用tar命令解压，我是解压到/usr/local/hadoop目录下。2.配置环境变量进入.bashrc修改hive环境变量。vim~/.bashrc在最后加入：exportHIVE_HOME＝/usr/local/hadoop/apache-hiv
XianMing的博客·2020-07-29 01:16

Hadoop学习笔记（二）设置单节点集群

本文描述如何设置一个单一节点的Hadoop安装，以便您可以快速执行简单的操作，使用HadoopMapReduce和Hadoop分布式文件系统(HDFS)。参考官方文档：HadoopMapReduceNextGeneration-SettingupaSingleNodeCluster.Hadoop版本：ApacheHadoop2.5.1系统版本：CentOS6.5，内核（uname-r）：2.6.3
微wx笑·2020-07-28 12:31

hadoop学习笔记---mapreduce的InputFormat

最近看了mapreduce的InputFormat总结一下！！！看一下InputFormat的用法PublicabstractclassInputFormat{publicabstractListgetSplit(JobContextcontext)throwsIOException,InterruptedException;publicabstractRecordReaderCreatRecor
HelpMe1991·2020-07-27 15:20

Hadoop学习笔记0004——eclipse安装hadoop插件

Hadoop学习笔记0004——eclipse安装hadoop插件1、下载hadoop-1.2.1.tar.gz，解压到win7下hadoop-1.2.1；2、如果hadoop-1.2.1中没有hadoop-eclipse-plugin
拾毅者·2020-07-15 17:06

Hadoop学习笔记0005——centos下运行Hadoop实例

前提：*确保Hadoop安装成功*1、复制Hadoop自带的源码实例cp/usr/hadoop/src/examples/org/apache/hadoop/examples/WordCount.java/usr/hadoop/test2、创建一个classes文件夹，方便编译mkdirclasses3、编译WordCount.java文件javac-classpath/usr/hadoop/ha
拾毅者·2020-07-15 17:34

Hadoop学习笔记0001——Hadoop安装配置

Hadoop配置主要事项1、保证Master和Slave能够ping通；2、配置/etc/hosts文件；3、能够ssh无密码切换各台主机；4、安装sun公司的jdk，在/etc/profile中设置好环境变量；5、下载Hadoop，安装、配置、搭建Hadoop集群；1.Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Had
拾毅者·2020-07-15 13:57

Hadoop学习笔记（MR程序的几种提交运行模式）

本地模型运行在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行----输入输出数据可以放在本地路径下（c:/wc/srcdata/）----输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)在linux的eclipse里面直接运行main方法，但是不要添加yarn相关的配置，也会
Seo_sir·2020-07-15 10:04

Hadoop学习笔记（五）—— 搭建Hadoop HA集群

文章目录三台虚拟机的集群节点规划搭建环境准备搭建HadoopHA集群配置core-site.xml文件配置hdfs-site.xml文件配置mapred-site.xml文件配置yarn-site.xml文件配置slaves文件配置hadoop-env.sh文件分发目录初次启动HadoopHA集群步骤效果验证问题三台虚拟机的集群节点规划服务器NameNodeDataNodeResourceMana
JCManZZ·2020-07-15 08:50

项目实例：KNN预测电影网站用户性别（Hadoop学习笔记三）

通过学习《Hadoop大数据开发基础》这本书，整理了一下书本上的项目案例。让自己再梳理一下流程，也希望能给有需要的人提供一定的帮助，写的不好的希望大家提出来，一起进步。1学习目标理解KNN算法的原理。掌握以MapReduce编程实现KNN算法。掌握以MapReduce编程实现KNN分类器评价。2认识KNN算法2.1KNN算法简介KNN算法，全称是KNearestNeighbor算法，即K最近邻分类
Mecury_·2020-07-14 18:23

Hadoop学习笔记—20.网站日志分析项目案例（一）项目介绍

Hadoop学习笔记—20.网站日志分析项目案例（一）项目介绍网站日志分析项目案例（一）项目介绍：当前页面网站日志分析项目案例（二）数据清洗：http://www.cnblogs.com/edisonchou
layne_liang·2020-07-14 16:33

Hadoop学习笔记—20.网站日志分析项目案例（二）数据清洗

Hadoop学习笔记—20.网站日志分析项目案例（二）数据清洗网站日志分析项目案例（一）项目介绍：http://www.cnblogs.com/edisonchou/p/4449082.html网站日志分析项目案例
layne_liang·2020-07-14 16:33

C# Hadoop学习笔记（七）—C#的云计算框架借鉴（下）

在上篇里，我们主要讨论了，这个系统怎样处理大数据的“读”操作，当然还有一些细节没有讲述。下篇，我们将主要讲述，“写”操作是如何被处理的。我们都知道，如果只有“读”，那几乎是不用做任何数据同步的，也不会有并发安全问题，之所以，会产生这样那样的问题，会导致缓存和数据库的数据不一致，其实根源就在于“写”操作的存在。下面，让我们看一看，当系统需要写一条数据的时候，又会发生怎样的事情？同样，我们还是以fri
直男250·2020-07-14 08:00

hadoop学习笔记之hadoop伪分布集群搭建（二）

本次hadoop伪分布搭建环境：Windows10_64位+VMware9.0+Centos6.4（32位）默认以上环境已经配置好，下面开始进行hadoop伪分布集群安装......============================================================内容如下：一、给主机服务器（Centos6.4）配置IP地址二、安装jdk，并配置环境变量三、安装
YF_Li123·2020-07-14 06:52

Hadoop学习笔记（1）——单机版搭建

Hadoop是一个分布式计算框架，适用于离线的海量信息批处理，大文件日志分析等，可以在大量廉价硬件设备组成的集群上运行应用程序，并未应用程序提供一组稳定可靠的接口，旨在构建一个具有高可靠性和良好扩展性的分布式系统。Hadoop的核心是HDFS（HadoopDistributedFileSystem），Mapreduce和Hbase，他们分别是Google云计算核心技术GFS，Mapreduce和B
steve涛·2020-07-14 02:25

hadoop学习笔记(三)——MapTask和ReduceTask

MapTask和ReduceTask我们知道每一个Task都对应着一个jvm的执行，但是每一个Task都是在Child进程中执行的！我们来看一下Child类的主方法（源代码）publicstaticvoidmain(String[]args)throwsThrowable{LOG.debug("Childstarting");finalJobConfdefaultConf=newJobConf()
iteye_7298·2020-07-13 06:42

Hadoop学习笔记——安装Hadoop

sudomv/home/common/下载/hadoop-2.7.2.tar.gz/usr/localsudotar-xzvfhadoop-2.7.2.tar.gzsudomvhadoop-2.7.2hadoop#改个名在etc/profile文件中添加exportHADOOP_HOME=/usr/local/hadoopexportPATH=.:$PATH:$JAVA_HOME/bin:$HAD
weixin_34238642·2020-07-12 09:54

二十六、Hadoop学习笔记————Hadoop Yarn的简介复习

1.介绍YARN（YetAnotherResourceNegotiator）是一个通用的资源管理平台，可为各类计算框架提供资源的管理和调度。之前有提到过，Yarn主要是为了减轻Hadoop1中JobTracker的负担，对其进行了解耦。现在通常都会使用HadoopYarn，因为其稳定性更加优秀，YARN是对MapreduceV1重构得到的，有时候也称为MapReduceV2。2.YARN体系架构首
weixin_30627381·2020-07-12 06:12

Hadoop学习笔记——WordCount

1.在IDEA下新建工程,选择fromMevanGroupId:WordCountArtifactId:com.hadoop.1stProjectname:WordCount2.pom.xml文件4.0.0WordCountcom.hadoop.1st1.0-SNAPSHOTapachehttp://maven.apache.orgorg.apache.hadoophadoop-core1.2.1
weixin_30502965·2020-07-12 06:46

二、Hadoop学习笔记————架构学习

1.成百上千台服务器组成集群，需要时刻检测服务器是否故障2.用流读取数据更加高效快速3.存储节点具有运算功能，省略了服务器之间来回传数据的网络带宽限制4.一次写入，多次访问，不修改数据5.多平台namenode:master，负责总体调度，处理协调请求等（一个集群只能有一个namenode，但是可以多个集群组成一个更大的集群，这时就有多个namenode，这时的namenode有两种状态，一种叫a
weixin_30300225·2020-07-12 05:54

hadoop学习笔记——NO.6_MapReduce_1

hadoop学习笔记——NO.6_MapReduce_11.MapReduce原理篇（1）MapReduce是一个分布式运算程序的编程框架，是用户开发”基于hadoop的数据分析应用”的核心框架。
蔡茂昌·2020-07-12 04:05

hadoop学习笔记——NO.5_HADOOP分布式文件系统HDFS

Hadoop分布式文件系统HDFSHDFS前言设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析在大数据系统中作用为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务重点概念：文件切块，副本存放，元数据HDFS的概念和特性首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件。其
蔡茂昌·2020-07-12 04:04

Hadoop学习笔记——哪些场景适用，哪些不适用。

Hadoop不是万能的，有些场景适用，有些不适用。Hadoop设计的目的主要包括下面几个方面，也就是所谓的适用场景：1：超大文件可以是几百M，几百T这个级别的文件。2：流式数据访问Hadoop适用于一次写入，多次读取的场景，也就是数据复制进去之后，长时间在这些数据上进行分析。3：商业硬件也就是说大街上到处都能买到的那种硬件，这样的硬件故障率较高，所以要有很好的容错机制。接下来说说不适用的场景：1：
spark____·2020-07-11 23:48

Hadoop学习笔记——01

Hadoop提供了一个稳定的共享存储和分析系统。存储由HDFS实现，分析由MapReduce实现。虽然Hadoop还有其他功能，但这些是它的核心所在。Hadoop思想来源于Google的三篇论文：（1）Google-File-System（提取码：q6o2）（2）Google-MapReduce（提取码：76hk）（3）Google-Bigtable（提取码：6rtp）Hadoop的子项目：（1）
封号剑客张·2020-07-11 19:25

hadoop学习笔记（五）MapReduce常见实例二：排序（一次排序、二次排序、倒排索引）

目录一次排序MapReduce的默认排序规则Map、Reduce任务中Shuffle和排序的过程流程分析任务描述代码执行结果二次排序任务描述过程分析代码执行结果倒排索引任务描述设计思路代码执行过程执行结果一次排序熟悉MapReduce的人都知道，排序是MapReduce的天然特性！在数据达到reducer之前，MapReduce框架已经对这些数据按键排序了。MapReduce的默认排序规则它是按照
晴是有风·2020-07-11 17:01

Hadoop学习笔记——集群搭建

学习视频：https://www.bilibili.com/video/BV164411Z7cR安装：VMware：https://www.cnblogs.com/nongzihong/p/10475753.htmlCentOS安装：https://blog.csdn.net/babyxue/article/details/80970526Xshell官方下载连接:https://www.nets
管妖妖·2020-07-11 09:00
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他