Hadoop学习

hadoop学习笔记1：实现ssh免密码登录

一、实验目的：启动和运行hadoop集群时，主节点和从节点之间会进行频繁的数据通信，为避免手动进行多次密码认证和提高数据传输的安全性，需要实现ssh免密码登录二、需求分析：（一）实现chaoren1、chaoren2、chaoren3、chaoren4、chaoren5每台机器自身的免密码登录（二）实现chaoren1与其他4台机器的免密码登录三、具体实现：（一）实现chaoren1、chaore
yraspen·2020-08-16 22:46

hadoop学习笔记

文章目录一、hadoop四个核心模块二、Hadoop-HDFS2.1、hadoop架构模型2.1、存储模型：字节（byte）2.3、Block的副本放置策略2.4、优缺点2.5、NN和DN一、hadoop四个核心模块hadoopcommonhadoopdistributedfilesystem（功能：对数据存储功能的访问）分布式存储系统提供了高可靠性、高扩展性和高吞吐率的数据存储服务hadoopy
Ethan-bigdata·2020-08-16 22:07

hadoop学习笔记hadoop学习笔记

目录(?)[-]hadoop在redhatlinux下的安装过程网上有很多讲授在windows下通过Cygwin安装hadoop的，笔者认为hadoop原始设计就是在linux下安装使用的，在windows下通过Cygwin安装也无非是模拟linux环境再在这个模拟的环境上装hadoop，既然要学hadoop就真枪实弹的在linux下安装来学习，但是要搞一台真正的linux系统对一般个人来说不容易
单向街的夏天·2020-08-16 22:19

Hadoop学习笔记：Hadoop基础知识

阅读目录一、Hadoop简介二、Hadoop的特性三、hadoop组成与体系结构四、Hadoop安装方式五、Hadoop集群中的节点类型一、Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中Hadoop的核心是HDFS和MapRed
忌颓废·2020-08-16 22:00

Hadoop学习笔记(3)——分布式环境搭建

Hadoop学习笔记(3)——分布式环境搭建前面，我们已经在单机上把Hadoop运行起来了，但我们知道Hadoop支持分布式的，而它的优点就是在分布上突出的，所以我们得搭个环境模拟一下。
weixin_33863087·2020-08-16 21:48

Hadoop学习笔记1：伪分布式环境搭建

在搭建Hadoop环境之前，请先阅读如下博文，把搭建Hadoop环境之前的准备工作做好，博文如下：1、CentOS6.7下安装JDK,地址：http://blog.csdn.net/yulei_qq/article/details/519256732、CenOS虚拟机和Windows通信，地址：http://blog.csdn.net/yulei_qq/article/details/519307
weixin_30755393·2020-08-16 21:50

Hadoop学习笔记

hadoop以下文章都是关于hadoop学习的笔记，不太成体系，知识慢慢积累吧namenode相当于拿着账本的记账员，记录来的货物在哪个仓库里，当然仓库没有备份secondnamenode:比如此处是个中转站
qq_322235565·2020-08-16 20:55

Hadoop学习笔记1：Hadoop2.7.3分布式部署-Eclipse开发环境部署

SSH免密码登录SSH免密码登录，因为Hadoop需要通过SSH登录到各个节点进行操作，我用的是root用户，每台服务器都生成公钥，再合并到authorized_keys(1)CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注释，每台服务器都要设置，#RSAAuthenticationyes#PubkeyAuthenticationyes(2)输入命令
pigcoffee·2020-08-16 19:28

Hadoop学习笔记2：eclipse运行Mapreduce程序问题总结

(null)entryincommandstring:nullchmod0700运行mapreduce任务报错：(null)entryincommandstring:nullchmod0700解决办法：在https://github.com/SweetInk/hadoop-common-2.7.1-bin中下载winutils.exe,libwinutils.lib拷贝到%HADOOP_HOME%
pigcoffee·2020-08-16 19:57

hadoop学习笔记3：shell下的hdfs操作

作业：当使用hadoopfs-put上传一个文件到hdfs时，(1)如果目的地是一个已经存在的目录时，上传后的文件名是什么？答：----准备工作：清空hdfs[cr12@chaoren1~]$hadoopfs-rmrhdfs://chaoren1:9012/*Deletedhdfs://chaoren1:9012/mntDeletedhdfs://chaoren1:9012/user----创建目
yraspen·2020-08-16 18:28

hadoop学习笔记2：hadoop分布式环境搭建

一、实验目的：（1）搭建一套hadoop的分布式运行环境，用于学习hadoop相关知识。（2）相对于为分布式和本地模式，分布式环境更接近于实际的生产环境NameNodeJobTrackerSecondaryNameNodeSlaveschaoren1chaoren2chaoren2chaoren3、chaoren4、chaoren5二、实施基础：（1）阿里云服务器5个节点节点名称公网IP内网IPc
yraspen·2020-08-16 18:28

hadoop学习笔记3：分布式搭建及测试

hadoop学习笔记3：集群/分布式搭建及测试hadoop学习笔记3集群分布式搭建及测试节点网络配置ssh无密码登陆节点Hadoop分布式配置hadoop分布式实例测试记录一下hadoop集群搭建，使用
SingleOneMan·2020-08-16 18:27

hadoop学习笔记2：eclipse开发MapReduce

hadoop学习笔记2：eclipse开发MapReduce伪分布式搭建见：Hadoop学习笔记1：伪分布式环境搭建环境：虚拟机：Ubuntu16.0jdk1.8.0_111,eclipse4.6.0,
SingleOneMan·2020-08-16 18:27

hadoop学习笔记4：hadoop、spark概念

hadoop学习笔记4：hadoop、spark概念hadoop学习笔记4hadoopspark概念hadoop1HDFS2MapReduce3YARNspark1.hadoopHadoop是一种开源的适合大数据的分布式存储和处理的平台
SingleOneMan·2020-08-16 18:27

Hadoop 学习笔记二：安装与运行一

Hadoop学习笔记二：安装与运行一搭建Hadoop运行环境虚拟机环境准备安装JDK安装HadoopHadoop的目录结构Hadoop运行模式本地运行模式官方Grep案例官方WordCount案例伪分布式运行模式启动
人在囧途^o^·2020-08-16 18:18

Hadoop 学习笔记一：介绍

Hadoop学习笔记一：介绍Hadoop是什么Hadoop发展历史Hadoop三大发行版本Hadoop优势Hadoop的组成HDFS架构概述YARN架构MapReduce架构概述大数据技术生态体系Hadoop
人在囧途^o^·2020-08-16 18:18

[转]Hadoop学习笔记

Hadoop学习笔记作者：wayne1017一、简要介绍这里先大致介绍一下Hadoop.本文大部分内容都是从官网Hadoop上来的。
黑夜路人·2020-08-16 17:17

hadoop学习笔记之hadoop伪分布集群搭建（五）

本次hadoop伪分布搭建环境：Windows10_64位+VMware9.0+Centos6.4（32位）默认以上环境已经配置好，下面开始进行hadoop伪分布集群安装......============================================================内容如下：一、给主机服务器（Centos6.4）配置IP地址二、安装jdk，并配置环境变量三、安装
YF_Li123·2020-08-16 17:32

hadoop学习笔记之hadoop伪分布集群搭建（四）

本次hadoop伪分布搭建环境：Windows10_64位+VMware9.0+Centos6.4（32位）默认以上环境已经配置好，下面开始进行hadoop伪分布集群安装......============================================================内容如下：一、给主机服务器（Centos6.4）配置IP地址二、安装jdk，并配置环境变量三、安装
YF_Li123·2020-08-16 17:01

hadoop学习笔记（一）：hadoop集群搭建

hadoop集群搭建阅读目录一、准备工作：二、搭建Hadoop集群：回到顶部一、准备工作：1、环境：CentOS6.4-64bitJDK1.7-64bit基于虚拟机拷贝4个虚拟机，一个作为Master，另外三个作为Slave，在这拷贝出来的四台虚拟机上分别执行下面的脚本初始化网卡eth0设备：/install/initNetwork.sh2、配置集群网络A、Master机器：1#配置主机名2hos
跨链技术践行者·2020-08-16 17:40

Hadoop学习之Win7下 Hadoop-2.4.0 Eclipse插件编译实践

参考前辈们的经验，小弟将Win7环境下Hadoop-2.4.0Eclipse插件编译过程，以图文形式翻译给大家，希望能快速帮助大家成功编译！以下是具体编译过程：一、准备工作下载插件源码地址：https://github.com/winghc/hadoop2x-eclipse-plugin下载ANT：http://www.apache.org/dist/ant/binaries/apache-ant
osg_yanglinping·2020-08-16 07:51

hadoop分布式集群部署以及过程中遇到的一些坑

在hadoop学习过程中，首先第一步是部署伪分布以及分布式集群。在集群的部署过程中http://www.powerxing.com/install-hadoop-cluster/使用这篇博客作为参考。
weixin_34212762·2020-08-15 08:09

Hadoop学习笔记（四）-- HBase

HBase是什么：HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，它是GoogleBigtable的开源实现，运行于HDFS文件系统之上，利用MapReduce处理数据，使用Zookeeper作为协同服务，因此可以容错地存储海量稀疏的数据。特点：海量数据存储，方便扩展快速的随机访问，独特的设计使得写操作比读操作有时更快数据存储在hdfs上，备份不用担心不适合做关联查询(JOIN等
弦上的梦·2020-08-15 03:13

hadoop学习【11】——hadoop-2.4.1集群真实环境部署文档

【前言】由于运气不错在学校机房申请得到了几台PC机用于尝试部署真实环境下的hadoop集群，花了几个小时的时间终于大功告成，现在将安装部署的详细步骤记录如下，希望对大家有所帮助！一、机房环境描述：1.1、PC配置：4G内存i3-2130处理器主频：3.40GHz硬盘：500GBPC共9台（两个用于namenode结点（HA：高可靠）配置的自动切换HA而不是手工切换）1.2、操作系统：centos6
jonsen_hb·2020-08-14 05:29

学习hadoop需要什么基础?

趁着学校放假的时间，写了一些hadoop学习分享的文章。刚开始写的几篇稍微有点乱，其中有一篇就是在说学习hadoop需要什么样基础的。所谓的难不会，会不难，必然也是建立你
ciwei03773·2020-08-13 13:48

hadoop学习（二）分布式文件系统与 HDFS shell操作

HDFS简介数据量越来越大，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。分布式文件系统是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间分布式文件管理系统很多，HDFS只是其中一种。适用于一次写入、多次查询的情况，不支持并发写情况，小文件不合适
codeing_doc·2020-08-12 12:59

Hadoop学习之路 --- HDFS（分布式文件系统）

Hadoop自带一个称为HDFS的分布式文件系统，即HadoopDistributedFilesystem，HDFS是以流式数据访问模式来存储超大文件，运行于商用硬件集群上。---->名词解释：什么是HDFS：一个用于分布式环境下的文件系统，与正常文件系统不同的是，它会让集群中的每个机器仿佛访问同一个文件系统，即在A机器写入HDFS的文件，在B机器也能看到，在B机器删除HDFS文件，集群其他机器中
Mai_Noe·2020-08-12 10:07

Hadoop学习-编译并运行maxTemperature

Hadoop学习-编译并运行maxTemperature按照书中样例编写代码使用mvn命令编译打包在Hadoop上创建输入路径及文件运行程序计算sample.txt查看计算结果计算结果如下运行程序计算all
lianyz1985·2020-08-11 20:00

Hadoop学习笔记三：MapReduce的Shuffle图解

学习的时候没有太过留意Shuffle这个概念，以至于还以为是不是漏掉了什么知识点，后面看了一些帖子才发现Shuffle原来是map()方法执行结束到reduce()方法执行这么一大段过程....小声BB：实质上该过程包含许多环节，不知道为啥就统称Shuffle了......1.Mapper的写出图见意现--直接上图：需要明确的点：在环形缓冲区触发溢写时，进行的排序是先根据每个键值对的分区进行排序，
Chord_Gll·2020-08-11 18:31

Hadoop学习笔记二：MapReduce的IO类型 && 文件切片

1.对MapReduce的理解是什么：Hadoop默认自带的分布式计算框架做什么：提供一系列接口(核心类：InputFormat、OutputFormat、Mapper、Reducer、Driver)，让用户能够实现自定义业务功能的分布式计算任务【优点】：高扩展性：计算资源不够，直接增加节点数量即可。质量可能不够，数量一定管够高容错性：一个节点任务失败，能自动转移到其他空闲节点适合大数据处理：得益
Chord_Gll·2020-08-11 18:26

HDFS读写数据流程

Hadoop学习HDFS读写数据流程1.机架感知--副本存储节点选择2.网络拓扑--节点距离计算3.写流程4.读流程HDFS读写数据流程1.机架感知–副本存储节点选择关于机架感知官方文档http://hadoop.apache.org
klionl·2020-08-11 03:55

hadoop学习---运行第一个hadoop实例

hadoop环境搭建好后，运行第wordcount示例1.首先启动hadoop：sbin/start-dfs.sh,sbin/start-yarn.sh（必须能够正常运行）2.进入到hadoop的安装目录下（我的是/usr/hadoop）3.新建hadoophdfs文件系统上的input文件夹（输入文件存放）：hadoopfs-mkdir/input4.传入测试文件：hadoopfs-puttes
池小白·2020-08-10 22:34

基于hadoop学习Apache Pig

ApachePig是一个用于分析大型数据集的平台，其中包括用于表达数据分析程序的高级语言，以及用于评估这些程序的基础结构。Pig程序的显着特性是它们的结构适于大量并行化，这反过来使得它们能够处理非常大的数据集。目前，Pig的基础结构层由一个编译器组成，该编译器产生Map-Reduce程序的序列，已经存在大规模并行实现（例如Hadoop子项目）。Pig的语言层目前由一种称为PigLatin的文本语言
牧羊人影视·2020-08-10 21:13

Hadoop学习常见问题及答案总结手册-可下载

文后有下载地址，大家可以自行下载该手册，有目录，更方便查看。搭建Hadoop单节点集群遇到namenode或datanode启动不起来的问题。可能原因：多次格式化namenode导致datanode与namenode之间的id不一致原因分析：执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.name.dir在本地系统的路径）中保存一个current/VERSION文件，记录
大数据研习社·2020-08-10 16:01

hadoop学习笔记之

hadoopfs命令MostofthecommandsinFSshellbehavelikecorrespondingUnixcommands.Differencesaredescribedwitheachofthecommands.Errorinformationissenttostderrandtheoutputissenttostdout.IfHDFSisbeingused,hdfsdfsi
bgk083·2020-08-10 15:38

Hadoop学习常见问题及答案整理（三）

1、在MyEclipse或Eclipse里出现中文乱码问题该如何解决呢？例如下面的问题：如果是这样情况，说明是要改编码。解决的办法？1、windows->preferences2、将Textfileencoding的other部分，改为UTF-8。3、hadoop项目，右键，prpperties，然后出现以下界面。就是配置好了，即hadoop项目的消除中文乱码问题解决。将Inheritedfrom
away30·2020-08-10 15:55

大数据技术之_05_Hadoop学习_01_MapReduce_MapReduce概述+Hadoop序列化

第1章MapReduce概述1.1MapReduce定义1.2MapReduce优缺点1.2.1优点1.2.2缺点1.3MapReduce核心思想1.4MapReduce进程1.5官方WordCount源码1.6常用数据序列化类型1.7MapReduce编程规范1.8WordCount案例实操第2章Hadoop序列化2.1序列化概述2.2自定义bean对象实现序列化接口（Writable）2.3序
aodawu2891·2020-08-10 15:40

Hadoop学习笔记

1.Hadoop中为什么每次开启之前都要输如Hadoopnamenode-format?其实问题就出在tmp文件，默认的tmp文件每次重新开机会被清空，与此同时namenode的格式化信息就会丢失，于是我们得重新配置一个tmp文件目录。首先在home目录下建立一个hadoop/tmp目录sudomkdir~/hadoop/tmp然后修改hadoop/conf目录里面的core-site.xml文件
一生所爱丶·2020-08-10 13:50

Hadoop学习之路(四)：Hadoop排序之全排序的原理及实现

Hadoop实现全排序一、全排序简介二、全排序的原理三、准备数据四、全排序的实现1.创建Java工程，添加Maven支持2.编写Map类3.编写Reduce类4.编写作业主类5.将代码打包提交到集群6.运行程序五、总结一、全排序简介全排序其实就是全局排序，就是使得所有数据按序排列输出，和我们平常做的给一个数组排序没有什么区别，唯一的区别就是数据量的不同，这里涉及的数据量是TB级别的，这就意味着不可
萧邦主·2020-08-10 13:59

Hadoop学习笔记一 ：HDFS总结

Hadoop的核心优势高可靠性：Hadoop支持同一数据多个副本保存机制，能有效避免数据丢失情况高扩展性：Hadoop能够很方便地扩展大量节点，用于分布式存储与计算高效率性：Hadoop结合MapReduce的思想，支持分布式并行工作，处理工作高容错性：在Hadoop集群中，能够自动将失败节点的任务重新分配Yarn的架构ResourceManager：负责集群任务调度与资源分配的核心，启动监控NM
Chord_Gll·2020-08-10 10:57

ES-Hadoop学习笔记-初识

ES-Hadoop是连接快速查询和大数据分析的桥梁，它能够无间隙的在Hadoop和ElasticSearch上移动数据。ESHadoop索引Hadoop数据到Elasticsearch，充分利用其查询速度，大量聚合能力来使它比以往更快，同时可以使用HDFS作为Elasticsearch长期存档。ES-Hadoop可以本地集成Hadoop生态系统上的很多流行组件，比如Spark、Hive、Pig、S
人生偌只如初见·2020-08-10 08:54

hadoop学习时遇到的问题：启动HBASE，出现 Caused by: java.net.ConnectException: 拒绝连接

2020-01-1011:20:34,210FATAL[centos103:16000.activeMasterManager]master.HMaster:Unhandledexception.Startingshutdown.java.net.ConnectException:CallFrommaster/192.168.29.133tomaster:9820failedonconnectio
焦虑的说说·2020-08-10 07:59

Hive2.3.7安装

本文记录Hadoop学习过程中hive安装过程文章目录本文记录Hadoop学习过程中hive安装过程开发环境安装hive下载更改hive-env.sh配置信息安装MySQL更改MySQL密码修改MySQL
AlphaJun_zero·2020-08-09 06:00

hadoop运行环境安装与配置+hadoop开发环境配置（一）

这两篇主要小结在hadoop学习过程中，Linux(ubuntu)下hadoop安装与环境配置+window下开发环境的配置。这是第一篇，主要小结hadoop在ubuntu环境下的安装与配置。
qq_23617681·2020-08-08 01:12

视频教程-Hadoop大数据从入门到精通-Hadoop

Hadoop大数据从入门到精通十年项目经验，曾经任职中国移动架构师，丰富的教学经验让无数人获得高薪任亮¥600.00立即订阅订阅后：请点击此处观看视频课程视频教程-Hadoop大数据从入门到精通-Hadoop
weixin_29232607·2020-08-07 19:35

Hadoop学习笔记——Hadoop完全分布式集群搭建配置文件详解

写在前面：在本教程中，默认虚拟机系统已配置好hadoop和JDK，并且集群之间的免密登录已经完成。这里我的hadoop版本号为hadoop-2.10.0，记得要全部替换为你自己的版本号哦1.采用三台虚拟机搭建一个分布式集群系统，主机名和地址映射分配如下：集群主机-地址映射主机名IP地址虚拟机1hadoop01192.168.1.101虚拟机2hadoop02192.168.1.102虚拟机3had
三月和九月·2020-08-07 09:21

Hadoop学习随笔

Hadoop学习随笔Hadoop项目主要包括以下四个模块◆HadoopCommon:为其他Hadoop模块提供基础设施◆HadoopHDFS:一个高可靠、高吞吐量的分布式文件系统◆HadoopMapReduce
墨半成霜·2020-08-04 22:51

Hadoop Map/Reduce编程模型实现海量数据处理—数字求和-Hadoop学习

HadoopMap/Reduce编程模型实现海量数据处理—数字求和魏仁言2010.8.24Map/Reduce编程模型型的原理是：利用一个输入key/valuepair集合来产生一个输出的key/valuepair集合。MapReduce库的用户用两个函数表达这个计算：Map和Reduce。HadoopMap/Reduce实现主要是通过继承Mapper和Reducer两个抽象类，并实现map和re
savechina·2020-08-04 18:38

hadoop学习笔记--11.hive DDL操作

一、ｈｉｖｅ的数据类型１.基本类型整数类型：TINYINT，SMALLINT，INT，BIGINT，以上类型分别对应java中的byte，short，int，long。小数类型：FLOAT，DOUBLE布尔类型：BOOLEAN字符串类型：STRING，VARCHAR，CHAR２.复杂类型ARRAY，MAP，STRUCT，TIMESTAMP(DATE)常用的就是int，string，float。二、
liuzebin9·2020-08-04 15:36

[Hadoop学习]Esri/gis-tools-for-hadoop介绍

上一篇，我们已经将Hadoop环境搭建好了，今天我们就根据Esri提供的gis-tools-for-hadoop来切身体会一下Hadoop的工作原理以及Hadoop与GIS的初次约会。相关环境：Esri/gis-tools-for-hadoop：https://github.com/Esri/gis-tools-for-hadoopSampletoolsthatdemonstratefullsta
积思园·2020-08-04 15:10
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他