Hadoop2

Linux CentOS7上安装Hadoop2.9(Hadoop/hive/sqoop)

一、Hadoop安装配置Hadoop2.9上传文件并解压在data目录下新建一个名为hadoop的目录(命令：mkdirhadoop)，并将下载得到的hadoop-2.9.2.tar.gz上载到该目录下
xianglingchuan·2020-08-10 04:26

flume-hdfs（file/dir/taildir）配置，日志监控单个/多个追加文件，目录内容追加跟踪日志，断点续传

安装包版本判定：x（程序版本入口）.y（功能更新的版本）.z（修复版本bug）（2）举例：goole的chrome浏览器出现在firefox之后，迭代快于所有浏览器2.解压-配置flume环境[cevent@hadoop207apache-flume
cevent·2020-08-10 03:35

虚拟机安装spark2.2+hadoop2.7.3

安装VisualBox和操作系统官网下载VisualBox安装文件.并安装。ubuntu官网下载最新版本得ubuntu安装文件。visualBox新建64位ubuntu,并启动虚拟机。跟着提示选择ubuntu安装文件，就可以很顺利的装好系统了。一般个人电脑内存在8g以下，所以如果装3台虚拟机，每台最多分1.5g内存了，多了机器也跑不动，所以按照网上的很多文档，装好出现了nodemanager启动失
liuxian_2004·2020-08-10 02:40

Hadoop与传统数据仓库的区别

Cloudera公司的DougCutting与Hortonworks公司的ArunMurthy作为Hadoop领域的两位先驱者，在本届Hadoop2014峰会的问答环节中提出了这样的问题。
山坡坡上的蜗牛·2020-08-10 02:35

Windows下使用Hadoop2.6.0-eclipse-plugin插件

fromerr=vkJI6VUe木偶发表于1年前阅读25614收藏44点赞8评论12摘要:经历过痛苦的过程，在windows下终于可以使用eclipse的hadoop2.6.0插件进行远程调试Mapreduce
stuwcc·2020-08-10 01:58

阿里云服务器搭建hadoop2.7伪分布式环境

零、写在前面服务器：centos7.6jdk1.8hadoop2.7这个其实没有什么影响，都可以参照这个教程进行搭建一、防火墙设置停止防火墙systemctlstopfirewalld.service禁止防火墙开机自启动
qq_302920276·2020-08-10 00:44

CentOS7 + Hadoop3.2.0 + Spark2.4.3搭建

我之前搭建的是Hadoop3.2.0伪分布式环境，因此下载spark包的时候，要选择Pre-buildforApacheHadoop2.7andlater.在/usr/local下创建spark文件夹，
Chungchinkei·2020-08-09 23:29

fuse挂载hdfs文件系统

fuse挂载hdfs文件系统步骤（以cdh5的源为主，对应hadoop2.6版本）1.cdh版本介绍1.hadoop源http://archive.cloudera.com/cdh5/http://archive.cloudera.com
memiracle·2020-08-09 22:23

Hadoop3.x安装部署

一、安装部署此处是单机版安装，我安装的使hadoop3.1.3，因为hadoop2.x和hadoop3.x的安装部署有些不同，所以记录一下首先安装好jdk，并且准备好hadoop3.x的安装包，可以去官网下载
hykDatabases·2020-08-09 15:23

关于64位Linux编译hadoop2

Apache官方提供hadoop2的安装包是在32位机器下编译的，生产环境一般使用64的Linux，那么需要在64位机器下重新编译可以查看hadoop-2.2.0-src下的BUILDING.txtBuildinstructionsforHadoop
weixin_34258078·2020-08-09 14:51

hadoop完全分布式文件系统集群搭建

台以上的主机（因为HDFS文件系统中保存的文件的blocak在datanode中至少要有3份或3份以上的备份，备份不能放于同一个机架上，更不能放于同一台主机上），我这里使用的是4台，分别是hadoop1、hadoop2
weixin_30908941·2020-08-09 14:54

idea构建spark开发环境，并本地运行wordcount

的插件，安装的方式如下：File--->settings--->Plugins--->输入scala（下图是我已经安装好了）3、配置spark依赖包下载spark相关的包spark-2.1.1-bin-hadoop2.7
weixin_30716725·2020-08-09 13:28

hadoop2.6.0版本集群环境搭建

一、环境说明1、机器：一台物理机和一台虚拟机2、linux版本：[spark@S1PA11~]$cat/etc/issueRedHatEnterpriseLinuxServerrelease5.4(Tikanga)3、JDK:[spark@S1PA11~]$java-versionjavaversion"1.6.0_27"Java(TM)SERuntimeEnvironment(build1.6.
stark_summer·2020-08-09 12:58

Hadoop2.6.4版本64位编译

安装依赖包2.1安装jdk1.7版本2.2安装配置maven2.3安装Ant2.4安装protobuf2.5安装依赖包2.6下载Hadoop源码3.编译Hadoop3.1编译Hadoop3.2验证编译是否成功Hadoop2
LifeIsForSharing·2020-08-09 12:03

Idea本地运行spark，操作HDFS（spark-without-hadoop版的spark）

操作一般大家都是用的spark-x.x.x-bin-hadoop2.x的spark而我用的是spark-2.1.0-bin-without-hadoop,所以我们要使用HDFS的时候，就必须让程序能够找到
单林敏·2020-08-09 10:32

启动Hadoop HDFS时的“Incompatible clusterIDs”错误原因分析

网上一些文章和帖子说是tmp目录，它本身也是没问题的，但Hadoop2.4.0是data目录，实际上这个信息已经由日志的“/data/hadoop/hadoop-2.4.0/data”指出，所以不能死死的参照网上的解决办法
爱人间·2020-08-09 09:17

centos8+java14+hadoop-3.3.0搭建hadoop集群（全网最新）

最近在学hadoop集群的搭建，网上常见的教程是基于centos7.5，java8，和hadoop2搭建的，由于笔者比较喜欢新技术，这里就作死使用最新的环境进行搭建，希望大家能提出意见一起进步。
ycfn97·2020-08-09 05:37

centos7.4-aarch64上如何部署Hadoop2.7.4

1、Hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highth
smart9527_zc·2020-08-09 05:48

hadoop2.x的编译 & hadoop-snappy编译 & hadoop2.x 配置 snappy压缩

hadoop2.x默认没有支持snappy压缩，需要我们自己编译才能支持snappy的压缩。
zhiquanliu·2020-08-09 04:46

阿里云Centos7.3上 Hadoop-2.7.6集群的搭建（ok!!!）

采取的是两台阿里云服务器搭建集群1、首先进行的是ssh免密码登录的操作具体操作在上篇笔记中找里面有2、配置Java环境具体操作上篇笔记中详细记录3、下载Hadoop2.7.2，并进行安装配置环境我是创建文件放在
zhangvalue·2020-08-09 04:45

Hadoop error no opencv_java in java library path

首先要确保你的opencv在linux上安装编译没有问题，我的环境是ubuntu14.0.4opencv3.0Hadoop2.7.1我采用完全分布式，4个节点，一个主节点，3个从节点，在主节点安装eclipse
wskfly·2020-08-09 02:33

阿里云ECS（Ubuntu)搭建hadoop3.X 伪分布式环境

一、准备工作①利用xshell以及xftp远程连接云服务器②配置云服务器的相关端口hadoop3.X相比hadoop2.X，网页端口变化：Namenodeports:50470-->9871,50070
小王同学@com·2020-08-09 01:34

pycharm利用pyspark远程连接spark集群

1方法1.1软件配置spark2.3.3,hadoop2.6,python31.2spark配置Spark集群的每个节点的Python版
Great1414·2020-08-09 01:11

大数据教程（6.4）centos6.9安装hadoop2.9.1

2019独角兽企业重金招聘Python工程师标准>>>在上一篇博客，博主为大家讲述了centos6.9上编译hadoop2.9.1全过程，这一章节博主将带着大家一起来安装hadoop。
weixin_34026276·2020-08-09 00:30

hadoop2.0 做spider下载集群的设置

hadoop一般设置中，一个map或者reduce用到的内存一般设置是1G内存，但作为下载来用，显然是浪费的，一个下载代码用到的内存顶多几十M，而且因为主要耗时是在网络，因此一个cpu可以做几十个下载进程都没啥问题。hadoop一般一个cpu就只跑一个map/reduce.因此需要对hadoop的设置进行优化，否则就太浪费了。最核心的设置如下，这里用的是阿里云的云服务器，4G内存，1个cpu作为任
wangliang_f·2020-08-08 23:36

阿里云服务器CentOS7+hadoop2.7搭建伪分布式环境(避免踩坑)

废话不多说，上来就干1、为了避免因为端口带来的问题，首先关闭防火墙systemctlstatusfirewalld//查看防火墙状态systemctlstopfirewalld//关闭防火墙systemctldisablefirewalld//禁止开机自启动2、安装java1.8yuminstalljava-1.8.0-openjdkjava-1.8.0-openjdk-devel查看jdk:ls
kshon·2020-08-08 17:52

HBase常用shell命令

常规命令集群状态命令status2servers,0dead,2.5000averageload该集群共有两台RegionServer，平均每台上有2.5个regionHBase版本命令version0.98.9-hadoop2
keep_walk·2020-08-08 16:26

如何在阿里云服务器CentOS7上搭建hadoop2.7.7伪分布式环境

本文内所有操作均为本人实际操作过程。一、软硬件环境CentOS7.364位OpenJDK-1.8.0Hadoop-2.7.7二、安装SSH客户端使用root账户登录(本例中使用putty接口连接软件，也可直接通过阿里云远程连接操作)安装ssh:yuminstallopenssh-clientsopenssh-server中途需输入y确认安装完成后，使用以下命令测试：sshlocalhost同样需要
k00c00l·2020-08-08 16:14

阿里云服务器centos7.2下安装Spark 2.2.1

一般情况下，这两个镜像都能用，http://www-eu.apache.org/dist/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgzhttp://www-us.apache.org
feng_zhiyu·2020-08-08 15:34

hadoop2.x之HDFS

1.HDFS简介HDFS（有时也成为DFS）是Hadoop的分布式文件系统。他可以将一个文件分布在多个主机上例如：现在有一个200GB的文件，我们有5台电脑，每台存储为100GB，所以我们在一台电脑上是无法存放该文件的。这时我们就需要将其分区（就是切割成好几块）然后将它分别存储在各个主机上（每个电脑存储40GB的）。这就是HDFS的原理。1.HDFS的特性HDFS的优势：超大文件存储HDFS能够存
erygreat·2020-08-08 15:40

阿里云Spark安装教程_完全分布式_Spark-2.2.0_CentOS7.4

默认已经安装了JDK1.8及Hadoop2.7.4。安装方法请查看阿里云安装hadoop教程_完全分布式_Hadoop2.7.4_Centos7.4。
BQW_·2020-08-08 14:00

运行hadoop2.x自带的wordcount

运行hadoop2.x自带的wordcount(1)首先在master虚拟机本地某一个目录下创建一个文件夹file，用来存储将要上传到HDFS的文件我是在/opt/hadoop路径下创建的文件夹filecd
王文友·2020-08-08 14:31

阿里云服务器伪分布式hadoop安装

CentOS7.364位jdk1.8.0_40hadoop2.6.51、在服务器上安装jdk下载jdk-8u40-linux-x64.gz，解压后配置Java环境变量exportJAVA_HOME=/usr
XLM11·2020-08-08 13:21

阿里云centos7.3 学生机安装spark

安装包下载与解压官网下载安装包（下带scala的）http://spark.apache.org/downloads.html放置/usr/local/spark，解压tar-xzvfspark-2.4.5-bin-hadoop2.7
Asher_S·2020-08-08 12:06

阿里云centos7.3配置hadoop2.7伪分布式环境

一、防火墙设置systemctlstopfirewalld.service#停止firewallsystemctldisablefirewalld.service#禁止firewall开机启动二、修改主机名vim/etc/hostname我将主机名修改为masterreboot重启服务器生效三、修改hosts配置文件vim/etc/hosts添加内网ip主机名四、安装SSH客户端（1）安装ssh，
Asher_S·2020-08-08 12:06

hadoop2.x之IO：序列化

序列化是指将结构化对象转化为字节流以便在网络上传输或写到磁盘进行永久存储的过程。反序列化是指将字节流转回结构化对象的逆过程。假设我们创建了一个类People，里面两个属性：name和age。在我们JVM没有关闭且该实例没有销毁的时候，我们可以调用这个实例。但是当我们关闭JVM等方式使该实例销毁的时候，我们将无法再使用该实例了。而序列化实际上就是将其存储起来，例如：以JSON存储成文件，或者XML存
erygreat·2020-08-08 10:05

hadoop2.x之IO：基于文件的数据结构

备注二进制文件广义上讲是所有文件（在物理上所有文件都是二进制编码）。狭义上是指文本文件以外的文件。而文本文件又是指ASCII或unicode编码的文件，二者在物理上没有本质的区别，只是逻辑上的概念。所以二进制文件在这里指的是所有文件。Hadoop主要处理日志文件，其中每一行文本代表一条日志记录。在MapReduce的数据处理中，处理结果是用key-value的格式传递给下一过程的。我们可以看到，在
erygreat·2020-08-08 10:35

hadoop2.x之IO：MapReduce压缩

前面我们说到了hadoop的压缩，在Hadoop所运行的数据一般都是很大的，输入的数据很大，输出的数据也很大。因此我们有必要对map和Reduce的数据进行压缩存储。如果我们想对Reduce进行压缩，有两种方法，一种是配置使用Configuration配置。另一种是还是用FileOutputFormat类对输出进行设置。1.对Reduce进行压缩（使用Configuration)使用Configu
erygreat·2020-08-08 10:35

hadoop2.x之IO：压缩和解压缩

文件压缩可以降低存储需要的空间，并且在传输过程中加快传输速度。因此对于大量数据的处理时，压缩是十分重要的。我们考虑一下Hadoop在文件中的压缩用法。有许多压缩方式，如下：压缩格式工具算法文件拓展名是否可切分DEFLATE无DEFLATE.deflate否GzipgzipDEFLATE.gz否bzip2bzip2bzip2bz2是LZOlzopLZO.lzo否LZ4无LZ4.lz4否Snappy无
erygreat·2020-08-08 10:34

Hadoop2.9.1 安装配置，并在 Idea 中运行自带的 WordCount 示例

一、Linux基础配置1、创建Hadoop用户如果Linux系统安装的时候不是hadoop用户，那么你最好需要创建一个hadoop用户，密码设置为hadoop（密码可以随意指定），使用下面命令创建新用户。创建hadoop用户的时候使用的是root用户，没有其他说明本文中的所有命令都是在root用户下完成的，如果你的登录用户不是root，那么执行本文中的一些命令需要在命令之前增加sudo才可以正确执
Bin594505536·2020-08-08 10:47

【解决办法】Hadoop2.6.4 datanode 无法启动，错误：All specified directories are failed to load.

在部署hadoop2.6.4集群的时候碰到下面的错误FATALorg.apache.hadoop.hdfs.server.datanode.DataNode:InitializationfailedforBlockpool
超丨哥·2020-08-08 02:18

大数据平台Ambari2.7.4+HDP3.1.4安装

Linux准备机器1Ambari172.16.21.43机器2Hadoop1172.16.21.40机器3Hadoop2172.16.21.41机器4Hadoop3172.16.21.42需要实现SSH
Venom码哥·2020-08-08 01:11

window上连接集群跑hadoop问题之java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.

环境：window764位集群hadoop2.6.0，ubuntuwindow上连接集群跑hadoop问题之java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio
KeepLearningBigData·2020-08-08 01:39

Ubuntu搭建Hadoop集群的详细操作流程

虚拟机安装程没安装Ubuntu的可参考：Ubuntu的安装教程Haddop的下载可以到https://mirrors.cnnic.cn/apache/hadoop/common/这个网址下载，下载的时候版本是选择Hadoop2
小嗯子·2020-08-07 21:52

hbase与zookeeper完全分布式集群搭建

hbase与zookeeper完全分布式集群搭建auth:hahallytime:2019.11.29版本:ubuntu18hadoop2.9.2jdk1.8hbase前提:hadoop集群已经搭建成功配置说明参考
Theoyah·2020-08-07 17:20

hadoop环境配置出现的问题

导致这种原因是由于你配置Java环境设时，路径含有空格Hadoop2.7.1Subversionhttps://git-wip-us.apach
侠客刀·2020-08-07 16:43

CentOS安装Hadoop、hbase单机版

一、首先安装JDK并设置环境变量二、安装hadoop2.9.22.1下载hadoop2.9.2地址http://mirrors.hust.edu.cn/apache/hadoop/common/放到/usr
happyzwh·2020-08-07 10:49

Hadoop2.7.4分布式集群安装配置文件

master192.168.1.15slave01192.168.1.16slave02192.168.1.17服务器上安装hadoop的目录结构为/home/用户名/hadoopsoftware:存放的是安装的软件包app:存放的是所有软件的安装目录hadoop2.7.4
NULL·2020-08-07 07:12

Hadoop2.7.7 API: hadoop-env.sh 解析

namedescriptiondefaultvalueexportJAVA_HOME=/home/hadoop/software/jdk1.8.0_171设置JAVAHOMEexportHADOOP_HOME_WARN_SUPPRESS=1压制警告1exportHADOOP_HOME=${HADOOP_HOME:-/usr/hdp/2.6.5.0-292/hadoop}设置HADOOP_HOME目
张伯毅·2020-08-06 13:36

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

本教程适合于原生Hadoop2，包括Hadoop2.6.0,
东方无赖·2020-08-06 13:25
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他