Hadoop2

基于原生态hadoop2.7.9 HA集群搭建

1.条件准备软件准备：Centos7.264位操作系统,jdk1.864位,hadoop2.7.9,zookeeper3.4.9,Hive2.2硬件条件：(Vmware虚拟机)1台主节点机器,配置cpu1
心在梦想·2020-07-10 12:52

编译spark1.6.0出现 Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.4.0:exec (sparkr-pkg)

/make-distribution.sh--namehadoop2.6--tgz-Psparkr-Phadoop-2.6.0-P
wuzhilon88·2020-07-10 12:54

（五）使用Ansible搭建分布式大数据基础环境-ZooKeeper集群模式搭建

“使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7
workwithwebis3w·2020-07-10 12:49

（二）使用Ansible搭建分布式大数据基础环境-Ansible项目创建

“使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7
workwithwebis3w·2020-07-10 12:49

（六）使用Ansible搭建分布式大数据基础环境-Hadoop高可用集群搭建

“使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7
workwithwebis3w·2020-07-10 12:49

spark报告

tar-zxvfscala-2.12.8.tgz-C/opt/modulemvscala-2.12.8scala测试：scala-version启动：scala三、官网下载安装Spark：spark-2.4.2-bin-hadoop2.7
S白甜·2020-07-10 11:29

Hadoop2.6.5 分布式集群搭建

一、Hadoop2.6.5分布式集群搭建1、安装Hadoop准备安装包：hadoop-2.6.5.tar.gz上传到Linux服务器上去（我的上传目录是/home/xutao/Desktop/software
❤_Queen·2020-07-10 10:20

hadoop2.7.7完全分布式及HA步骤安装（二）之真的很扎心的hbase-1.4.9的安装(史上最全)

环境变量exportHBASE_HOME=/usr/local/hbase-1.4.9exportPATH=$HBASE_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$JAVA_HOME/bin:$PATHhbase-env.sh添加#Java环境exportJAVA_HOME=/u
妹妹叫朕咕咕哒·2020-07-10 10:04

Hadoop3 修改日志大小及数量

可以在core-site.xml用如下参数：hadoop.logfile.size10000000每个日志文件的最大值，单位：byteshadoop.logfile.count10日志文件的最大数量但是在Hadoop2
陈yy哦·2020-07-10 10:46

centos7 hadoop HA高可用集群搭建（ hadoop2.7 zookeeper3.4 ）

目录一、服务器环境二、集群规划三、安装配置Zookeeper四、安装配置Hadoop七、总结上篇文章写了如何用ssh免密登录，当然这些操作都是在hadoop账号上的操作，包括这篇文章也是一样三台主机一、服务器环境主机名IP用户名密码安装目录node1192.168.31.106hadoop123456/home/hadoop/node2192.168.31.175hadoop123456/home
Louis先生·2020-07-10 10:29

spark-2.4.2搭建（配合hadoop2.7及以上环境）

win系统中下载后上传至linux，也可以linux中直接下载：wgethttp://mirror.bit.edu.cn/apache/spark/spark-2.4.2/spark-2.4.2-bin-hadoop2.7
村西那条弯弯的河流·2020-07-10 10:40

Hadoop集群的DataNode中nodemanager启动一段时间后自动关闭问题

环境说明:Hadoop2.7.3版本NameNode节点:node01,node02DataNode节点:node01,node02,node03node01机器作为主NameNode节点.问题说明:Hadoop
Fushicho_XF·2020-07-10 09:35

Hadoop2.7高可用集群搭建步骤

集群节点分配Park01ZookeeperNameNode(active)Resourcemanager(active)Park02ZookeeperNameNode(standby)Park03ZookeeperResourceManager(standby)Park04DataNodeNodeManagerJournalNodePark05DataNodeNodeManagerJournalN
weixin_41070431·2020-07-10 09:01

电商大数据分析平台项目（一）项目框架

项目环境：windows10+hadoop2.7.7+hbase2.1.0+flume1.7.0+nginx+3台linux虚拟机（三台虚拟机搭建一个hadoop完全分布式集群，同将主节点配置nginx
沼泽鱼97·2020-07-10 09:31

基于hadoop集群的Hive1.2.1、Hbase1.2.2、Zookeeper3.4.8完全分布式安装

写在前边的话：hadoop2.7完全分布式安装请参考：点击阅读，继任该篇博客之后，诞生了下面的这一篇博客基本环境：Hadoop2.7Java1.7.0_51CentOS6.5预安装：Hive1.2.1下载地址
weixin_34254823·2020-07-10 08:39

Spark学习之路 （二）Spark2.3 HA集群的分布式安装

mirrors.hust.edu.cn/apache/3、从清华的镜像站下载https://mirrors.tuna.tsinghua.edu.cn/apache/二、安装基础1、Java8安装成功2、zookeeper安装成功3、hadoop2.7
weixin_33811961·2020-07-10 07:51

spark 入门及集群环境搭建

软件环境:VMwareworkstation11.0linux：CentOS6.7hadoop-2.7.3jdk-1.0.7_67spark-2.1.0-bin-hadoop2.7/安装虚拟机和jdk就不再此赘述
weixin_33806509·2020-07-10 07:14

Hadoop 2.6.0动态添加节点

2019独角兽企业重金招聘Python工程师标准>>>本文主要从基础准备，添加DataNode和添加NodeManager三个部分详细说明在Hadoop2.6.0环境下，如何动态新增节点到集群中。
weixin_33744141·2020-07-10 07:07

spark2.3.2基于hadoop2.9编译心得

用maven工具编译的，编译时带了ganglia参数支持，整个编译加打包过程花了三个小时左右，当编译完后在jars的目录下就有gangliasink.class,但当配置spark的metrics.properties时，启动spark总找不到gangliasink类，找原因找了几天，最后发现是配置文件修改时单行有空格，如“*.sink.ganglia.class=org.apache.spark
weixin_30823833·2020-07-10 07:15

Centos7.5安装分布式Hadoop2.6.0+Hbase+Hive（CDH5.14.2离线安装tar包）

Tags：HadoopCentos7.5安装分布式Hadoop2.6.0+Hbase+Hive（CDH5.14.2离线安装tar包）Centos7.5安装分布式Hadoop2.6.0+Hbase+Hive
weixin_30639719·2020-07-10 06:25

Java程序中不通过hadoop jar的方式访问hdfs

一般情况下，我们使用Java访问hadoopdistributedfilesystem(hdfs)使用hadoop的相应api，添加以下的pom.xml依赖（这里以hadoop2.2.0版本为例）：org.apache.hadoophadoop-common2.2.0org.apache.hadoophadoop-mapreduce-client-core2.2.0
weixin_30608503·2020-07-10 06:14

Hadoop2.7.3+Spark2.1.0 完全分布式环境 搭建全过程

一、修改hosts文件在主节点，就是第一台主机的命令行下;vim/etc/hosts我的是三台云主机：在原文件的基础上加上;ip1masterworker0namenodeip2worker1datanode1ip3worker2datanode2其中的ipN代表一个可用的集群IP，ip1为master的主节点，ip2和iip3为从节点。二、ssh互信（免密码登录）注意我这里配置的是root用户，
weixin_30460489·2020-07-10 06:18

centos7安装hadoop2.9.1和spark without hadoop

1.首先，在虚拟机下搭建集群，三个虚拟机命名分别为node-1,node-2,node-3,要配置免密登录，还要关闭防火墙。2.然后，开始配置hadoop环境，下载hadoop-2.9.1安装，配置环境变量（系统的/etc/profile文件下）先要安装jdk（我之前装的是jdk11，后来发现和hadoop不兼容，又换成了jdk1.8）再去hadoop安装的目录下（我的是这个/usr/local/
wang_feng0·2020-07-10 05:03

Linux文件已删除，引用未释放（deleted）

大量剩余的磁盘空间不清楚怎么丢失了…问题重现：通过指令：lsof|grepdeleted指令，查看当前系统句柄未释放情况[root@bigdata-hadoop2:/proc/21893/fd]#lsof
敲代码的水獭·2020-07-10 05:41

基于Hadoop2.7.2分布式环境，安装HBase

安装HBase集群之前，请先参考以前的博文，安装好Hadoop分布式集群：Ubuntu16.04安装hadoop2.7.2分布式集群1.下载HBase并解压缩①到官网下载HBase，下载链接HBase官网下载
晓之木初·2020-07-10 05:12

Spark计算Pi运行过程详解---Spark学习笔记4

/assembly/target/scala-2.9.3/spark-assembly-0.8.1-incubating-hadoop2.2.0.jar
OopsOutOfMemory·2020-07-10 05:07

hadoop2.9.0环境下，mysql和伪分布式hive安装

在上一篇文章中，较为详细的讲述了hadoop2.9.0的安装步骤，本篇主要讲解如何在此环境上安装hive组件（Hive是一种以SQL风格进行任何大小数据分析的工具，其特点是采取类似关系数据库的SQL命令
不知疲倦的程序猿·2020-07-10 05:02

单节点Hadoop搭建完整流程

一、环境介绍1.Linux版本是CentOS6.52.JDK版本1.83.Hadoop版本是hadoop2.6.5二、开始搭建1配置网络,使环境可以上网执行ifconfig红色框是设备名，所以我们要更改的文件名是
SOCALLME最后的大魔王·2020-07-10 05:38

hadoop2.6.5 ha配置与yarn ha配置

前提：java，ssh，hosts都配置完了。master:namenoderesourcemanagerzookeeperzkfcslave1:datanodejournalnodenodemanagerzookeeperslave2:datanodejournalnodenodemanagerzookeepernode1:zkfcnamenoderesourcemanager1.hdfs-si
逗比123号·2020-07-10 05:35

shell脚本在容器云中搭建hadoop集群（一）

包含sshd服务、用于格式化HDFS的which命令、用于交互的expect命令、JDK、hadoop2，尝试使用一个脚本配置hadoop集群中的各个hadoop的ssh免密登录、hosts、5个xml
每天八小时·2020-07-10 05:00

spark windows java 本地开发环境搭建

spark.apache.org/downloads.htmlhttps://www.apache.org/dyn/closer.lua/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7
aitxiaogang·2020-07-10 05:27

hadoop+hbase+zookeeper分布式集群搭建

装配好jdk，对其进行克隆，一共3台虚拟机2.分配好ip地址-192.168.8.128master-192.168.8.129slave1-192.168.8.130slave22.软件准备：项目版本Hadoop2.7.5Hbase1.2.6Zookeeper3.3.63
差不多程序员·2020-07-10 05:22

HDFS的高可用机制详解

在Hadoop2.X之前，Namenode是HDFS集群中可能发生单点故障的节点，每个HDFS集群只有一个namenode，一旦这个节点不可用，则整个HDFS集群将处于不可用状态。
欲问君有几多愁·2020-07-10 04:42

spark 安装单机版和集群

spark压缩包并解压修改spark的配置文件配置环境变量验证安装情况安装Scalamac安装scala教程下载spark压缩包并解压到官网下载spark的安装包（我用的是spark-2.0.1-bin-hadoop2.7
双斜杠少年·2020-07-10 04:03

HPC大规模集群下的Hadoop2.5+Zookeeper3.4+Giraph1.2的配置、安装与应用

因为HPC的机器都是用来跑mpi程序的，很少进行分布式计算，更坑爹的是里面装的Hadoop2.7.4版本和Giraph不兼容，所以只有全部纯手动进行安装配置了...在安装的过程中遇到了非常非常多的坑，下面进行学习总结
AlexP5·2020-07-10 04:42

Ubuntu16.04 Hive安装配置

我的系统环境是Ubuntu16.04我安装的软件：MysqlJdk1.8.0_121apache-hive-2.1.1-binmysql-connector-java-5.1.42-bin.jarhadoop2.8.0
简一_hz·2020-07-10 04:40

Hadoop HA（高可用）环境的搭建

Hadoop的HA介绍：hadoop2中的NameNode有两个。每一个都有相同的职能。一个是active状态的，一个是standby状态的。当集群运行时，只有active状态的NameNode
聆听的幻树·2020-07-10 04:03

CentOS7 基于Hadoop2.7.3完全分布式安装Hive2.3.4以及安装MySql

CentOS7基于Hadoop2.7.3安装Hive2.3.40x00本人的Hadoop集群已配置并且能正常运行0x10安装Mysql5.70x11为yum配置mysql57的源0x12修改MySQL密码开启
7INrelief·2020-07-10 03:39

编译spark1.6.0出现 Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.4.0:exec (sparkr-pkg)

/make-distribution.sh--namehadoop2.6--tgz-Psparkr-Phadoop-2.6.0-P
奔跑的小象·2020-07-10 03:21

基于HA的hadoop2.7.1完全分布式集群搭建

本文的前提是假设你已经成功安装一台服务器的hadoop伪分布式，因此有些细节没有具体给出解释（http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html）。参考文章：http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist
tianjun2012·2020-07-10 03:52

Spark的安装和配置

tian_li/article/details/49103603）2下载程序包http://spark.apache.org/downloads.html我们使用的是：spark-1.5.1-bin-hadoop2.6
探索者tl·2020-07-10 03:19

用java编写spark程序，简单示例及运行

我的环境：hadoop2.2.0spark-0.9.0scala-2.10.3jdk1.7importorg.apache.spark.api.java.JavaPairRDD;importorg.apache.spark.api.j
teddeyang·2020-07-10 03:25

Hadoop2.6.5安装部署及环境变量配置

系统环境：四台虚拟机192.168.1.167vm4.com192.168.1.31vm3.com192.168.1.62vm2.com192.168.1.39vm1.com系统版本[root@vm1~]#cat/etc/centos-releaseCentOSLinuxrelease7.0.1406(Core)部署前准备vm1可以免密登陆其他三台机器四台机器互相解析[root@vm1~]#cat
tianyuan233·2020-07-10 03:08

Hadoop入门之集群高可用HA的搭建及原理图

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFSHA、YARN等。
当以乐·2020-07-10 02:01

win 10 + maven + idea 15 + Hadoop 2.7.3开发环境配置

在win10上配置Hadoop将Hadoop2.7.3直接解压到系统某个位置，以我的文件名称为例，解压到E:\大数据平台\hadoop\hadoop-2.7.3中配置HADOOP_HOME以及PATH创建
天空中的一缕微风·2020-07-10 02:29

Mac单机运行spark自带例子

目前安装的是spark-2.2.0-bin-hadoop2.7。解压之后就可以使用了。
snowr9l·2020-07-10 02:51

第118讲：Hadoop内存需求量及Namenode内存使用详解学习笔记

hadoop默认为每一个终端分配1GBm内存hadoop2.6.0中mapper和reducer都叫yarnchild。具体在worker上运行的map和reduc任务个数取决于cpu个数。
梦飞天·2020-07-10 02:01

centos7搭建hadoop2.10高可用(HA)

本篇介绍在centos7中搭建hadoop2.10高可用集群，首先准备6台机器：2台nn(namenode);4台dn(datanode)；3台jn(journalnode)；3台zk(zookeeper
胖子依然6·2020-07-10 02:39

hadoop2.8.1在eclipse 运行can not find winutils.exe文件附下载地址

1.使用VM创建三个虚拟机安装ubuntu16.04系统2.在ubuntu16.04系统里安装hadoop2.8.1并启动成功（安装方法网搜下，一般都差别不大，学习使用配置基本不是很全，但能保证启动成功
shinebar·2020-07-10 02:46

hadoop2.6.0分布式集群搭建（详细），搭建es-hadoop

安装es-hadoop查了很多资料和书籍，自己搭建好了之后写了一下自己安装的流程，如有不足，欢迎大家批评指正，hadoop是2.6.0版本，elasticsearch是2.2.0版本。一、hadoop集群配置1、安装前准备1.1安装vmwareworkstation软件1.2在虚拟机上安装linux操作系统由于是分布式，最少得有三个节点，故准备三个虚拟机节点。我在虚拟机上安装的linux系统是ub
言希墨·2020-07-10 01:51
上一页 42 43 44 45 46 47 48 49 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他