hadoop2.6.5

六：Spark集群安装和部署

我的系统配置:(1)安装一个虚拟机：三个ubuntu16.04系统；(2)Master节点：内存分配2g；Slave1节点：内存分配512MB；Slave2节点：内存分配512MB；2.安装路径：(1)Hadoop2.6.5
玉成226·2023-12-26 10:21

Hadoop2.6.5集群搭建

搭建虚拟机以下搭建所需环境和资源包为VMwareCentOS7Hadoop2.6.5.tar.gzJDK1.8+使用虚拟机安装3个CentOS7的主机模拟服务器，分别为master、slave1、slave2主节点需要额外的内存资源开销，所以在生产环境中给master节点多分配内存资源从节点需要额外的磁盘资源，所以在生产环境给每个slave节点多分配磁盘空间如果通过克隆虚拟机等设置的虚拟机需要配置
Alexciヾ·2023-11-06 01:26

学习笔记Hive（二）—— Hive安装配置

一、环境介绍环境描述4个Linux操作系统虚拟机使用centos7镜像配置安装java1.8以上版本安装Hadoop2.6.5以上版本安装MySQL5.1以上版本二、安装MySQL（这里我是CentOs7
别呀·2023-10-27 04:41

Hbase 笔记

一、简介1.1版本信息环境项内容版本hbase-1.4.9hadoop版本hadoop2.6.5安装目录/data/hbase-1.4.9zookeeper使用hbase自带的zk1.2访问在10.111.25.140
王林-wlin·2023-09-10 11:50

使用IDEA本地调试MapReduce程序

演示环境基于Hadoop2.6.5；启动HDFS与YARN高可用集群环境，可参考以下两篇博客：从0开始搭建Hadoop2.x高可用集群（HDFS篇）从0开始搭建Hadoop2.x高可用集群（YARN篇）
NickZxing·2023-08-11 08:12

Hadoop伪分布模式搭建（基于Linux-centos7）

工具：finalshell、Vmware-Linux-centos虚拟机伪分布模式环境必备：jdk1.8.0-8u311、hadoop2.6.5进行伪分布搭建之前需要配置jdk环境和下载Hadoop相关文件
稻草人想看远方·2023-03-28 20:54

03_HADOOP_01_介绍

学习视频是基于hadoop2.6.5版本，看官网截止20190818已到3.2.0版本，但该版本官网说明尚未普遍GA或生产可用。
超级小小张·2023-03-15 11:26

hadoop2.6.5在CentOS 7下的源码编译（成功编译）

1.编译环境我使用的是Mac电脑，通过VMware安装CentOS7，这个CentOS是简约版2.需要的一些包1）首先需要下载hadoop的源码包可以去官网下载，也可以在我的百度云盘下载。2）下载完成解压，并打开BUILDING.txt文件，该文件详细说明了build注意事项、以及需要的条件BuildinstructionsforHadoop----------------------------
Timemit·2023-01-28 22:49

Hadoop完全分布式集群环境搭建

OracleVMVirtualBox客户机操作系统：CentOS-6.8（64位）JDK：1.8（Linux版）SSH连接客户端，如：Xme5Hadoop：2.6.5二、实验步骤(1)在主节点解压hadoop安装包去官网获取Hadoop2.6.5
独木灬不成林·2022-09-27 16:04

（三）Hadoop2.6.5 全分布式搭建

首先需要准备四台Linux虚拟机，搭建步骤与伪分布式基本一致，同样部分不再详细描述。1.四台均安装jdk，并配置环境变量2.给四个节点设置时间同步[root@node01software]#yuminstallntpdate-y[root@node01software]#ntpdatentp1.aliyun.com3.分发ssh密钥，先确保每个节点都有.ssh目录，如果没有可以先登陆一下自己，后将
yc_yz·2021-05-15 14:51

Hadoop集群的搭建

记录下hadoop2.6.5集群的整个搭建流程，以免自己忘了，集由于Hadoop是依赖java的，所以我们也需要准好jdk。
一字节·2021-05-14 00:48

Flink Standalone高可用+HDFS高可用

安装Hdfs由于FlinkStandalone需要依赖Hdfs，因此需要先安装Hdfs，这里使用hadoop2.6.5版本进行安装下载依赖包flink依赖包：https://repo.maven.apache.org
好多小花花·2021-01-27 10:00

MapReduce - Hadoop Streaming - 练习

几个入门级别的MapReduce练习基于版本：Python2.6.6，Hadoop2.6.5文章目录1.WordCount——统计文本中的词频1.1准备文本数据1.2Map阶段1.2.1写一个map函数
不可描述的两脚兽·2020-12-15 17:46

spark-2.3.0和Hadoop2.6.5完全分布式安装和部署——分布式集群(参考记录）

自己使用的环境版本：Windows10+Ubuntu18.04LTS+VMware14Pro+Hadoop2.6.5+Spark-2.3.0+JAVA1.8+scala2.11+MobaXterm（远程连接工具）包含，Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Java环境配置、scala环境配置Hadoop文件配置、Hadoop格式化、启动。Spark安装文件配置，启动等。
zhangvalue·2020-09-11 12:39

hadoop2.6.5完全分布式搭建(HA)

集群部署（在完全分布式搭建完成后进行的局部修改）搭建zookeeper集群解压[root@node02~]#tar-zxvfzookeeper-3.4.6.tar.gz[root@node02~]#mvzookeeper-3.4.6/opt/hadoop/配置环境变量(node02,node03,nodeo4都需要配置环境变量)exportJAVA_HOME=/usr/java/jdk1.7.0_
qq_41028958·2020-09-11 03:22

Hadoop2.6.5 完全分布式搭建（hdfs+mapreduce-on-yarn）

环境linuxCentos6.8jdk1.8zookeeper集群环境角色预设NN-1NN-2DNZKZKFCJNNRSNMnode01***node02******node03*****node04****hdfs配置1、hdfs-site.xmldfs.replication2dfs.nameservicesmyclusterdfs.ha.namenodes.myclusternn1,nn2d
毛豆有毛没豆·2020-09-11 02:06

oozie的job一直在running或者SUSPENDED,任务单独执行不报错

环境：自己刚搭建完Oozie之后：hadoop2.6.5和apache的oozie3.4.1问题：运行案例中的mapreduce任务，和sell任务都会一直在runing，过很长时间就会SUSPENDED
花掏尽·2020-08-24 12:03

Hadoop2.6.5单机安装

Hadoop2.6.5单机安装JDK的安装配置JDK环境变量[root@spark1soft]#vim/etc/profile#JDK环境变量配置#exportJAVA_HOME=/application
shenzhen_zsw·2020-08-21 21:31

基于Hadoop不同版本搭建hive集群（附配置文件）

本教程采用了两种方案一种是hive-1.21版本,hadoop版本为hadoop2.6.5还有一种是主要讲基于hadoop3.xhive的搭建关注公众号：Java架构师联盟，每日更新技术好文先来第一种一
马小邱·2020-08-20 17:22

基于Hadoop不同版本搭建hive集群（附配置文件）

本教程采用了两种方案一种是hive-1.21版本,hadoop版本为hadoop2.6.5还有一种是主要讲基于hadoop3.xhive的搭建关注公众号：Java架构师联盟，每日更新技术好文先来第一种一
马小邱·2020-08-20 17:21

hadoop伪分布式配置的全部流程！！！，记录下第一篇博客

2，所需软件OracleVMVirtualBox，FZ，Xshell**3，环境，我搞得jdk1.7/hadoop2.6.5**配置ssh免密修改vm网络配置查看linuxIP地址修改ip地址1，命令:
我的代码没错·2020-08-19 06:30

hadoop2.6.5运行wordcount实例

运行wordcount实例在/tmp目录下生成两个文本文件，上面随便写两个单词。cd/tmp/mkdirfilecdfile/echo"Helloworld">file1.txtcpfile1.txtfile2.txt在hadoop平台中新建/input目录，这里不是系统的/目录。cd/usr/local/hadoop-2.6.5./bin/hadoopfs-mkdir/inputhadoopfs
diannao5430·2020-08-16 12:58

SPARK集群配置

搭建好HADOOP高可用后发现HADOOP2.7.x版本并不能支持SPARK1.6.x因此重新搭建了HADOOP2.6.5高可用集群节点配置如下hadoop1192.168.1.111hadoop2192.168.1.112hadoop3192.168.1.113hadoop4192.168.1.114
0_9f3a·2020-07-31 18:31

Hadoop2.6.5搭建HA（高可用）

一、环境操作系统：CentOS6.9软件版本：Hadoop2.6.5，Zookeeper3.4.13集群架构：我手上有3台服务器，一台作为主NameNode，一台作为备NameNode和DataNode1
andyguan01_2·2020-07-30 19:41

Hadoop2.6.5/Spark1.6.3 HA集群构建

在基于Spark的大数据开发中，我们确定使用Centos6.5,在intellijIDEA中使用Scala语言进行开发。Spark集群包含9台机器，其中，六台作为Worker执行任务，2台作为Master管理集群资源，一台作为Client提交任务，Worker集群的配置和Master、Worker的配置可以不同，具体内容如下：Worker硬件环境：内存：1G硬盘：1T网络：1GbitCP
易悠·2020-07-29 01:19

hadoop2.6.5集群安装及mapreduce测试运行

-环境准备系统：centos6.5虚拟机：VMwareWorkstationjdk文件:jdk-7u67-linux-x64.tar.gzhadoop文件：hadoop-2.6.5.tar.gz这里搭建集群包括4个节点，1个Master，3个Salve，需要实现节点间局域网连接，可以相互ping通。规划节点IP地址（可自定义），下面是采用机子原有IP：Master.Hadoop192.168.19
饭饭认认米·2020-07-27 21:39

hadoop编写MapReduce例子（附有代码）

开发环境：hadoop2.6.5，jdk1.8.ubuntu14系统1.在本地写好代码（eclipse写的，当时没用maven，直接把jar引到程序里了）2.打成jar包（eclipse右键项目，点击export
璀璨下的一点星辰·2020-07-27 21:44

Hbase入门（二）——Hbase安装部署

环境项内容版本hbase-1.4.9hadoop版本hadoop2.6.5安装包https://mirrors.cnnic.cn/apache/hbase/1.4.9/安装目录/data/hbase-1.4.9
江湖小小虾·2020-07-16 02:17

hadoop单机版配置

安装HADOOP我使用的是JDK1.8和HADOOP2.6.5首先当然是解压下载的压缩包。然后在hadoop-2.6.5/etc/hadoop/hadoop-
强瞿望羲·2020-07-15 12:26

完全分布式（四）Sqoop 安装部署及操作示例

2019独角兽企业重金招聘Python工程师标准>>>本次采用完全分布式系列的hadoop集群，安装配置过程详细参见完全分布式集群（二）hadoop2.6.5安装部署Hive在分布式集群上的部署配置参见完全分布式集群
weixin_33974433·2020-07-15 04:30

新手安装hadoop伪分布式教程

安装环境VirtualBox虚拟机CentOS6.9系统hadoop2.6.5（最新版一样，向下兼容低版本jdk）jdk包1.8伪分布式就一台虚拟机第一步在VirtualBox创建一个CentOS虚拟机附上镜像下载地址
Python之简·2020-07-14 16:44

MapReduce源码解读之MapTask-output

注：本人使用的版本为Hadoop2.6.5，
ShuffledRDD·2020-07-14 02:43

centos7搭建hadoop2.6.5环境

一、准备工具CentOS7系统、虚拟机和Xshell6(用起来方便)hadoop2.6.5安装包jdk8安装包二、系统安装（已装跳过）本次搭建使用VirtualBox虚拟机，和VMware的一些配置有所不同
l_jh1520·2020-07-13 19:07

hadoop2.6.5完全分布式搭建

集群分布部署Jdk安装（四台机器都需要安装JDK）[root@node01~]#rpm-ijdk-7u67-linux-x64.rpm[root@node02~]#rpm-ijdk-7u67-linux-x64.rpm[root@node03~]#rpm-ijdk-7u67-linux-x64.rpm[root@node04~]#rpm-ijdk-7u67-linux-x64.rpm配置环境变量（
qq_41028958·2020-07-13 11:33

HBase入门（三）——HBase远程连接+HBase常用命令

IDSW集群中Hbase的访问环境项内容版本hbase-1.4.9hadoop版本hadoop2.6.5安装目录/data/hbase-1.4.9机器10.111.25.140（主）10.111.25.13810.111.25.139zookeeper
江湖小小虾·2020-07-11 11:42

Hadoop2.6.5 分布式集群搭建

一、Hadoop2.6.5分布式集群搭建1、安装Hadoop准备安装包：hadoop-2.6.5.tar.gz上传到Linux服务器上去（我的上传目录是/home/xutao/Desktop/software
❤_Queen·2020-07-10 10:20

单节点Hadoop搭建完整流程

一、环境介绍1.Linux版本是CentOS6.52.JDK版本1.83.Hadoop版本是hadoop2.6.5二、开始搭建1配置网络,使环境可以上网执行ifconfig红色框是设备名，所以我们要更改的文件名是
SOCALLME最后的大魔王·2020-07-10 05:38

hadoop2.6.5 ha配置与yarn ha配置

前提：java，ssh，hosts都配置完了。master:namenoderesourcemanagerzookeeperzkfcslave1:datanodejournalnodenodemanagerzookeeperslave2:datanodejournalnodenodemanagerzookeepernode1:zkfcnamenoderesourcemanager1.hdfs-si
逗比123号·2020-07-10 05:35

Hadoop2.6.5安装部署及环境变量配置

系统环境：四台虚拟机192.168.1.167vm4.com192.168.1.31vm3.com192.168.1.62vm2.com192.168.1.39vm1.com系统版本[root@vm1~]#cat/etc/centos-releaseCentOSLinuxrelease7.0.1406(Core)部署前准备vm1可以免密登陆其他三台机器四台机器互相解析[root@vm1~]#cat
tianyuan233·2020-07-10 03:08

基于hadoop2.6.5搭建5个节点的分布式集群—（三）shell脚本实现多节点批量处理

在上个章节中我们要在5个节点上均要创建/home/hadoop/app、/home/hadoop/tools、/home/data目录，我们是在每个节点上执行mkdir命令，这样是不是很啰嗦，效率很低，于是采用shell脚本实现多节点批处理是明智之举。在这里，我写1个配置文件与2个shell脚本（deploy.conf、deploy.sh、runRomteCmd.sh）；一、deploy.conf
billyuncle·2020-07-09 23:11

Hadoop2.6.5单机安装

一，安装环境硬件：虚拟机操作系统：Centos-764位主机名：linux01安装用户：root二，安装JDK安装JDK1.6或者以上版本。这里安装jdk1.8.0。下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html1，下载jdk-8u181-linux-x64.rpm，解压/usr/java/jdk1.8
狼的独白·2020-07-09 19:28

hadoop2.6.5配置

我的配置参考了"我是菜鸟要早起"的博客，他的链接:http://blog.csdn.net/licongcong_0224/article/details/12972889使用VMare建3个虚拟机（使用CentOS7系统），三个虚拟机IP为：192.168.100.130、192.168.100.131、192.168.100.134192.168.100.130作为master节点，其他两个I
人生_仅此而已·2020-07-09 19:42

Hadoop2.6.5 HA完全分布式搭建

一、准备工作虚拟机器：vmwareworkstation14Linux系统：Centos6.4JDK版本：jdk-8u161-linux-x64.tar.gzHadoop版本：hadoop-2.6.5.tar.gz二、基本配置1、系统安装（略），在/usr/local目录下建立soft文件夹（存放下载的软件），Java（jdk）,hadoop（hadoop文件）#cd/usr/local#mkdi
蓝狐乐队·2020-07-09 18:48

Hadoop2.6.5高可用集群搭建

软件环境:linux系统:CentOS6.7Hadoop版本:2.6.5zookeeper版本:3.4.8主机配置:一共m1,m2,m3这五部机,每部主机的用户名都为centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2020-07-09 07:52

Linux hadoop2.6.5搭建伪分布式

先搭建单机hadoop，可以进入下面网址参考教程：https://mp.csdn.net/postedit/885300141、先进行配置bash_profile输入命令：vim~/.bash_profile进入文件里面配置下图的环境：（加入你的hadoop路径）并生效环境变量：source~/.bash_profile加入jdk:进入cd/usr/local/hadoop/etc/hadoop/
我就是DaLing呀！·2020-07-06 04:00

Hadoop伪分布式安装

1.环境信息elementary14.04Java1.8.0_151（/apps/jdk1.8.0_151）Hadoop2.6.5（/apps/hadoop）用户名bigdata、密码123、主机名hadoop2
浅墨微蓝·2020-07-06 03:45

完全分布式集群（五）Hbase-1.2.6.1安装配置

独角兽企业重金招聘Python工程师标准>>>环境信息完全分布式集群（一）集群基础环境及zookeeper-3.4.10安装部署hadoop集群安装配置过程安装hive前需要先部署hadoop集群完全分布式集群（二）hadoop2.6.5
weixin_34203832·2020-07-06 00:08

CentOS7:hadoop2.6.5 HA yarn 高可用集群搭建 hbase-0.98.12.1-hadoop2-bin.tar.gz mysql5.7 hbase-0.98.12.1 apac.

操作系统是CentOS7节点规划ntp校时；每一台虚拟机yuminstallntp-yservicentpdrestartservicentpdstopntpdate210.72.145.39date查看日期时间timedatectl查看时区ln-sf/usr/share/zoneinfo/Asia/Shanghai/etc/localtime设置时区永久关闭防火墙 systemctlstopfi
weixin_30501857·2020-07-05 21:29

[大数据]Hadoop大数据开发基础----环境配置(一)

自己看书了解一下~下面说一下Hadoop集群的搭建及配置1.Hadoop相关软件及版本软件版本备注LinuxOsCentOS6.864位JDK1.7+64位VMware14pro（10以上的版本都可以啦）Hadoop2.6.5
qq_36563021·2020-07-05 06:40

hadoop在windows下安装

apache/hadoop/common/这是一个镜像地址，可以找到很多hadoop的版本我下载的是2.6.5的版本如果镜像找不到可以换地址找http://hadoop.apache.org(官网)将下载的hadoop2.6.5
@进行中·2020-07-04 22:57
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他