hadoop集群搭建

离线计算---Hadoop集群搭建

1集群搭建本案例Hadoop集群，使用6个服务器节点进行搭建，各节点大体部署的服务如图所示：2集群介绍Hadoop集群，主要包含两个：①HDFS集群；②YARN集群HDFS集群，主要角色：①NameNode；②DataNodeYARN集群，主要角色：①ResourceManager；②NodeManager各个服务器具体角色分配：HostName角色角色角色ha01zookeepernamenod
午托饭·2019-04-11 21:56

hadoop生态圈（一）：hadoop集群的搭建

目录1hadoop概述1.1hadoop是什么1.2hadoop的组成1.2.1hdfs架构概述1.2.2YARN概述1.2.3MapReduce架构概述1.3大数据生态体系1.4推荐系统架构图2Hadoop
jiezou12138·2019-04-08 20:38

hadoop集群搭建--完全分布式

目录一、hadoop完全分布式操作系统软件要求三、配置详情1.安装虚拟机和配置网络2.上传jdk和hadoop安装VMwaretools设置共享文件夹3.安装jdk和hadoop解压jdk和hadoop创建软链接4.配置环境变量配置hadoop配置文件1.hadoop-env.sh2.croe-site.xml3.hdfs-site.xml4.mapred-site.xml5.yarn-site.
MengShi_·2019-03-28 20:38

hadoop集群搭建--单节点(本地节点)

此文章并不是单纯的搭建单节点想要只搭建单节点只需要上传解压jdk和hadoop并修改环境变量和配置env.sh。多出的东西是为搭建伪分布和完全分布用目录一、hadoop单节点二、准备工作操作系统软件要求三、配置详情1.安装虚拟机和配置网络2.上传jdk和hadoop安装VMwaretools设置共享文件夹3.安装jdk和hadoop解压jdk和hadoop创建软链接4.配置环境变量配置hadoop
MengShi_·2019-03-28 17:18

hadoop集群搭建

官方文档hadoop添加hadoop用户useraddhadoop/etc/hadoop/hadoop-env.shJAVA_HOME=${JAVA_HOME}JAVA_HOME=/usr/local/java配置文件公共参数core-site.xmlfs.defaultFShdfs://mini1:9000hadoop.tmp.dir/home/hadoop/hdpdatahdfs配置（可直接使
mr_酱·2019-03-28 17:00

三节点Hadoop集群搭建

1虚拟机准备1.1虚拟机要求三台虚拟机要求如下：1）命名建议：hadoop+首位非零数字。（首位是零的话，shell脚本要麻烦点）本篇命名：hadoop102、hadoop103、hadoop104.2）关闭防火墙；3）安装scp服务：#yuminstallopenssh-clients４）安装rsync服务：#yuminstallrsync５）建立SSH无密码登陆1.2SCP服务scp可以实现服
博客写的好晚上睡得早·2019-03-21 16:43

eclipse远程调试Hadoop

环境配置1、Hadoop集群搭建完成，能正常对外访问2、远程主机jdk、eclipse安装完成eclipse远程调试Hadoop配置首先需要有MapReduce相应插件，将相应插件放到eclipse的插件目录下
1crazygorilla·2019-03-19 10:18

【大数据】基于大数据平台的日志分析系统 Day2-Hadoop整体介绍及集群搭建

目录大数据简介¶Hadoop整体概念¶Hadoop集群搭建¶分布式集群搭建¶伪分布式搭建¶大数据简介¶数据¶数据就是数值，也就是我们通过观察、实验或计算得出的结果。数据有很多种，最简单的就是数字。
砖家家家·2019-03-12 17:49

Hadoop集群搭建

前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目
一条IT·2019-02-27 18:53

hadoop 集群搭建-suse linux 11

hadoop集群搭建3台机器suse系统规划IP主机名hostnamehadoop角色10.96.91.93namenode93NameNode、SecondaryNameNode、ResourceManage
send2ocean·2019-02-25 16:53

spark-hadoop集群搭建与测试(2019.02.20) 完全分布式

电脑配置内存最少8G如果你的电脑有固态，我们就可以起飞了。。。使用到的工具：VMware-workstation-full-14.1.1.exeubuntu-18.04.1.0-live-server-amd64.isojdk1.8.0_161.tar.gzhadoop-2.7.7.tar.gzscala-2.11.12.tgzspark-2.4.0-bin-hadoop2.7.tgz别去找了，给
白鹿路88号·2019-02-20 11:44

hadoop集群搭建

3.完全分布式1.从main克隆3台机器，克隆完成有以下4台机器：192.168.1.100node0192.168.1.101node1192.168.1.102node2192.168.1.103node3192.168.1.104node4192.168.1.105node5确保4台机器都做好以下工作：1.hostname2.staticIP3.hosts4.hadoop:hadoop5.r
china_den·2019-02-15 15:57

hadoop集群搭建

3.完全分布式1.从main克隆3台机器，克隆完成有以下4台机器：192.168.1.100node0192.168.1.101node1192.168.1.102node2192.168.1.103node3192.168.1.104node4192.168.1.105node5确保4台机器都做好以下工作：1.hostname2.staticIP3.hosts4.hadoop:hadoop5.r
china_den·2019-02-15 14:55

hadoop集群搭建

@TOC3.完全分布式1.从main克隆3台机器，克隆完成有以下4台机器：192.168.1.100node0192.168.1.101node1192.168.1.102node2192.168.1.103node3192.168.1.104node4192.168.1.105node5确保4台机器都做好以下工作：1.hostname2.staticIP3.hosts4.hadoop:hadoo
china_den·2019-02-15 14:42

【零基础入门大数据】HADOOP集群搭建

声明：本人是小白，以下工作均在csdn大神的援助下完成！Step1->基于Vmware安装虚拟机该版本为15版，有注册机链接：https://pan.baidu.com/s/1aMoxgqa55Lfob-FfTr8PCQ提取码：qd4nStep2->安装linux虚拟机->前置条件：需要linux操作系统，可在linux官网下载，本文使用的是CentOs764位-->配置虚拟网络：选择“菜单栏的编
ZQ2017·2019-02-14 12:18

Spark+Hadoop集群搭建：（二）集群节点上搭建Hadoop环境

Spark+Hadoop集群搭建：（二）集群节点上搭建Hadoop环境1集群规划1.1节点规划2构建data12.1复制生成data12.2设置网卡2.3配置data1服务器2.3.1编辑hostname
闻曦·2019-01-30 10:06

Hadoop学习第二天-------Hadoop集群搭建

一、下载Hadoop安装包，我这里用到的是tar.gz格式的安装包，大家可以从官网自行下载二、修改Hadoop配置文件Hadoop设计的配置文件有以下七个并且都在$HADOOP_HOME/etc/hadoop/目录下：-hadoop-env.sh-yarn-env.sh-slaves-core-site.xml-hdfs-site.xml-mapred-site.xml.template-yarn
非秃程序员·2019-01-11 13:57

hadoop分布式集群搭建

hadoop集群搭建前的准备（一定要读）：https://blog.51cto.com/14048416/2341450hadoop分布式集群搭建：1.集群规划：2.具体步骤：（1）上传安装包，并解压到相关目录
原生zzy·2019-01-11 12:21

大数据之hadoop 环境搭建从零开始——WordCount词频计数入门实战训练

我这里用的是CentOS6.6，安装教程参考另一篇博客：https://blog.csdn.net/gaofengyan/article/details/85054337目录hadoop环境搭建2.3Hadoop
高风言·2019-01-04 22:53

大数据-hadoop集群搭建

hadoop集群搭建集群规划3台服务器5台服务器版本选择原生安装服务器准备hadoop安装配置资源相关参数容错相关参数本地运行mapreduce作业效率和稳定性相关参数其他问题集群规划3台服务器服务器名称搭建服务
GVTgh·2019-01-04 18:50

大数据-hadoop集群搭建

hadoop集群搭建集群规划3台服务器5台服务器版本选择原生安装服务器准备hadoop安装配置资源相关参数容错相关参数本地运行mapreduce作业效率和稳定性相关参数其他问题集群规划3台服务器服务器名称搭建服务
GVTgh·2019-01-04 18:50

hadoop集群搭建

基础配置三台机器上编辑/etc/hosts配置文件，修改主机名。三台机器在集群中担任的角色：master:NameNode、DataNode、ResourceManager、NodeManagernode1:DataNode、NodeManagernode2:DataNode、NodeManager配置ssh免密登录#三台机器上分别执行，互相免密登录ssh-keygen-trsassh-copy-
么啥好说的·2019-01-04 17:34

hadoop集群搭建系列（step01：集群搭建准备）

本系列文章，通用性较强。不管略懂linux命令的，或者是忘记hadoop搭建细节的，都可以参考本文章。环境准备：电脑系统：Windows10vmware虚拟机：操作系统：CentOS6.7linux用户：root用户JDK：jdk8.0，linux、windows系统JDK1、修改各服务器的主机名vi/etc/sysconfig/network按一下i（进入编辑模式），然后写完按esc（进入命令模
muser_·2018-12-31 12:45

hadoop的50070端口不能访问网页的解决方法-总结

在Hadoop集群搭建完成后，hadoop本身自带了一个webUI访问页面，我们可以观察到一些集群的基本状况，包括磁盘容量和集群节点是否正常存活状态，Hadoop版本，可以查看hdfs的一些文件位置，副本备份情况和文件块大小等
星月情缘02·2018-12-28 11:17

大数据 hadoop 集群搭建

集群安装部署文档一、系统环境配置1、修改主机名2、添加主机名映射3、创建集群管理用户,设置密码4、分配用户sudo权限5、创建用户文件存放及安装目录6、关闭防火墙7、安装jdk,配置jdk环境变量二、Hadoop
Felix_CB·2018-12-21 15:54

大数据 hadoop 集群搭建

集群安装部署文档一、系统环境配置1、修改主机名2、添加主机名映射3、创建集群管理用户,设置密码4、分配用户sudo权限5、创建用户文件存放及安装目录6、关闭防火墙7、安装jdk,配置jdk环境变量二、Hadoop
Felix_CB·2018-12-21 15:54

Hadoop集群搭建高可用HBase

HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库利用HadoopHDFS作为其文件存储系统,利用HadoopMapReduce来处理HBase中的海量数据利用Zookeeper作为其分布式协同服务主要用来存储非结构化和半结构化的松散数据（列存NoSQL数据库）第二次以后启动集群：先启动zkServer.shstart（默认已经启动？），再start-df
geekAppke·2018-12-18 22:28

Windows下使用intellij中搭建Spark开发环境并编写spark应用程序

最近学习spark，因为hadoop集群搭建在虚拟机中，因为电脑配置不足，同时开启虚拟机和启动intellij基本就卡爆了，所以在虚拟机中没有安装开发工具。
HelloWorldWP·2018-12-14 14:04

HA高可用Hadoop集群搭建

配置，格式化nn启动，同步，启动所有zk，用ZKFC格式化zk，全部启动第二次以后启动只需要：启动zk，再start-dfs.sh1，system：jdk，ssh2，Hadoop：jdk2，ha：hdfs：1，nameservice。。。。2，jn3，failover4，auto》truecorefs：nameservicezk：zookeeperstart3，jn4，format，start，另
geekAppke·2018-12-13 16:27

Hadoop集群搭建

1、集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode/DataNodeYARN集群：负责海量数据运算时的资源调度，集群中的角色主要有ResourceManager/NodeManager2、集群规划BenznndnnmsnnrmAudidnnmBMWdnnm说明：nn:n
BENZBMWAODI·2018-12-03 00:23

Hadoop 集群搭建详细介绍

文章目录Hadoop集群搭建教程一.Hadoop部署方式本地模式伪分布模式集群模式二.Linux上伪分布式集群配置1.常用命令2.主机名修改3.关闭防火墙4.网络设置5.安装JDK6.免密钥登陆配置三.
D-lyw·2018-12-01 13:48

Vagrant与VirtualBox搭建hadoop集群搭建----第二篇

1.参考我的上一篇博客，会启动四台虚拟机，这里本人电脑问题，启动了三台如下：2.用xshell连接三台虚拟机A.第一步B.第二步C、第三步D、第四部E,node3、node4同理这里1192.168.7.2称为node2窗口这里2192.168.7.2称为node3窗口这里3192.168.7.2称为node4窗口3.让三台虚拟机互相通信a.在node2窗口输入以下命令： vim/etc/host
ShaoLinDai·2018-11-30 21:56

Ubuntu16.04下搭建Hadoop分布式集群

参考网址：Hadoop集群搭建教程（详细）Hadoop分布式集群搭建hadoop2.6+Ubuntu16.04首先我在VMwareWorkstations下弄了三台Ubuntu的虚拟机，但是IP地址问题搞了很久
Waves___·2018-11-24 22:06

Hadoop集群搭建（三）：配置SSH免密钥登录

1，生成公钥和私钥：命令：[root@hadoop2~]#ssh-keygen-trsa2，查看文件：在/root/.ssh目录下会生成两个文件：3，将被管理机上刚才生产的id_rsa.pub赋值成authorized_keys命令：[[email protected]]#catid_rsa.pub>authorized_keysAuthorized_keys的内容：在另外两台虚拟机中进行相同的操作
我是王小贱·2018-11-19 20:00

Hadoop集群搭建（二）：配置固定ip地址

主要两种配置方式：如果是服务器版本的虚拟机，则采用命令行模式配置：,1，更改网络的网卡名称：（更改配置文件）命令：[root@hadoop2~]#vi/etc/udev/rules.d/70-persistent-net.rules将网卡名称同意改为eth0：更改完成后重启虚拟机2，查看虚拟机的网管等信息：查看下虚拟机net模式的子网掩码，网关等信息：一会儿固定ip会用到3，更改配置文件：命令：[
我是王小贱·2018-11-19 20:37

Hadoop集群搭建

阅读本文需要10分钟1.准备共需要三台虚拟机，bigdata11(192.168.130.11)，bigdata12，bigdata13（12和13等11配置好再克隆虚拟机即可）hadoop安装包修改主机名为bigdata11,vi/etc/sysconfig/network在bigdata11上修改hosts文件，做域名映射，vi/etc/hosts192.168.130.11bigdata11
火车站卖橘子·2018-11-18 23:10

大数据集群搭建（2）——Hadoop集群搭建

Hadoop集群搭建1.Hadoop集群搭建准备工作1.1.关闭防火墙serviceiptablesstopchkconfigiptablesoff1.2.添加固定ip（每个节点都需要添加）vi/etc
cop封尘·2018-11-14 14:57

Hadoop集群搭建

一、环境准备以及基础配置1、准备环境，centos7虚拟机三台，192.168.2.150，151、1522、创建hadoop用户useradd-d/home/hadoop-mhadoop3、修改hadoop密码passwdhadoop4、修改主机名(分别修改三台机器的主机名为master、slave1、slave2)hostnamectlset-hostnamemaster5、配置hosts文件
叹服你伪装下的容颜·2018-11-14 09:59

ssh无密登录配置详解（hadoop集群搭建）

ssh无密登录原理注：私钥和公钥是每个用户独有的，而不是机器或者服务器的，比如一台电脑或者服务器或者虚拟机，可以同时存在多个用户，但不同用户需要远程登录其他服务器或者虚拟机时，都必须配置各自的私钥和公钥，而且用户之间的各不相同常用命令sship(远程登录也可以是sshhostname,条件是本机和远程机器都配置了hosts文件映射，如果没有配置ssh无密登录需要输入密码，对于集群管理和运作是很不方
yhblog·2018-11-13 15:39

Hadoop集群——（二）作业编写、打包、启动、查看

Hadoop集群——（二）作业编写、打包、运行、查看Hadoop集群搭建好后，就可以将MapReduce作业提交到集群上运行了。
hh66__66hh·2018-11-10 16:45

Hadoop初探——Hadoop集群搭建

本人在进行Hadoop集群搭建创建了三台虚拟机，一台作为master，另外两台为slave，在搭建集群的过程中采用是centOs7，Java版本为1.8，Hadoop版本为2.7。
zhangyangmingtian·2018-11-10 11:05

zookeeper安装

集群环境注：Hadoop集群环境的搭建可以看我的另一篇文章《Hadoop集群搭建》主机名IPZooKeeperIDhadoop01192.168.192.1281hadoop02192.168.192.1292hadoop03192.168.192.1303
安静的奋斗着丶·2018-11-09 17:46

docker中搭建Spark集群

注意：在Hadoop集群搭建完成的基础上进行此种操作；我是三台虚拟机同时进行安装操作，当然也可以通过scp方式进行虚拟机直接文件的传递，在此不表。
YBK233·2018-11-04 17:14

Hadoop集群搭建与经验总结

(002)最近要研发一款数据传输服务的产品需要用到Hadoop集群，之前搭建过后来长时间不用就给忘记了，这次搭好来记录一下搭建方法与经验总结Hadoop集群的搭建原料：VM虚拟机JDK1.8hadoop2.7.3注：将jdk1.8.tar.gz和hadoop-2.7.3.tar.gz放在/opt/bigdata目录下（没有请自行创建）附件：链接：https://pan.baidu.com/s/1o
一朝风月S·2018-11-03 17:12

【大数据技术】1.hadoop集群搭建

近些日子，打算技术转型，开始研究大数据技术，基于对JAVA、LINUX系统有一定的基础，完成hadoop集群搭建（1个master和1个slave）。
chufangcheng·2018-11-02 14:02

HBase 集群搭建和高可用配置

HBase集群建立在hadoop集群基础之上，所以在搭建HBase集群之前需要把Hadoop集群搭建起来，并且要考虑二者的兼容性.现在就以3台机器为例，搭建一个简单的集群.1．进入hbase的配置目录，
bluesort·2018-11-01 17:46

CentOS7下搭建Hadoop2.9.1完全分布式集群过程（超详细）

Hadoop集群搭建本文主要对完全分布式Hadoop集群环境的安装与配置步骤进行介绍。
HelloWorldWP·2018-10-24 21:44

大数据基础环境之hadoop（3台虚拟机）

hadoop集群搭建实验步骤安装hadoop使用Xshell连接虚拟机：修改/etc/hosts文件（三台机器都需要操作），操作过程如下图所示：注意：图中的ip地址为操作是使用的机器的ip地址，需要将hosts
Saltedfishwithdreams·2018-10-20 21:44

Centos7搭建hadoop spark集群之hadoop集群搭建

转载于https://dxysun.com/2018/04/16/centosForHadoop/准备工作及环境两台主机10.4.20.181spark0110.4.20.48spark02系统均为centos7jdk已经装好参考我的另一篇博客centos7下卸载自带的java安装jdk8创建用户建议创建一个单独的用户spark以从Unix文件系统隔离Hadoop文件系统1234useraddha
疆空孤鸿·2018-10-20 15:29

Yarn集群规划和搭建

一、hadoop集群搭建请参考前面几篇博客，下面我们就在前面集群的基础上进行yarn集群搭建。
Hellomdk·2018-10-19 17:49
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他