hadoop集群搭建

Hadoop读书笔记：CentOS装Hadoop集群

HADOOP集群搭建1.集群简介Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。
萝卜头_东契奇·2020-01-06 10:58

马士兵 day1_Hadoop集群搭建

day1_Hadoop集群搭建需要用到的软件VirtualBox5.1.30（版本之间有所差别）hadoop-2.7.3.tar.gzCentOS-7-x86_64-DVD-1804.isojdk-8u91
Dear_diary·2019-12-30 10:54

Hadoop集群搭建笔记

集群分类Hadoop的集群分为HDFS集群和YARN集群，两者逻辑上分离，物理上常在一起HDFS集群负责还海量数据的存储，集群中的角色主要有namenode,datanode,secondarynamenodeYarn集群负责海量数据运算时的资源调度，集群的角色主要有resourcemanager,nodemanagermapreduc其实是一个分布式运算编程框架，是应用程序开发包，由用户按照编程
董家二少·2019-12-29 22:47

hadoop集群搭建

本文用以记录hadoop分布式集群搭建过程基础环境准备1、软件环境centos6.5三台服务器分配的IP地址：8/9/10jdk1.8hadoop使用2.7.4版本2、host配置和主机名（三台）修改四台服务器的hosts文件vim/etc/hosts192.168.0.8hadoop-master192.168.0.9hadoop-slave1192.168.0.10hadoop-slave2分
dj远方的猫·2019-12-12 07:03

基于Docker快速搭建多节点Hadoop集群

GitHub:kiwenlau/hadoop-cluster-docker可以直接进入第三部分，快速在本机搭建一个3个节点的Hadoop集群一.项目简介二.镜像简介三.3节点Hadoop集群搭建步骤四.
KiwenLau·2019-12-12 03:55

hadoop的50070端口不能访问网页的解决方法

在Hadoop集群搭建完成后，hadoop本身自带了一个webUI访问页面，我们可以观察到一些集群的基本状况，包括磁盘容量和集群节点是否正常存活状态，Hadoop版本，可以查看hdfs的一些文件位置，副本备份情况和文件块大小等
江湖侠客·2019-11-15 10:33

大数据学习笔记——Hadoop高可用完全分布式模式完整部署教程(包含zookeeper)

高可用模式下的Hadoop集群搭建本篇博客将会在之前写过的Linux的完整部署的基础上进行，暂时不会涉及到伪分布式或者完全分布式模式搭建，由于HA模式涉及到的配置文件较多，维护起来也较为复杂，相信学会部署高可用模式了
终极菜鸡·2019-11-06 21:00

大数据入门及集群搭建（3个节点做示范）

1.3大数据价值应用2.Hadoop2.1.什么是hadoop2.2.hadoop的核心组件2.3hadoop的发行版2.4hadoop生态圈2.5分布式和集群区别3.数据处理流程项目整体技术架构图4.hadoop
IT小鸟鸟·2019-10-31 10:12

hadoop初体验

今日课程内容大纲01)hadoop的简介02)hadoop集群的搭建发行版本集群规划hadoop源码编译(了解)hadoop集群搭建03)hadoop集群启动与初体验04)MapReduce的历史记录05
贾江浦·2019-10-23 20:00

3、hadoop集群搭建

hadoop集群搭建前期准备：https://blog.csdn.net/weixin_41685388/article/details/1026397511、集群搭建集群分类：单节点：在一个节点上运行作业伪分布式集群
jalen_2019·2019-10-19 23:38

2、hadoop集群搭建准备

1、Hadoop版本选择*apachehadoop:2008年,初学者入门,简单易入手*clouderahadoop:2009年,企业中使用CDH，性能强*hortonworkshadoop:2011年,文档全面*hortonworks和cloudera2018年国庆合并这里我们就先选用apache官方版本2.X1、apache官方版本：http://hadoop.apache.org/大版本：0
jalen_2019·2019-10-19 16:35

Centos6.5安装部署Hive

前提：虚拟机可以上网，hadoop集群搭建成功并且启动。注意：每行代码所执行的路径。
wx5da03a3bd2999·2019-10-18 15:09

hadoop集群搭建（亲测笔记）

------步骤：准备3台机器同步时间配置主机名配置主机名ip映射免密登录关闭防火墙搭建zookeeper集群搭建hadoop准备3台机器我通过VMwareworkstation虚拟出3台centos7并配置好网络同步时间ntpdatecn.pool.ntp.org(通过yuminstallntpdate安装)配置主机名#(重启生效)vi/etc/sysconfig/networkNETWORKI
我的五年·2019-10-13 17:38

【Hadoop开发环境搭建】三、Hadoop集群搭建

三、Hadoop集群搭建在上篇中记录了Hadoop安装与配置，在本篇中，介绍一下Hadoop集群的搭建1.现有环境三台云服务器（Linux系统、JDK1.8、Hadoop2.2.7）2.关闭防火墙、修改
Nelson_hehe·2019-09-30 21:48

hadoop集群搭建--hadoop-2.8.5编译

hadoop集群搭建--hadoop-2.8.5编译编译基本过程软件版本安装软件包：jdk安装：maven安装：ant安装：安装protobuf：解压hadoop源码文件：编译打包hadoop编译基本过程软件版本
如饥似渴的rocky·2019-09-26 16:14

HADOOP集群搭建

1.集群简介Hadoop包括两个集群，hdfs集群和yarn集群hdfs集群负责数据存储，主要角色有：NameNode，DataNode，SecondaryNameNodeyarn集群负责调度管理，主要角色有ResourceManager,NodeManager两者逻辑上没有必要关联一定要放在一起，但一般放在一起。2.环境准备centOS/VMWare开启三台虚拟机bigdata01.virtua
chester_chen24·2019-09-25 16:24

hadoop集群搭建的无密登陆配置遇到的坑

首先，在自己的虚拟机创建了两台机器，分别是：weekend110和spark01。由于自己刚开始配置有点问题，把两台的.ssh里面文件都删了重新配置所以需要删除./ssh文件夹里面的所有文件，并不删除文件夹两台机器分别ssh-keygen-trsa然后进去.ssh目录（cd/root/.ssh）cpid_rsa.pubauthorized_keys在第二台保错的原因：是没有进入进.ssh目录执行，
武道风清扬·2019-09-03 17:00

大数据-Hadoop集群搭建（配置免密登录及配置环境）

目录安装Hadoop集群布局克隆配置免密登录集群配置验证集群总结安装Hadoop上传压缩包。在hadoop用户下，新建一个apps目录，进入该目录。可以通过文件的属性中的安全选项卡找到完整路径，并复制，和安装jdk时一样，使用SecureCRT的sftp上传即可。文件路径解压在该目录下即可。解压可以看到hadoop里面的内容，在sbin目录下有一些脚本，以后会用到。hadoop的内容vim~/.b
lady_killer9·2019-08-28 16:14

Hadoop3.1.2集群搭建及简单的排序，统计实现

第一部分：Hadoop集群搭建1.安装虚拟机Vmware基础的命令操作不细说，比如什么是根目录。。。。。
nineteens·2019-08-23 11:38

hadoop集群搭建笔记

以下简单记录了hadoop集群搭建的几个配置文件基本配置，在此基础上进行了mapreduce/yarn的historylog拓展配置。
.破晓.·2019-08-20 22:34

Linux Hadoop集群搭建

免密钥配置SSH是什么？SSH为SecureShell的缩写，是为建立在应用层和传输层基础上的安全协议。SSH专为远程登录会话和其他网络服务提供安全性的协议，常用于远程登录。也就是说，SSH是用来远程操作Linux系统下的服务器的。接下来我们进行安装SSH：在终端命令行执行：rpm-qa|grep“ssh”，执行结果请看下图，说明已经安装；其实在安装linux操作系统的时候默认就会安装上的。如果S
luoyuOvO·2019-08-14 10:06

Hadoop学习笔记2

Hadoop学习笔记23Hadoop集群搭建3.1创建第一台虚拟机3.1.1网络配置3.1.2Hosts文件设置3.1.3安装JDK3.2克隆虚拟系统3.3配置免密登录3.3.1免密登录机制3.3.2Master
ChengZi~·2019-08-12 23:14

Hadoop集群搭建教程（二）

Hadoop集群搭建教程（一）master管理集群在上一篇hadoop集群搭建教程中，启动集群的方式是：需要在每一台节点机器上分别键入启动命令。
我就算饿死也不做程序员·2019-07-27 13:33

hadoop集群搭建-（三台机器）

他没有多余的linux机器，只能用自己的笔记本安装VMware虚拟机程序，他克隆了三台centOS6.6版本的linux系统，然后开始了他的hadoop集群搭建之旅。再下也
可行的code·2019-07-26 20:54

Hadoop集群搭建---step4(Hive、Flume、Azkaban、Sqoop的安装以及环境搭建)

Hadoop集群搭建—step4(Hive、Flume、Azkaban、Sqoop的安装以及环境搭建)软件版本：Hive：hive-1.1.0-cdh5.14.0.tar.gzMysql：mysql-5.1.71
myblog_tfq·2019-07-25 12:18

Hadoop集群搭建-05安装配置YARN

Hadoop集群搭建-04安装配置HDFSHadoop集群搭建-03编译安装hadoopHadoop集群搭建-02安装配置ZookeeperHadoop集群搭建-01前期准备先保证集群5台虚拟机,nn1nn2s1s2s3hadoop
finch_xu·2019-07-24 16:00

Hadoop集群搭建-04安装配置HDFS

Hadoop集群搭建-05安装配置YARNHadoop集群搭建-04安装配置HDFSHadoop集群搭建-03编译安装hadoopHadoop集群搭建-02安装配置ZookeeperHadoop集群搭建
finch_xu·2019-07-24 16:00

Hadoop集群搭建-03编译安装hadoop

Hadoop集群搭建-05安装配置YARNHadoop集群搭建-04安装配置HDFSHadoop集群搭建-03编译安装hadoopHadoop集群搭建-02安装配置ZookeeperHadoop集群搭建
finch_xu·2019-07-24 16:00

Hadoop集群搭建-02安装配置Zookeeper

Hadoop集群搭建-05安装配置YARNHadoop集群搭建-04安装配置HDFSHadoop集群搭建-03编译安装hadoopHadoop集群搭建-02安装配置ZookeeperHadoop集群搭建
finch_xu·2019-07-24 16:00

Hadoop集群搭建-01前期准备

Hadoop集群搭建-05安装配置YARNHadoop集群搭建-04安装配置HDFSHadoop集群搭建-03编译安装hadoopHadoop集群搭建-02安装配置ZookeeperHadoop集群搭建
finch_xu·2019-07-24 16:00

Hadoop集群搭建-05安装配置YARN

原文链接：https://my.oschina.net/finchxu/blog/3077570Hadoop集群搭建-04安装配置HDFSHadoop集群搭建-03编译安装hadoopHadoop集群搭建
chj5213·2019-07-23 00:00

Hadoop集群搭建-04安装配置HDFS

原文链接：https://my.oschina.net/finchxu/blog/3077481Hadoop集群搭建-05安装配置YARNHadoop集群搭建-04安装配置HDFSHadoop集群搭建-
chj5213·2019-07-22 17:00

Hadoop集群搭建-03编译安装hadoop

原文链接：https://my.oschina.net/finchxu/blog/3077378Hadoop集群搭建-05安装配置YARNHadoop集群搭建-04安装配置HDFSHadoop集群搭建-
chj5213·2019-07-22 15:00

Hadoop集群搭建-02安装配置Zookeeper

原文链接：https://my.oschina.net/finchxu/blog/3077019Hadoop集群搭建-05安装配置YARNHadoop集群搭建-04安装配置HDFSHadoop集群搭建-
chj5213·2019-07-21 20:00

Hadoop集群搭建---step3(hadoop三种架构介绍（standAlone，伪分布，分布式安装以及环境搭建)

Hadoop集群搭建—step3(hadoop三种架构介绍（standAlone，伪分布，分布式安装以及环境搭建)前言：Hadoop有多种版本，流行的版本有ApacheHadoop，CDHHadoop,
myblog_tfq·2019-07-18 11:16

Hadoop集群搭建---step2(zookeeper的集群环境搭建)

Hadoop集群搭建—step2(zookeeper的集群环境搭建)集群：服务器IP主机名myid的值192.168.52.100node011192.168.52.110node022192.168.52.120node0331
myblog_tfq·2019-07-18 10:53

Hadoop集群搭建---step1(虚拟机环境准备)

typora-root-url:G:\知识总结\归纳整理Hadoop集群搭建—step1(虚拟机环境准备)#使用iso(centos6.9)镜像文件进行安装三台机器规划IP地址主机名第一台机器192.168.52.100node01
myblog_tfq·2019-07-18 10:15

Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境

1、需要下载hadoop的专门插件jar包hadoop版本为2.3.0，hadoop集群搭建在centos6x上面，插件包下载地址
selectgo·2019-07-01 08:28

hadoop集群搭建

@大数据学习总结大数据学习总结之Hadoop集群搭建一.创建一个新的虚拟机用户(全分布式3台主机)二.解压和配置JAVA环境变量2.1mkdir一个文件夹/bigdata用于存放大数据相关软件2.2将JDK
aengusL·2019-06-23 19:50

hadoop集群单点配置

==================================================----------------hadoop集群搭建-----------------------==
王者★孤傲·2019-06-19 18:00

Hadoop集群搭建

Hadoop搭建·准备工作本文搭建hadoop的环境的需要：软件：·VMwareWorkstation·CentOS-6.9-x86_64-bin-DVD1.iso（系统镜像）·NetSarangXmanagerEnterprise5·WinSCP·Notepad++环境包：·hadoop-2.5.0·jdk-7u67-linux-x64·基本环境搭建·搭建虚拟机新建需虚拟机典型--->下一步选择
NB的小猫·2019-06-07 19:13

Hadoop集群搭建（八：Hive的安装配置）

实验目的要求目的：（1）掌握数据仓库工具Hive的安装和配置；要求：完成Hive工具的安装和配置；Hive工具能够正常启动运行；Hive控制台命令能够正常使用；能够正常操作数据库、表、数据；实验环境五台独立PC式虚拟机；主机之间有有效的网络连接；每台主机内存2G以上，磁盘50G；所有主机上安装CentOS7-64位操作系统；所有主机已完成静态网络地址、主机名、主机地址映射的配置；已完成Hadoop
Eyeshort·2019-05-27 08:03

Hadoop集群搭建（七：MySQL的安装配置）

实验目的要求目的：1、掌握MySQL在集群平台中的安装要求：完成MySQL的集群版的安装；MySQL集群的相关服务进程能够正常启动；MySQL集群的SQL服务能够作为系统服务开机自动启动；MySQL客户端能够远程连接MySQL集群的SQL服务；MySQL集群的SQL服务能够远程链接访问；创建表、查询数据等数据库操作能够正常进行；MySQL集群的数据库数据能够在多个SQL服务节点之间实现同步；实验环
Eyeshort·2019-05-27 08:48

Hadoop集群搭建（二：集群主机间免密登录配置）

实验目的及要求：静态网络地址配置；主机名的配置；防火墙的配置，使平台相关软件的常用端口能够远程正常访问；主机地址映射的配置，使所有主机能够通过主机名相互正常访问；免密码登录的配置，使所有主节点能够免密码登录集群中所有其他节点，多个主节点之间能够相互免密码登录到对方，同事主节点能够免密码登录自身；实验环境：VMwareWorkstations14虚拟机；LinuxCentOS7操作系统五台；实验内容
Eyeshort·2019-05-26 00:40

Hadoop集群搭建的常见错误

常见错误整理：1.Hadoop初始化错误INFOorg.apache.hadoop.ipc.Client:Retryingconnecttoserver:uec-fe/16.157.63.10:9000.Alreadytried0time(s).这种情况对数出现在启动namenode时成功，但是运行job时就会一直连接。通过查看TaskTracker日志可以看到不停地Retryingconnect
大数据框架Hadoop学习·2019-05-16 20:04

Linux下Hadoop集群搭建

阅读更多1、IP分配先分配好IP和主机名，三台主机均能上外网，且均能互相ping通即可。IP主机名192.168.189.129master192.168.189.130slave1192.168.189.131slave22、关闭和禁用防火墙（root）serviceiptablesstatusserviceiptablesstopchkconfigiptablesoffchkconfig--l
肖福燕·2019-05-01 20:00

Linux下Hadoop集群搭建

阅读更多1、IP分配先分配好IP和主机名，三台主机均能上外网，且均能互相ping通即可。IP主机名192.168.189.129master192.168.189.130slave1192.168.189.131slave22、关闭和禁用防火墙（root）serviceiptablesstatusserviceiptablesstopchkconfigiptablesoffchkconfig--l
肖福燕·2019-05-01 20:00

Linux下Hadoop集群搭建

阅读更多1、IP分配先分配好IP和主机名，三台主机均能上外网，且均能互相ping通即可。IP主机名192.168.189.129master192.168.189.130slave1192.168.189.131slave22、关闭和禁用防火墙（root）serviceiptablesstatusserviceiptablesstopchkconfigiptablesoffchkconfig--l
肖福燕·2019-05-01 20:00

Hadoop集群搭建 三台虚拟机

基础操作链接https://blog.csdn.net/Mr_wuliboy/article/details/85254667问题1：useradd-s/bin/bash-d/home/had_user-mhad_user-ghadoop的释义-s：指定用户登入后所使用的shell；-m：自动建立用户的登入目录；-g：指定用户所属的群组；-d：指定用户登入时的启始目录；其他命令释义：-c：加上备注
库里FMVP·2019-04-26 16:38

Hadoop集群搭建

基础配置三台机器上编辑/etc/hosts配置文件，修改主机名。三台机器在集群中担任的角色：master:NameNode、DataNode、ResourceManager、NodeManagernode1:DataNode、NodeManagernode2:DataNode、NodeManager配置ssh免密登录#三台机器上分别执行，互相免密登录ssh-keygen-trsassh-copy-
么啥好说的·2019-04-19 10:42
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他