hadoop集群搭建

hadoop集群搭建HDFS、HA、 YARN

hadoop2.0已经发布了很多稳定版本，增加了很多特性，比如HDFSHA、YARN等。最新的hadoop-2.7.2又增加了YARNHA1、环境准备修改主机名、IP地址。这些在之前博客有提过就不再写了。配置IP地址和主机名映射关系。sudovi/etc/hosts集群规划：主机名IP安装的软件运行的进程spark01192.168.2.201jdk、hadoopNameNode、DFSZKFai
u013821825·2016-05-11 23:00

[置顶] HADOOP大数据离线分析+实时分析框架；Hadoop+Flume+Kafka+Storm+Hive+Sqoop+mysql/oracle

hadoop集群搭建部署Zookeeper分布式集群部署HIVE安装部署与操作
qq_26840065·2016-05-10 09:00

Hadoop集群搭建及wordcount测试

1.hadoop三种安装模式单机模式无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。伪分布式模式Hadoop守护进程运行在本地机器上，模拟一个小规模的集群。完全分布式模式Hadoop运行在一个真实的集群中，本文以hadoop-2.6.3为例讲解此模式配置。2.hadoop分布式模式配置本文
czliuming·2016-05-05 23:00

hadoop集群搭建

写在前面:本例中的演示均为非root权限，所以有些命令行需要加sudo，如果你是root身份运行，请忽略sudo。软件环境：Ubuntu14.04.1LTS(GNU/Linux3.13.0-32-genericx86_64)Hadoop:2.6.0Jdk1.8.0_74布局:IP主机名用户名192.168.30.130masterhadoop192.168.30.131slave1hadoop19
duxu24·2016-04-27 21:00

hadoop集群搭建的无密登陆(密钥)---ssh(ssh-keygen -t rsa;scp ../id_rsa.pub >> ./authorized_keys)

hadoop集群无密登陆示意图：#生成ssh免登陆密钥#在没生成密钥的时候远程登陆是需要输入密码的，而且每一次启动hdfs的节点都是需要键入密码，#对应大量集群的hadoop这种问题是十分恶心的，基本上不可行。无密码状态：红色框框就是在远程登陆时需要输入密码！下面我以两台机器主机：master还有一台：slave1作为演示hadoop集群无密登陆，其他的操作完全一样！可以仿造一下操作。#进入到我的
AnneQiQi·2016-04-17 17:00

hadoop集群搭建的无密登陆(密钥)---ssh(ssh-keygen -t rsa;scp ../id_rsa.pub >> ./authorized_keys)

hadoop集群无密登陆示意图：#生成ssh免登陆密钥#在没生成密钥的时候远程登陆是需要输入密码的，而且每一次启动hdfs的节点都是需要键入密码，#对应大量集群的hadoop这种问题是十分恶心的，基本上不可行。无密码状态：红色框框就是在远程登陆时需要输入密码！下面我以两台机器主机：master还有一台：slave1作为演示hadoop集群无密登陆，其他的操作完全一样！可以仿造一下操作。#进入到我的
anneqiqi·2016-04-17 17:00

Spark SQL操作Hive数据库

Hadoop集群搭建：[url]http://kevin12.iteye.com/blog/2273532[/url]Spark集群搭建：[url]http://kevin12.iteye.com/blog
jinyonglu168·2016-04-13 22:39

Spark SQL操作Hive数据库

Hadoop集群搭建：http://kevin12.iteye.com/blog/2273532Spark集群搭建：http://kevin12.iteye.com/blog/2273532数据准备在/
Kevin12·2016-04-13 22:00

Spark SQL操作Hive数据库

Hadoop集群搭建：http://kevin12.iteye.com/blog/2273532Spark集群搭建：http://kevin12.iteye.com/blog/2273532数据准备在/
Kevin12·2016-04-13 22:00

Hadoop集群搭建

1、安装虚拟机虚拟机：VMware-workstation11.0.0操作系统：CentOS-6.564位2、安装Xmanager版本：Xmanager-v5.0.0，完成安装后，使用Xshell连接linux虚拟机，连接成功。往虚拟机里拉文件比较方便，但是当虚拟机网络连接改为桥接模式后变不能使用这个了。3、创建用户组和用户创建用户组：groupaddhadoop添加用户：useraddhadoo
一只石头·2016-04-11 10:00

Hadoop集群搭建

集群简介：本集群中共有三台机器，分别是：master192.168.10.1slave1192.168.10.2slave2192.168.10.3，其中在启动hadoop后，master有namenode和datanode两个node进程，slave1和slave2只有一个node进程，就是datanode进程。版本介绍：linuxCentOS-5.8-x86_64-bin-DVD-1of2jd
u013415336·2016-04-08 17:00

[置顶] Spark初试之WordCount

关于搭建spark集群的方法请参考：Hadoop集群搭建http://blog.csdn.net/u013468917/article/details/50965530Spark集群搭建http://blog.csdn.net
u013468917·2016-04-07 10:00

hadoop集群搭建

centos6下安装部署hadoop2.2环境准备1、操作系统:centos6.064位2、hadoop版本：hahadoop-2.2.0安装和配置步骤具体如下：1、主机和ip分配如下ip地址主机名用途192.168.1.112hadoop1namenode192.168.1.113hadoop2datanode192.168.1.114hadoop3datanode192.168.1.115ha
Vin512·2016-03-22 22:00

Spark HA 集群搭建【1、基于文件系统的手动HA 2、基于zk的自动HA】

1】环境准备1、环境Centos6.52、4个slaves3、hadoop集群搭建完成【见链接hadoop集群搭建http://blog.csdn.net/bbaiggey/article/details
bbaiggey·2016-03-14 18:00

Hadoop集群搭建无密码登录

两台服务器，hadoop-001和hadoop-0031.讲hadoop-001的公钥远程拷贝到hadoop-003scpid_rsa.pubhadoop-003:/home/hadoop 2.切换到hadoop-003，追加hadoop-001的公钥到authorized_keys中cat../id_rsa.pub>>./authorized_keys 3.从hadoop-001登录到hadoo
fairy_xzc·2016-03-07 15:24

Hadoop集群搭建

Hadoop集群搭建Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。
1350368559·2016-02-24 11:19

Hadoop集群搭建

Hadoop集群搭建Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。
1350368559·2016-02-24 11:19

Hadoop集群搭建工作日志

 (红色字为关键部分)一、配置host每一台服务器上更改配置文件1.vim/etc/hosts127.0.0.1localhost10.10.135.63master10.10.120.134slave0110.10.134.153slave022.vim/etc/hostname（写入每台机器别名）如master的机器写入master为slave的机器写为slave01等。3.vim/etc/s
astario·2016-01-21 17:00

hadoop集群搭建与测试编码

说明本文介绍hadoop小集群的搭建.准备十台装有linux的计算机.这些计算机都装有jdk,并且准确配置jdk.这些计算机都装了ssh,并且都能实现相互之间无密码访问.配置记录各台计算机的ip,并将其中的一台作为master机,其他计算机一次标号为slave1,slave2,slave3…slave9.将ip对应标号的信息添加到/etc/hosts文件中,格式为:ip1master ip2sla
ghostlv·2015-12-20 14:00

hadoop集群搭建备忘

hdfs-site.xml要配置dfs.secondary.http.address，也就是说secondary在一个集群中是必须的，否则datanode会报“Cannotassignrequestedaddress”错误，而namenode上启动时会报：Stoppingsecondarynamenodes[0.0.0.0]0.0.0.0:ssh:connecttohost0.0.0.0port3
george_wu·2015-11-14 22:03

王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第五讲Hadoop图文训练课程：解决典型Hadoop分布式集群环境搭建问题

王家林亲授的上海7月6-7日云计算分布式大数据Hadoop深入浅出案例驱动实战     王家林 第四讲Hadoop图文训练课程：实战构建真正的Hadoop分布式集群环境Hadoop
·2015-11-13 04:25

王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第五讲Hadoop图文训练课程：解决典型Hadoop分布式集群环境搭建问题

王家林亲授的上海7月6-7日云计算分布式大数据Hadoop深入浅出案例驱动实战     王家林 第四讲Hadoop图文训练课程：实战构建真正的Hadoop分布式集群环境Hadoop
·2015-11-12 23:20

Hadoop集群搭建指南

  Hadoop集群搭建指南   集群环境 修改hosts 前提条件 安装hadoop hadoop的简单使用 其它  
·2015-11-12 19:44

Hadoop学习之Hadoop集群搭建

1、检查网络状况 Dos命令：ping ip地址,同时，在Linux下通过命令：ifconfig可以查看ip信息2、修改虚拟机的ip地址    打开linux网络连接，在桌面右上角，然后编辑ip地址，修改ip地址后，重启网络服务：service network restart,如果网络重启失败，可以在虚拟机网络设置中心删除网络连接，然后重新启动Linux，接着在网络
·2015-11-11 16:20

Nutch+Hadoop集群搭建

1、Apache Nutch    Apache Nutch是一个用于网络搜索的开源框架，它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。 1.1、Nutch的组件结构 WebDB:存储网页数据和连接信息 Fetch lists:将WebDB所存储的连接分成多个组，来用于分布式检索 Fetchers:检索Fetch list中的内
·2015-11-10 21:50

Hadoop集群搭建

http://wenku.baidu.com/link?url=nRwC8RF7CV-TepCE3MtEqDShI-GYCk6nRCeJRw6wvzc3Hv1SJ1X45HBs0FPUKWPC0cZIvech2PY7yBJX5ATTXKc7CK7bhhdV36g1fOy__lK   http://blog.csdn.net/a95473004/article/details/8667
·2015-10-31 11:37

hadoop集群搭建(ip设置和jdk安装)

刚刚学习hadoop，安装有点吃力，希望通过记录过程能够给遇到同样问题的人一个答案。话不多说直接进入主题。   在公司拿来了三台电脑首先安装linux系统，这里不多说细节，唯一注意的ip设置好就可以了。下面介绍我建起hadoop集群的过程(非常详细因为是菜鸟，高手就不用看了)：   1.配置ip： 可以写文件，也可以用界面方式安装，这里我用的是setup命令（因为方便）
·2015-10-31 08:25

Nutch+Hadoop集群搭建

转载自：http://www.open-open.com/lib/view/open1328670771405.html 1、Apache Nutch    Apache Nutch是一个用于网络搜索的开源框架，它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。 1.1、Nutch的组件结构 WebDB:存储网页数据和连接信息 Fetc
·2015-10-28 09:18

hadoop集群搭建的常见错误

安装hadoop常见错误整理： （这里会不断地添加，也希望大家多提一些错误一起解决） 1.Hadoop初始化错误INFO org.apache.hadoop.ipc.Client: Retryingconnect to server: uec-fe/16.157.63.10:9000. Already tried 0 time(s).   这种情况对数出现在启动namenode
·2015-10-27 15:57

2.Hadoop集群搭建

首先我们要完成SSH无密码通信等内容，见上篇文章《Hadoop环境初步搭建》 后两篇文章是关于《Hadoop下实例程序测试》，这些文章都是无缝衔接的哈~   在master这台机器上安装Hadoop 2.2.0,Hadoop 2.2.0的下载地址为： http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/ //(
·2015-10-27 11:04

hadoop集群搭建(hadoop)

</pre><p>首先说一下配置环境：三台电脑</p><p></p><pre name="code" class="plain">192.168.30.149 hadoop149 namenode和jobtracker ###因为149机器稍微好一点 192.168.30.150 ha
·2015-10-23 08:06

hadoop集群搭建总结

通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves 官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html) 1 先决条件 确保在
·2015-10-23 08:38

VMware网络连接方式（Host-only、NAT、Bridged）介绍及NAT环境下静态IP配置

常识三大网络连接方式简介一个实例操作设置vmware虚拟网络编辑器静态ip配置VMware网络连接方式的选择及静态IP的配置是hadoop集群搭建的一个必不可少的环节。
lanchunhui·2015-10-06 13:00

Hadoop集群上使用Lzo压缩

Hadoop集群上使用Lzo压缩自从Hadoop集群搭建以来，我们一直使用的是Gzip进行压缩当时，我对gzip压缩过的文件和原始的log文件分别跑MapReduce测试，最终执行速度基本差不多而且Hadoop
XZC.Log·2015-09-09 11:00

hadoop集群搭建-笔记

1.修改主机名需要修改的参数/etc/hosts中的映射/etc/sysconfig/network中的主机名2.修改hadoop配置文件1.conf/core-site.xml//配置NameNode的信息         fs.default.name      hdfs://localhost:9000   2.conf/hdfs-site.xml//配置有多少个DataNode      
q291611265·2015-08-29 21:00

完全分布式Hadoop集群搭建过程~（心血之作啊~~）

转载至： http://blog.csdn.net/licongcong_0224/article/details/12972889历时一周多，终于搭建好最新版本hadoop2.2集群，期间遇到各种问题，作为菜鸟真心被各种折磨，不过当wordcount给出结果的那一刻，兴奋的不得了~~（文当中若有错误之处或疑问欢迎指正，互相学习）PS：转载请注明来源：http://blog.csdn.net/li
ldds_520·2015-08-27 16:00

Hadoop(二)——分布式集群搭建

下边讲述一下我的Hadoop集群搭建过程，由于条件有限，也是在虚拟机
liujiahan629629·2015-08-27 00:00

Hadoop伪分布式部署和集群搭建

   网上关于Hadoop集群搭建的资料非常多，一旦丰富就是鱼龙混杂，找不到好的资源会在环境搭建上浪费大量的时间。本文结合自己的亲身实践，推荐两篇比较有效的博客。
zqqnancy·2015-08-10 15:00

hadoop集群搭建

第一步：准备2台虚拟机或者物理机（我准备的机器IP：192.168.195.159，192.168.202.145（centos））第二步：配置hosts文件vi/etc/hosts加入192.168.195.159master192.168.202.145slave2台机器都要加入这2行第三步：建立hadoop运行帐号/usr/sbin/groupadd-fhadoop//设置hadoop用户组
a414129902·2015-07-31 13:45

hadoop集群搭建

第一步：准备2台虚拟机或者物理机（我准备的机器IP：192.168.195.159，192.168.202.145（centos））第二步：配置hosts文件vi/etc/hosts加入192.168.195.159master 192.168.202.145slave2台机器都要加入这2行第三步：建立hadoop运行帐号/usr/sbin/groupadd-f hadoop   //设置hado
longzhun·2015-07-31 13:00

centos下hadoop集群搭建详细过程

Hadoop集群搭建全过程参考操作：课本刘鹏《云计算》，刘鹏《实战hadoop》，上网google需要软件：VMware-workstation-9.0.exe；CentOS-6.4-i386-bin-DVD1
huanfengwei·2015-07-23 10:45

Nutch+Hadoop集群搭建

Referfromhttp://www.open-open.com/lib/view/open1328670771405.html1、ApacheNutch  ApacheNutch是一个用于网络搜索的开源框架，它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。1.1、Nutch的组件结构WebDB:存储网页数据和连接信息Fetchlists:将WebDB所存储的连接分成多个
kaka20080622·2015-07-22 10:00

MapReduce 初试

一、境遇    接触Hadoop已经有半年了，从Hadoop集群搭建到Hive、HBase、Sqoop相关组件的安装，甚至SparkonHive、Phoenix、Kylin这些边缘的项目都有涉及。
loverofvenus·2015-06-24 14:55

MapReduce 初试

一、境遇接触Hadoop已经有半年了，从Hadoop集群搭建到Hive、HBase、Sqoop相关组件的安装，甚至SparkonHive、Phoenix、Kylin这些边缘的项目都有涉及。
loverofvenus·2015-06-24 14:55

Hadoop集群搭建

为了跟上时代步伐，附上新版本hadoop2.5.2的安装教程链接http://blog.csdn.net/shubingzhuoxue/article/details/49718095在这个教程中需要注意几点：1、对于/etc/profile环境变量配置完成后，/etc/environment环境变量也是需要配置的。2、对于创建的~/dfs/data和~/dfs/name和~/tmp这些目录，在配
iwantknowwhat·2015-06-23 20:00

基于Docker快速搭建多节点Hadoop集群

可以直接进入第三部分，快速在本机搭建一个3个节点的Hadoop集群一.项目简介 二.镜像简介 三.3节点Hadoop集群搭建步骤 四.N节点Hadoop集群搭建步骤一.项目简介GitHub地址：https
KiwenLau·2015-05-23 17:00

hadoop集群搭建文章

首先确定hdfs分布式文件系统目前很多大公司都在用，例如百度、腾讯、淘宝等。相信网上也有很多关于这方面的文档，我写这篇文章只是为了自己更加深刻的学习和理解，或者帮助一些不会搭建的童鞋们！以前我搭建的是hadoop-0.20.2、hbase-0.90.4、hbase自带的zookeeper，但是经过与开发测试后，用了hadoop-1.0.3、hbase-0.92.1和独立部署的zookeeper-3
wangyang1354·2015-04-20 16:00

hadoop集群搭建之三(Hbase、zookeeper安装)

         前两步实现了Hadoop集群的搭建，但是对于数据的存储要用数据库。一般小规模的网站上，我们会用MySQL，在WEB应用方面MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，关系数据库管理系统)应用软件之一。但是MySQL在处理大型的并发性能上远远不行。这里我们会考虑用oracle和Hbase，对于大量的统计业务就使用Oracle,
xygl2009·2015-03-30 23:00

Hadoop集群搭建之二（测试hadoop集群）

搭建好hadoop集群后，需要测试下集群看各节点是否工作正常。这里主要参考两篇官方文档：1.单集群hadoop测试（http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html）2.HDFS文件系统操作手册（http://hadoop.apache.org/docs/r2.6.0/
xygl2009·2015-03-24 23:00

hadoop集群搭建之一（Hadoop环境安装）

集群环境：操作系统：CentOS6.4软件版本：jdk-7u21-linux-x64.bin,hadoop-2.6.tar.gz（由于需要支持hbase1.0.0，java版本需要修改为1.7以上的版本）集群架构：包括4个节点：1个master，3个salve，节点之间局域网连接，可以相互ping通。节点IP地址分布如下：主机名  IP系统版本Hadoop nodehadoop进程名master.
xygl2009·2015-03-24 18:00
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他