Hadoop环境搭建

hadoop环境搭建之设置固定IP和关闭IPV6

一、设置固定IP以CenOS7为例，刚装好的系统，使用ifconfig查看会显示如下：修改配置文件：需要修改的内容如下，没有的需要添加：BOOTPROTO="static"#dhcp自动获取static固定IPONBOOT="yes"#开机启用本配置IPADDR=192.168.0.213#静态IPGATEWAY=192.168.0.1#默认网关NETMASK=255.255.255.0#子网掩码
我是知青·2016-12-05 14:17

hadoop环境搭建之配置DNS

hadoop体系中，安装配置都需要使用域名。所以DNS解析是必不可少的。PS：所有节点都需要做如下配置。更改hosts文件vi/etc/hosts192.168.0.215master01.hadoop192.168.0.216slave01.hadoop修改主机名立即生效，重启失效hostnamemaster01.hadoop重启生效vi/etc/sysconfig/networkNETWORK
我是知青·2016-11-25 15:04

hadoop环境搭建之安装JDK

判断是否安装了jdk使用java-version和javac命令判断是否安装了jdk[[email protected]]#java-version-bash:java:commandnotfound[[email protected]]#javac-bash:javac:commandnotfound[[email protected]]#以上任何一个命令notfound则说明没有正确安装
我是知青·2016-11-25 11:46

hadoop环境搭建之配置SSH免密码登录

首先需要保证两台机器可以ping通，并能够通过密码ssh登录主节点：root用户登录，执行如下操作ssh-keygen#一路回车默认生成即可cd~/.ssh/ls#生成了id_rsa,id_rsa.pub两个文件catid_rsa.pub>>authorized_keys#生成authorized_keys文件从节点：在root文件夹下建立.ssh文件夹mkdir~/.ssh/主节点：分发auth
我是知青·2016-11-25 11:42

Hadoop环境搭建过程中的的问题以及解决方案

Hadoop问题以及解决方案:1.使用Hadoop版本是Hadoop2.7.3，必须使用JDK1.6版本以上，所以这里使用的是JDK1.8，如果JDK版本低于1.6，启动Hadoop时候会报错。2.配置JDK环境变量时候，有时候当前终端使用java/javac-version可以显示当前java版本，但是切换终端时候，再次输入Java/javac-version时候，不出来java版本，说明安装的
B_TAEYANG·2016-10-20 10:11

Hadoop单机以及伪分布式和完全分布式的环境搭建详细步骤

Hadoop环境搭建过程:1.目标:安装单机，伪分布式，完全分布式环境的Hadoop，并且使用HDFS上传一个内容为HelloWorld的文档，使用Hadoop包中自带的WordCount运行一个MapReduce
B_TAEYANG·2016-10-20 09:20

Hadoop环境搭建之JDK的安装

环境：jdk1.8.0centos6.5一.使用mkdir创建一个名为opt/ydbsoftware的目录(目录名随意)，将jdk-8u60-linux-x64.tar.gz通过SecureCRT传到目标主机中，使用tar-zxvf解压到当前目录。二，进入jdk1.8.0_60目录，使用pwd命令获取当前目录路径，记录下来。（/opt/ydbsoftware/jdk1.8.0_60）三.使用vi命
——。——·2016-10-16 19:50

Hadoop环境搭建

一、安装jdk之前卸载openjdk虚拟机挂载命令(Mount-tiso9660/dev/cdrom/mnt)虚拟机安装完成后重启系统1.(rpm-qa|grepjava)命令查看所安装的java组件2.使用(rpm-e--nodeps+java组件名)命令卸载java组件3.进入JDK文件存放目录使用(./+文件名)命令执行安装JDK操作4.回到主目录进入/etc/目录使用vi命令修改profi
Miss丶锁爱·2016-09-30 18:38

Hadoop环境搭建（四、安装配置Hadoop）

下面来介绍Hadoop的配置与安装1、更改CentOS7的主机名，将主机名改为itcats01，更改方法参考CentOS7更改主机名2、为了不必要的错误建议关闭CentOS7的防火墙。关闭方法参考关闭CentOS7防火墙3、去官网下载Hadoop，我用的是hadoop-2.7.3.tar.gz注意不要下载源码文件，因为这样还需要编译。下载.tar.gz文件就可以了，网上有的人说Hadoop官网没有
FutureFlyme·2016-09-22 17:45

Hadoop环境搭建（一、创建虚拟机）

由于不具备硬件环境，所以本次hadoop环境搭建是在虚拟机上实现的伪分布式hadoop。
FutureFlyme·2016-09-22 12:59

Hive安装与部署集成mysql

hadoop环境搭建教程：稍后补充2、存在hadoop账户。不存在的可以新建hadoop账户安装配置hadoop。
7tiny·2016-08-20 11:00

RHadoop实践系列之一:Hadoop环境搭建

第一篇Hadoop环境搭建部分，分为3个章节。Haddop环境准备Hadoop完全分步式集群搭建HDFS测试每一章节，都会分为”文字说明部分”和”代码部分”，保持文字说明与代码的连贯性。
happyduoduo1·2016-07-01 16:00

hadoop 集群的配置

 在经过几天折腾，终于将hadoop环境搭建成功，整个过程中遇到各种坑，反复了很多遍，光虚拟机就重新安装了4、5次，接下来就把搭建的过程详细叙述一下0.相关工具：1,系统环境说明：我这边给出我的集群环境是由一台主节点
ejiyuan·2016-06-07 17:00

hadoop实战之统计排序

前言之前两篇博客里面讲了如何搭建hadoop环境及开发环境，如果还有没搭建好的童鞋请传送到：hadoop环境搭建（伪分布式）hadoop实战之eclipse开发环境搭建通过这篇博客你将会学习到上一篇博客里面
rainbow88888·2016-05-26 23:00

hadoop实战之eclipse开发环境搭建

如果你不了解，请参考：hadoop环境搭建（伪分布式）。这篇文章的主要目的是eclipse开发环境的搭建，如果你已经一步一步地根据上一篇博客的步骤来搭建好环境的话，那么接下来的事情就很简单了。
rainbow88888·2016-05-14 17:00

Hadoop环境搭建及实现倒排索引

目录1.应用介绍31.1实验环境介绍31.2应用背景介绍31.3应用的意义与价值42.数据及存储52.1数据来源及数据量52.2数据存储解决方案53.分析处理架构53.1架构设计和处理方法53.2核心处理算法代码74.系统实现95.总结271.应用介绍1.1实验环境介绍本实验是在hadoop伪分布式处理架构下完成的。我用自己的笔记本在ubuntu14.04操作系统下自己搭建了hadoop2.7.1
lihaitao000·2016-05-13 12:00

hadoop环境搭建（伪分布式）

以此篇文章来纪念痛苦的大数据课程。。。。。。这里引用一段百度百科的话。Hadoop是一个由Apache基金会所开发的[分布式系统]基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（lo
rainbow88888·2016-05-04 22:00

hadoop2.7.2 window win7 基础环境搭建

hadoop环境搭建相对麻烦，需要安装虚拟机过着cygwin什么的，所以通过查资料和摸索，在window上搭建了一个，不需要虚拟机和cygwin依赖，相对简便很多。
t0mCl0nes·2016-04-26 14:32

hadoop2.7.2 window win7 基础环境搭建

hadoop环境搭建相对麻烦，需要安装虚拟机过着cygwin什么的，所以通过查资料和摸索，在window上搭建了一个，不需要虚拟机和cygwin依赖，相对简便很多。
fly_leopard·2016-04-26 14:00

实验室Hadoop环境搭建

Hadoop分布式集群搭建流程记录软件环境Hadoop版本：hadoop-2.7.2.tar.gzJAVA版本：jdk-8u77-linux-x64.tar.gzLinux版本：Ubuntu15.04（64位）主机IPMaster.HadoopXX.XX.XXX.173Master节点Slave1.HadoopXX.XX.XXX.171工作节点1Slave2.HadoopXX.XX.XXX.201
CaptainXero·2016-04-21 20:06

Hadoop环境搭建安装（一）

一，准备环境：1，64位ubuntu-14.04.42，jdk-7u80-linux-x64二，配置jdk:1，输入命令语句：2，写入配置信息:3，使配置信息起作用：4,jdk搭建成功：三，hadoop的配置：1，解压hadoop:hadoop@master:/mysoftware$tar-zxvfhadoop-2.6.4.tar.gz2,修改hadoop-env.sh3,修改core-site.
young_so_nice·2016-04-21 01:43

Hadoop环境搭建安装（一）

一，准备环境：1，64位ubuntu-14.04.42，jdk-7u80-linux-x64二，配置jdk:1，输入命令语句：2，写入配置信息:3，使配置信息起作用：4,jdk搭建成功：三，hadoop的配置：1，解压hadoop:hadoop@master:/mysoftware$tar-zxvfhadoop-2.6.4.tar.gz2,修改hadoop-env.sh3,修改core-site.
young_so_nice·2016-04-21 01:00

Hive安装及使用攻略

hadoop的环境，请参考：让Hadoop跑在云端系列文章，RHadoop实践系列之一:Hadoop环境搭建下载:hive-0.9.0.tar.gz解压到：/hom
u010666884·2016-04-07 18:00

hadoop环境搭建及修改配置文件（第四讲）

1.设置ip servicenetworkrestart重启网卡生效2.关闭防火墙（在hadoop中要使用到许多端口，为了避免麻烦之间对防火墙进行关闭） serviceiptablesstop关闭防火墙命令 serviceiptablesstatus查看防火墙状态命令   关闭防火墙的自动运行：     查看自动运行的设置：chkconfig--list可以显示所有的设置（防火墙iptables）
51_天天向上·2016-03-14 02:44

hadoop环境搭建及修改配置文件（第四讲）

1.设置ipservicenetworkrestart重启网卡生效2.关闭防火墙（在hadoop中要使用到许多端口，为了避免麻烦之间对防火墙进行关闭）serviceiptablesstop关闭防火墙命令serviceiptablesstatus查看防火墙状态命令关闭防火墙的自动运行：查看自动运行的设置：chkconfig--list可以显示所有的设置（防火墙iptables）过滤查看防火墙自动启动
51_天天向上·2016-03-14 02:44

【Hadoop环境搭建之SSH免密码登录高级篇】

想象一下这种场景：我们使用1000台廉价的PC机做Hadoop集群，虽然Hadoop号称高可用，低成本；但是廉价机器谁能保证不出现问题呢，况且世界上本身就没有不出问题的电脑，于是今天坏掉一台机器，明天需要扩充增加一个节点增加容量，但是有一个问题SSH免密码登录的认证的公钥文件在各个电脑上不能共享，如果增加一个节点，新产生的id_rsa.pub 文件在各个PC的authorized_keys文件中不
gaojingsong·2016-03-12 19:14

hive环境搭建

环境准备：hadoop环境搭建安装mysqlhive环境搭建hadoop环境搭建参考：http://my.oschina.net/u/2311010/blog/508139安装mysql卸载自带的mysql
super_yu·2016-02-28 00:00

hadoop环境搭建总结

最近一段时间在看HadoopTheDefinitiveGuide,3rdEdition.pdf，学习hadoop，个人想不能总看书，不实践呀，于是准备搭建一套开发环境，果然遇到很多问题，最终调试出了运行结果，在此记录。我实践的过程比较坎坷，分别尝试了centos，Ubuntu，windows下的Eclipse的hadoop插件，都加载成功，但是windows下的示例没有运行成功。下面详细说明参考H
火镜先生·2016-02-18 17:00

eclipse开发hadoop环境搭建

Hadoop2.6.0集群搭建完毕后，下面介绍一下eclipse是如何开发hadoop程序（即MapReduce程序）的。1.jdk安装hadoop集群的搭建，不再详述，参考http://kevin12.iteye.com/blog/2273556；下面运行下hadoop自带的wordcount例子：2.先将hadoop-2.6.0目录下面的README.txt和LICENSE.txt文件put到
Kevin12·2016-02-14 12:00

eclipse开发hadoop环境搭建

阅读更多Hadoop2.6.0集群搭建完毕后，下面介绍一下eclipse是如何开发hadoop程序（即MapReduce程序）的。1.jdk安装hadoop集群的搭建，不再详述，参考http://kevin12.iteye.com/blog/2273556；下面运行下hadoop自带的wordcount例子：2.先将hadoop-2.6.0目录下面的README.txt和LICENSE.txt文件
Kevin12·2016-02-13 14:00

Hadoop完全分布式搭建过程中遇到的问题小结

在自己本地机器上尝试搭建完全分布式Hadoop集群环境，也是借助网络上虾皮的Hadoop开发指南系列书籍一步步搭建起来的，在这里仅代表hadoop初学者向虾皮表示衷心的感谢，他总结的系列文档确实帮我们扫除了很多hadoop
龙须子·2015-11-14 14:00

ubantu下安装hadoop+hive全解

ubanto-hadoop环境搭建 安装 vm 下载：去官网下 VMware-player-5.0.1-894247.zip 安装和配置ubanto 下载：去官网下 ubuntu
·2015-11-13 11:46

RHadoop实践系列之一:Hadoop环境搭建

RHadoop实践系列之一:Hadoop环境搭建 RHadoop实践系列文章，包含了R语言与Hadoop结合进行海量数据分析。
·2015-11-12 19:13

hadoop环境搭建

jdk版本 jdk-7u71-linux-x64.tar.gz hadoop版本 hadoop-1.2.1.tar.gz     window安装hadoop 使用cygwin安装 格式化hadoop的文件系统HDFS总是不能成功，貌似是乱码 因为jkd的安装目录有空格，网上提示建立软链接 http://biyutong.iteye.com/blog/14456
·2015-11-12 10:43

hadoop环境搭建

http://wgkgood.blog.51cto.com/1192594/1332340 仿照如上文章进行了环境搭建 内容大致总结为 1. 配置集群内ssh免密码互相登录。请参照http://www.cnblogs.com/vigarbuaa/p/3579291.html 2. 安装hadoop. 配置如下文件 core-site.xml/mapred-site.xml/hdfs-si
·2015-11-11 11:15

windows Hadoop环境搭建之一---软件准备

　　一直关注Hadoop的项目，最近发现可以在windows下面搭建Hadoop。 决定试试。闲话少叙，言归正传 先准备好一个windows 7 32位的环境, （官网上说不支持64位的，编译会出问题，没有说原因，如果要在windows 64位的机器上使用，可以在32位的环境下编译成64位的，然后部署到64位的机器上） 必须的软件包： 1.Windows sdk7.1 +DOTNET.4
·2015-11-09 13:08

Hadoop安装、Hadoop环境搭建(Apache)版本

　　今天早上帮一新人远程搭建Hadoop集群(1.x或者0.22以下版本)，感触颇深，在此写下最简单的Apache Hadoop搭建方法，给新人提供帮助，我尽量说得详尽点；点击查看Avatorhadoop搭建步骤。 1.环境准备: 　　1).机器准备：安装目标机器要能相互ping通，所以对于不同机器上的虚拟机要采取"桥连接"的方式进行网络配置(如果是宿主方式，要先关闭宿主机
·2015-11-07 13:47

Hadoop环境搭建

一、安装Java JDK 1.1在这里有jdk1.7的下载 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 如果CPU是32位，选择下载linux x86，如果CPU是64位的，选择下载linux x64。在这个页面，找“java SE Development Kit 7u
·2015-11-01 11:49

Hadoop、hive环境搭建详解

http://ilovejavaforever.iteye.com/blog/733247   一、    Hadoop环境搭建   
·2015-10-28 09:39

分享一些Hadoop环境搭建所用到的软件

　　本来想用土的掉渣的语言说说hadoop配置的，因为最近总有人问我，环境搭建老出莫名其妙的问题，可是写到一半，还是决定不写了，网上教程好多好多，而大家遇到问题有很多是软件版本不对应造成的，因此我就把大家需要用到的软件给共享一下算了，不用到处去找了。不谢，请叫我活雷锋。 1.虚拟机VMWare10，用这个版本吧，我用过其他几个版本，有的时候会出错。 下载地址：http://yunpan.cn/
·2015-10-21 11:53

伪分布式hadoop环境搭建

官网上的教程版本不符,还过于简单(很多必要的步骤没提到),所以自行网上找教程.在这里整理一下:假设java_home已经配置完成,ssh也可连通1.修改配置文件以下文件均在%HADOOP_HOME%/conf/下core-site.xml: HadoopCore的配置项，例如HDFS和MapReduce常用的I/O设置等。hdfs-site.xml: Hadoop守护进程的配置项，包括nameno
q291611265·2015-08-31 22:00

hadoop环境搭建（一）

搭了好久的环境，总算是有点眉目了……1、安装一个linux系统（或者是虚拟机）我采用的是虚拟机（ubuntu10.0)，直接安装vm,再用镜像文件配置一个虚拟环境……2、配置jdk，（一定要注意系统位数与jdk对应。先在官网上下载满足需求的jdk压缩文件）a、将压缩文件解压b、将解压的文件拖动到ubuntu环境中的文件中c、控制台（ctrl+alt+t）运行命令：sudogedit/etc/env
cxx_317·2015-07-25 23:25

Myeclipse 的hadoop环境搭建

https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar 2.放入eclipse的插件目录。这里以Myeclipse8.5为例(貌似，myeclipse6.5不支持该插件)1)进入MyEclipse8.5的安装目录，(C:\ProgramFiles\Genu
落叶的博客·2015-05-19 13:00

云计算之hadoop环境搭建

前两天发了几篇文章，一直是以前的老东西，感觉挺没劲的，还是写点新东西吧，就当有意增加点空间人气。最新学了点新东西，就在这里总结一下，以助和我一样初学hadoop之时遇到的环境搭建方面的问题。1、必备资源        （1）linux操作系统环境，如果你是初学者的话，我建议你用虚拟机装操作系统，可以避免很多问题，从而最快的进入正题。至于版本的选择无所谓了，像redhat,suse,或者是fedor
erliang20088·2015-05-17 16:00

Windows系统使用IntelliJ IDEA 搭建Hadoop的开发调试环境（一）

准备Hadoop集群上一篇讲到的Hadoop环境搭建，开启Hadoop几个服务./sbin/start-dfs.sh ./sbin/start-yarn.sh .
Hi徐敏·2015-04-14 21:00

[置顶] linux环境下的hive mysql hadoop环境搭建

软件环境Centos6.5vmwareworkstation11JDK1.6或者以上版本hadoop-1.2.1hive-0.8.1sshhadoop环境搭建sshd服务安装和配置ssh免密码登陆一般来说
fallinlovelj·2015-02-09 22:00

Nutch+hadoop环境搭建

以前搭建环境或是配置软件从来都没有留Tips的习惯，但实践证明这是错误的——做过不等于记得怎么做，遇到过的错误也不等于今后就不是错误了。Nutch跟Hadoop的搭建困扰了我很久，但回头看看又觉得真正有些问题的其实就几个关键点，所以觉得花些时间写个简单流程，缅怀一下最近的探索，也希望能给想要搭建Nutch或hadoop的同学提供一些帮助。欢迎大家指正。 想要说明一下的是，虽然说hadoop诞生于n
啊莫·2014-11-26 19:00

Hadoop初探系列（一）Windows下Hadoop环境搭建

在Windows下搭建Hadoop的学习环境最简单的方式是通过Cygwin模拟Linux环境，包含三大部分内容：安装、配置Cygwin，安装、配置Hadoop，配置eclipse。系统&软件版本系统：win7（64位）Hadoop：1.2.1Java：jdk1.7（64位）Cygwin：2.852（64位）安装&配置Cygwin下载CygwinCygwin官方地址：http://cygwin.co
houyefeng·2014-11-20 23:00

(CentOS)hadoop环境搭建，及期间遇到的问题

(一)hadoop集群搭建准备，准备3台机器192.168.80.100 hadoop192.168.80.101datanode1192.168.80.102datanode2首先安装jdk到/usr/local/jdk（具体就不说了）,然后配置文件/etc/profile，添加如下exportJAVA_HOME=/usr/local/jdk exportPATH=.:$JAVA_HOME/b
a837199685·2014-11-19 22:00

hadoop环境搭建与测试

搭建参看：http://blog.csdn.net/w13770269691/article/details/16883663/查看集群状态：[root@masterbin]#hdfsdfsadmin-report ConfiguredCapacity:36729053184(34.21GB) PresentCapacity:13322559491(12.41GB) DFSRemaining:13
shijiebei2009·2014-11-06 21:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他