Hadoop1

搭建Hadoop1.2.1集群

环境：三台CentOS6.5虚拟机，机器名分别为hadoop1、hadoop2、hadoop3，通过桥接连网，互相可以ping通，均安装好JDK1.7，并关闭iptables防火墙[root@hadoop1
张超·2014-12-23 20:00

大数据学习路线

一、Hadoop入门，了解什么是Hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概述
hongxuecn·2014-12-23 09:24

大数据学习路线

一、Hadoop入门，了解什么是Hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概述
hongxuecn·2014-12-23 09:24

Linux重命名主机名

一、查看Linux主机名[root@localhost~]#hostnamelocalhost.localdomain二、重命名主机名（以hadoop1为新主机名为例）第一步：[root@localhost
张超·2014-12-22 20:00

storm集群环境搭建

集群节点：hadoop1，hadoop2，hadoop3将hadoop1设置成主节点，部署nimbus，nimbus负责分发代码，分配任务。
重拾梦想·2014-12-22 09:17

搭建hadoop1

1、安装JDK sugrid sudo-i passwdroot sudodpkg-l  sudodpkg-l|grepwget cd/usr mkdirjava tar-zxvfeclipse-SDK-4.2-linux-gtk.tar.gz cp~/Desktop/jdk-6u24-linux-i586.bin/usr/java ./jdk-6u24-linux-i586.bin ln-s/u
Zero零_度·2014-12-18 20:00

hive的权限管理

下创建用户、组[root@dn210126~]#useradd-s/bin/sh-d/hadoop1-m-Gadm,roothadoop1[root@dn210126~]#passwdhadoop1更改用户hadoop1
jsjw18·2014-12-01 15:10

hive的权限管理

、组[root@dn210126~]#useradd-s/bin/sh-d/hadoop1-m-Gadm,roothadoop1 [root@dn210126~]#passwdhadoop1 更改用户hadoop1
jsjw18·2014-12-01 15:00

Ubuntu系统下Hadoop 2.0.4集群安装配置

YARN就是MapReduceV2，将原来Hadoop1
gaowenhui2008·2014-11-25 16:00

kafka集群安装启动测试

host.name=hadoop1，写本节点的hostnamelog.dirs=/home/hadoop/
cjun1990·2014-11-24 17:00

hadoop1.1.2分布式安装（完备版）

   0简介：一共5个节点，hadoop0(namenode,jobtracker),hadoop1(secondnamenode),剩下hadoop2,hadoop3,hadoop4为datanode
chengjianxiaoxue·2014-11-19 16:00

Hadoop的分布式安装部署图文分享

[size=x-large][b]集群规划（根据我虚拟机而定）[/b]:[/size][list][*][color=blue]NameNode[/color][*]–Hadoop1（192.168.52.151
congliibm·2014-11-19 14:14

Hadoop的分布式安装部署图文分享

集群规划（根据我虚拟机而定）:NameNode–Hadoop1（192.168.52.151）DataNode–Hadoop1（192.168.52.151）–Hadoop2（192.168.52.162
congli·2014-11-19 14:00

MapReduce -shuffle的过程

前提 由于之前一直都是使用的Hadoop1，并未使用HadoopYarn，所以有关shuffle的机制，还请参考最新的底层API1
止静·2014-11-18 22:00

hadoop1架构基本理解

 0出现原因： 业务场景：在1T数据中，找最小值a)集中式处理方式：不断从硬盘加载部分数据放在机器内存中处理，然后丢弃内存数据，继续加载处理，这样CPU真正计算时间是很少的，大部分时间都用在了磁盘IO上，硬盘转速是固定的7200转，相对于内存速度和CPU速度，这种物理瓶颈无法处理，影响了整个作业速率。特点：将数据加载到计算区 b)分布式处理方式：1T的数据分散到多台机器上存储，后将计算请求分散到多
chengjianxiaoxue·2014-11-18 11:00

hadoop问题总结:datanode启动后,在web50070端口发现不到datanode节点(能力工场)

直接上问题:这两天为了试验,安装了两套集群:(1)32位hadoop1集群(5个节点);(2)64位hadoop2集群(6个节点)两个集群中都遇到过这样的问题:在namenode正常启动hadoop集群后
malijava·2014-11-17 14:36

hadoop问题总结:datanode启动后,在web50070端口发现不到datanode节点(能力工场)

直接上问题:这两天为了试验,安装了两套集群:    (1)32位hadoop1集群(5个节点);    (2)64位hadoop2集群(6个节点)   两个集群中都遇到过这样的问题:在namenode正常启动
malijava·2014-11-17 14:36

hadoop1中启动后没有namenode处理方式

  现象： 在学习中，使用虚拟机，每次学完都是suspend虚拟机，然后开启虚拟机后，有时候jpsmaster机器时，发现没有了namenode,如下图：    问题出在哪里不是很清楚，不过貌似是由于每次start后，关机之前没有运行stop的缘故造成的。下面的方法应该有用：1、先运行stop-all.sh2、格式化namdenode，不过在这之前要先删除原目录，即core-site.xml下配置
chengjianxiaoxue·2014-11-17 10:00

hadoop1 常用端口和配置文件说明

    关于hadoop 常用端口和 配置文件详细信息， 请参考如下链接：   http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454549.html &nb
chengjianxiaoxue·2014-11-17 10:00

hadoop1安全异常：The ratio of reported blocks 1.0000 has reached the threshold 0.9990.

hadoop启动时报如下错误：错误分别在namenode和jobTracker日志文件都有org.apache.hadoop.hdfs.server.namenode.SafeModeException:Cannotdelete/usr/hadoop/tmp/mapred/system.Namenodeisinsafemode.Theratioofreportedblocks1.0000hasre
ddjj1990·2014-11-16 12:59

HDFS HA系列实验之五：client 配置

Hadoopclient访问HDFS是通过client端的hadoop配置文件来访问hadoop集群的，一般的情况下我们在配置文件core-site.xml中配置fs.defaultFS是使用一个类似hdfs://hadoop1
哭你吃完·2014-11-14 09:00

Redis安装和配置

安装机器：hadoop1（因为只是测试用就不使用redis的主从复制配置了）安装目录：/app/redis数据目录：/app/redis/data配置文件：/app/redis/redis6379.conf2
哭你吃完·2014-11-14 09:00

CentOS6.5 hadoop2.4.0 HA 集群自动切换模式安装教程

在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。
东方神剑·2014-11-05 13:00

eclipse中hadoop2.3.0环境部署及在eclipse中直接提交mapreduce任务

例如hadoop1包括以前的版
闵开慧·2014-11-03 11:00

hadoop2.5.1集群搭建：（一）搭建手工切换ha的hdfs集群

----------------- 1.搭建手工切换HA(high availibility)的HDFS集群 ----------------------------- namenode：hadoop1
yehao0716·2014-11-01 11:00

keepalived实现nginx的高可用

quenlang.blog.51cto.com/4813803/1570352，搭建好nginx反向代理tomcat并利用自身模块proxy_cache实现web缓存的架构，该博文中的nginx安装在hadoop1
quenlang·2014-11-01 11:56

keepalived实现nginx的高可用

quenlang.blog.51cto.com/4813803/1570352，搭建好nginx反向代理tomcat并利用自身模块proxy_cache实现web缓存的架构，该博文中的nginx安装在hadoop1
quenlang·2014-11-01 11:56

大数据学习路线

一、Hadoop入门，了解什么是Hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概述
forever_ai·2014-10-17 14:32

大数据学习路线

一、Hadoop入门，了解什么是Hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概述
An342647823·2014-10-17 14:00

Flume一个数据源对应多个channel，多个sink

一、概述1、现在有三台机器，分别是：Hadoop1，Hadoop2，Hadoop3，以Hadoop1为日志汇总2、Hadoop1汇总的同时往多个目标进行输出3、Flume一个数据源对应多个channel
panguoyuan·2014-10-10 16:19

Hadoop1 Centos伪分布式部署

前言:毕业两年了，之前的工作一直没有接触过大数据的东西，对hadoop等比较陌生，所以最近开始学习了。对于我这样第一次学的人，过程还是充满了很多疑惑和不解的，不过我采取的策略是还是先让环境跑起来，然后在能用的基础上在多想想为什么。通过这三个礼拜(基本上就是周六周日，其他时间都在加班啊TT)的探索，我目前主要完成的是:1.在Linux环境中伪分布式部署hadoop(SSH免登陆)，运行WordCou
Sky_YiBai·2014-10-09 00:00

安装CDH集群时界面一直停留在获取安装锁

channel(#28)2014-09-2316:36:32,108 INFO[NodeConfiguratorThread-7-1:node.NodeConfiguratorProgress@534]hadoop1
alangmei·2014-09-24 10:00

Hadoop1的一些配置项

mapred.min.split.size意思和字面上的一样，折腾了半天，发现发起任务的机子上，而非只是主机需要配置该项。。mapred.map.tasksjob的总map任务数，本来以为总文件数/实际的SplitSize就可以了，不太明白还要这项有什么用。。不过下面这个例子应该可以说明些问题：我所在公司所使用的生产Hive环境的几个参数配置如下：dfs.block.size=268435456h
Daisy8867·2014-09-17 17:08

hadoop、大数据面试题

6、hadoop1和hadoop2的区别？笔试：1、hdfs中的block默认保存几份？2、哪个程序通常与nn在一个节点启动？并做分析3、列举几个配置文件优化？
奋斗的鱼·2014-09-17 11:21

hadoop2的产生背景

Hadoop1的HDFS和Mapreduce在高可用和拓展性方面存在问题。HDFS存在的问题：Namenode单点故障，难以应用于在线场景。Namenode压力过大，且内存受限，影响系统扩展性。
lixiyuan·2014-09-04 10:00

hadoop学习【12】——hadoop杂谈之我的理解

一、Hadoop1和hadoop2进行比较：Hadoop平台：分布式的存储与计算平台，主要还是因为目前的存储和计算体系满足不了一些企业业务的需求，像数据
huangbin6·2014-08-31 12:00

国内第一篇详细讲解hadoop2的automatic HA+Federation+Yarn配置的教程

对于hadoop1，很多同学就因为不能搭建正确的运行环境，导致学习兴趣锐减。不过，我有免费的学习视频下载，请点击这里。   
qiaochao911·2014-08-21 14:00

hadoop2.2完全分布式高可靠安装文档

slave1192.168.41.102 slave2系统为CentOS6.42.安装步骤：①安装前准备（1）3台机器全部修改hosts文件和hostname后重启vim /etc/hosts（2）配置节点之间SSH免密码登陆(可参考博文hadoop1
yushaoqing·2014-08-14 23:08

hadoop2.2完全分布式高可靠安装文档

192.168.41.100master192.168.41.101slave1192.168.41.102slave2系统为CentOS6.42.安装步骤：①安装前准备（1）3台机器全部修改hosts文件和hostname后重启vim /etc/hosts（2）配置节点之间SSH免密码登陆(可参考博文hadoop1
yushaoqing·2014-08-14 23:08

Hadoop2.2.0伪分布式完全安装手册

    网络上充斥着大量Hadoop1的教程，版本老旧，Hadoop2的中文资料相对较少，本教程的宗旨在于从Hadoop2出发，结合作者在实际工作中的经验，提供一套最新版本的
苹果草莓·2014-07-28 09:00

yarn

Hadoop1 最大的问题是JobTracker包含了资源管理和作业控制的功能。 这就导致资源和MapReduce框架的紧耦合。
Tristan_S·2014-07-25 16:00

Hadoop1.2.1集群安装三

配置hadoop1:下载hadoop-1.2.1.tar.gz  在/home/jifeng创建目录  mkdirhadoop  2:解压[jifeng@jifeng01hadoop]$ls hadoop
wind520·2014-07-24 10:00

学习总结四：hadoop集群动态增加新节点及下架一个节点

假设现有集群有三个节点（hadoop0,hadoop1和hadoop2），hadoop0是主节点，hadoop1和hadoop2是从节点hadoop0,hadoop1和hadoop2在各自服务器的安装目录都是
colinmok·2014-07-05 18:50

Hadoop Yarn 安装

事前准备1.机器准备三台主机,#后面说明了用途192.168.1.1 #hadoop1:master192.168.1.2  #hadoop2:datanode1192.168.1.3  #hadoop3
zlcd1988·2014-06-30 16:00

Hadoop + Hbase + Zookeeper安装及配置完整版(Hadoop1系列)

第一步：安装Hadoop集群1、搭建环境所需介质准备  Enterprise-R5-U4-Server-x86_64-dvd.iso  hadoop-1.1.1.tar.gz  jdk-6u26-linux-x64-rpm.bin2、创建5个节点的虚拟机  192.168.0.202 hd202 #NameNode  192.168.0.203 hd203 #SecondaryNameNode  
jianght_2014·2014-06-28 15:48

Hadoop + Hbase + Zookeeper安装及配置完整版(Hadoop1系列)

第一步：安装Hadoop集群1、搭建环境所需介质准备Enterprise-R5-U4-Server-x86_64-dvd.isohadoop-1.1.1.tar.gzjdk-6u26-linux-x64-rpm.bin2、创建5个节点的虚拟机192.168.0.202hd202#NameNode192.168.0.203hd203#SecondaryNameNode192.168.0.204hd2
jianght_2014·2014-06-28 15:48

Eclipse调用hadoop2运行MR程序

在Hadoop1中，只需指定jt（jobtracker）和fs（namenode）即可，一般如下： [java] viewplaincopy Configuration conf = new Configuration
wbj0110·2014-06-25 15:00

Eclipse调用hadoop2运行MR程序

在Hadoop1中，只需指定jt（jobtracker）和fs（namenode）即可，一般如下： [java] viewplaincopy Configuration conf = new Configuration
wbj0110·2014-06-25 15:00

Eclipse调用hadoop2运行MR程序

在Hadoop1中，只需指定jt（jobtracker）和fs（namenode）即可，一般如下： [java] viewplaincopy Configuration conf = new Configuration
wbj0110·2014-06-25 15:00

hadoop2.4安装部署——亲手测试通过

机器与环境192.168.100.150redhat，jdk1.6.0_301、linuxrh下安装hadoop1）下载：http://mirror.esocc.com/apache/hadoop/
coolwzjcool·2014-06-18 08:41
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他