hadoop集群搭建

hadoop集群搭建-Linux(Haoop cluster on Linux)

1.hadoop简介hadoop是当今流行的分布式并行计算框架和大数据解决方案，利用基于商品硬件的计算机集群，具有容错性好和伸缩性强的特点。造价低廉，技术通用开放，维护和管理方便。特别适合超大数据的处理，对于TB和PB级的数据都可以应付（当然需要往集群中加入更多的机器，上百、上千或者上万台机器的hadoop集群都屡见不鲜）。与其他并行计算不同的一个鲜明特点是其计算理念：代码向数据处移动，而不是数据
tonyhuang_google_com·2013-08-26 14:00

hadoop 1.x集群搭建及搭建过程遇到的问题总结

交流群：335671559hadoop集群搭建Hadoop集群搭建Master机的ip地址假定为192.168.1.1slaves1的假定为192.168.1.2slaves2的假定为192.168.1.3
脚踏宝马·2013-07-22 11:31

基于Ubuntu12.04+hadoop1.2.0 的hadoop集群搭建

Ubuntu12.04搭建hadoop1.2集群转载请注明出处(一)      环境准备首先准备5台电脑。我这里使用的是OpenStack虚拟出来的五台电脑。每个实例安装的系统是Ubuntu12.04.2LTS，虚拟配置如下：(二)      修改机器名打开/etc/hostname文件；sudovi/etc/hostname分别改为hadoop1、hadoop2和hadoop3等等(三)    
bluetropic·2013-07-15 19:00

王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第五讲Hadoop图文训练课程：解决典型Hadoop分布式集群环境搭建问题...

2013/06/16/3138824.html王家林亲授的上海7月6-7日云计算分布式大数据Hadoop深入浅出案例驱动实战王家林第四讲Hadoop图文训练课程：实战构建真正的Hadoop分布式集群环境Hadoop
weixin_30349597·2013-06-16 13:00

解决典型Hadoop分布式集群环境搭建问题

解决典型Hadoop分布式集群环境搭建问题王家林亲授的上海7月6-7日云计算分布式大数据Hadoop深入浅出案例驱动实战  王家林 第四讲Hadoop图文训练课程：实战构建真正的Hadoop分布式集群环境Hadoop
·2013-06-15 18:00

Hadoop上路_10-分布式Hadoop集群搭建

1.创建模板系统：      参照前文。本例使用ubuntu10.10。初始化用户hadoop，密码dg，主机名hadoop-dg 。       1）解压jdk、hadoop，配置bin到环境变量：    jdk1.7.0_17 hadoop-1.1.2    2）配置%hadoop%/conf/hadoop-env.sh：exportJAVA_HOME=/jdk目录     3）安装open
vigiles·2013-05-22 03:00

【Hadoop实战】在Mac OS上配置Hadoop伪分布式环境

mac os版本是10.8.1，配置的是单机伪分布式环境，目的是学习hadoop程序编写；至于hadoop集群搭建，暂时不感兴趣。 &nbs
llystar·2013-05-20 12:00

Hadoop集群搭建笔记一

  集群搭建在真实物理机上，为每台物理机安装Linux，这里选择的是CentOS5.8的版本（实验室旧机器配置偏低），本人虽CS出身，现SE研一，但基础不咋地，在装Linux系统的过程中遇到诸多问题，解决起来也是一头雾水，比如在Linux磁盘分区，当初未考虑到hadoop集群用来处理大数据，分区大小完全按照普通的Linux学习机器分配，以至于后来下载大数据时磁盘空间不足（如果你是Linux大牛，能
distharryxu·2013-05-17 16:14

hadoop集群搭建

blog.csdn.net/aidayei/article/details/65552551.hadoop入门篇，包括软件下载及配置，并保证单机和伪分布模式可以运行通过，请看hadoop官网 2.集群搭建笔者在hadoop
anhuidelinger·2013-05-12 22:00

hadoop资料汇总贴

进行分布式数据处理----入门Hadoop入门一图解说Hadoop的发展历程讨论：Hadoop社区与中国云计算开源展望 用Hadoop进行分布式数据处理入门篇Hadoop入门简介hadoop入门语录 二、Hadoop
e_wsq·2013-05-03 23:00

EC2平台上Hadoop集群搭建

   网上中文资料几乎没有关于EC2平台的Hadoop的集群搭建，又碍于英语水平，同时加上关键点说明的也比较分散，所以在这上面花费了不少的时间。现在弄好了，整理下整个配置过程，也当重新巩固下。一、新建Instance   在EC2控制台上新建三个instance，具体的可以参照EC2instance的建立。可以分别取名master，slave1和slave2，其中master将作为namenode
iboringyou·2013-04-10 16:00

EC2平台上Hadoop集群搭建

阅读更多网上中文资料几乎没有关于EC2平台的Hadoop的集群搭建，又碍于英语水平，同时加上关键点说明的也比较分散，所以在这上面花费了不少的时间。现在弄好了，整理下整个配置过程，也当重新巩固下。一、新建Instance在EC2控制台上新建三个instance，具体的可以参照EC2instance的建立。可以分别取名master，slave1和slave2，其中master将作为namenode和j
iboringyou·2013-04-10 16:00

EC2平台上Hadoop集群搭建

阅读更多网上中文资料几乎没有关于EC2平台的Hadoop的集群搭建，又碍于英语水平，同时加上关键点说明的也比较分散，所以在这上面花费了不少的时间。现在弄好了，整理下整个配置过程，也当重新巩固下。一、新建Instance在EC2控制台上新建三个instance，具体的可以参照EC2instance的建立。可以分别取名master，slave1和slave2，其中master将作为namenode和j
iboringyou·2013-04-10 16:00

HBase环境搭建

安装Hadoop集群参照我的Hadoop集群搭建，先搭建Hadoop集群。安装HBase有了前面Hadoop的搭建之后，许多基础环境都已经完成了。此外还需额外安装NTP，因为HBase需要各个节点之间
ljeagle·2013-04-09 12:00

hadoop集群搭建

    寒假搭了个hadoop的集群，回来基本上每个人的ubuntu都重装了，秉承胡的思想不能让学长们博客的点击率再直线上升于是乎还是从最基本的搭环境开始。   技术我虽然不会但是搭环境这种比较没有技术含量的事情我还是会点的。慢慢完善中。。。。 一、ubuntu的安装U盘安装在window底下分配一个磁盘，然后做一个u盘启动项，至于怎么做U盘启动项，请参考谷歌或者度娘。笔记本安装U盘启动项在开机的
Mr_mai·2013-03-19 00:00

hadoop入门文档

Hadoop快速入门 Hadoop集群搭建 Hadoop分布式文件系统 Hadoop Map-Reduce教
joerong666·2013-02-24 21:00

HBase分布式部署

前提hadoop集群搭建成功，这里使用的是Hadoop1.0.3+HBase0.94.1配置HBase1.修改conf/hbase-env.sh，添加jdk支持exportJAVA_HOME=/home
libangsen·2013-02-19 20:27

HBase分布式部署

前提hadoop集群搭建成功，这里使用的是Hadoop1.0.3+HBase0.94.1配置HBase1.修改conf/hbase-env.sh，添加jdk支持  exportJAVA_HOME=/home
libangsen·2013-02-19 20:27

hadoop集群搭建

 首先确定hdfs分布式文件系统目前很多大公司都在用，例如百度、腾讯、淘宝等。相信网上也有很多关于这方面的文档，我写这篇文章只是为了自己更加深刻的学习和理解，或者帮助一些不会搭建的童鞋们！有问题请加群234086986讨论！以前我搭建的是hadoop-0.20.2、hbase-0.90.4、hbase自带的zookeeper，但是经过与开发测试后，用了hadoop-1.0.3、hbase-0.92
visionsky·2013-01-11 14:53

hadoop集群搭建

首先确定hdfs分布式文件系统目前很多大公司都在用，例如百度、腾讯、淘宝等。相信网上也有很多关于这方面的文档，我写这篇文章只是为了自己更加深刻的学习和理解，或者帮助一些不会搭建的童鞋们！有问题请加群234086986讨论！以前我搭建的是hadoop-0.20.2、hbase-0.90.4、hbase自带的zookeeper，但是经过与开发测试后，用了hadoop-1.0.3、hbase-0.92.
visionsky·2013-01-11 14:53

hadoop集群搭建

by三江小渡这篇介绍需要结合着前一篇hadoop单机搭建的介绍一起看。说到的地方不懂的就请看前一篇，有详细操作方法和命令。集群的搭建需要做的事情我一步一步的写一下，相应的步骤不会就看前一篇：1、在想搭建hadoop的机器上安装hadoop程序和java。需要hadoop和java的安装程序路径一致，即三台一摸一样的绝对路径。这里举例有以下三台服务器：192.168.1.1192.168.1.219
huayu0815·2012-12-18 21:00

hadoop集群搭建

by 三江小渡 这篇介绍需要结合着 前一篇hadoop单机搭建的介绍一起看。说到的地方不懂的就请看前一篇，有详细操作方法和命令。 集群的搭建需要做的事情我一步一步的写一下，相应的步骤不会就看前一篇： 1、在想搭建hadoop的机器上安装hadoop程序和java。需要hadoop和java的安装程序路径一致，即三台一摸一样的绝对路径。这里举例有以下三台服务器：
huayu0815·2012-12-18 21:00

hadoop集群搭建

详细安装步骤如下，有大步骤，每个步骤里面有小步骤，绝大部分是必选，只有2步是可选的。 1. 用vmware workstation 新建一台centos server，然后用浅拷贝Create a linked clone 克隆出两台作为slave，这样有了三台centos机器。启动三台机器，假设IP分别为99.6.150.148, 99.6.150.149, 99.6.150.150, 148
smallbee·2012-12-10 11:00

Hadoop集群搭建

目的本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。先决条件1. 确保在你集群中的每个节点上都安装了所有必需软件。2. 获取Hadoop软件包。安装安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。通常，集群里的一台机器被指定为 NameNode，另一台不同的机器
xiaotom5·2012-10-26 17:00

Hadoop Map/Reduce教程

· Hadoop集群搭建对大规模分布式集群。 概述Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式
xiaotom5·2012-10-26 17:00

【hadoop学习】在Mac OS上配置hadoop伪分布式环境【上】

macos版本是10.8.1，配置的是单机伪分布式环境，目的是学习hadoop程序编写；至于hadoop集群搭建，暂时不感兴趣。主要参考的资料是《h
xceman1997·2012-10-07 20:00

hadoop集群搭建+eclipse开发环境配置

  A、集群搭建：        机器：（两台机器，后续会加数据节点，以及次节点和主节点分离）        192.168.9.193master        192.168.10.29slave         1、下载hadoop-1.0.3、jdk1.7.0_04（略过）        2、安装hadoop和jdk          （hadoop目录为：/opt/789/hadoop-
511930751·2012-06-27 17:00

Hadoop集群搭建实践全记录

参考：http://www.open-open.com/lib/view/1328536842327          http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html     &n
SpringsFeng·2012-06-25 18:00

Hadoop集群上使用Lzo压缩

自从Hadoop集群搭建以来，我们一直使用的是Gzip进行压缩当时，我对gzip压缩过的文件和原始的log文件分别跑MapReduce测试，最终执行速度基本差不多而且Hadoop原生支持Gzip解压，所以
ZHB_McCoy·2012-06-21 14:00

Hadoop Map/Reduce教程

Hadoop集群搭建对大规模分布式集群。概述HadoopMap/
changingivan·2012-06-04 08:00

Hadoop集群上使用Lzo压缩

自从Hadoop集群搭建以来，我们一直使用的是Gzip进行压缩当时，我对gzip压缩过的文件和原始的log文件分别跑MapReduce测试，最终执行速度基本差不多而且Hadoop原生支持Gzip解压，所以
thomas0988·2012-06-01 15:00

Hadoop集群上使用Lzo压缩

自从Hadoop集群搭建以来，我们一直使用的是Gzip进行压缩当时，我对gzip压缩过的文件和原始的log文件分别跑MapReduce测试，最终执行速度基本差不多而且Hadoop原生支持Gzip解压，所以
thomas0988·2012-06-01 15:00

Hadoop集群上使用Lzo压缩

自从Hadoop集群搭建以来，我们一直使用的是Gzip进行压缩当时，我对gzip压缩过的文件和原始的log文件分别跑MapReduce测试，最终执行速度基本差不多而且Hadoop原生支持Gzip解压，所以
thomas0988·2012-06-01 15:00

Hadoop集群上使用Lzo压缩

转自：http://www.tech126.com/hadoop-lzo/自从Hadoop集群搭建以来，我们一直使用的是Gzip进行压缩当时，我对gzip压缩过的文件和原始的log文件分别跑MapReduce
yeshuqiang·2012-05-28 11:00

Hadoop集群搭建

本文主要向大家介绍有关Hadoop集群搭建，从配置环境到简单的命令启动一一进行了讲解。希望对于想接触hadoop的你有所帮助。
xyz846·2012-04-25 21:00

Hadoop集群搭建

目的先决条件安装配置配置文件集群配置配置Hadoop守护进程的运行环境配置Hadoop守护进程的运行参数Slaves日志Hadoop的机架感知启动Hadoop停止Hadoop目的本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。先决条件确保在你集群中的每个节点上都安装了所有必需
sunny_sailor·2012-02-20 15:00

Hadoop集群搭建

  全文见  http://cffile.sinaapp.com/?p=193    ////////////////////////////////////////////////////////////////////////////////一、部署策略1.一个master节点，同时运行NameNode、SecondaryNameNode和JobTracker，也可以三个节点分别运行2.两个s
cffile·2012-02-16 16:00

Ubuntu上hadoop集群搭建

1、安装JDKa)       从http://www.oracle.com/technetwork/java/javase/downloads/index.html上下载Linux下的JDK安装文件jdk-6u30-linux-i586.bin。b)       将JDK安装文件复制到一个本地的目录下，本人选择了/opt目录。c)        执行sudoshjdk-6u30-linux-i5
littlefishzhang·2012-02-16 10:00

Hadoop集群搭建

Hadoop集群搭建一、Linux系统配置1、在所有的机器上都建立相同的目录，也可以就建立相同的用户，以该用户的home路径来做hadoop的安装路径。
j3smile·2012-02-15 20:00

hadoop集群搭建(二)——集群环境配置

团队力量让我们站在云端！   真的感觉团队的力量太强大了，整个集群配置能够顺利进行，完全是靠大家合作才能完成。我们确实有很多不明白的地方，但是我们的每一个人都敢于探索，敢于去实践，敢于去做各种尝试，最终的结果就是我们克服了各种困难完成了云端的搭建！   好了进入正题，假设每台机器都按照前一篇所属配置好了hadoop环境，那么接下来开始配置集群环境。   &
luliangy·2012-01-31 20:00

Hadoop Map/Reduce教程

Hadoop集群搭建对大规模分布式集群。概述HadoopMap/
sulliy·2012-01-31 10:00

hadoop集群搭建各种问题

1.hadoop入门篇，包括软件下载及配置，并保证单机和伪分布模式可以运行通过，请看hadoop官网 2.集群搭建 笔者在hadoop集群搭建中，走了很多弯路，希望大家莫犯同样的错误
lt200819·2012-01-30 15:00

hadoop集群搭建（一）——单机版配置

这个寒假和团队一起历经千辛万苦，从一开始的迷茫，然后慢慢的摸索终于完成了我们的集群搭建，成功建立起一个小小的云端。单机版hadoop的配置;九死一生，完成hadoop的配置在开始搭建集群之前我先开始配置单机版的hadoop，说起来真是足够的苦逼啊！虽然最后完成了配置但是这个过程中除了Ubuntu没有被卸载掉重装意外其他的从jdk到ssh再到hadoop都被反复卸掉四五次重装，其中ssh最惨，我卸了
iteye_7298·2012-01-21 17:59

hadoop集群搭建（一）——单机版配置

阅读更多这个寒假和团队一起历经千辛万苦，从一开始的迷茫，然后慢慢的摸索终于完成了我们的集群搭建，成功建立起一个小小的云端。单机版hadoop的配置;九死一生，完成hadoop的配置在开始搭建集群之前我先开始配置单机版的hadoop，说起来真是足够的苦逼啊！虽然最后完成了配置但是这个过程中除了Ubuntu没有被卸载掉重装意外其他的从jdk到ssh再到hadoop都被反复卸掉四五次重装，其中ssh最惨
luliangy·2012-01-21 17:00

hadoop集群搭建（一）——单机版配置

阅读更多这个寒假和团队一起历经千辛万苦，从一开始的迷茫，然后慢慢的摸索终于完成了我们的集群搭建，成功建立起一个小小的云端。单机版hadoop的配置;九死一生，完成hadoop的配置在开始搭建集群之前我先开始配置单机版的hadoop，说起来真是足够的苦逼啊！虽然最后完成了配置但是这个过程中除了Ubuntu没有被卸载掉重装意外其他的从jdk到ssh再到hadoop都被反复卸掉四五次重装，其中ssh最惨
luliangy·2012-01-21 17:00

hadoop集群搭建（一）——单机版配置

        这个寒假和团队一起历经千辛万苦，从一开始的迷茫，然后慢慢的摸索终于完成了我们的集群搭建，成功建立起一个小小的云端。   单机版hadoop的配置;     九死一生，完成hadoop的配置       在开始搭建集群之前我先开始配置单机版
luliangy·2012-01-21 17:00

Nutch加Hadoop集群搭建

1、ApacheNutchApacheNutch是一个用于网络搜索的开源框架，它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。1.1、Nutch的组件结构WebDB:存储网页数据和连接信息Fetchlists:将WebDB所存储的连接分成多个组，来用于分布式检索Fetchers:检索Fetchlist中的内容并下载到本地，共有两项输出：分别是连接的update信息和内容co
javaman_chen·2012-01-06 09:15

Nutch加Hadoop集群搭建

1、ApacheNutch  ApacheNutch是一个用于网络搜索的开源框架，它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。1.1、Nutch的组件结构WebDB:存储网页数据和连接信息Fetchlists:将WebDB所存储的连接分成多个组，来用于分布式检索Fetchers:检索Fetchlist中的内容并下载到本地，共有两项输出：分别是连接的update信息和内容
JavaMan_chen·2012-01-06 09:00

hadoop集群环境搭建

主要参考资料当然是官方文档了：Hadoop集群搭建：http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.htmlHadoop快速入门
caowenkun·2011-12-15 14:00

Hadoop 集群 傻瓜式搭建手记 （一） 软件准备

主要参考资料当然是官方文档了：Hadoop集群搭建：http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.htmlHadoop快速入门
lee_leefox·2011-12-11 22:00
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他