hadoop集群搭建

2014-01-14---Hadoop的基础学习（八）---HDFS的HA机制及Hadoop集群搭建

1.HA的简介BackgroundPriortoHadoop2.0.0,theNameNodewasasinglepointoffailure(SPOF)inanHDFScluster.EachclusterhadasingleNameNode,andifthatmachineorprocessbecameunavailable,theclusterasawholewouldbeunavailab
终身赤脚·2015-01-20 17:00

Nutch+Hadoop集群搭建

转载自：http://www.open-open.com/lib/view/open1328670771405.html1、ApacheNutch  ApacheNutch是一个用于网络搜索的开源框架，它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。1.1、Nutch的组件结构WebDB:存储网页数据和连接信息Fetchlists:将WebDB所存储的连接分成多个组，来用于
jediael_lu·2015-01-18 10:00

hadoop使用LZO （2）

转自：http://www.tech126.com/hadoop-lzo/自从Hadoop集群搭建以来，我们一直使用的是Gzip进行压缩当时，我对gzip压缩过的文件和原始的log文件分别跑MapReduce
czw698·2015-01-10 18:00

Hadoop集群搭建（三台电脑）

电脑的操作系统是Ubuntu12.0432位，ubuntu-12.04.4-desktop-i386.iso。集群介绍：            三台电脑的用户名都为hadoop      主机名：master   10.10.6.176      服务机：slaver1    10.10.6.242；slaver2   10.10.6.131一、配置      以下是三台机器都要安装和相同配置  
u013758116·2015-01-10 14:00

hadoop集群搭建和测试

在上面的文章中我已经搭建好了一个单机的hadoop，并且可以可是成功前沿：其实所谓搭建无非就是更改几个文件夹下的内容（就是所谓的"配置"）好吧！！下面我来介绍下搭建hadoop集群分布式的步骤1、把hadoop目录下的conf/core-site.xml文件修改成如下： fs.default.name hdfs://huoxin:9000//这里的huoxin必须是主机名字 hadoop.
u010310183·2014-12-09 15:00

(CentOS)hadoop环境搭建，及期间遇到的问题

(一)hadoop集群搭建准备，准备3台机器192.168.80.100 hadoop192.168.80.101datanode1192.168.80.102datanode2首先安装jdk到/usr
a837199685·2014-11-19 22:00

Hadoop集群搭建

Hadoop集群搭建      最近特别看了Hadoop的资料，感觉特别好，整理一下发在自己的博客上，希望对想了解集群的网友有所帮助。
yang_best·2014-11-19 13:00

Hadoop集群搭建完毕后，如何测试是否正常工作？

最近，要在沙箱的环境装一个hadoop的集群，用来建索引所需，装hadoop已经没啥难的了，后面，散仙会把重要的配置信息，贴出来，本次装的hadoop版本是hadoop1.2的版本，如果不知道怎么装的，可以参考这篇文章，安装的具体步骤，散仙在这里不在重述，重点在于hadoop-nd,hadoop-dd,tmp目录的配置，下面是配置文件的示例：core-site.xml的配置： fs.defa
qindongliang1922·2014-10-28 16:00

Hadoop集群搭建完毕后，如何测试是否正常工作？

最近，要在沙箱的环境装一个hadoop的集群，用来建索引所需，装hadoop已经没啥难的了，后面，散仙会把重要的配置信息，贴出来，本次装的hadoop版本是hadoop1.2的版本，如果不知道怎么装的，可以参考这篇文章，安装的具体步骤，散仙在这里不在重述，重点在于hadoop-nd,hadoop-dd,tmp目录的配置，下面是配置文件的示例：core-site.xml的配置： fs.defa
qindongliang1922·2014-10-28 16:00

Hadoop集群搭建完毕后，如何测试是否正常工作？

最近，要在沙箱的环境装一个hadoop的集群，用来建索引所需，装hadoop已经没啥难的了，后面，散仙会把重要的配置信息，贴出来，本次装的hadoop版本是hadoop1.2的版本，如果不知道怎么装的，可以参考这篇文章，安装的具体步骤，散仙在这里不在重述，重点在于hadoop-nd,hadoop-dd,tmp目录的配置，下面是配置文件的示例：core-site.xml的配置： fs.defa
qindongliang1922·2014-10-28 16:00

Hadoop集群搭建完毕后，如何测试是否正常工作？

最近，要在沙箱的环境装一个hadoop的集群，用来建索引所需，装hadoop已经没啥难的了，后面，散仙会把重要的配置信息，贴出来，本次装的hadoop版本是hadoop1.2的版本，如果不知道怎么装的，可以参考这篇文章，安装的具体步骤，散仙在这里不在重述，重点在于hadoop-nd,hadoop-dd,tmp目录的配置，下面是配置文件的示例：core-site.xml的配置： fs.defa
qindongliang1922·2014-10-28 16:00

Hadoop集群搭建完毕后，如何测试是否正常工作？

最近，要在沙箱的环境装一个hadoop的集群，用来建索引所需，装hadoop已经没啥难的了，后面，散仙会把重要的配置信息，贴出来，本次装的hadoop版本是hadoop1.2的版本，如果不知道怎么装的，可以参考这篇文章，安装的具体步骤，散仙在这里不在重述，重点在于hadoop-nd,hadoop-dd,tmp目录的配置，下面是配置文件的示例：core-site.xml的配置： fs.defa
qindongliang1922·2014-10-28 16:00

Hadoop集群搭建完毕后，如何测试是否正常工作？

最近，要在沙箱的环境装一个hadoop的集群，用来建索引所需，装hadoop已经没啥难的了，后面，散仙会把重要的配置信息，贴出来，本次装的hadoop版本是hadoop1.2的版本，如果不知道怎么装的，可以参考这篇文章，安装的具体步骤，散仙在这里不在重述，重点在于hadoop-nd,hadoop-dd,tmp目录的配置，下面是配置文件的示例：core-site.xml的配置： fs.defa
qindongliang1922·2014-10-28 16:00

hadoop集群搭建

一、目的本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。二、先决条件确保在你集群中的每个节点上都安装了所有必需软件。获取Hadoop软件包。三、安装安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。通常，集群里的一台机器被指定为NameNode，另一台不同的机器被
王洪斌·2014-09-29 19:02

hadoop集群搭建

一、目的本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。二、先决条件确保在你集群中的每个节点上都安装了所有必需软件。获取Hadoop软件包。三、安装安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。通常，集群里的一台机器被指定为NameNode，另一台不同的机器被
王洪斌·2014-09-29 19:02

All directories in dfs.data.dir are invalid.

org.apache.hadoop.hdfs.server.datanode.DataNode:Alldirectoriesindfs.data.dirareinvalid.hadoop集群搭建时，会遇见很多奇奇怪怪的异常
hiqj·2014-09-25 20:00

Hadoop集群搭建(-v1.2.1)

Hadoop集群搭建(-v1.2.1)@[hadoop]1.官网下载安装包(版本:1.2.1)2.安装依赖Java和ssh3.解压安装包，添加HADOOP_HOME变量到/etc/profile4.搭建集群机器规划
Cap_zhou·2014-09-24 11:00

完整分布式Hadoop集群搭建过程

历时一周多，终于搭建好最新版本hadoop2.2集群，期间遇到各种问题，作为菜鸟真心被各种折磨，不过当wordcount给出结果的那一刻，兴奋的不得了~~（文当中若有错误之处或疑问欢迎指正，互相学习）PS：转载请注明来源：http://blog.csdn.net/licongcong_0224/article/details/12972889另外：欢迎配置过程中遇到问题的朋友留言，相互讨论，并且能
dihaifeng·2014-09-09 14:14

Hadoop集群搭建

前置条件：1、三台机器，这里通过创建三个VMware虚拟机来模拟三台物理机器2、Linux系统，例如Ubuntu、CentOS、Fedora等，这里是Ubuntu10.043、jdkforlinux版本，这里是jdk-6u25-linux-i586.bin4、Hadoop文件，这里我们选的是hadoop-0.20.1.tar.gz文件一、安装Linux系统$sudoapt-getupdate #更
GarfieldEr007·2014-08-11 14:00

Hadoop2.2_集群搭建

Hadoop集群搭建  目录结构1.Centos安装之后基本配置2.安装和配置JDK3.集群网络环境介绍及快速部署4.ssh免密码登录5.规划系统目录.6.Hadoop集群配置7.Hadoop集群启动 
Big-Data·2014-08-07 14:00

spark学习十二 hive on spark 环境搭建及测试

一台作为Master,另两台作为Slave)编译Spark1.0，使其支持Hadoop2.4.0和Hive运行HiveonSpark的测试用例 (Spark和HadoopNamenode运行在同一台机器)Hadoop
hao707822882·2014-07-22 21:00

Hadoop集群搭建之hive安装配置

一、环境1.操作系统：CentOS6.2 2.java环境：jdk1.6.0_383.hadoop版本：hadoop0.20.24.hive版本：hive-0.9.0二、先决条件操作系统已经安装配置完成java环境、hadoop和mysql三、安装步骤#之后的都为命令（一）解压hive包1、将hive压缩包放在/home/hadoop目录下2、解压hive压缩包#tar-zxvfhive-0.9.
柯小芍·2014-05-28 00:00

Hadoop集群搭建手册

1环境准备A机器/ip准备 4台虚拟机，Centos6.4系统  vim/etc/sysconfig/network,修改对应的hostname分别为namenode，datanode1，datanode2，datanode3  并将下面的内容写入每台机器的/etc/hosts  192.168.247.129namenode  192.168.249.130datanode1  192.168.
低吟浅唱·2014-05-27 10:28

Hadoop集群搭建之Hadoop安装（centos，伪分布）

一、先决条件1.操作系统：CentOS6.2 2.java环境：jdk1.6.0_383.hadoop版本：hadoop0.20.2二、安装步骤1、新建hadoop用户#useraddhadoop2、给hadoop用户root权限，设置hadoop用户的密码1）打开/etc目录下的passwd文件#vi/etc/passwd修改将最后一行的第一个500改成02）设置密码进入hadoop用户#su-
柯小芍·2014-05-26 16:00

Hadoop集群搭建之jdk和ssh无密码配置

一、操作系统CentOS6.2二、jdk安装配置（1）安装jdk1）创建安装目录，在/usr/java（如果没有java目录，先进入usr目录下建立java目录）下建立安装路径#mkdir/usr/java 并将文件拷到该路径下：进入/usr/java目录将jdk*****.bin文件拷贝至该目录中jdk-6u11-linux-i586.bin 这个是自解压的文件，在linux上安装如下：1）先分
柯小芍·2014-05-25 13:00

Nutch+Hadoop集群搭建

Nutch数据包含3个目录结构，分别是：1、Crawldb:用于存储Nutch将要检索的url信息，以及检索状态(是否检索、何时检索)2、Linkdb:用于存储每一个url所包含的超链接信息(包括锚点)3、Segments:一组url的集合，他们作为一个检索单元，可用于分布式检索Segment目录包含以下子目录信息:(1) crawl_generate:定义将要检索的url集合(文件类型为Sequ
haomad·2014-05-21 15:50

hdfs集群搭建

网上很多hadoop集群搭建的文章，我这里只写下hdfs，不写mapreduce那块了。主要用来自己记得。   hadoop版本，我用的是比较新的2.3.0。
memorymyann·2014-05-11 17:00

Hadoop集群搭建过程记录

http://snowfigure.diandian.com/post/2012-09-24/40039595277Hadoop集群搭建过程记录一、前言成为研究僧（研究生），有幸到BOSS冯老师手下接受
·2014-04-23 09:00

Zookeeper集群搭建(简单)(29)

1    搭建zookeeper的集群1.1    zookeeper集群要求至少3个节点(hadoop0,hadoop1,hadoop2)（第27章hadoop集群搭建）,且是奇数个，且节点之间的时间要同步
肖鋭·2014-03-30 20:00

Nutch+Hadoop集群搭建

1、ApacheNutch  ApacheNutch是一个用于网络搜索的开源框架，它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。1.1、Nutch的组件结构WebDB:存储网页数据和连接信息Fetchlists:将WebDB所存储的连接分成多个组，来用于分布式检索Fetchers:检索Fetchlist中的内容并下载到本地，共有两项输出：分别是连接的update信息和内容
lin062854·2014-03-27 17:00

hadoop集群搭建(二)——集群环境配置

团队力量让我们站在云端！真的感觉团队的力量太强大了，整个集群配置能够顺利进行，完全是靠大家合作才能完成。我们确实有很多不明白的地方，但是我们的每一个人都敢于探索，敢于去实践，敢于去做各种尝试，最终的结果就是我们克服了各种困难完成了云端的搭建！好了进入正题，假设每台机器都按照前一篇所属配置好了hadoop环境，那么接下来开始配置集群环境。集群配置分为以下几个步骤：1、修改机器的IP地址等信息2、配置
zb872676223·2014-03-20 12:00

hadoop集群搭建（一）——单机版配置

 这个寒假和团队一起历经千辛万苦，从一开始的迷茫，然后慢慢的摸索终于完成了我们的集群搭建，成功建立起一个小小的云端。单机版hadoop的配置;九死一生，完成hadoop的配置   在开始搭建集群之前我先开始配置单机版的hadoop，说起来真是足够的苦逼啊！虽然最后完成了配置但是这个过程中除了Ubuntu没有被卸载掉重装意外其他的从jdk到ssh再到hadoop都被反复卸掉四五次重装，其中ssh最惨
zb872676223·2014-03-20 12:00

Hadoop集群搭建(27)

Hadoop集群搭建方式：                1.1    确定部署三个节点，分别是hadoop0，hadoop1，hadoop2。                        
肖鋭·2014-03-19 22:00

Hadoop集群搭建

Hadoop是一个开源分布式计算平台,支持密集型分布式应用。以HDFS(HadoopDistributedFilesystem)和MapReduce(GoogleMapReduce的开源实现)为核心，为用户提供了系统底层细节透明的分布式基础架构1.Hadoop实现了MapReduce的编程范式：应用程序被分割成许多小部分，而每个部分都能在集群中的任意节点上执行或重新执行。2.HDFS：存储所有计算
DavideyLee·2014-03-17 13:13

Hadoop集群搭建

Hadoop是一个开源分布式计算平台,支持密集型分布式应用。以HDFS(HadoopDistributedFilesystem)和MapReduce(GoogleMapReduce的开源实现)为核心，为用户提供了系统底层细节透明的分布式基础架构1.Hadoop实现了MapReduce的编程范式：应用程序被分割成许多小部分，而每个部分都能在集群中的任意节点上执行或重新执行。2.HDFS：存储所有计算
DavideyLee·2014-03-17 13:13

Hadoop连载系列之一：Hadoop集群搭建

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,支持密集型分布式应用并以Apache2.0许可协议发布。Hadoop:以Hadoop分布式文件系统HDFS(HadoopDistributedFilesystem)和MapReduce（GoogleMapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构1.Hadoop实现了MapReduce的
guzhoujiexing·2014-03-09 20:46

Hadoop连载系列之一：Hadoop集群搭建

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,支持密集型分布式应用并以Apache2.0许可协议发布。Hadoop:以Hadoop分布式文件系统HDFS(HadoopDistributedFilesystem)和MapReduce（GoogleMapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构1.Hadoop实现了MapReduce的
guzhoujiexing·2014-03-09 20:46

hadoop集群搭建--1

本系列博文我也不知道能不能写完， 今天刚刚在新公司申请了4台机器，明天到位，准备打架hadoop环境， 也准备在这里做下笔记，因为之前搭建hadoop环境遇到很多问题，没有详细记录， 今天就在这里记录下。   hadoop 机器分布：   安装操作系统： centos6.4，为什么选择centos6.4 因为之前做存储的时候， 使用很多新的类库，再低版本没有， 所以选
younglibin·2014-03-04 18:00

hadoop集群搭建--1

本系列博文我也不知道能不能写完， 今天刚刚在新公司申请了4台机器，明天到位，准备打架hadoop环境， 也准备在这里做下笔记，因为之前搭建hadoop环境遇到很多问题，没有详细记录， 今天就在这里记录下。   hadoop 机器分布：   安装操作系统： centos6.4，为什么选择centos6.4 因为之前做存储的时候， 使用很多新的类库，再低版本没有， 所以选
younglibin·2014-03-04 18:00

hadoop2.2.0集群配置 - 64位系统下编译源码过程

hadoop2.2.0集群配置 - 64位系统下编译源码过程         本人写这篇文章的目的是记录个人在hadoop集群搭建过程的一点经验，其中大部分内容来源于互联网
chwshuang·2014-02-15 23:00

hadoop2.2.0集群配置 - 64位系统下编译源码过程

hadoop2.2.0集群配置 - 64位系统下编译源码过程         本人写这篇文章的目的是记录个人在hadoop集群搭建过程的一点经验，其中大部分内容来源于互联网
chwshuang·2014-02-15 23:00

hbase+zookeeper集群搭建

（博客源址http://blog.chinaunix.net/uid-23916356-id-3255678.html）继上一篇的hadoop集群搭建的基础上，再把hbase和zookeeper（独立部署
lxf310·2013-12-11 14:00

hadoop学习一：hadoop 集群搭建

hadoop集群搭建硬件环境：redhat三个节点node1,node2,node3（虚拟机）一：为三个节点新建用户grid二：配置ssh免登录（在node1节点）使用grid用户登录，运行ssh-keygen-trsa
scamer·2013-10-31 22:48

完全分布式Hadoop集群搭建过程~（心血之作啊~~）

历时一周多，终于搭建好最新版本hadoop2.2集群，期间遇到各种问题，作为菜鸟真心被各种折磨，不过当wordcount给出结果的那一刻，兴奋的不得了~~（文当中若有错误之处或疑问欢迎指正，互相学习）PS：转载请注明来源：http://blog.csdn.net/licongcong_0224/article/details/12972889另外：欢迎配置过程中遇到问题的朋友留言，相互讨论，并且能
我是菜鸟要早起·2013-10-23 16:31

完全分布式Hadoop集群搭建过程~（心血之作啊~~）

历时一周多，终于搭建好最新版本hadoop2.2集群，期间遇到各种问题，作为菜鸟真心被各种折磨，不过当wordcount给出结果的那一刻，兴奋的不得了~~（文当中若有错误之处或疑问欢迎指正，互相学习）PS：转载请注明来源：http://blog.csdn.net/licongcong_0224/article/details/12972889另外：欢迎配置过程中遇到问题的朋友留言，相互讨论，并且能
licongcong_0224·2013-10-23 16:00

hadoop 2.2.0 参考资料

完全分布式Hadoop集群搭建过程~（心血之作啊~~）Hadoop新MapReduce框架Yarn详解
w13770269691·2013-10-21 22:00

hadoop集群搭建多用户模式的hive

1.安装和配置mysqla.yum安装mysql[root@masterroot]#yuminstallmysql-server（集群都要装mysql，但只配置一个即可）b.启动mysql服务#service/etc/init.d/mysqldstartc.删除匿名用户在root权限下mysql-uroot-p进入mysql命令行mysql>createdatabasehive_db;mysql>
easonworld·2013-10-11 14:05

hadoop集群搭建-Windows (hadoop cluster on Windows)

Hortonwork公司推出了能在windows平台上运行的大数据处理平台：HDPforWindows,可以使得hadoop集群运行在windows（windowsserver2008R2,windowsserver2012）上。本文使用HDP1.1forWindows和Windowsserver2008R2来搭建hadoop集群。所需软硬件环境： 1)WindowsServer2008R264b
tonyhuang_google_com·2013-08-28 10:00

hadoop集群搭建

环境：操作系统Centos5.564-bit三台节点，计划部署分配如下： ip           主机名      用途172.16.48.201sg201namenode 172.16.48.202sg202datanode172.16.48.203  sg203      datanode三台节点的etc/hosts文件设置如下：[plain] viewplaincopy172.16.48.
tianmo2010·2013-08-26 17:00

hadoop集群搭建-Linux(Haoop cluster on Linux)

1.hadoop简介hadoop是当今流行的分布式并行计算框架和大数据解决方案，利用基于商品硬件的计算机集群，具有容错性好和伸缩性强的特点。造价低廉，技术通用开放，维护和管理方便。特别适合超大数据的处理，对于TB和PB级的数据都可以应付（当然需要往集群中加入更多的机器，上百、上千或者上万台机器的hadoop集群都屡见不鲜）。与其他并行计算不同的一个鲜明特点是其计算理念：代码向数据处移动，而不是数据
tonyhuang_google_com·2013-08-26 14:00
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他