Hadoop系列第6页

Hadoop系列之（三）：使用Cloudera部署，管理Hadoop集群

1.Cloudera介绍Hadoop是一个开源项目，Cloudera对Hadoop进行了商业化，简化了安装过程，并对hadoop做了一些封装。根据使用的需要，Hadoop集群要安装很多的组件，一个一个安装配置起来比较麻烦，还要考虑HA，监控等。使用Cloudera可以很简单的部署集群，安装需要的组件，并且可以监控和管理集群。 CDH是Cloudera公司的发行版，包含Hadoop，Spark，H

ee900222·2016-01-29 13:00

时空大数据研究进展

第一部分：Hadoop系列1.Hadoop-GIS项目：AHighPerformanceSpatialDataWarehousingSystemOverMapReduce简介：https://sites.google.com

wangshgeo·2016-01-19 10:00

（四）hadoop系列之__hadoop搭建（单机配置）

1.Ubuntu下用命令(自动下载并安装) $sudoapt-getinstallssh $sudoapt-getinstallrsync 2.redhatlinux9 i:默认已经安装查看版本：#rpm-qopenssh-server ii:设置为开机自启动 ntsysv打开窗口（互动式操作界面）--启动或停止服务提供了简单的界面如果sshd服务没有启动，则在sshd前面的

袁梓皓·2016-01-15 10:00

Hadoop系列之六：分布式文件系统HDFS

1、MapReduce与分布式文件系统前面的讨论中，我们已经得知，Hadoop中实现的MapReduce是一个编程模型和运行框架，它能够通过JobTracker接收客户提交的作业而后将其分割为多个任务后并行运行在多个TaskTracker上。而问题是，这些TaskTracker如何高效获取所要处理的数据？在传统的高性能集群中，计算节点和存储节点是各自独立的，它们之间通过高速网络完成互联，然而，在

马哥linux运维·2016-01-11 21:00

Hadoop系列之五：MapReduce进阶(2)

1、MapReduce作业、集群及其逻辑架构前文已经描述，MapReduce是一个编程框架，它为程序员提供了一种快速开发海量数据处理程序的编程环境，并能够让基于这种机制开发出的处理程序以稳定、容错的方式并行运行于由大量商用硬件组成的集群上。同时，MapReduce又是一个运行框架，它需要为基于MapReduce机制开发出的程序提供一个运行环境，并透明管理运行中的各个细节。每一个需要由MapRed

马哥linux运维·2016-01-11 21:00

Hadoop系列之四：MapReduce进阶

1、mapper和reducerMapReduce对数据的处理分为两个阶段：map阶段和reduce阶段，这两个阶段分别由用户开发的map函数和reduce函数完成，在MapReduce运行环境中运行时，它们也分别被称为mapper和reducer。键值对(key-valuepair)是MapReduce的基础数据结构，mapper和reducer读入和输出的数据均为键值对。MapReduce中，

马哥linux运维·2016-01-11 21:00

Hadoop系列之（二）：Hadoop集群部署

1.Hadoop集群介绍Hadoop集群部署，就是以Clustermode方式进行部署。 Hadoop的节点构成如下：HDFSdaemon： NameNode,SecondaryNameNode,DataNodeYARNdamones：ResourceManager,NodeManager,WebAppProxyMapReduceJobHistoryServer2.集群部署本次测试的分布式环境为：

ee900222·2016-01-04 13:00

Hadoop系列之（一）：Hadoop单机部署

1.Hadoop介绍Hadoop是一个能够对海量数据进行分布式处理的系统架构。Hadoop框架的核心是：HDFS和MapReduce。 HDFS分布式文件系统为海量的数据提供了存储， MapReduce分布式处理框架为海量的数据提供了计算。 2.Hadoop安装2.1安装javaHadoop是使用JAVA写的，所以需要先安装JAVA环境。本次安装的是hadoop-2.7.0，需要JDK7以上版本。

ee900222·2015-12-30 16:00

spring hadoop系列(六)---HbaseSystemException

一、源码/***HBaseDataAccessexception.*@authorCostinLeau*/@SuppressWarnings("serial")publicclassHbaseSystemExceptionextendsUncategorizedDataAccessException{publicHbaseSystemException(Exceptioncause){super(

dalan_123·2015-11-30 09:00

spring hadoop系列(六)---HbaseSystemException

dalan_123·2015-11-30 09:00

spring hadoop系列（五）---spring hadoop hbase之HbaseSynchronizationManager

一、源码如下/***SynchronizationmanagerhandlingthetrackingofHbaseresources(specificallytables).Usedeithermanuallyorthrough{@linkHbaseInterceptor}tobindatabletothethread.*Eachsubsequentcallmadethrough{@linkHb

dalan_123·2015-11-27 18:00

spring hadoop系列（五）---spring hadoop hbase之HbaseSynchronizationManager

dalan_123·2015-11-27 18:00

spring hadoop系列(四) --- spring hadoop hbase

一、源码分析/****hbase采用aop的拦截器，将hbasetable绑定对应的线程在被调用之前；*一旦对应的调用方法获取结果之后将关闭并移除*如果有一个已经绑定的table（来自前面的call或者transaction），*那么interceptor只是简单的操作*同时interceptor经常与HbaseSynchronizationManager结合使用*@authorCostinLea

dalan_123·2015-11-27 17:00

spring-hadoop系列源码(一)

源码如下：/***HTableInterface工具类*用于createtable和releasetable*@since0.21.0*/@InterfaceAudience.Public@InterfaceStability.StablepublicinterfaceHTableInterfaceFactory{ /** *CreatesanewHTableInterface. *创建hba

dalan_123·2015-11-27 14:00

[hadoop系列]Pig的安装和简单演示样例

　　inkfish原创，请勿商业性质转载，转载请注明来源（http://blog.csdn.net/inkfish ）。（来源：http://blog.csdn.net/inkfish）　　Pig是Yahoo!捐献给Apache的一个项目，眼下还在Apache孵化器（incubator）阶段，眼下版本号是v0.5.0。Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-like

·2015-11-13 11:07

[hadoop系列]Pig的安装和简单演示样例

　　inkfish原创，请勿商业性质转载，转载请注明来源（http://blog.csdn.net/inkfish ）。（来源：http://blog.csdn.net/inkfish）　　Pig是Yahoo!捐献给Apache的一个项目，眼下还在Apache孵化器（incubator）阶段，眼下版本号是v0.5.0。Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-like

·2015-11-13 03:26

Hadoop系列（一）hadoop2.2.0源码编译

操作系统：Centos 所需条件：能上网编译所需工具： apache-ant-1.9.2-bin.tar.gz apache-maven-3.0.5-bin.tar.gz findbugs-2.0.2.tar.gz protobuf-2.5.0.tar.gz 编译工具还需配置环境变量到 /etc/profile,并加入的环境变量PATH中； &nbs

·2015-11-12 08:19

Hadoop系列(二)hadoop2.2.0伪分布式安装

一、环境配置安装虚拟机vmware，并在该虚拟机机中安装CentOS 6.4；修改hostname(修改配置文件/etc/sysconfig/network中的HOSTNAME=hadoop),修改IP到主机名的映射(vi /etc/hosts ,添加 127.0.0.1 hadoop); 按照JDK,下载jdk1.7.0_60

·2015-11-11 03:17

（六）hadoop系列之__hadoop分布式集群环境搭建

配置hadoop(master,slave1,slave2) 说明： NameNode: master DataNode: slave1,slave2 -------------------------------------------------------- A. 修改主机的master 和 slaves i. 配置slaves

·2015-11-07 10:20

（四）hadoop系列之__hadoop搭建（单机配置）

1.Ubuntu下用命令 (自动下载并安装) $ sudo apt-get install ssh $ sudo apt-get install rsync 2.redhat linux9 i:默认已经安装查看版本：# rpm -q openssh-server ii:设置为开机自启动 ntsysv 打开窗口（互动式操作界面

·2015-11-07 10:19

（五）hadoop系列之__集群搭建SSH无密访问多台机器

免密码ssh设置现在确认能否不输入口令就用ssh登录localhost: $ ssh localhost 如果不输入口令就无法用ssh登陆localhost，执行下面的命令： 1. 并修改hosts映射: 添加：(配置三台机器hosts,保证可以互相访问) $ vi /etc/hosts 127.0.0.1 localhost.localdom

·2015-11-07 10:19

（三）hadoop系列之__CRT(SecureCRTPortable)的使用

　　SecureCRTPortable 属于终端仿真程序，支持SSH（查看此处http://blog.csdn.net/macrossdzh/article/details/5691924）协议。利用CRT可以很方便操作虚拟机终端。进入正题...... 1. 首先，下载SecureCRTPortable软件。 2.直接执行SecureCRTPortable.exe文件即可。 3.执行效果图。

·2015-11-07 10:18

（二）hadoop系列之__linux虚拟机搭建JDK和Eclipse环境

　　搭建JDK和Eclipse环境,首先需要把文件挂载或共享到linux虚拟机上。方式有两种： 1. 利用vwware自带的文件共享功能（建议用iso方式）。 2. 可以利用另外的软件工具。我这里用的是SSH(SshClient).大家可以打网上下载。我再这里用的是挂载的方式，也就是把需要的软件打包为iso镜像文件，然后通过vmware的cd/dvd挂载到linu

·2015-11-07 10:17

（一）hadoop系列之__XP环境下搭建linux虚拟机

1.有关vmware worksation9的安装查找网上相关资料。（我的版本：VMware-workstation-full-9.0.2-1031769.exe）下载地址：http://pan.baidu.com/share/link?shareid=377762&uk=3842943586 2.安装RedHat Linux9.需要下载的相关软件：　　 A

·2015-11-07 10:16

spring hadoop系列二（MapReduce and Distributed cache）

关于MapReduceandDistributedCache一、创建HadoopJob在前面的系列一里面我们已经知道如何配置hadoop了，在完成配置工作之后，我们如何提交job，并运行这些job将是接下来我们讲述的使用SHDP创建job是相当简单的指定reduce 和我们用spring定义bean操作的写法很相似。上面的代码可以看到没有指定hadoopconfiguration，在默认情况下，则

dalan_123·2015-11-06 15:00

spring hadoop系列二（MapReduce and Distributed cache）

dalan_123·2015-11-06 15:00

spring hadoop系列一

一、要求1、对于springhadoop2.1构建在jdk7上面（最低要求：jdk6及其以上），hadoop2.6默认构建在springframework4.1上。2、springforApachehadoop2.1支持如下hadoop版本 ApacheHadoop2.4.1 ApacheHadoop2.5.2 ApacheHadoop2.6.0 PivotalHD2.1 ClouderaCDH

dalan_123·2015-11-05 23:00

spring hadoop系列一

dalan_123·2015-11-05 23:00

HBase: 看上去很美

缘起随着hadoop系列的兴起，基于HDFS的大规模KV存储系统HBase也进入“大规模使用阶段”。网上的Hbase资料很多，学习成本正在下降。

·2015-11-02 11:31

Facebook为何选择云计算开源Hadoop

前段时间Facebook的新版消息系统发布，Facebook对HBase的成功使用也使得很多的HBase案例得以出现，下文是Facebook的 Hadoop工程师Dhruba Borthakur发表的Hadoop

·2015-10-31 11:54

Hadoop系列相关优秀网站收集

Hadoop技术论坛：http://www.hadoopor.com HBase相关技术收集：http://hbase.info/ 趋势科技中国研发中心 SPN研发团队技术博客：http://www.spnguru.com/ 淘宝搜索技术博客：http://www.searchtb.com/ Alex的个人博客：http://www.gemini5201314.net/ 逖靖寒的世界：h

·2015-10-30 15:19

Hadoop系列之实验环境搭建

实验环境基本配置硬件：硬盘单节点50GB，1G内存，单核。操作系统：CentOS6.4 64bit Hadoop：2.20 64bit(已编译) JDK：jdk1.7 磁盘分区： / 5GB /boot 100MB /usr 5GB /tmp 500MB swap 2GB /

·2015-10-27 13:23

我关注的一周技术动态 2015.10.25

hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io要点: 一直非常不喜欢hadoop系列对JVM的重度依赖,可能是我不熟悉java的原因吧

zhengran_baidu·2015-10-25 08:00

从零自学Hadoop系列索引

本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文链接，谢谢合作。文章是哥(mephisto)写的，SourceLink从零自学Hadoop(01)：认识Hadoop从零自学Hadoop(02)：环境准备从零自学Hadoop(03)：Linux准备上从零自学Hadoop(04)：Linux准备下从零自学Hadoop(05)：Ambari从零自学Hadoop(06)：集群

sinodzh·2015-09-24 16:00

Hadoop之倒排索引

本文作为Hadoop系列的第二篇，将介绍分布式情况下搜索引擎的基础实现，即“倒排索引”。1.问题描述将所有不同文件里面的关键词进行存储，并实现快速检索。

Sea_Sky·2015-09-19 00:00

Hadoop系列之十：Hadoop配置文件及常用配置参数详解(未完成)

马哥教育Linux·2015-09-12 16:00

Hadoop系列之六：分布式文件系统HDFS

magedu_Linux·2015-09-11 11:57

Hadoop系列之九：Hadoop集群伪分布式模式的实现详解

马哥教育Linux·2015-09-11 10:00

Hadoop系列之九：Hadoop集群伪分布式模式的实现详解

马哥教育Linux·2015-09-11 10:00

Hadoop系列之八：Hadoop集群

马哥教育Linux·2015-09-11 10:00

Hadoop系列之七：分布式文件系统HDFS(2)

马哥教育Linux·2015-09-11 10:00

Hadoop系列之六：分布式文件系统HDFS

马哥教育Linux·2015-09-11 10:00

Hadoop系列之五：MapReduce进阶(2)

马哥教育Linux·2015-09-11 10:00

Hadoop系列之四：MapReduce进阶

马哥教育Linux·2015-09-10 21:00

hadoop系列：zookeeper（3）——zookeeper核心原理（事件）

1、概述上一篇文章，我们对zookeeper中的数据组织结构、Leader选举原理进行了讲述（http://blog.csdn.net/yinwenjie/article/details/47613309）。这篇文章我们紧接上文讲解zookeeper中的事件机制。并通过示例代码告诉读者怎么使用zookeeper中的事件通知器：watcher。2、zookeeper中的监听机制按照上文中的讲解，我们

yinwenjie·2015-08-18 20:00

hadoop系列：zookeeper（2）——zookeeper核心原理（选举）

1、前述上篇文章《hadoop系列：zookeeper（1）——zookeeper单点和集群安装》（http://blog.csdn.net/yinwenjie/article/details/47361419

yinwenjie·2015-08-15 13:00

hadoop系列：zookeeper（1）——zookeeper单点和集群安装

1、概述8月份的第一周，忙得晕头转向，为了解决OSGI-Felix下hibernateJPA的ClassLoader问题，就耽误了至少两天时间，还好在周五系统成功在servicemix上运行了。已经几天时间没有碰博客了，刚好下周有安排给实验室的几个大神讨论zookeeper相关技术。我这么一想，咦~~刚好这周末准备PPT的时候，还不如就预先做几篇关于zookeeper的文章，这样既可以两件工作合成

yinwenjie·2015-08-08 23:00

Htrace on Hadoop, Hbase and HbaseClient

Hadoop2.6的新特性包含了Trace功能，一个类似于GoogleDapper的分布式跟踪工具，为Hadoop系列应用提供请求跟踪和性能分析。

hustsselbj·2015-06-23 11:00

设置XX_HOME环境变量的目的

安装Hadoop系列工具的时候，动不动就要设置XX_HOME，有时候很是费解。因为我在MacOSX上用brew套件安装器去安装这些工具，然后我没有设置XX_HOME也能在终端运行命令。

liaoqianwen123·2015-05-02 17:00

Hadoop 2.2.0和HBase 0.98.11伪分布式

前期准备Hadoop系列软件软件功用HBase数据库Hive数据仓库Mahout机器学习算法、数据挖掘Pig数据分析Avro数据序列化Chukwa日志处理、监控系统Zookeeper协调服务Hadoopversionsupportmatrix

liuyuan185442111·2015-04-21 16:00

推荐频道

Hadoop系列

Hadoop系列之（三）：使用Cloudera部署，管理Hadoop集群

时空大数据研究进展

（四）hadoop系列之__hadoop搭建（单机配置）

Hadoop系列之六：分布式文件系统HDFS

Hadoop系列之五：MapReduce进阶(2)

Hadoop系列之四：MapReduce进阶

Hadoop系列之（二）：Hadoop集群部署

Hadoop系列之（一）：Hadoop单机部署

spring hadoop系列(六)---HbaseSystemException

spring hadoop系列(六)---HbaseSystemException

spring hadoop系列（五）---spring hadoop hbase之HbaseSynchronizationManager

spring hadoop系列（五）---spring hadoop hbase之HbaseSynchronizationManager

spring hadoop系列(四) --- spring hadoop hbase

spring-hadoop系列源码(一)

[hadoop系列]Pig的安装和简单演示样例

[hadoop系列]Pig的安装和简单演示样例

Hadoop系列（一）hadoop2.2.0源码编译

Hadoop系列(二)hadoop2.2.0伪分布式安装

（六）hadoop系列之__hadoop分布式集群环境搭建

（四）hadoop系列之__hadoop搭建（单机配置）

（五）hadoop系列之__集群搭建SSH无密访问多台机器

（三）hadoop系列之__CRT(SecureCRTPortable)的使用

（二）hadoop系列之__linux虚拟机搭建JDK和Eclipse环境

（一）hadoop系列之__XP环境下搭建linux虚拟机

spring hadoop系列二（MapReduce and Distributed cache）

spring hadoop系列二（MapReduce and Distributed cache）

spring hadoop系列一

spring hadoop系列一

HBase: 看上去很美

Facebook为何选择云计算开源Hadoop

Hadoop系列相关优秀网站收集

Hadoop系列之实验环境搭建

我关注的一周技术动态 2015.10.25

从零自学Hadoop系列索引

Hadoop之倒排索引

Hadoop系列之十：Hadoop配置文件及常用配置参数详解(未完成)

Hadoop系列之六：分布式文件系统HDFS

Hadoop系列之九：Hadoop集群伪分布式模式的实现详解

Hadoop系列之九：Hadoop集群伪分布式模式的实现详解

Hadoop系列之八：Hadoop集群

Hadoop系列之七：分布式文件系统HDFS(2)

Hadoop系列之六：分布式文件系统HDFS

Hadoop系列之五：MapReduce进阶(2)

Hadoop系列之四：MapReduce进阶

hadoop系列：zookeeper（3）——zookeeper核心原理（事件）

hadoop系列：zookeeper（2）——zookeeper核心原理（选举）

hadoop系列：zookeeper（1）——zookeeper单点和集群安装

Htrace on Hadoop, Hbase and HbaseClient

设置XX_HOME环境变量的目的

Hadoop 2.2.0和HBase 0.98.11伪分布式