大数据编程hadoop系列

测试眼里的Hadoop系列 之Terasort

TeraSort是Hadoop的测试中很有用的一个工具，但以前只是粗略的知道它的功能和用法，简单的用它做了几个测试用例。实际上，对于这种比较通用的工具，如果能够了解它更多一些的话，对于理解Hadoop是很有帮助的，同时也可以更好的利用它来帮助测试。最近有点时间，就了解了一些它的背景，代码实现原理等等，就先记录下来吧。1.Hadoop与SortBenchmarksSortBenchmark(http
yuesichiu·2013-12-13 10:00

hadoop2.0介绍（一）

一、概述现在大数据很“热”，hadoop系列（也称为TheHadoopProjectEcosystem）东西随着也很“热”，不过hadoop也确实有此“资本”，hadoop起源于google的产品，本身就是为海量数据量身定做的
guxch·2013-11-26 10:14

hadoop2.0介绍（一）

一、概述现在大数据很“热”，hadoop系列（也称为TheHadoopProjectEcosystem）东西随着也很“热”，不过hadoop也确实有此“资本”，hadoop起源于google的产品，本身就是为海量数据量身定做的
guxch·2013-11-26 10:00

#Note# Analyzing Twitter Data with Apache Hadoo...

#Note#AnalyzingTwitterDatawithApacheHadoop系列1、2、[email protected]/09/28-2013/09/30markdown的语法高亮格式在
erpingwu·2013-10-04 23:00

阅读之痕-2013-09

阅读之痕-2013/[email protected]/09/20-2013/09/232013/09/30AnalyzingTwitterDatawithApacheHadoop
erpingwu·2013-09-20 16:00

【Apache Hadoop系列】hadoop伪分布式配置问题集锦

问题1：couldonlybereplicatedto0nodes,insteadof12013-06-2411:39:32,383ERRORorg.apache.hadoop.security.UserGroupInformation:PriviledgedActionExceptionas:zqgamecause:java.io.IOException:File/data/zqhadoop/d
WeiJonathan·2013-06-24 15:00

hadoop，hbase，hive 安装snappy压缩

最近又安装了一次hadoop系列，以前装过几次，但总也是磕磕碰碰的，本来想这次安装一步到位，可惜以前记录不够详细，中间还是过程还是有些遗漏，这次把过程详细记录起来。
相国·2013-05-12 18:32

hadoop，hbase，hive 安装snappy压缩

   最近又安装了一次hadoop系列，以前装过几次，但总也是磕磕碰碰的，本来想这次安装一步到位，可惜以前记录不够详细，中间还是过程还是有些遗漏，这次把过程详细记录起来。
lgnlgn·2013-05-12 18:00

大数据处理-序

  这一个月来，都在忙大数据处理的项目，主要接触了Hadoop系列，如MapReduce V1, HDFS, Hbase, Hive, Yarn(MapReduce V2) 和 Hyracks
Djava.sohu.com·2013-04-17 22:00

【Apache Hadoop系列】hadoop源码编译问题记录

源码编译问题1：org.apache.maven.lifecycle.LifecycleExecutionException:Failedtoexecutegoalorg.apache.maven.plugins:maven-compiler-plugin:2.5.1:compile(default-compile)onprojecthadoop-common:Compilationfailure
WeiJonathan·2013-04-12 09:00

PIG资源

p=385[hadoop系列]Pig的安装和简单示例http://blog.csdn.
paulwong·2013-04-05 18:00

初识数据挖掘与分析的魅力

今天我再进入亚马逊首页，看到的内容几乎全是hadoop系列相关的书、Thinkpad系列笔记本，司马懿曹操唐朝的书，外加书籍排行榜之类的，总之这
bingyingao·2013-03-15 11:00

关于Hadoop系列文章

Hadoop系列文章全部转载自马哥教育    马哥教育：http://mageedu.blog.51cto.com Hadoop整个系列文章还要涉及到以下话题：1、HDFS命令行接口的使用；2、完全分布式
马誉·2013-03-12 11:14

关于Hadoop系列文章

Hadoop系列文章全部转载自马哥教育马哥教育：http://mageedu.blog.51cto.comHadoop整个系列文章还要涉及到以下话题：1、HDFS命令行接口的使用；2、完全分布式Hadoop
马誉·2013-03-12 11:14

Hadoop系列之十：Hadoop配置文件及常用配置参数详解(未完成)

1、Hadoop的配置文件hadoop-env.sh:用于定义hadoop运行环境相关的配置信息，比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等；core-site.xml:用于定义系统级别的参数，如HDFSURL、Hadoop的临时目录以及用于rack-aware集群中的配置文件的配置等，此中的参数定义
马誉·2013-03-12 10:54

Hadoop系列之十：Hadoop配置文件及常用配置参数详解(未完成)

1、Hadoop的配置文件hadoop-env.sh:用于定义hadoop运行环境相关的配置信息，比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等；core-site.xml:用于定义系统级别的参数，如HDFSURL、Hadoop的临时目录以及用于rack-aware集群中的配置文件的配置等，此中的参数定义
马誉·2013-03-12 10:54

Hadoop系列之九：Hadoop集群伪分布式模式的实现详解

1、Hadoop依赖软件Hadoop基于Java语言开发，因此其运行严重依赖于JDK(JavaDevelopmentKit)，并且Hadoop的许多功能依赖于Java6及以后的版本才提供的特性。Hadoop可以良好地运行于经过测试的各JDK，如SunJDK、OpenJDK、OracleJRockit、IBMJDK各自实现的某些版本。但迄今为止，HotSpotJVM仍是性能最好且与Hadoop搭配运
马誉·2013-03-12 10:20

Hadoop系列之九：Hadoop集群伪分布式模式的实现详解

1、Hadoop依赖软件Hadoop基于Java语言开发，因此其运行严重依赖于JDK(JavaDevelopmentKit)，并且Hadoop的许多功能依赖于Java6及以后的版本才提供的特性。Hadoop可以良好地运行于经过测试的各JDK，如SunJDK、OpenJDK、OracleJRockit、IBMJDK各自实现的某些版本。但迄今为止，HotSpotJVM仍是性能最好且与Hadoop搭配运
马誉·2013-03-12 10:20

Hadoop系列之八：Hadoop集群

1、合并MapReduce集群与HDFS集群在调度运行一个作业时，将map任务等直接运行于要处理的数据所存储的HDFS的数据节点上，可避免大量的数据传输，实现数据处理的本地性，进而大大提高整个过程的完成效率，这也正是Hadoop集群的部署方式。如下图所示。在一个小于50个节点的小规模集群中，可以将NameNode与JobTracker合并于同一个节点上运行。而整个集群共有5类运行的核心进程，它们是
马誉·2013-03-12 10:45

Hadoop系列之八：Hadoop集群

1、合并MapReduce集群与HDFS集群在调度运行一个作业时，将map任务等直接运行于要处理的数据所存储的HDFS的数据节点上，可避免大量的数据传输，实现数据处理的本地性，进而大大提高整个过程的完成效率，这也正是Hadoop集群的部署方式。如下图所示。在一个小于50个节点的小规模集群中，可以将NameNode与JobTracker合并于同一个节点上运行。而整个集群共有5类运行的核心进程，它们是
马誉·2013-03-12 10:45

Hadoop系列之七：分布式文件系统HDFS(2)

1、访问HDFS文件系统HDFS是工作于用户空间的文件系统，它的树状文件系统是独立的，不能像传统上工作于内核空间的文件系统一样挂载至当前操作系统的目录树上对HDFS进行访问，传统上实现文件或目录管理的命令如ls、cat等此处也无法正常使用。对HDFS文件系统上的文件进行访问，需要通过HDFS的API或者由hadoop提供的命令行工具进行。1.1HDFS用户接口(1)hadoopdfs命令行接口；(
马誉·2013-03-12 10:19

Hadoop系列之七：分布式文件系统HDFS(2)

1、访问HDFS文件系统HDFS是工作于用户空间的文件系统，它的树状文件系统是独立的，不能像传统上工作于内核空间的文件系统一样挂载至当前操作系统的目录树上对HDFS进行访问，传统上实现文件或目录管理的命令如ls、cat等此处也无法正常使用。对HDFS文件系统上的文件进行访问，需要通过HDFS的API或者由hadoop提供的命令行工具进行。1.1HDFS用户接口(1)hadoopdfs命令行接口；(
马誉·2013-03-12 10:19

Hadoop系列之六：分布式文件系统HDFS

1、MapReduce与分布式文件系统前面的讨论中，我们已经得知，Hadoop中实现的MapReduce是一个编程模型和运行框架，它能够通过JobTracker接收客户提交的作业而后将其分割为多个任务后并行运行在多个TaskTracker上。而问题是，这些TaskTracker如何高效获取所要处理的数据？在传统的高性能集群中，计算节点和存储节点是各自独立的，它们之间通过高速网络完成互联，然而，在面
马誉·2013-03-12 10:50

Hadoop系列之六：分布式文件系统HDFS

1、MapReduce与分布式文件系统前面的讨论中，我们已经得知，Hadoop中实现的MapReduce是一个编程模型和运行框架，它能够通过JobTracker接收客户提交的作业而后将其分割为多个任务后并行运行在多个TaskTracker上。而问题是，这些TaskTracker如何高效获取所要处理的数据？在传统的高性能集群中，计算节点和存储节点是各自独立的，它们之间通过高速网络完成互联，然而，在面
马誉·2013-03-12 10:50

Hadoop系列之五：MapReduce进阶(2)

1、MapReduce作业、集群及其逻辑架构前文已经描述，MapReduce是一个编程框架，它为程序员提供了一种快速开发海量数据处理程序的编程环境，并能够让基于这种机制开发出的处理程序以稳定、容错的方式并行运行于由大量商用硬件组成的集群上。同时，MapReduce又是一个运行框架，它需要为基于MapReduce机制开发出的程序提供一个运行环境，并透明管理运行中的各个细节。每一个需要由MapRedu
马誉·2013-03-12 10:25

Hadoop系列之五：MapReduce进阶(2)

1、MapReduce作业、集群及其逻辑架构前文已经描述，MapReduce是一个编程框架，它为程序员提供了一种快速开发海量数据处理程序的编程环境，并能够让基于这种机制开发出的处理程序以稳定、容错的方式并行运行于由大量商用硬件组成的集群上。同时，MapReduce又是一个运行框架，它需要为基于MapReduce机制开发出的程序提供一个运行环境，并透明管理运行中的各个细节。每一个需要由MapRedu
马誉·2013-03-12 10:25

Hadoop系列之五：MapReduce进阶(2)

1、MapReduce作业、集群及其逻辑架构前文已经描述，MapReduce是一个编程框架，它为程序员提供了一种快速开发海量数据处理程序的编程环境，并能够让基于这种机制开发出的处理程序以稳定、容错的方式并行运行于由大量商用硬件组成的集群上。同时，MapReduce又是一个运行框架，它需要为基于MapReduce机制开发出的程序提供一个运行环境，并透明管理运行中的各个细节。每一个需要由MapRedu
马誉·2013-03-12 10:15

Hadoop系列之五：MapReduce进阶(2)

1、MapReduce作业、集群及其逻辑架构前文已经描述，MapReduce是一个编程框架，它为程序员提供了一种快速开发海量数据处理程序的编程环境，并能够让基于这种机制开发出的处理程序以稳定、容错的方式并行运行于由大量商用硬件组成的集群上。同时，MapReduce又是一个运行框架，它需要为基于MapReduce机制开发出的程序提供一个运行环境，并透明管理运行中的各个细节。每一个需要由MapRedu
马誉·2013-03-12 10:15

Hadoop系列之四：MapReduce进阶

1、mapper和reducerMapReduce对数据的处理分为两个阶段：map阶段和reduce阶段，这两个阶段分别由用户开发的map函数和reduce函数完成，在MapReduce运行环境中运行时，它们也分别被称为mapper和reducer。键值对(key-valuepair)是MapReduce的基础数据结构，mapper和reducer读入和输出的数据均为键值对。MapReduce中，
马誉·2013-03-12 10:43

Hadoop系列之四：MapReduce进阶

1、mapper和reducerMapReduce对数据的处理分为两个阶段：map阶段和reduce阶段，这两个阶段分别由用户开发的map函数和reduce函数完成，在MapReduce运行环境中运行时，它们也分别被称为mapper和reducer。键值对(key-valuepair)是MapReduce的基础数据结构，mapper和reducer读入和输出的数据均为键值对。MapReduce中，
马誉·2013-03-12 10:43

Hadoop系列之三：函数式编程语言和MapReduce

1、MapReduce和大数据问题海量数据并行处理的核心思想无非是将一个较大的问题进行“分割包围、逐个歼灭”。然而其难点和关键点在于如何将一个大的问题分分割成多个可以分别在不同的CPU上或不同的主机上进行处理的独立小问题，而且这些独立进行处理的小问题所产生的中间结果又该如何合并成最终结果并予以输出。因此，看似简单的化整为零的处理思想却不得不面临如下的难题：(1)如何将大问题分割为小任务？进一步地，
马誉·2013-03-12 10:16

Hadoop系列之三：函数式编程语言和MapReduce

1、MapReduce和大数据问题海量数据并行处理的核心思想无非是将一个较大的问题进行“分割包围、逐个歼灭”。然而其难点和关键点在于如何将一个大的问题分分割成多个可以分别在不同的CPU上或不同的主机上进行处理的独立小问题，而且这些独立进行处理的小问题所产生的中间结果又该如何合并成最终结果并予以输出。因此，看似简单的化整为零的处理思想却不得不面临如下的难题：(1)如何将大问题分割为小任务？进一步地，
马誉·2013-03-12 10:16

Hadoop系列之二：大数据、大数据处理模型及MapReduce

1、大数据(bigdata)什么是大数据？wikipedia上面给出了这样的定义：Ininformationtechnology,bigdataisacollectionofdatasetssolargeandcomplexthatitbecomesdifficulttoprocessusingon-handdatabasemanagementtoolsortraditionaldataproce
马誉·2013-03-12 10:45

Hadoop系列之一：大数据存储及处理平台产生的背景

传统的关系型数据库中的表通常由一个或多个字段组成，每个字段都预先定义了其可存储数据的格式及约束等，这类的数据就是结构化数据(structureddata)。一个设计良好的数据库在其schema中定义这些格式或约束，并由相应的RDBMS为这些提供实现保证。相应地，非结构化数据(unstructuredData)就是指那些没有一个预定义的数据模型或不适于存储在RDBMS中的数据，这些数据没有额外的描述
马誉·2013-03-12 10:02

Hadoop系列之一：大数据存储及处理平台产生的背景

传统的关系型数据库中的表通常由一个或多个字段组成，每个字段都预先定义了其可存储数据的格式及约束等，这类的数据就是结构化数据(structureddata)。一个设计良好的数据库在其schema中定义这些格式或约束，并由相应的RDBMS为这些提供实现保证。相应地，非结构化数据(unstructuredData)就是指那些没有一个预定义的数据模型或不适于存储在RDBMS中的数据，这些数据没有额外的描述
马誉·2013-03-12 10:02

HBase设计：看上去很美

缘起随着hadoop系列的兴起，基于HDFS的大规模KV存储系统HBase也进入“大规模使用阶段”。网上的Hbase资料很多，学习成本正在下降。
cometwo·2013-03-02 18:45

[置顶] 【Apache Hadoop系列】Hadoop1.0.4+zookeeper3.5.4+hbase0.94.5分布式部署

一、HADOOP安装配置步骤1.1、服务器的准备四台Redhat服务器192.168.130.170master 192.168.130.168dd1 192.168.130.162dd2 192.168.130.248dd31.2、安装和配置JDK环境安装JDK1.6，并在/etc/profile设置好环境变量具体步骤：1.2.1、下载地址：http://www.oracle.com/techn
WeiJonathan·2013-02-19 14:00

测试眼里的Hadoop系列 之Terasort

TeraSort是Hadoop的测试中很有用的一个工具，但以前只是粗略的知道它的功能和用法，简单的用它做了几个测试用例。实际上，对于这种比较通用的工具，如果能够了解它更多一些的话，对于理解Hadoop是很有帮助的，同时也可以更好的利用它来帮助测试。最近有点时间，就了解了一些它的背景，代码实现原理等等，就先记录下来吧。1. Hadoop与SortBenchmarksSortBenchmark(htt
anzelin_ruc·2013-01-30 15:00

关于Hadoop系列文章

Hadoop整个系列文章还要涉及到以下话题：1、HDFS命令行接口的使用；2、完全分布式Hadoop；3、Hadoop硬件选型；4、Hadoop调优；5、Hadoop调度方法、常用参数、调优；6、Hadoop集群维护(增减节点等)；7、Hadoop安全：基于Kerberos认证；8、Hadoop集群监控；9、HadoopI/O；Flume、Scribe和sqoop；关于HBase:1、NoSQL的
马哥教育·2013-01-09 22:06

关于Hadoop系列文章

Hadoop整个系列文章还要涉及到以下话题：1、HDFS命令行接口的使用；2、完全分布式Hadoop；3、Hadoop硬件选型；4、Hadoop调优；5、Hadoop调度方法、常用参数、调优；6、Hadoop集群维护(增减节点等)；7、Hadoop安全：基于Kerberos认证；8、Hadoop集群监控；9、HadoopI/O；Flume、Scribe和sqoop；关于HBase:1、NoSQL的
马哥教育·2013-01-09 22:06

Hadoop系列之十：Hadoop配置文件及常用配置参数详解(未完成)

1、Hadoop的配置文件 hadoop-env.sh:用于定义hadoop运行环境相关的配置信息，比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等； core-site.xml:用于定义系统级别的参数，如HDFSURL、Hadoop的临时目录以及用于rack-aware集群中的配置文件的配置等，此中的参数
马哥教育·2013-01-08 21:29

Hadoop系列之十：Hadoop配置文件及常用配置参数详解(未完成)

1、Hadoop的配置文件hadoop-env.sh:用于定义hadoop运行环境相关的配置信息，比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等；core-site.xml:用于定义系统级别的参数，如HDFSURL、Hadoop的临时目录以及用于rack-aware集群中的配置文件的配置等，此中的参数定义
马哥教育·2013-01-08 21:29

Hadoop系列之九：Hadoop集群伪分布式模式的实现详解

1、Hadoop依赖软件Hadoop基于Java语言开发，因此其运行严重依赖于JDK(JavaDevelopmentKit)，并且Hadoop的许多功能依赖于Java6及以后的版本才提供的特性。Hadoop可以良好地运行于经过测试的各JDK，如SunJDK、OpenJDK、OracleJRockit、IBMJDK各自实现的某些版本。但迄今为止，HotSpotJVM仍是性能最好且与Hadoop搭配运
马哥教育·2013-01-05 16:47

Hadoop系列之九：Hadoop集群伪分布式模式的实现详解

1、Hadoop依赖软件Hadoop基于Java语言开发，因此其运行严重依赖于JDK(JavaDevelopmentKit)，并且Hadoop的许多功能依赖于Java6及以后的版本才提供的特性。Hadoop可以良好地运行于经过测试的各JDK，如SunJDK、OpenJDK、OracleJRockit、IBMJDK各自实现的某些版本。但迄今为止，HotSpotJVM仍是性能最好且与Hadoop搭配运
马哥教育·2013-01-05 16:47

Hadoop系列之八：Hadoop集群

1、合并MapReduce集群与HDFS集群在调度运行一个作业时，将map任务等直接运行于要处理的数据所存储的HDFS的数据节点上，可避免大量的数据传输，实现数据处理的本地性，进而大大提高整个过程的完成效率，这也正是Hadoop集群的部署方式。如下图所示。在一个小于50个节点的小规模集群中，可以将NameNode与JobTracker合并于同一个节点上运行。而整个集群共有5类运行的核心进程，它们是
马哥教育·2013-01-05 11:14

Hadoop系列之八：Hadoop集群

1、合并MapReduce集群与HDFS集群在调度运行一个作业时，将map任务等直接运行于要处理的数据所存储的HDFS的数据节点上，可避免大量的数据传输，实现数据处理的本地性，进而大大提高整个过程的完成效率，这也正是Hadoop集群的部署方式。如下图所示。在一个小于50个节点的小规模集群中，可以将NameNode与JobTracker合并于同一个节点上运行。而整个集群共有5类运行的核心进程，它们是
马哥教育·2013-01-05 11:14

Hadoop系列之七：分布式文件系统HDFS(2)

1、访问HDFS文件系统HDFS是工作于用户空间的文件系统，它的树状文件系统是独立的，不能像传统上工作于内核空间的文件系统一样挂载至当前操作系统的目录树上对HDFS进行访问，传统上实现文件或目录管理的命令如ls、cat等此处也无法正常使用。对HDFS文件系统上的文件进行访问，需要通过HDFS的API或者由hadoop提供的命令行工具进行。1.1HDFS用户接口(1)hadoopdfs命令行接口；(
马哥教育·2013-01-04 14:12

Hadoop系列之七：分布式文件系统HDFS(2)

1、访问HDFS文件系统HDFS是工作于用户空间的文件系统，它的树状文件系统是独立的，不能像传统上工作于内核空间的文件系统一样挂载至当前操作系统的目录树上对HDFS进行访问，传统上实现文件或目录管理的命令如ls、cat等此处也无法正常使用。对HDFS文件系统上的文件进行访问，需要通过HDFS的API或者由hadoop提供的命令行工具进行。1.1HDFS用户接口(1)hadoopdfs命令行接口；(
马哥教育·2013-01-04 14:12

Hadoop系列之六：分布式文件系统HDFS

1、MapReduce与分布式文件系统 前面的讨论中，我们已经得知，Hadoop中实现的MapReduce是一个编程模型和运行框架，它能够通过JobTracker接收客户提交的作业而后将其分割为多个任务后并行运行在多个TaskTracker上。而问题是，这些TaskTracker如何高效获取所要处理的数据？在传统的高性能集群中，计算节点和存储节点是各自独立的，它们之间通过高速网络完成互联，然而，在
马哥教育·2013-01-04 12:52

Hadoop系列之六：分布式文件系统HDFS

1、MapReduce与分布式文件系统前面的讨论中，我们已经得知，Hadoop中实现的MapReduce是一个编程模型和运行框架，它能够通过JobTracker接收客户提交的作业而后将其分割为多个任务后并行运行在多个TaskTracker上。而问题是，这些TaskTracker如何高效获取所要处理的数据？在传统的高性能集群中，计算节点和存储节点是各自独立的，它们之间通过高速网络完成互联，然而，在面
马哥教育·2013-01-04 12:52
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他