hadoop系列

Hadoop系列－IPC之代码实现

整体结构：在IPC包中，最重要的3个类是Server，Client和RPC，它们具有层次化的结构。 RPC类是对Server、Client的具体化。在RPC类中规定，客户程序发出请求调用时，参数类型必须是Invocation；从服务器返回的值类型必须是ObjectWritable。为了加强理解，可以查看测试类TestIPC。在那里，规定的参数类型与返回值类型都是LongWrita
arenzhj·2015-03-15 11:00

Hadoop系列之一：小象诞生

提及Hadoop这一大数据存储和处理工具，自然要从它的爸爸Doug Cutting说起。Doug Cutting不仅仅是Hadoop的创始人，还是大名鼎鼎的搜索引擎工具Lucene的开创者。一个程序员能有一个开源软件为千万人所用，而且历久弥新，已经是十分难得。兼具多个的就更是寥寥了。有类似经历的如Linus Torvalds，即是Linux发明者同时也开发了Git。2002年，Doug Cutti
tongqingqiu·2014-12-25 03:00

Hadoop系列之二：三足鼎立

上次说到了Hadoop是目前最流行的大数据工具，其核心是HDFS来存储数据和MapReduce来处理数据，但它又不仅仅如此。后来，围绕着Hadoop相继出现了一系列的应用。比如存储结构化数据的HBase，用于和传统数据实现数据迁移的Spooq，SQL接口Hive，用于工作调度的Ozzie，以脚本取代代码完成MapReduce的Pig，机器学习工具集Mahout等等。羽翼渐丰的Hadoop已经一步步
tongqingqiu·2014-12-25 03:00

Hadoop系列之三：技术未来

Hadoop的未来如何，一个重要的影响因素是技术的更新和进步。从最近几年Hadoop和其他大数据相关技术的发展，我们可以看出一些端倪。数据存储 – 前景乐观从文件存储技术来看，HDFS稳定而健壮，已然是海量文件存储的实际标准。当然也有一些分布式文件存储技术值得关注，如GlusterFS, Tachyon等等。但对HDFS尚不构成实质性的威胁。相比文件存储的一家独大，结构化数据的存储，目前呈现出的是
tongqingqiu·2014-12-25 03:00

hadoop系列

深度学习：http://f.dataguru.cn/topic-deep-learning.html 伯乐在线： http://blog.jobbole.com/ spark:http://rdc.taobao.org/?p=2024 google ip: 203.208.46.147 技术博客： hadoop,hbase,hive分类:http://www.shangx
lixuguang·2014-10-10 10:00

Hadoop系列之zookeeper(分布式协调服务)安装配置

 Hadoop系列之zookeeper(分布式协调服务)安装配置1.安装cd/root/softtarzxvfzookeeper-3.4.6.tar.gzmvzookeeper-3.4.6/usr/local
cd_azhuang·2014-09-18 11:22

Hadoop系列之zookeeper(分布式协调服务)安装配置

Hadoop系列之zookeeper(分布式协调服务)安装配置1.安装cd/root/softtarzxvfzookeeper-3.4.6.tar.gzmvzookeeper-3.4.6/usr/local
cd_azhuang·2014-09-18 11:22

Hadoop系列之HBASE(分布式数据库)安装配置

1.hbase安装   cd/root/soft tarzxvfhbase-0.98.5-hadoop2-bin.tar.gz mvhbase-0.98.5-hadoop2 /usr/local/hadoop/hbase2.添加环境变量(所有节点都增加) #vim/etc/profile exportHBASE_HOME=/usr/local/hadoop/hbase exportPATH=$PA
cd_azhuang·2014-09-18 09:49

Hadoop系列之HBASE(分布式数据库)安装配置

1.hbase安装cd/root/softtarzxvfhbase-0.98.5-hadoop2-bin.tar.gzmvhbase-0.98.5-hadoop2/usr/local/hadoop/hbase2.添加环境变量(所有节点都增加)#vim/etc/profileexportHBASE_HOME=/usr/local/hadoop/hbaseexportPATH=$PATH:/usr/l
cd_azhuang·2014-09-18 09:49

Hadoop系列之Hive(数据仓库)安装配置

 Hadoop系列之Hive(数据仓库)安装配置1.在NameNode安装 cd/root/soft tarzxvfapache-hive-0.13.1-bin.tar.gz mvapache-hive
cd_azhuang·2014-09-16 14:34

Hadoop系列之Hive(数据仓库)安装配置

Hadoop系列之Hive(数据仓库)安装配置1.在NameNode安装cd/root/softtarzxvfapache-hive-0.13.1-bin.tar.gzmvapache-hive-0.13.1
cd_azhuang·2014-09-16 14:34

Hadoop系列之MapReduce(分布式计算测试)

MapReduce分布式计算测试1.统计文本单词数量1.1.查看当前hdfs分布式系统存储内容[root@hdfs-masterhadoop]#hdfsdfs-ls-R/drwxr-xr-x  -rootsupergroup         02014-09-1509:05/test-rw-r--r--  2rootsupergroup         42014-09-1509:05/test/
cd_azhuang·2014-09-15 15:19

Hadoop系列之MapReduce(分布式计算测试)

MapReduce分布式计算测试1.统计文本单词数量1.1.查看当前hdfs分布式系统存储内容[root@hdfs-masterhadoop]#hdfsdfs-ls-R/drwxr-xr-x-rootsupergroup02014-09-1509:05/test-rw-r--r--2rootsupergroup42014-09-1509:05/test/aa.txt-rw-r--r--2roots
cd_azhuang·2014-09-15 15:19

Hadoop系列之hdfs(分布式文件系统)安装配置

 Hadoop系列之hdfs(分布式文件系统)安装配置环境介绍:    ip                       节点192.168.3.10     hdfs-master192.168.3.11
cd_azhuang·2014-09-12 22:32

Hadoop系列之hdfs(分布式文件系统)安装配置

Hadoop系列之hdfs(分布式文件系统)安装配置环境介绍:ip节点192.168.3.10hdfs-master192.168.3.11hdfs-slave1192.168.3.12hdfs-slave21
cd_azhuang·2014-09-12 22:32

Hadoop系列教程收录

为何有些公司在机器学习业务方面倾向使用R+Hadoop方案？你不知道的十个Hadoop的应用场景Hadoop教程：Hadoop的源起和体系架构Hadoop教程：Hadoop核心架构详细解析Hadoop教程：Hadoop集群和网络的基本原理(一)Hadoop教程：Hadoop集群和网络的基本原理(二)Hadoop教程：Hadoop集群和网络的基本原理(三)Hadoop教程：Hadoop基本流程和代码
雷阵子·2014-08-06 16:00

Hadoop系列 之Terasort

TeraSort是Hadoop的测试中很有用的一个工具，但以前只是粗略的知道它的功能和用法，简单的用它做了几个测试用例。实际上，对于这种比较通用的工具，如果能够了解它更多一些的话，对于理解Hadoop是很有帮助的，同时也可以更好的利用它来帮助测试。最近有点时间，就了解了一些它的背景，代码实现原理等等，就先记录下来吧。1. Hadoop与SortBenchmarksSortBenchmark(htt
gjt19910817·2014-06-10 23:00

Hadoop系列之Terasort<转>

TeraSort是Hadoop的测试中很有用的一个工具，但以前只是粗略的知道它的功能和用法，简单的用它做了几个测试用例。实际上，对于这种比较通用的工具，如果能够了解它更多一些的话，对于理解Hadoop是很有帮助的，同时也可以更好的利用它来帮助测试。最近有点时间，就了解了一些它的背景，代码实现原理等等，就先记录下来吧。1. Hadoop与SortBenchmarksSortBenchmark(htt
yongjian_luo·2014-03-04 15:00

\(^_^)/ 技术

css dojo dwr eclipse ehcache esayui esb etl eucalyptus extjs freemarker ftp git hadoop hadoop
yanguz123·2014-02-28 21:00

IT技术资料集锦：技术精英由此开始

IT技术资料集锦：技术精英由此开始IT技术资料集锦：技术精英由此开始：篇一：Hadoop系列资料；篇二：JAVA开发系列资料；篇三：NOSQL系列资料；篇四：数据结构系列资料；篇五：云架构系列资料对其内容详细阅读
李航421·2014-01-09 11:00

测试眼里的Hadoop系列 之Terasort

TeraSort是Hadoop的测试中很有用的一个工具，但以前只是粗略的知道它的功能和用法，简单的用它做了几个测试用例。实际上，对于这种比较通用的工具，如果能够了解它更多一些的话，对于理解Hadoop是很有帮助的，同时也可以更好的利用它来帮助测试。最近有点时间，就了解了一些它的背景，代码实现原理等等，就先记录下来吧。1.Hadoop与SortBenchmarksSortBenchmark(http
yuesichiu·2013-12-13 10:00

hadoop2.0介绍（一）

一、概述现在大数据很“热”，hadoop系列（也称为TheHadoopProjectEcosystem）东西随着也很“热”，不过hadoop也确实有此“资本”，hadoop起源于google的产品，本身就是为海量数据量身定做的
guxch·2013-11-26 10:14

hadoop2.0介绍（一）

一、概述现在大数据很“热”，hadoop系列（也称为TheHadoopProjectEcosystem）东西随着也很“热”，不过hadoop也确实有此“资本”，hadoop起源于google的产品，本身就是为海量数据量身定做的
guxch·2013-11-26 10:00

#Note# Analyzing Twitter Data with Apache Hadoo...

#Note#AnalyzingTwitterDatawithApacheHadoop系列1、2、[email protected]/09/28-2013/09/30markdown的语法高亮格式在
erpingwu·2013-10-04 23:00

阅读之痕-2013-09

阅读之痕-2013/[email protected]/09/20-2013/09/232013/09/30AnalyzingTwitterDatawithApacheHadoop
erpingwu·2013-09-20 16:00

【Apache Hadoop系列】hadoop伪分布式配置问题集锦

问题1：couldonlybereplicatedto0nodes,insteadof12013-06-2411:39:32,383ERRORorg.apache.hadoop.security.UserGroupInformation:PriviledgedActionExceptionas:zqgamecause:java.io.IOException:File/data/zqhadoop/d
WeiJonathan·2013-06-24 15:00

hadoop，hbase，hive 安装snappy压缩

最近又安装了一次hadoop系列，以前装过几次，但总也是磕磕碰碰的，本来想这次安装一步到位，可惜以前记录不够详细，中间还是过程还是有些遗漏，这次把过程详细记录起来。
相国·2013-05-12 18:32

hadoop，hbase，hive 安装snappy压缩

   最近又安装了一次hadoop系列，以前装过几次，但总也是磕磕碰碰的，本来想这次安装一步到位，可惜以前记录不够详细，中间还是过程还是有些遗漏，这次把过程详细记录起来。
lgnlgn·2013-05-12 18:00

大数据处理-序

  这一个月来，都在忙大数据处理的项目，主要接触了Hadoop系列，如MapReduce V1, HDFS, Hbase, Hive, Yarn(MapReduce V2) 和 Hyracks
Djava.sohu.com·2013-04-17 22:00

【Apache Hadoop系列】hadoop源码编译问题记录

源码编译问题1：org.apache.maven.lifecycle.LifecycleExecutionException:Failedtoexecutegoalorg.apache.maven.plugins:maven-compiler-plugin:2.5.1:compile(default-compile)onprojecthadoop-common:Compilationfailure
WeiJonathan·2013-04-12 09:00

PIG资源

p=385[hadoop系列]Pig的安装和简单示例http://blog.csdn.
paulwong·2013-04-05 18:00

初识数据挖掘与分析的魅力

今天我再进入亚马逊首页，看到的内容几乎全是hadoop系列相关的书、Thinkpad系列笔记本，司马懿曹操唐朝的书，外加书籍排行榜之类的，总之这
bingyingao·2013-03-15 11:00

关于Hadoop系列文章

Hadoop系列文章全部转载自马哥教育    马哥教育：http://mageedu.blog.51cto.com Hadoop整个系列文章还要涉及到以下话题：1、HDFS命令行接口的使用；2、完全分布式
马誉·2013-03-12 11:14

关于Hadoop系列文章

Hadoop系列文章全部转载自马哥教育马哥教育：http://mageedu.blog.51cto.comHadoop整个系列文章还要涉及到以下话题：1、HDFS命令行接口的使用；2、完全分布式Hadoop
马誉·2013-03-12 11:14

Hadoop系列之十：Hadoop配置文件及常用配置参数详解(未完成)

1、Hadoop的配置文件hadoop-env.sh:用于定义hadoop运行环境相关的配置信息，比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等；core-site.xml:用于定义系统级别的参数，如HDFSURL、Hadoop的临时目录以及用于rack-aware集群中的配置文件的配置等，此中的参数定义
马誉·2013-03-12 10:54

Hadoop系列之十：Hadoop配置文件及常用配置参数详解(未完成)

1、Hadoop的配置文件hadoop-env.sh:用于定义hadoop运行环境相关的配置信息，比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等；core-site.xml:用于定义系统级别的参数，如HDFSURL、Hadoop的临时目录以及用于rack-aware集群中的配置文件的配置等，此中的参数定义
马誉·2013-03-12 10:54

Hadoop系列之九：Hadoop集群伪分布式模式的实现详解

1、Hadoop依赖软件Hadoop基于Java语言开发，因此其运行严重依赖于JDK(JavaDevelopmentKit)，并且Hadoop的许多功能依赖于Java6及以后的版本才提供的特性。Hadoop可以良好地运行于经过测试的各JDK，如SunJDK、OpenJDK、OracleJRockit、IBMJDK各自实现的某些版本。但迄今为止，HotSpotJVM仍是性能最好且与Hadoop搭配运
马誉·2013-03-12 10:20

Hadoop系列之九：Hadoop集群伪分布式模式的实现详解

1、Hadoop依赖软件Hadoop基于Java语言开发，因此其运行严重依赖于JDK(JavaDevelopmentKit)，并且Hadoop的许多功能依赖于Java6及以后的版本才提供的特性。Hadoop可以良好地运行于经过测试的各JDK，如SunJDK、OpenJDK、OracleJRockit、IBMJDK各自实现的某些版本。但迄今为止，HotSpotJVM仍是性能最好且与Hadoop搭配运
马誉·2013-03-12 10:20

Hadoop系列之八：Hadoop集群

1、合并MapReduce集群与HDFS集群在调度运行一个作业时，将map任务等直接运行于要处理的数据所存储的HDFS的数据节点上，可避免大量的数据传输，实现数据处理的本地性，进而大大提高整个过程的完成效率，这也正是Hadoop集群的部署方式。如下图所示。在一个小于50个节点的小规模集群中，可以将NameNode与JobTracker合并于同一个节点上运行。而整个集群共有5类运行的核心进程，它们是
马誉·2013-03-12 10:45

Hadoop系列之八：Hadoop集群

1、合并MapReduce集群与HDFS集群在调度运行一个作业时，将map任务等直接运行于要处理的数据所存储的HDFS的数据节点上，可避免大量的数据传输，实现数据处理的本地性，进而大大提高整个过程的完成效率，这也正是Hadoop集群的部署方式。如下图所示。在一个小于50个节点的小规模集群中，可以将NameNode与JobTracker合并于同一个节点上运行。而整个集群共有5类运行的核心进程，它们是
马誉·2013-03-12 10:45

Hadoop系列之七：分布式文件系统HDFS(2)

1、访问HDFS文件系统HDFS是工作于用户空间的文件系统，它的树状文件系统是独立的，不能像传统上工作于内核空间的文件系统一样挂载至当前操作系统的目录树上对HDFS进行访问，传统上实现文件或目录管理的命令如ls、cat等此处也无法正常使用。对HDFS文件系统上的文件进行访问，需要通过HDFS的API或者由hadoop提供的命令行工具进行。1.1HDFS用户接口(1)hadoopdfs命令行接口；(
马誉·2013-03-12 10:19

Hadoop系列之七：分布式文件系统HDFS(2)

1、访问HDFS文件系统HDFS是工作于用户空间的文件系统，它的树状文件系统是独立的，不能像传统上工作于内核空间的文件系统一样挂载至当前操作系统的目录树上对HDFS进行访问，传统上实现文件或目录管理的命令如ls、cat等此处也无法正常使用。对HDFS文件系统上的文件进行访问，需要通过HDFS的API或者由hadoop提供的命令行工具进行。1.1HDFS用户接口(1)hadoopdfs命令行接口；(
马誉·2013-03-12 10:19

Hadoop系列之六：分布式文件系统HDFS

1、MapReduce与分布式文件系统前面的讨论中，我们已经得知，Hadoop中实现的MapReduce是一个编程模型和运行框架，它能够通过JobTracker接收客户提交的作业而后将其分割为多个任务后并行运行在多个TaskTracker上。而问题是，这些TaskTracker如何高效获取所要处理的数据？在传统的高性能集群中，计算节点和存储节点是各自独立的，它们之间通过高速网络完成互联，然而，在面
马誉·2013-03-12 10:50

Hadoop系列之六：分布式文件系统HDFS

1、MapReduce与分布式文件系统前面的讨论中，我们已经得知，Hadoop中实现的MapReduce是一个编程模型和运行框架，它能够通过JobTracker接收客户提交的作业而后将其分割为多个任务后并行运行在多个TaskTracker上。而问题是，这些TaskTracker如何高效获取所要处理的数据？在传统的高性能集群中，计算节点和存储节点是各自独立的，它们之间通过高速网络完成互联，然而，在面
马誉·2013-03-12 10:50

Hadoop系列之五：MapReduce进阶(2)

1、MapReduce作业、集群及其逻辑架构前文已经描述，MapReduce是一个编程框架，它为程序员提供了一种快速开发海量数据处理程序的编程环境，并能够让基于这种机制开发出的处理程序以稳定、容错的方式并行运行于由大量商用硬件组成的集群上。同时，MapReduce又是一个运行框架，它需要为基于MapReduce机制开发出的程序提供一个运行环境，并透明管理运行中的各个细节。每一个需要由MapRedu
马誉·2013-03-12 10:25

Hadoop系列之五：MapReduce进阶(2)

1、MapReduce作业、集群及其逻辑架构前文已经描述，MapReduce是一个编程框架，它为程序员提供了一种快速开发海量数据处理程序的编程环境，并能够让基于这种机制开发出的处理程序以稳定、容错的方式并行运行于由大量商用硬件组成的集群上。同时，MapReduce又是一个运行框架，它需要为基于MapReduce机制开发出的程序提供一个运行环境，并透明管理运行中的各个细节。每一个需要由MapRedu
马誉·2013-03-12 10:25

Hadoop系列之五：MapReduce进阶(2)

1、MapReduce作业、集群及其逻辑架构前文已经描述，MapReduce是一个编程框架，它为程序员提供了一种快速开发海量数据处理程序的编程环境，并能够让基于这种机制开发出的处理程序以稳定、容错的方式并行运行于由大量商用硬件组成的集群上。同时，MapReduce又是一个运行框架，它需要为基于MapReduce机制开发出的程序提供一个运行环境，并透明管理运行中的各个细节。每一个需要由MapRedu
马誉·2013-03-12 10:15

Hadoop系列之五：MapReduce进阶(2)

1、MapReduce作业、集群及其逻辑架构前文已经描述，MapReduce是一个编程框架，它为程序员提供了一种快速开发海量数据处理程序的编程环境，并能够让基于这种机制开发出的处理程序以稳定、容错的方式并行运行于由大量商用硬件组成的集群上。同时，MapReduce又是一个运行框架，它需要为基于MapReduce机制开发出的程序提供一个运行环境，并透明管理运行中的各个细节。每一个需要由MapRedu
马誉·2013-03-12 10:15

Hadoop系列之四：MapReduce进阶

1、mapper和reducerMapReduce对数据的处理分为两个阶段：map阶段和reduce阶段，这两个阶段分别由用户开发的map函数和reduce函数完成，在MapReduce运行环境中运行时，它们也分别被称为mapper和reducer。键值对(key-valuepair)是MapReduce的基础数据结构，mapper和reducer读入和输出的数据均为键值对。MapReduce中，
马誉·2013-03-12 10:43

Hadoop系列之四：MapReduce进阶

1、mapper和reducerMapReduce对数据的处理分为两个阶段：map阶段和reduce阶段，这两个阶段分别由用户开发的map函数和reduce函数完成，在MapReduce运行环境中运行时，它们也分别被称为mapper和reducer。键值对(key-valuepair)是MapReduce的基础数据结构，mapper和reducer读入和输出的数据均为键值对。MapReduce中，
马誉·2013-03-12 10:43
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他