hadoop学习笔记

hadoop学习笔记之一步一步部署hadoop分布式集群

一、准备工作同一个局域网中的三台linux虚拟机，我用的是redhat6.4,如果主机是windows操作系统，可以先安装vmwareworkstation,然后在workstation中装上3台虚拟机，这样就形成了一个以物理机为DNS服务器的局域网，物理机和虚拟机都有一个局域网IP，互相之间可以通信。因为hadoop是一个java开发者写的开源软件，所以你懂得，肯定用的是java语言编写的，所以
90Zeng·2014-08-15 19:00

Hadoop学习笔记_linux网络配置及静态ip设置

学习Hadoop，会配置Hadoop集群，学习阶段，不可能为了学习购买多台实体机，因此可以采取使用虚拟机的方式，虚拟机软件有很多，例如：VMWare，VirtualBox等。在此，我们使用VMWare来进行虚拟多台机器。VMWare安装过程网上有很多教程，在此就不多做介绍。我使用的电脑是win7旗舰版x64操作系统，安装完VMWare之后，电脑上会出现两个虚拟网卡VMwareNetworkAdap
iasmn68628·2014-08-15 19:48

Hadoop学习笔记_linux网络配置及静态ip设置

学习Hadoop，会配置Hadoop集群，学习阶段，不可能为了学习购买多台实体机，因此可以采取使用虚拟机的方式，虚拟机软件有很多，例如：VMWare，VirtualBox等。在此，我们使用VMWare来进行虚拟多台机器。VMWare安装过程网上有很多教程，在此就不多做介绍。我使用的电脑是win7旗舰版x64操作系统，安装完VMWare之后，电脑上会出现两个虚拟网卡VMwareNetworkAdap
冰诺莫语·2014-08-13 12:35

Hadoop学习笔记_linux网络配置及静态ip设置

  学习Hadoop，会配置Hadoop集群，学习阶段，不可能为了学习购买多台实体机，因此可以采取使用虚拟机的方式，虚拟机软件有很多，例如：VMWare，VirtualBox等。在此，我们使用VMWare来进行虚拟多台机器。VMWare安装过程网上有很多教程，在此就不多做介绍。我使用的电脑是win7旗舰版x64操作系统，安装完VMWare之后，电脑上会出现两个虚拟网卡VMwareNetworkAd
冰诺莫语·2014-08-13 12:00

Hadoop学习笔记7: 0.1.0的conf学习

0.1.0文件分析类的关系图Configurable【接口】public interface Configurable { void setConf(Configuration conf);//一个接口函数方法，设置配置对象Configuration getConf();//一个接口函数方法，返回配置对象}Configured【类】public class Configured implement
强子哥哥·2014-08-07 15:00

Hadoop学习笔记一

第一个hands-on入门程序：参考http://blog.csdn.net/sim_szm/article/details/12578055搭建环境并跑WordCount程序，区别是我安装的是最新的hadoop版本0.23.11，JDK我使用的是SunJDK，Linux使用的是国产的Kylin。问题一：Error:JAVA_HOMEisnotsetandcouldnotbefound.解决方案：
sarchitect·2014-08-04 11:30

Hadoop学习笔记（三）——zookeeper的一致性协议：ZAB

ZAB：ZooKeeper的AtomicBroadcast协议，能够保证发给各副本的消息顺序相同。Zookeeper使用了一种称为Zab（ZookeeperAtomicBroadcast）的协议作为其一致性复制的核心，其特点为高吞吐量、低延迟、健壮、简单，但不过分要求其扩展性。 Zookeeper的实现是有Client、Server构成，Server端提供了一个一致性复制、存储服务，Client端
ssdut2013·2014-08-01 16:00

Hadoop学习笔记（二）——zookeeper使用和分析

分布式架构是中心化的设计，就是一个主控机连接多个处理节点,因此保证主控机高可用性十分关键.分布式锁是解决该问题的较好方案,多主控机抢一把锁.Zookeeper就是一套分布式锁管理系统,用于高可靠的维护元数据. 一、应用1、集群模式集群模式下配置多个Zookeeper节点，启动Zookeeper集群，Zookeeper会根据配置投票选举一个节点获得分布式锁。关键配置举例:#TheClusterser
ssdut2013·2014-08-01 10:00

Hadoop学习笔记（一）——Hadoop体系结构

HDFS和MapReduce是Hadoop的两大核心。整个Hadoop体系结构主要是通过HDFS来实现分布式存储的底层支持的，并且通过MapReduce来实现分布式并行任务处理的程序支持。 一、HDFS体系结构HDFS采用了主从(Master/Slave)结构模型。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中，NameNode作为主服务器，管理文件系统的命名空间和客
ssdut2013·2014-07-30 17:00

Hadoop学习笔记之HBase应用场景

今天的主要来分析一下HBase的特点，提出一些真实的应用场景，利用HBase去解决应用中的效率问题；HBase特点概述HBase是google的Bigtable的开源实现，建立在HDFS上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。HBase介于nosql和rdbms之间，仅能通过主键(rowkey)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表joi
hugengyong·2014-07-27 21:00

Hadoop学习笔记之HBase应用场景

今天的主要来分析一下HBase的特点，提出一些真实的应用场景，利用HBase去解决应用中的效率问题；HBase特点概述HBase是google的Bigtable的开源实现，建立在HDFS上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。HBase介于nosql和rdbms之间，仅能通过主键(rowkey)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表joi
致简致优·2014-07-27 00:00

Hadoop学习笔记之HBase客户端程序开发

先说一下今天的学习目标：今天我们将使用Java在Window7客户端上对HBase进行调用，进行创建表，插入行，读取行，读取所有表记录，删除表等基础操作。下面开始今天的学习1.开启hadoop,并测试是否可用start-all.shWarning不用管，不影响使用。jpshadoopfs-ls/2.开启HBasestart-hbase.shhbaseshelljps检测Java进程3.开始Ecli
hugengyong·2014-07-26 19:00

Hadoop学习笔记（五）：MapReduce的类型与格式

在MapReduce中，map和reduce函数的输入和输出都是键/值对。1.MapReduce函数的常规格式MapReduce的函数一般遵循以下常规格式：map：（K1,V1）—>list（K2，V2） combine：（K2，list(V2)）—>list（K2，V2） partition：（K2，V2）—>integer reduce：（K2，list(V2)）—>list（K3，V3）ma
u014313009·2014-07-25 23:00

Hadoop学习笔记（四）：Shuffle阶段

1.定义    shuffle是指map任务输出到reduce任务输入的过程。2.目的     在Hadoop集群中，大部分map任务与reduce任务在不同的节点执行。因此，reduce任务在执行时需要跨节点去获取map的输出结果。如果集群上有很多作业，那么网络资源消耗会很严重，需要最大化减少不必要的资源。另外，如果map的输出和reduce的输入只是简单的磁盘读写操作，那么磁盘IO时间将对作业
u014313009·2014-07-23 23:00

Hadoop学习笔记（二）：MapReduce的进度和状态

MapReduce的状态和进度MapReduce是长时间运行的批量作业，时间一般是数秒至数小时，因此需要知道作业的进度和状态。1.状态    状态包括：Job或task的状态（一个Job和它的每个task都有一个状态，比如：正在运行、成功完成、失败状态）、map和reduce的状态、作业计数器的状态、用户设置的状态消息或描述。2.进度    进度是任务完成的百分比。对于map任务，进度是已处理输入
u014313009·2014-07-22 17:00

Hadoop学习笔记(1) ——菜鸟入门

Hadoop学习笔记(1)——菜鸟入门Hadoop是什么？先问一下百度吧：【百度百科】一个分布式系统基础架构，由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。
DragonWar%·2014-07-22 07:00

Hadoop学习笔记（一）：MapReduce工作机制

MapReduce的运行过程如下图所示：MapReduce的作业运行步骤如下：1.客户端启动MapReduce程序，JobClient的runJob()方法用于新建JobClient实例和调用submitJob()方法。2.JobClient通过getNewJobId()方法向JobTracker请求一个新的作业ID。在获得新的作业ID后，还进行了两个步骤（在图中未显示）：检查作业的输出说明。如果
u014313009·2014-07-21 17:00

Hadoop学习笔记之HBase Shell语法练习

下面我们看看HBaseShell的一些基本操作命令，我列出了几个常用的HBaseShell命令，如下：名称命令表达式创建表create'表名称','列名称1','列名称2','列名称N'添加记录     put'表名称','行名称','列名称:','值'查看记录get'表名称','行名称'查看表中的记录总数count '表名称'删除记录delete '表名','行名称','列名称'删除一张表先要屏
hugengyong·2014-07-20 19:00

Hadoop学习笔记之HBase安装

本篇介绍两种HBase的安装方式：本地安装方式和伪分布式安装方式。安装的前提条件是已经成功安装了hadoop，而且hadoop的版本要和hbase的版本相匹配。我将要安装的hbase是hbase-0.94.11版本，需要的hadoop是hadoop-1.2.1版本。hbase下载地址：http://mirror.bit.edu.cn/apache/hbase/hbase-0.94.11/将下载的h
hugengyong·2014-07-20 10:00

Hadoop学习笔记之初步了解HDFS

因为工作需要开始了解Hadoop，做一个小小的学习笔记，总结下今天看的。Hadoop：一个分布式系统架构，能够对大量数据进行分布式处理的软件框架。可靠（维护多个工作数据副本），高效（并行处理），可伸缩（可以处理PB级数据）的方式进行处理。优点：高可靠性，高扩展性，高效性，高容错性，低成本。核心设计：HDFS（海量数据的存储）和MapReduce（海量数据的计算） 接下来主要介绍下HDFS：HDFS
vmezr·2014-07-14 22:00

Hadoop学习笔记之操作hive

packagehive; importjava.sql.*; importjava.sql.Date; importjava.text.SimpleDateFormat; importjava.util.*; publicclassHiveService{ privatestaticfinalStringURLHIVE="jdbc:hive://192.168.1.9:5000/default
earbao·2014-06-06 17:00

hadoop学习笔记之mapreduce中使用hbase

importjava.io.IOException; importjava.util.ArrayList; importjava.util.List; importjava.util.Random; importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.fs.FileSystem; importorg.apache
earbao·2014-06-06 17:00

hadoop学习笔记之操作hbase

importjava.io.IOException; importjava.util.ArrayList; importjava.util.List; importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.hbase.HBaseConfiguration; importorg.apache.hadoop.hbase
earbao·2014-06-06 16:00

hadoop学习笔记之操作mysql数据库

importjava.io.DataInput; importjava.io.DataOutput; importjava.io.IOException; importjava.io.UnsupportedEncodingException; importjava.sql.PreparedStatement; importjava.sql.ResultSet; importjava.sql.SQL
earbao·2014-06-05 12:00

hadoop学习笔记之grep

importjava.util.Random; importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.conf.Configured; importorg.apache.hadoop.fs.FileSystem; importorg.apache.hadoop.fs.Path; importorg.apache.h
earbao·2014-06-05 10:00

hadoop学习笔记之数据排序

packagecn.yws; importjava.io.IOException; importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.fs.Path; importorg.apache.hadoop.io.IntWritable; importorg.apache.hadoop.io.Text; import
earbao·2014-06-04 18:00

hadoop学习笔记之wordcount

importjava.io.IOException; importjava.util.StringTokenizer; importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.fs.Path; importorg.apache.hadoop.io.IntWritable; importorg.apache
earbao·2014-06-02 16:00

Hadoop简要介绍

我的这一个系列的Hadoop学习笔记也是从这里一步一步进行下来的，同时又参考了网上的很多文章，对学习Hadoop中遇到的问题进行了归纳总结。   言归正传，先说一下Hadoop的来龙去脉。
mrcuiliodng·2014-05-21 15:00

hadoop学习笔记(二)——IO的5种模型

    之前说了为了分析hadoopRPC机制，就要了解NIO，在说NIO之前我想先把IO的5种模式简要的记录下。    首先在Unix网络编程中IO大致分为5种：    1.阻塞IO    2.非阻塞IO    3.多路复用IO    4.信号驱动IO    5.异步IO    因为第四种不常用，所以我就分析剩下的四种模型。     当然我在研究这些模式的时候还是经常搞混一些东西，比如大家肯定听
linhaoxiang·2014-05-16 12:00

hadoop学习笔记(一)——java动态代理

       为了分析HDFS,就要研究他的RPC机制，为了研究RPC机制，就要了解动态代理，反射机制和NIO，写篇文章就记录下学习动态代理的过程吧。        每一种技术的诞生都是为了解决一个问题，那么我们可以从这么几个问题来了解动态代理。        1.为什么要用
linhaoxiang·2014-05-14 17:00

Hadoop学习笔记4： 【org.apache.hadoop.util】包文件解析

Hadoop【org.apache.hadoop.util】包文件说明 1.Daemon【类】 publicclassDaemonextendsThread { { 注意：这里有一行静态代码，总是设置线程为守护线程。 } 成员变量： Runnablerunnable=null; 函数变量： publicDaemon() { 什么都不做 } publicDaemon(Runnableru
强子哥哥·2014-04-30 11:00

Hadoop学习笔记3：org.apache.hadoop.conf

主要讲解org.apache.hadoop.conf包里的3个类的作用。看完这个，你绝对可以对配置项这一块非常清楚了。类的个数:3个 1包:【org.apache.hadoop.conf】 描述:本包与【配置参数配置】相关，包含3个类（接口）， Configurable, Configuration, Configured. 1.1）Configurable【接口】 publicinterfac
强子哥哥·2014-04-30 01:00

Hadoop学习笔记一

第一个hands-on入门程序：参考 http://blog.csdn.net/sim_szm/article/details/12578055  搭建环境并跑WordCount程序，区别是我安装的是最新的hadoop版本0.23.11，JDK我使用的是SunJDK，Linux使用的是国产的Kylin。问题一：Error:JAVA_HOMEisnotsetandcouldnotbefound.解决
sarchitect·2014-04-27 08:42

Hadoop学习笔记--入门

HaDoop 0.23.0 学习笔记0.23 介绍Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）
chengchow·2014-04-17 14:41

Hadoop学习笔记--入门

HaDoop0.23.0学习笔记0.23介绍HadoopMapReduceV2(Yarn)框架简介原HadoopMapReduce框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述，读者可参考Hadoop官方简介。使用和学习过老Hadoop框架（0.20.0及之前版本）的同仁应该很熟悉如下的原MapR
chengchow·2014-04-17 14:41

Hadoop学习笔记(5) MapReduce工作机制

Hadoop学习笔记(5)MapReduce工作机制知识点小结：shuffle影响性能的因素1Map–>buffer–>partition,sort,spilltodisk(输出缓冲区，溢出写磁盘比例，
dpc27149·2014-04-10 18:47

Hadoop学习笔记（5）———Mapreduce工作原理

Hadoop学习笔记（5）————Mapreduce工作原理一个MapReduce作业在hadoop上运行的整个过程可以分为4个实体：（1）、客户端，提交MapReduce作业；在客户端上使用runJob
dpc27149·2014-04-10 18:10

hadoop学习笔记之-hbase完全分布模…

安装环境：OS:Oraclelinux5.6JDK:jdk1.6.0_18Hadoop:hadoop-0.20.2Hbase:hbase-0.90.5安装准备：1.Jdk环境已安装：版本为1.6以上2.hadoop环境已安装：完全分布模式安装如下http://blog.csdn.net/lichangzai/article/details/82068343.hbase版本选择Hbase版本必需与H
fz2543122681·2014-03-24 13:00

Hadoop学习笔记--1

hadoop是什么？WhatIsApacheHadoop?TheApacheHadoopprojectdevelopsopen-sourcesoftwareforreliable,scalable,distributedcomputing.解决问题：海量数据的存储（HDFS）海量数据的分析（MapReduce）作者：DougCutting受Google三篇论文的启发(GFS、MapReduce、B
pangfang_06·2014-03-21 23:23

hadoop学习笔记（一）——hadoop运行源代码分析

Hadoop运行流程分析源代码级   前言：   最近一直在分析hadoop的运行流程，我们查阅了大量的资料，虽然从感性上对这个流程有了一个认识但是我总是感觉对mapreduce的运行还是没有一个全面的认识，所以决定从源代码级别对mapreduce的运行流程做一个分析。   前奏:   首先从任务提交开始，如果我们使用的是job类的话那么提交任务的触发语句是       job.waitForCo
zb872676223·2014-03-20 13:00

浅谈Hadoop

我的这一个系列的Hadoop学习笔记也是从这里一步一步进行下来的，同时又参考了网上的很多文章，对学习Hadoop中遇到的问题进行了归纳总结。   言归正传，先说一下Hadoop的来龙去脉。
Java研究者·2014-03-15 08:00

hadoop学习笔记

宿主机(windows)与客户机(linux)网络连接host-only 宿主机与客户机单独组网:好处，网络隔离坏处，虚拟机与其他服务器之间不能通信bridge客户机与宿主机在同一个局域网中好处，可以互相访问坏处，不安全常用LINUX命令.当前目录..上一级目录~家目录touch创建文件mkdir创建目录more,cat查看文件cp复制文件rm-r XXX删除文件chmod-R700修改文件权限c
luckyyulin·2014-03-02 16:00

hadoop学习笔记-prc通信原理

rpc(remoteprocedurecall)不同java进程间的对象方法调用一方称作服务端（server），一方称作客户端（client）。server端提供对象，供客户端调用，被调用的对象的方法的执行发生在server端。 rpc是hadoop框架运行的基础。 下面是一个基于hadoop的rpc框架的例子：服务端代码： packagerpc; importorg.apache.hado
yehao0716·2014-02-27 20:00

hadoop学习笔记-prc通信原理

阅读更多rpc(remoteprocedurecall)不同java进程间的对象方法调用一方称作服务端（server），一方称作客户端（client）。server端提供对象，供客户端调用，被调用的对象的方法的执行发生在server端。rpc是hadoop框架运行的基础。下面是一个基于hadoop的rpc框架的例子：服务端代码：packagerpc;importorg.apache.hadoop.
yehao0716·2014-02-27 20:00

hadoop学习笔记-prc通信原理

阅读更多rpc(remoteprocedurecall)不同java进程间的对象方法调用一方称作服务端（server），一方称作客户端（client）。server端提供对象，供客户端调用，被调用的对象的方法的执行发生在server端。rpc是hadoop框架运行的基础。下面是一个基于hadoop的rpc框架的例子：服务端代码：packagerpc;importorg.apache.hadoop.
yehao0716·2014-02-27 20:00

hadoop学习笔记-java操作hdfs

使用Hadoop的javaapi针对HDFS进行文件上传、创建、重命名、删除操作： packagehadoop.hdfs; importjava.io.FileInputStream; importjava.io.IOException; importjava.io.InputStream; importjava.net.URI; importjava.net.URISyntaxEx
yehao0716·2014-02-26 22:00

hadoop 学习笔记：mapreduce框架详解

hadoop学习笔记：mapreduce框架详解开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs
无锋剑·2014-02-24 18:57

hadoop 学习笔记：mapreduce框架详解

hadoop学习笔记：mapreduce框架详解开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs
kjh2007abc·2014-02-24 18:57

hadoop学习笔记-生产环境hadoop集群安装

生产环境Hadoop大集群完全分布式模式安装2013-3-7 安装环境操作平台：vmware2操作系统：OracleEnterpriseLinux5.6软件版本：hadoop-0.22.0,jdk-6u18集群架构：3+node，masternode(hotel01),slavenode(hotel02,hotel03…)主机名IP系统版本Hadoopnodehadoop进程名hotel01192
lichangzai·2014-02-12 09:00

Hadoop学习笔记

1、倒排索引什么意思？2、“HBase的数据行拥有一个可选择的键和任意数量的列”  这样的话，每行的列都有标签信息（列名），如果像关系型数据库一样规范没行，速度会不会更快？3、HBase本来就可以查询，为什么还要solr这些东西？4、Ubuntu安装jdk1.75、聚类算法什么意思？6、hadoopfs和hadoopdfs的区别？（注意还有一个hadoopdfsadmin）粗略的讲，fs是个比较抽
RQSLT·2014-02-09 14:43
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他