hadoop学习笔记

Hadoop学习笔记（二）：从map到reduce的数据流

　　一个MapReduce作业是一个用户希望被执行的工作单元：它包括输入数据，MapReduce程序和配置信息。Hadoop通过把作业分成任务（tasks，分为map tasks 和reduce tasks两种）的形式来运行该作业。 　　有两种节点用来控制每个作业的执行： jobtracker通过把tasks分发到各个tasktrackers来运行，并协调系统上运行的所有作业。task
·2015-10-31 08:02

Hadoop学习笔记（一）之示例程序：计算每年的最高温度MaxTemperature

　　本《hadoop学习笔记》系列是在《hadoop: the definitive guide 3th》的基础上通过网上额外搜集资料和查看hadoop的API再加上自己的实践方面的理解编写而成的，主要针对
·2015-10-31 08:02

Hadoop学习笔记—MapReduce的理解

  　　我不喜欢照搬书上的东西，我觉得那样写个blog没多大意义，不如直接把那本书那一页告诉大家，来得省事。我喜欢将我自己的理解。所以我会说说我对于Hadoop对大量数据进行处理的理解。如果有理解不对欢迎批评指责，不胜感激。 Hadoop为何有如此能耐？        Hadoop之所以能处理大量数据，是因为他提供了一个让大
·2015-10-30 20:51

Hadoop学习笔记（4）hadoop集群模式安装

具体的过程参见伪分布模式的安装，集群模式的安装和伪分布模式的安装基本一样，只有细微的差别，写在下面：   修改masers和slavers文件： 在hadoop/conf文件夹中的配置文件中有两个文件masters和slavers两文件，分别记录物理机器的主节点和从节点。分别以文本格式把主节点和从节点的名字写入到这两个文件中。 向各个节点复制hadoop： 在一个节点中安装
·2015-10-30 13:48

Hadoop学习笔记（3）hadoop伪分布模式安装

为了学习这部分的功能，我们这里的linux都是使用root用户登录的。所以每个命令的前面都有一个#符号。 伪分布模式安装步骤： 关闭防火墙 修改ip地址 修改hostname 设置ssh自动登录 安装JDK 安装hadoop 1. 关闭防火墙 具体的操作过程参见博文：我用过的Linux命令--关闭防火墙 2. 修改ip地址,设置静态ip地址
·2015-10-30 13:46

Hadoop学习笔记（两）设置单节点集群

本文描写叙述怎样设置一个单一节点的 Hadoop 安装。以便您能够高速运行简单的操作，使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS)。 參考官方文档：Hadoop MapReduce Next Generation - Setting up a Single Node Clus
·2015-10-28 09:18

hadoop学习笔记之

今天遇到了一个问题：CallFromlocalhost/127.0.0.1tolocalhost:9000failedonconnectionexception:java.net.ConnectException。该问题一般由于没有startdfs和yarn造成的
bgk083·2015-10-27 23:00

hadoop学习笔记之

hadoopfs命令MostofthecommandsinFSshellbehavelikecorrespondingUnixcommands.Differencesaredescribedwitheachofthecommands.Errorinformationissenttostderrandtheoutputissenttostdout.IfHDFSisbeingused,hdfsdfsi
bgk083·2015-10-27 21:00

Hadoop学习笔记（四）：Hadoop中的streaming

　　Hadoop为MapReduce提供了一个允许你使用除了java以外的语言编写map，reduce函数的API：Hadoop Streaming使用标准流（standard streams)作为Hadoop和应用程序之间传输数据的接口。所以你可以使用任何语言编写map，reduce函数，只要它能够从标准输入流（stdin）中读入数据，以及向标准输出流（stdout）中写输出数据就行。 　　S
·2015-10-27 15:25

Hadoop学习笔记（七）：使用distcp并行拷贝大数据文件

　　以前我们介绍的访问HDFS的方法都是单线程的，Hadoop中有一个工具可以让我们并行的拷贝大量数据文件，这个工具就是distcp。 　　distcp的典型应用就是在两个HDFS集群中拷贝文件，如果两个集群使用的Hadoop版本相同，可以使用hdfs标识符：　　　　% hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar　　这条命令会把
·2015-10-27 15:25

Hadoop学习笔记（三）：Combiner funcitons

　　很多MapReduce程序受限于集群上可用的带宽，所以它会尽力最小化需要在map和reduce任务之间传输的中间数据。Hadoop允许用户声明一个combiner function来处理map的输出，同时把自己对map的处理结果作为reduce的输入。因为combiner function本身只是一种优化，hadoop并不保证对于某个map输出，这个方法会被调用多少次。换句话说，不管combi
·2015-10-27 15:24

Hadoop学习笔记二 安装部署

Hadoop学习笔记二 安装部署 内容摘要：本文主要是以 安装和使用hadoop-0.12.0为例，指出在部署 Hadoop的时候容易遇到的问题以及如何解决。 　　
·2015-10-27 14:38

hadoop学习笔记：zookeeper学习（上）

　　在前面的文章里我多次提到zookeeper对于分布式系统开发的重要性，因此对zookeeper的学习是非常必要的。本篇博文主要是讲解zookeeper的安装和zookeeper的一些基本的应用，同时我还会教大家如何安装伪分布式，伪分布式不能在windows下实现，只能在linux下实现，我的伪分布式是通过电脑的虚拟机完成了，好了，不废话了，具体内容如下： 　　首先我们要下载一个zookeep
·2015-10-27 13:40

Hadoop学习笔记—20.网站日志分析项目案例（三）统计分析

网站日志分析项目案例（一）项目介绍：http://www.cnblogs.com/edisonchou/p/4449082.html 网站日志分析项目案例（二）数据清洗：http://www.cnblogs.com/edisonchou/p/4458219.html 网站日志分析项目案例（三）统计分析：当前页面 一、借助Hive进行统计 1.1 准备工作：建立分区表 　　为
·2015-10-27 11:30

Hadoop学习笔记（七）：使用distcp并行拷贝大数据文件

　　以前我们介绍的访问HDFS的方法都是单线程的，Hadoop中有一个工具可以让我们并行的拷贝大量数据文件，这个工具就是distcp。 　　distcp的典型应用就是在两个HDFS集群中拷贝文件，如果两个集群使用的Hadoop版本相同，可以使用hdfs标识符：　　　　% hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar　　这条命令会把
·2015-10-23 08:50

Hadoop学习笔记（四）：Hadoop中的streaming

　　Hadoop为MapReduce提供了一个允许你使用除了java以外的语言编写map，reduce函数的API：Hadoop Streaming使用标准流（standard streams)作为Hadoop和应用程序之间传输数据的接口。所以你可以使用任何语言编写map，reduce函数，只要它能够从标准输入流（stdin）中读入数据，以及向标准输出流（stdout）中写输出数据就行。 　　S
·2015-10-23 08:49

Hadoop学习笔记（三）：Combiner funcitons

　　很多MapReduce程序受限于集群上可用的带宽，所以它会尽力最小化需要在map和reduce任务之间传输的中间数据。Hadoop允许用户声明一个combiner function来处理map的输出，同时把自己对map的处理结果作为reduce的输入。因为combiner function本身只是一种优化，hadoop并不保证对于某个map输出，这个方法会被调用多少次。换句话说，不管combi
·2015-10-23 08:48

Hadoop编程笔记（一）：Mapper及Reducer类详解

Hadoop编程方面的学习，包括主要类及接口的用法和作用以及编程方法，最佳实践等，如果你想更多的学习Hadoop本身所具有的特性和功能及其附属的生态圈（如Pig，Hive，Hbase等），请参阅另一个笔记系列《Hadoop
·2015-10-23 08:45

Hadoop HA方案调研

原文成文于去年（2012.7.30），已然过去了一年，很多信息也许已经过时，不保证正确，与Hadoop学习笔记系列一样仅为留做提醒。
·2015-10-21 11:54

Hadoop学习笔记 2 - MapReduce 简单实例

1.2MapReduce开发实例 MapReduce执行过程，如下图，（先由Mapper进行map计算，将数据进行分组，然后在由Reduce进行结果汇总计算） 直接上代码packagecom.itbuilder.hadoop.mr; importjava.io.IOException; importorg.apache.hadoop.conf.Configuration; impor
muruiheng·2015-10-18 11:00

hadoop学习笔记：hadoop文件系统浅析

1.什么是分布式文件系统？管理网络中跨多台计算机存储的文件系统称为分布式文件系统。2.为什么需要分布式文件系统了？原因很简单，当数据集的大小超过一台独立物理计算机的存储能力时候，就有必要对它进行分区（partition）并存储到若干台单独计算机上。3.分布式系统比传统的文件的系统更加复杂因为分布式文件系统架构在网络之上，因此分布式系统引入了网络编程的复杂性，所以分布式文件系统比普通文件系统更加复杂
茄子_2008·2015-10-15 16:00

hadoop学习笔记(九)——hadoop日志分析系统

环境：centos7+hadoop2.5.2+hive1.2.1+mysql5.6.22+indigoservice2思路：hive加载日志→hadoop分布式执行→需求数据进入mysql注意：hadoop日志分析系统网上资料很多，但是大多都有写小问题，无法顺利运行，但本文中都是经过亲自验证的，可以一气呵成。另外还包括可能遇到的异常的详细解释及相关解决方案。1)日志格式分析首先分析Hadoop的日
thinkpadshi·2015-09-23 12:00

hadoop学习笔记(八)——hadoop整合hive

环境：centos7+hadoop2.5.2+hive1.2.11)下载hive稳定版本apache-hive-1.2.1-bin.tar2)在/usr/local目录下解压，与hadoop处于同一级别a)#tar-xzvfapache-hive-1.2.1-bin.tar.gzb)#mvapache-hive-1.2.1-binhive1.2c)#cphive-default.xml.templ
thinkpadshi·2015-09-22 10:00

Hadoop学习笔记 1 - hadoop-2.7.1 安装配置

1、搭建linux环境  我准备的环境是VMRedHatLinux6.564bit   设置固定IP                 vim/etc/sysconfig/network-scripts/ifcfg-eth0             将IP地址设定为192.168.38.128  修改主机名：vim/etc/hosts             将主机名改为itbuilder12、安装
muruiheng·2015-09-12 15:00

Hadoop学习笔记（十六）---HBase JAVA API

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.HColumnDescriptor;importorg.apache.hadoop.hbase.HTableDescriptor;importorg.apa
garychenqin·2015-08-31 21:29

Hadoop-HBASE案例分析-Hadoop学习笔记<二>

之前有幸在MOOC学院抽中小象学院hadoop体验课。 这是小象学院hadoop2.X概述第八章的笔记 主要介绍HBase，一个分布式数据库的应用案例。案例概况：1）时间序列数据库(OpenTSDB) 用HBase储存时间序列数据，每时每刻都在解决，数据库为开源 2）HBase爬虫调度库 垂直搜索爬虫 大规模爬虫（全网爬虫） 这里界定URL爬虫调度 3）HBase文档库 储存文档数据库，偏重于储存
尾巴AR·2015-08-28 21:00

Hadoop-HBASE案例分析-Hadoop学习笔记<二>

之前有幸在MOOC学院抽中小象学院hadoop体验课。这是小象学院hadoop2.X概述第八章的笔记主要介绍HBase，一个分布式数据库的应用案例。案例概况：1）时间序列数据库(OpenTSDB)用HBase储存时间序列数据，每时每刻都在解决，数据库为开源2）HBase爬虫调度库垂直搜索爬虫大规模爬虫（全网爬虫）这里界定URL爬虫调度3）HBase文档库储存文档数据库，偏重于储存4）银行人民币查询
weixin_30794499·2015-08-28 21:00

Hadoop学习笔记Day01

1说明1.1使用软件EclipseUbuntu14.0.1Hadoop2.0.6hadoop-eclipse-plugin-2.6.0.jarSsh安全外壳协议Openjdk1.71.2环境Linux(32位)+jdk\hadoop伪分布式2内容2.1历史与基础1.对《Hadoop实战中文版》第一章进行学习，对hadoop的历史及其起源有了大概的了解，并对MapReduce有一定的了解。MapRe
请叫我黑马王子·2015-08-28 17:54

Hadoop学习笔记之（二）：实验Hadoop的文件块复制删除操作感受强大的容灾性

首先来了解一下HDFS的一些基本特性HDFS设计基础与目标硬件错误是常态。因此需要冗余流式数据访问。即数据批量读取而非随机读写，Hadoop擅长做的是数据分析而不是事务处理大规模数据集简单一致性模型。为了降低系统复杂度，对文件采用一次性写多次读的逻辑设计，即是文件一经写入，关闭，就再也不能修改程序采用“数据就近”原则分配节点执行HDFS体系结构NameNodeDataNode事务日志映像文件Sec
zzc1684·2015-08-21 09:00

Hadoop学习笔记（一）：零Linux基础安装hadoop过程笔记

环境及目标：-系统：VMWare/Ubuntu12.04-Hadoop版本：0.20.2-我的节点配置(完全分布式集群)Master(jobtracker) 192.168.221.130h1Slave(tasktracker/datanode)192.168.221.141h2Slave(tasktracker/datanode)192.168.221.142h3-用户:hadoop_admin
zzc1684·2015-08-21 09:00

Hadoop准备篇之（一）：Page Rank算法初探

为什么会将PageRank放在hadoop学习笔记里，是因为hadoop课程第一周就重点提到了Google当年三大论文（GFS,Map-Reduce和BigTable）以及hadoop思想的来源，并提到了
zzc1684·2015-08-21 09:00

hadoop学习笔记 Hadoop工作过程（待完善）

Hadoop工作过程（待完善）MAP实现类实现split(InputFormat类)实现map(mapper类)实现combiner(Combiner类)实现shuffle(Partitioner类)REDUCE实现类实现reduce(Reducer类)实现输出OutputFormat类HDFS终端命令UserCommandsArchive归档文件Distcp集群间同步数据(重要)Fs就是dfs，
houxiaoqin·2015-08-12 11:00

hadoop学习笔记 Hadoop进程

Hadoop进程Namenode——HDFS的守护程序记录文件是如何分割成数据块及这些数据块被存储到哪些节点；对内存和I/O进行集中管理；是个单点，发生故障将使集群崩溃；协调客户端对文件的访问；管理文件系统的命名空间，记录命名空间内的改动或空间本身属性的改动，记录每个文件数据块在各个Datanode上的位置和副本信息；Namenode使用事务日志记录HDFS元数据的变化。使用映像文件存储文件系统的
houxiaoqin·2015-08-12 09:35

hadoop学习笔记(七)——hadoop权威指南中天气数据运行

1)hdfs文件系统准备工作a)#hadoopfs–ls/user/root#查看hdfs文件系统b)#hadoopfs-rm/user/root/output02/part-r-00000c)删除文档，删除文件夹d)#hadoopfs-rm–r/user/root/output02e)#hadoopfs–mkdir–pinput/ncdcf)解压缩输入文件，hadoop无法识别.zip或者.ra
thinkpadshi·2015-07-31 22:00

Hadoop学习笔记（Map_Reduce的思想）

Mapper负责分，即把复杂的任务分解为若干个简单的任务执行。简单的任务：数据或计算规模相对与原任务要大大缩小，就近计算，即会被分配到存放了所需数据的节点进行计算；这些小任务可以并行计算，彼此间无依赖。Reduce对map阶段的结果进行汇总。reduce的数目有mapred-site.xml配置文件里的mapred.reduce.task决定，缺省值为1，用户可以修改。Shuffler：在mapp
arivn_jianming·2015-07-29 09:11

Hadoop学习笔记，HDFS体系结构

一、Namenode 1.1 管理文件系统的命名空间操作 　　打开、关闭、重命名文件活着目录 1.2 记录每个文件数据块在各个Datanode上的位置和副本信息 1.3 协调客户端对文件的访问 　　类似起到目录的作用 1.4 记录命名空间内的改动或空间本身属性空间本身属性的改动 　　比如权限 1.5 Namenode使用事物日志记录HDFS元数据的变化 　　使用映像文件存储文件系
·2015-07-26 00:00

hadoop学习笔记（HDFS的文件操作）

命令行方式和API方式：列出HDFS下的文件bin/hadoopdfs-ls/-ls./in上传文件到HDFSbin/hadoopdfs-put../abcabc将HDFS的文件复制到本地bin/hadoopdfs-getabc./xyz删除HDFS下的文档bin/hadoopdfs-rmrabc查看HDFS下某个文件内容bin/hadoopdfs-cat./out/part-00000查看HDF
arivn_jianming·2015-07-24 09:49

hadoop学习笔记（HDFS）

HDFS的设计基础与目标：（1）硬件错误是常态，因此需要冗余。（2）为大数据而生，流式读写，批量读取而非随机读写。擅长数据分析而不是事务处理。（3）大规模数据集。（4）一次写多次读逻辑设计，即一旦写入，只能读，不能修改。（5）程序才用“数据就近”原则分配节点执行。HDFS的可靠性：冗余副本策略、机架策略、心跳机制、安全模式、校验和、回收站、元数据保护、快照机制。HDFS的体系结构：元数据：事务日志
arivn_jianming·2015-07-22 17:28

Hadoop学习笔记(准备与安装)

HDFS--分布式文件存储，MapReduce--分布式计算，HBase。推荐书籍：实战Hadoop刘鹏(适合初学者)，Hadoop实战陆嘉恒(有hadoop的开发经验)，Hadoop分布式文件系统深度解析(熟练的高手)。Hadoop的三种运行模式：单机模式：仅作为调试使用，几乎可以不作任何配置。伪分布模式：在单节点上同时启动namenode、datenode、jobtracker、tasktra
arivn_jianming·2015-07-22 09:41

hadoop学习笔记

map参数中的key是什么：key是文件中的偏移量 value是这行数据， context是负责hadoop map reduce之间数据的传递，所以map完成后要把结果写入到context中。 为什么要用文件的偏移量做key呢，估计是为了reduce的时候能有个顺序吧。   写入context的结果也是key value对，比如word count，写入的key肯定就是wor
wudixiaotie·2015-07-20 19:00

hadoop学习笔记

一、增加新的数据节点1.1配置数据节点相关的所有信息(slaves,master,core-site,hdfs-site,mapred-site,yarn-site等）1.2/etc/hosts设置1.3/etc/hostname设置1.4启动bin/hadoop-deamon.shstartdatanode1.5启动bin/hadoop-deamon.shstarttasktracker通过相关
pzw_0612·2015-06-24 16:00

hadoop学习笔记(六)——hadoop2.5.2全分布模式实现的部署

环境：centos7+hadoop2.5.2+jdk1.7已经在前两篇博客中出现的步骤具体细节一笔带过，不再展示，具体可以参考ssh免密码登陆，伪分布1) SSH免密码登陆2) 主节点安装jdk和hadoop，并配置环境变量3) 配置主节点hadoop配置文件除了需要额外配置slave，其他的跟伪分布一致。yarn-site.xml配置文件需要额为一下信息 yarn.nodemanager.au
thinkpadshi·2015-06-19 13:00

hadoop学习笔记(五)——全分布模式下SSH免密码登陆的实现

1) 设置3台机器的网络配置，并统一用户名,root除外master:192.168.2.10slave1:192.168.2.11slave2:192.168.2.122) SSH免密码登陆思想因为三个节点要相互访问，所以，三个节点都是客户端，也都是服务器端，我们分别在三个节点上创建一对密钥文件，密钥文件包括公钥文件(~/.ssh/id_rsa.pub)和私钥文件(~/.ssh/id_rsa)。
thinkpadshi·2015-06-16 15:00

Hadoop学习笔记（十五）---Hbase shell命令的使用

1.启动hbase，进入hbase文件夹下面的bin文件夹，然后执行命令：hbaseshell[root@hadoop0bin]#hbaseshellHBaseShell;enter'help'forlistofsupportedcommands.Type"exit"toleavetheHBaseShellVersion0.98.12.1-hadoop1,rb00ec5da604d64a0bdc7
garychenqin·2015-06-07 21:19

hadoop学习笔记(四)——eclipse+maven+hadoop2.5.2源码

 Eclipse中用maven导入hadoop源码1) 安装并配置maven环境变量M2_HOME:D:\profession\hadoop\apache-maven-3.3.3PATH:%M2_HOME%\bin;2) 验证：mvn–version3) 下载protobuf-2.5.0.tar.gz和protoc-2.5.0-win32.zip4) 将protoc-2.5.0-win32中的pr
thinkpadshi·2015-06-06 14:00

Hadoop学习笔记（十二）---hadoop配置文件详解

关于conf/core-site.xml,conf/hdfs-site.xml,conf/mapred-site.xml的配置作如下说明：conf/core-site.xml配置如下：fs.default.name:NameNode的ip地址及其端口hadoop.tmp.dir:指定临时文件的目录conf/hdfs-site.xml配置如下:dfs.replication:备份数据的数量，默认是3
garychenqin·2015-06-04 17:45

hadoop学习笔记(三)——WIN7+eclipse+hadoop2.5.2部署

折腾了大半个晚上终于部署成功了，比在Linux上面稍微复杂一点，详细步骤如下：1) jdk、ant、hadoop环境变量配置2) 分别将hadoop-2.5.2.tar.gz、hadoop-2.5.2-src.tar.gz、hadoop2x-eclipse-plugin、hadoop-common-2.2.0-bin下载解压到D:\profession\hadoop目录下3) 修改hadoop-e
thinkpadshi·2015-06-02 15:00

hadoop学习笔记(二)——hadoop思想简介

这几天阅读《hadoop实战》，初步了解了一下hadoop的核心思想，简要的比较如下：1. hadoop是一个开源框架，可编写和运行分布式应用处理大数据，具有方便、简单、健壮性、可扩展性等优点2. MapReduce程序的执行分为两个阶段，为mapping和reducing。每个阶段均定义为数据处理函数，分别被称为mapper和reducer。在mapping阶段，MapReduce获取输入数据并
thinkpadshi·2015-05-25 10:00

Hadoop学习笔记之初始HBase

Hbase 是Apache Hadoop的数据库，具有开源、分布式、可扩展和面向列存储的特点，借鉴谷歌的Bigtable思想。说到数据库，我们最开始使用的是关系型数据库，但是HBase不同于一般的关系型数据库，她介于Nosql和RDBMS之间，常常将其归为Nosql。HBase适合非结构化数据存储的数据库，而且是基于列的模式，一个数据行拥有一个可选择的键和任意数量的列，所以HBase是稀疏的。她的
u014307117·2015-05-16 09:00

hadoop学习笔记(一)——hadoop安装及测试

这几天乘着工作之余，学习了一下hadoop技术，跌跌撞撞的几天，终于完成了一个初步的hadoop的安装及测试，具体如下：动力：工作中遇到的数据量太大，服务器已经很吃力，sql语句运行老半天，故想用大数据技术来改善一下环境：centos5.11+jdk1.7+hadoop2.5.21.伪分布安装步骤关闭防火墙修改ip修改hostname设置ssh自动登录安装jdk安装hadoop注：此部分涉及到的L
thinkpadshi·2015-05-14 14:45
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他