Hadoop学习笔记

hadoop学习笔记：hadoop文件系统浅析

1.什么是分布式文件系统？ 管理网络中跨多台计算机存储的文件系统称为分布式文件系统。 2.为什么需要分布式文件系统了？ 原因很简单，当数据集的大小超过一台独立物理计算机的存储能力时候，就有必要对它进行分区（partition）并存储到若干台单独计算机上。 3.分布式系统比传统的文件的系统更加复杂 因为分布式文件系统架构在网络之上，因此分布式系统引入了网络编程的复杂性，所以分布式文件系统比
·2015-11-13 21:32

Hadoop学习一 简要介绍

我的这一个系列的Hadoop学习笔记也是从这里一步一步进行下来的，同时又参考了网上的很多文章，对学习Hadoop中遇到的问题进行了归纳总结。
·2015-11-13 20:07

1 Hadoop简介（Hadoop学习笔记）

1  Hadoop简介 1.1  Hadoop简介 Hadoop——轻松应对海量数据存储与分析所带来的挑战。（来自Hadoop权威指南） 百度百科对Hadoop介绍：http://baike.baidu.com/view/908354.htm?fr=aladdin 维基百科对Hadoop介绍：http://zh.wikipedia.org/zh-cn/Hadoop 20
·2015-11-13 06:34

2.2 Hadoop Studio 使用 [Hadoop学习笔记]

Hadoop Studio 是一个 map-reduce 结构的集成开发环境，基于 NetBeans 。你可以利用它来方便快速的创建基于Hadoop 的 map-reduce 应用。该工具提供了一个实时的map-reduce任务的工作流视图，可以显示任务之间独立的输入输出和交互，而且该视图在代码修改时会实时跟着变化。同时还直接生成可运行于 Hadoop 集群中的Jar
·2015-11-13 06:33

Hadoop学习笔记目录

Hadoop简介 Hadoop 运行环境准备 运行环境部署结构介绍 Linux CentOS6.5安装（Hadoop环境配置） Linux 常用远程管理工具介绍 SSH免密码登录配置 Hadoop安装及配置 Hadoop验证-WordCount执行 Hadoop开发工具准备 Hadoop Eclipse
·2015-11-13 06:30

Hadoop简介

我的这一个系列的Hadoop学习笔记也是从 这里 一步一步进行下来的，同时又参考了网上的很多文章，对学习Hadoop中遇到的问题进行了归纳总结。     言归正
·2015-11-12 16:30

Hadoop学习笔记-HDFS结构及原理

1.名词 　　NameNode、DataNode、机架、Client、File、Block、Package 2.组件间的关系：   　　2.1.机架通过交换机相连，HDFS假设：在同一个机架之间传输数据比机架间传输数据快。   　　2.2.NameNode、DataNode指实现不同功能的服务器。NN只用一台，DN需要若干台。   　　2.3.一个Fi
·2015-11-12 13:53

Hadoop学习笔记(四)

              Hadoop中的作业(Job)Hadoop中的作业起始操作，JobClient.runJob(conf)方式进行作业开始，JVM里新建一个进程进行作业处理，作业里面包含任务，调用tasktracker进行任务调度，可以设定准许任务失败的任务数或者失败任务数的百分比都可以设定。作业优先级的功能，可以通过设置mapred.job.priority属性或者JobClient的
19870503ldc·2015-11-11 17:42

Hadoop学习笔记(四)

              Hadoop中的作业(Job)Hadoop中的作业起始操作，JobClient.runJob(conf)方式进行作业开始，JVM里新建一个进程进行作业处理，作业里面包含任务，调用tasktracker进行任务调度，可以设定准许任务失败的任务数或者失败任务数的百分比都可以设定。作业优先级的功能，可以通过设置mapred.job.priority属性或者JobClient的
19870503ldc·2015-11-11 17:42

Hadoop学习笔记1－如何简单布署hadoop

企业机型配置： 选型标准：普通的，廉价的，标准的（容易替换的），工业化大规模生产的 CPU：支持多核CPU，如2个4核CPU 内存：16G以上，内存越大，常用数据都缓存在内存，提高速度 硬盘：不需RAID，也不需使用SCSI、SAS、SSD硬盘，只需普通SATA硬盘即可，只要容量足够。 网络：建议千兆网和高带宽交换机，hadoop对各节点服务器的数据通讯量极为重要。Infinb
·2015-11-11 11:20

Hadoop学习笔记(8) ——实战 做个倒排索引

http://www.cnblogs.com/zjfstudio/p/3913549.html Hadoop学习笔记(8) ——实战 做个倒排索引 倒排索引是文档检索系统中最常用数据结构。
·2015-11-11 04:32

Hadoop学习笔记(7) ——高级编程

http://www.cnblogs.com/zjfstudio/p/3887551.html Hadoop学习笔记(7) ——高级编程 从前面的学习中，我们了解到了MapReduce整个过程需要经过以下几个步骤
·2015-11-11 04:31

Hadoop学习笔记(6) ——重新认识Hadoop

http://www.cnblogs.com/zjfstudio/p/3877094.html#undefined Hadoop学习笔记(6) ——重新认识Hadoop 之前，我们把hadoop
·2015-11-11 04:30

Hadoop学习笔记(7) ——高级编程

Hadoop学习笔记(7) ——高级编程 从前面的学习中，我们了解到了MapReduce整个过程需要经过以下几个步骤： 1.输入(input):将输入数据分成一个个split，并将split
·2015-11-11 00:08

Hadoop学习笔记(6) ——重新认识Hadoop

Hadoop学习笔记(6) ——重新认识Hadoop 之前，我们把hadoop从下载包部署到编写了helloworld，看到了结果。现是得开始稍微更深入地了解hadoop了。
·2015-11-11 00:07

Hadoop学习笔记(4) ——搭建开发环境及编写Hello World

Hadoop学习笔记(4) ——搭建开发环境及编写Hello World 整个Hadoop是基于Java开发的，所以要开发Hadoop相应的程序就得用JAVA。
·2015-11-11 00:06

Hadoop学习笔记(5) ——编写HelloWorld(2)

Hadoop学习笔记(5) ——编写HelloWorld(2) 前面我们写了一个Hadoop程序，并让它跑起来了。但想想不对啊，Hadoop不是有两块功能么，DFS和MapReduce。
·2015-11-11 00:06

Hadoop学习笔记(3)——分布式环境搭建

Hadoop学习笔记(3) ——分布式环境搭建 前面，我们已经在单机上把Hadoop运行起来了，但我们知道Hadoop支持分布式的，而它的优点就是在分布上突出的，所以我们得搭个环境模拟一下。
·2015-11-11 00:05

Hadoop学习笔记(1) ——菜鸟入门

Hadoop学习笔记(1) ——菜鸟入门 Hadoop是什么？先问一下百度吧： 【百度百科】一个分布式系统基础架构，由Apache基金会所开发。
·2015-11-11 00:04

Hadoop学习笔记(2) ——解读Hello World

Hadoop学习笔记(2) ——解读Hello World 上一章中，我们把hadoop下载、安装、运行起来，最后还执行了一个Hello world程序，看到了结果。
·2015-11-11 00:04

Hadoop学习笔记一 简要介绍

Hadoop学习笔记一 简要介绍     这里先大致介绍一下Hadoop.    本文大部分内容都是从官网Hadoop上来的。
·2015-11-10 21:58

Hadoop学习笔记(10) ——搭建源码学习环境

Hadoop学习笔记(10) ——搭建源码学习环境 上一章中，我们对整个hadoop的目录及源码目录有了一个初步的了解，接下来计划深入学习一下这头神象作品了。
·2015-11-08 16:37

Hadoop学习笔记(8) ——实战 做个倒排索引

Hadoop学习笔记(8) ——实战 做个倒排索引 倒排索引是文档检索系统中最常用数据结构。
·2015-11-08 16:36

Hadoop学习笔记(9) ——源码初窥

Hadoop学习笔记(9) ——源码初窥 之前我们把Hadoop算是入了门，下载的源码，写了HelloWorld，简要分析了其编程要点，然后也编了个较复杂的示例。
·2015-11-08 16:36

Hadoop学习笔记之HDFS

      hadoop是一个适合大数据处理的分布式的存储以及计算平台，我个人感觉称他为平台是非常贴切的，因为不管是hive、hbase等这类产品都是需要依赖hadoop的两个核心hdfs和mapreduce。hdfs和mapreduce是hadoop平台的基础核心，其中hdfs是负责大数据的分布式存储，而mapreduce是数据处理的计算框架。下面就开始记录hdfs，mapreduce后面再记录
ivan-Zhao·2015-11-06 15:00

hadoop学习笔记：hadoop文件系统浅析

1.什么是分布式文件系统？管理网络中跨多台计算机存储的文件系统称为分布式文件系统。2.为什么需要分布式文件系统了？原因很简单，当数据集的大小超过一台独立物理计算机的存储能力时候，就有必要对它进行分区（partition）并存储到若干台单独计算机上。3.分布式系统比传统的文件的系统更加复杂因为分布式文件系统架构在网络之上，因此分布式系统引入了网络编程的复杂性，所以分布式文件系统比普通文件系统更加复杂
qwq998492·2015-11-06 11:15

Hadoop学习笔记(1)

Hadoop是什么？先问一下百度吧： 【百度百科】一个分布式系统基础架构，由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且
·2015-11-05 08:25

Hadoop学习笔记(2)

Hadoop学习笔记(2) ——解读Hello World 上一章中，我们把hadoop下载、安装、运行起来，最后还执行了一个Hello world程序，看到了结果。
·2015-11-05 08:24

Hadoop学习笔记(三)

               序列化1:所谓序列化，是指将结构化对象转化为字节流，以便在网络上传输或写到磁盘进行永久存储，反序列化是指字节流转回结构化对象的逆过程。2:序列化在分布式数据处理的两大领域经常出现:进程间通信和永久存储。3:ApacheAvro是一个独立于编程语言的数据序列化系统。
19870503ldc·2015-11-04 16:58

Hadoop学习笔记(三)

               序列化1:所谓序列化，是指将结构化对象转化为字节流，以便在网络上传输或写到磁盘进行永久存储，反序列化是指字节流转回结构化对象的逆过程。2:序列化在分布式数据处理的两大领域经常出现:进程间通信和永久存储。3:ApacheAvro是一个独立于编程语言的数据序列化系统。
19870503ldc·2015-11-04 16:58

Hadoop学习笔记（2）

Hadoop序列化：Long 和Int---变长编码的方法： 如果整数在[ -112， 127] ，所需字节数为1，即第一个字节数就表示该值。 如果大于127，则第一个字节数在[-120,-113]之内，正数字节数为（-112-第一个字节）---最多八个字节。 如果小于-112，则第一个字节数在[-128,-121]之内，负数字节数为（-120-第一个字节）---最多八个字节。
·2015-11-02 16:11

Hadoop学习笔记(7) ——高级编程

Hadoop学习笔记(7) ——高级编程 从前面的学习中，我们了解到了MapReduce整个过程需要经过以下几个步骤： 1.输入(input):将输入数据分成一个个split，并将split
·2015-11-02 15:59

Hadoop学习笔记(6) ——重新认识Hadoop

Hadoop学习笔记(6) ——重新认识Hadoop 之前，我们把hadoop从下载包部署到编写了helloworld，看到了结果。现是得开始稍微更深入地了解hadoop了。
·2015-11-02 15:58

Hadoop学习笔记(5) ——编写HelloWorld(2)

Hadoop学习笔记(5) ——编写HelloWorld(2) 前面我们写了一个Hadoop程序，并让它跑起来了。但想想不对啊，Hadoop不是有两块功能么，DFS和MapReduce。
·2015-11-02 15:58

Hadoop学习笔记(4) ——搭建开发环境及编写Hello World

Hadoop学习笔记(4) ——搭建开发环境及编写Hello World 整个Hadoop是基于Java开发的，所以要开发Hadoop相应的程序就得用JAVA。
·2015-11-02 15:57

Hadoop学习笔记(3)——分布式环境搭建

Hadoop学习笔记(3) ——分布式环境搭建 前面，我们已经在单机上把Hadoop运行起来了，但我们知道Hadoop支持分布式的，而它的优点就是在分布上突出的，所以我们得搭个环境模拟一下。
·2015-11-02 15:56

Hadoop学习笔记一 简要介绍

我的这一个系列的Hadoop学习笔记也是从 这里 一步一步进行下来的，同时又参考了网上的很多文章，对学习Hadoop中遇到的问题进行了归纳总结。  &
·2015-11-02 14:41

Hadoop学习笔记(1)

Hadoop学习笔记(1) ——菜鸟入门 Hadoop是什么？先问一下百度吧： 【百度百科】一个分布式系统基础架构，由Apache基金会所开发。
·2015-11-01 11:47

Hadoop学习笔记一 简要介绍

Hadoop学习笔记一 简要介绍 内容摘要：Lucene并不是一个应用程序，而是提供了一个纯 Java的高性能全文 索引引擎工具包，它可以方便的嵌入到各种实际应用中实现全文搜索/索引功能。
·2015-11-01 10:05

Hadoop学习笔记（2）hadoop框架解析

Hadoop是适合大数据的分布式存储与计算平台 HDFS的架构：主从式结构 主节点只有一个NameNode，从节点可以有很多个DataNode。 NameNode负责： (1)接收用户操作请求 (2)维护文件系统的目录结构 (3)管理文件与block之间关系，block与DataNode之间联系 DataNode负责： (1)存储文件 (2)文件被分成block存储在磁盘上
·2015-11-01 10:48

Hadoop学习笔记（1）概述

写在学习笔记之前的话： 寒假已经开始好几天了，似乎按现在的时间算，明天就要过年了。在家的这几天，该忙的也都差不多了，其实也都是瞎忙。接下来的几点，哪里也不去了，静静的呆在家里学点东西。所以学习一下Hadoop的相关知识，跟自己的研究方向毛关系没有啊，就当自己的兴趣爱好吧。 学习目标： （1）掌握Hadoop基本知识，进行Hadoop的HDFS和MapReduce应用开发，搭
·2015-11-01 10:46

Hadoop学习笔记二 安装部署

本文主要是以安装和使用hadoop-0.12.0为例，指出在部署Hadoop的时候容易遇到的问题以及如何解决。 硬件环境共有3台机器，均使用的FC5系统，Java使用的是jdk1.6.0。IP配置如下：dbrg-1：202.197.18.72dbrg-2：202.197.18.73dbrg-3：202.197.18.74 这里有一点需要强调的就是，务必要确保每台机器的主机名和IP地址之间能正确
·2015-10-31 14:40

Hadoop学习笔记（1）

Doug Cutting Lucene（索引引擎）---Nutch（搜索Data抓取）---Hadoop   1997:Lucene 2003:GFS 2004:NDFS\MapReduce\Nutch 2006: (Yahoo! Facebook NewYorkTimes) Hadoop 2008: HBase Zookeeper  Mahout 2009:
·2015-10-31 11:05

Hadoop学习笔记（一）之示例程序：计算每年的最高温度MaxTemperature

　　本《hadoop学习笔记》系列是在《hadoop: the definitive guide 3th》的基础上通过网上额外搜集资料和查看hadoop的API再加上自己的实践方面的理解编写而成的，主要针对
·2015-10-31 11:03

Hadoop学习笔记（二）：从map到reduce的数据流

　　一个MapReduce作业是一个用户希望被执行的工作单元：它包括输入数据，MapReduce程序和配置信息。Hadoop通过把作业分成任务（tasks，分为map tasks 和reduce tasks两种）的形式来运行该作业。 　　有两种节点用来控制每个作业的执行： jobtracker通过把tasks分发到各个tasktrackers来运行，并协调系统上运行的所有作业。task
·2015-10-31 11:03

Hadoop学习笔记（五）：一些关于HDFS的基本知识

　　当某个数据集大大小超出单个物理机的存储能力时，我们可以考虑使用集群。管理跨网络机器存储的文件系统叫做分布式文件系统(Distributed FileSystem)。随着多节点的引入，相应的问题也就出现了，例如其中最重要的一个问题就是如何保证在某个节点失败的情况下数据不会丢失。Hadoop中有一个核心子项目HDFS(Hadoop Distributed FileSystem)就是用来管理集群的存
·2015-10-31 11:03

Hadoop学习笔记（六）：Hadoop读写文件时内部工作机制

读文件  　　读文件时内部工作机制参看下图： 　　客户端通过调用FileSystem对象（对应于HDFS文件系统，调用DistributedFileSystem对象）的open()方法来打开文件（也即图中的第一步），DistributedFileSystem通过RPC（Remote Procedure Call）调用询问NameNode来得到此文件最开始几个block的文件位置（
·2015-10-31 08:03

Hadoop学习笔记（八）：如何使用Maven构建《hadoop权威指南3》随书的源码包

　　《hadoop：the definitive guide 3th》中的例子默认提供了一种编译和构建jar包方法——maven，如果没有maven你会发现编译测试随书的源码会非常的麻烦（至少在命令行下），当然你也可以使用eclipse导入随书的源码再自己一个个的添加依赖性jar包（恐怕也不太容易）。不过还好有非常好的开源的软件项目管理工具来帮助我们做这些无关于程序本身设计与架构的琐碎的工作，那就
·2015-10-31 08:03

Hadoop学习笔记（九）：如何在windows上使用eclipse远程连接hadoop进行程序开发

　　由于hadoop主要是部署和应用在linux环境中的，但是目前鄙人自知能力有限，还无法完全把工作环境转移到linux中去（当然还有点小私心啦，windows下那么多好用的程序到linux下用不了还真有点心疼——比如说快播，O(∩_∩)O~），于是便想着用eclipse来远程连接hadoop进行开发，摸索了一番，下面是其步骤： 　　1. 首先把hadoop-eclipse-plugin-1.0
·2015-10-31 08:03

Hadoop学习笔记（五）：一些关于HDFS的基本知识

　　当某个数据集大大小超出单个物理机的存储能力时，我们可以考虑使用集群。管理跨网络机器存储的文件系统叫做分布式文件系统(Distributed FileSystem)。随着多节点的引入，相应的问题也就出现了，例如其中最重要的一个问题就是如何保证在某个节点失败的情况下数据不会丢失。Hadoop中有一个核心子项目HDFS(Hadoop Distributed FileSystem)就是用来管理集群的存
·2015-10-31 08:02
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他