Hadoop学习笔记

hadoop学习笔记(一)——hadoop安装及测试

这几天乘着工作之余，学习了一下hadoop技术，跌跌撞撞的几天，终于完成了一个初步的hadoop的安装及测试，具体如下：动力：工作中遇到的数据量太大，服务器已经很吃力，sql语句运行老半天，故想用大数据技术来改善一下环境：centos5.11+jdk1.7+hadoop2.5.21.伪分布安装步骤关闭防火墙修改ip修改hostname设置ssh自动登录安装jdk安装hadoop注：此部分涉及到的L
thinkpadshi·2015-05-14 14:45

hadoop学习笔记(一)——hadoop安装及测试

这几天乘着工作之余，学习了一下hadoop技术，跌跌撞撞的几天，终于完成了一个初步的hadoop的安装及测试，具体如下：动力：工作中遇到的数据量太大，服务器已经很吃力，sql语句运行老半天，故想用大数据技术来改善一下环境：centos5.11+jdk1.7+hadoop2.5.21. 伪分布安装步骤关闭防火墙修改ip修改hostname设置ssh自动登录安装jdk安装hadoop注：此部分涉及到的
thinkpadshi·2015-05-14 14:00

Hadoop学习笔记0005——centos下运行Hadoop实例

前提：*确保Hadoop安装成功*1、复制Hadoop自带的源码实例cp/usr/hadoop/src/examples/org/apache/hadoop/examples/WordCount.java/usr/hadoop/test2、创建一个classes文件夹，方便编译mkdirclasses3、编译WordCount.java文件javac-classpath/usr/hadoop/ha
Dream_angel_Z·2015-05-12 09:00

hadoop学习笔记2

学习笔记1顺利能执行计算两个txt文件里面的word1这里学习用eclipse进行测试，eclipse安装的是eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz在linux系统中官网下载的2插件的话用的是hadoop2x-eclipse-plugin-master.zip官网下载的3安装完毕后，进入mapReduce试图4然后将marReduce工具栏拉出来5
若水_若水·2015-05-01 00:30

hadoop学习笔记411

安装hadoop 1. 免秘钥 使用hadoop用户 ssh-keygen -t rsa cp id_rsa.pub authorized_keys cat id_rsa.pub>>authorized_keys 使用ssh测试，如果失败： 情况1： authorized_keys 权限过高： chmod 600 authorized_keys 情况2： sshd_config 2. 安装hado
MrCharles·2015-04-29 10:00

Hadoop生态系统介绍【可视化管理hadoop集群】

文章来源：1、Hadoop生态系统介绍http://blog.csdn.net/woshiwanxin102213/article/details/196883932、Hadoop学习笔记：ApacheHadoop
buster2014·2015-04-28 16:00

Hadoop学习笔记0004——eclipse安装hadoop插件

Hadoop学习笔记0004——eclipse安装hadoop插件1、下载hadoop-1.2.1.tar.gz，解压到win7下hadoop-1.2.1；2、如果hadoop-1.2.1中没有hadoop-eclipse-plugin
拾毅者·2015-04-22 12:47

Hadoop学习笔记—18.Sqoop框架学习

一、Sqoop基础：连接关系型数据库与Hadoop的桥梁1.1Sqoop的基本概念Hadoop正成为企业用于大数据分析的最热门选择，但想将你的数据移植过去并不容易。ApacheSqoop正在加紧帮助客户将重要数据从数据库移到Hadoop。随着Hadoop和关系型数据库之间的数据移动渐渐变成一个标准的流程，云管理员们能够利用Sqoop的并行批量数据加载能力来简化这一流程，降低编写自定义数据加载脚本的
EdisonZhou·2015-04-20 00:00

Hadoop学习笔记0003——从Hadoop URL读取数据

Hadoop学习笔记0003——从HadoopURL读取数据从HadoopURL读取数据要从Hadoop文件系统中读取文件，一个最简单的方法是使用java.net.URL对象来打开一个数据流，从而从中读取数据
拾毅者·2015-04-11 12:14

hadoop学习笔记——第一个程序

1、程序例子连接：http://blog.chinaunix.net/uid-20577907-id-3613584.html2、问题解决连接：http://www.360doc.com/content/15/0202/09/20466010_445634294.shtml3、hadoop命令连接：http://blog.csdn.net/wangloveall/article/details/2
yaoxiaochuang·2015-04-01 16:00

Hadoop学习笔记0001——Hadoop安装配置

Hadoop配置主要事项1、保证Master和Slave能够ping通；2、配置/etc/hosts文件；3、能够ssh无密码切换各台主机；4、安装sun公司的jdk，在/etc/profile中设置好环境变量；5、下载Hadoop，安装、配置、搭建Hadoop集群；1.Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Had
Dream_angel_Z·2015-03-28 15:00

Hadoop学习笔记(概述)

Apachehadoop是什么? 可靠的，可扩展的分布式计算软件。(1)可使用简单的编程模型来分布式计算集群中的大量数据集。(2)可从一台服务器扩展到数千台服务器的计算和存储(3)在应用层面发现并处理错误Hadoop项目的几大模块(1)HadoopCommon: 支持其他hadoop模块的通用工具(2)HadoopDistributedFileSystem(HDFS):分布式文件系统，为应用数据的
莫问viva·2015-03-26 10:00

hadoop学习笔记

2012-10-23初步接触1.【hadoop】是一个功能对大量数据进行分布式处理的软件架构,实现了MapReduce编程模型和框架2.在Mapreduce中一个准备提交执行的应用程序称为作业（job),而从一个作业划分出的，运行个计算机节点的工作单元称为任务（task）3.Hadoop提供分布式文件系统（HDFS），主要负责各个节点数据存储，并实现了高吞吐率的数据读写4.【NameNode】是H
郭恩洲的博客·2015-03-19 10:00

Hadoop学习笔记-入门

新学期开始了，在学校的日子开始倒计时~~~有点矫情了。寒假在广州呆了一个月，没做什么，出去转了一圈，依然不知道找工作的事水有多深。期间看了一篇博文，感触良多。此前虽然钻研过不少技术，但是说白了就是CURD，没意思，没技术含量。早就打算坐下来看看Hadoop，但是一直没有找到合适的资料，昨天终于搜集到一份比较完整的，就此开始Hadoop的学习~~共勉！！学习视频下载地址http://pan.baid
umgsai·2015-03-05 19:24

Hadoop学习笔记：MapReduce框架详解

http://blog.jobbole.com/84089/原文出处：夏天的森林欢迎分享原创到伯乐头条开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套
maijian·2015-02-06 11:57

hive 更多资料urls

sishuok.com/forum/blogPost/list/6220.html 初始Hive――深入浅出学Hive http://www.cnblogs.com/sharpxiajun/p/3151395.html hadoop
火箭筒·2015-01-18 20:23

Hadoop学习笔记《关于HDFS》

HDFS(分布式文件系统)，默认的最忌本的存储单位是64M（可修改通过修改hdfs-core.xml文件内容来改变hdfs的块大小时，在修改后上传的文件会使用新设置的数据块大小）顺手找了一下为1.什么是64M                      2.能不能少于64M                      3.如果过大呢《1》.减少硬盘寻道时间HDFS设计的初衷是支持大容量的流式数据操作，
547513778·2015-01-15 10:53

hadoop学习笔记

map函数执行结束后，map输出的一共有4个，分别是,,分区，默认只有一个分区排序 ,,分组 把相同key的value放到一个集合中 ，每一组调用一次reduce函数归约（可选）map任务输出的临时结果存放在linux磁盘上。
Zero零_度·2015-01-05 19:00

Hadoop学习笔记2-HDFS的安装与部署以及HDFS Shell命令

总结上一次：1）hadoop是什么？包含3个组件HDFS、MapReduce、Common组件2）HDFS的架构读写操作包含两个重要的节点NameNode（数据块信息）NataNode数据块3)MapReduce框架inputmap分shufflereduce汇总output4)hadoop的生态系统hbasehivepigooziezookeeper等5)hadoop版本选择1.x,2.0nam
deyu1982·2014-12-06 00:18

hadoop学习笔记之七：hadoop与Mongodb结合

          mongodb是NoSQl领域里非常流行的一款非关系型数据库，提供了强大的分片存储与查询功能，用来做历史数据（日志）存储与查询比较适合，本身也提供了mapreduce功能，但是并不是任何时候Mongodb的使用者都会使用分片功能，更大的可能是使用副本集的方式（有时候机器并不多），而Hado
chenhua_1984·2014-12-02 17:00

hadoop学习笔记之六：一些优化点

hadoop 性能调优  1调优主要集中在另个方面   A 减少运算时间    B减少磁盘空间占用率   CIo方面的优化  2 Hadoop自身会将Task分配给正在空闲的节点去做，这样可以充分利用资源，并且会将Map任务分配给InputSplit所在的集群，以减少IO的开销，提升运算速度。  3我们知道，
chenhua_1984·2014-12-02 10:00

hadoop学习笔记

第1章 Hadoop的安装与配置1.1 hadoop伪分布安装步骤使用root用户登录(1) 设置静态ip    在centos桌面右上角的图标上，右键修改    重启网卡，执行命令service network restart    验证：执行命令ifconfig(2) 修改主机名    修改当前回话中的主机名，执行命令hostname hadoop    修改配置文件中的主机名，执行命令vi 
jiangsanfeng1111·2014-11-29 16:00

hadoop学习笔记之五：hadoop MapReduce wordcount

      搭建好了Eclipse的开发环境，接下来就是Helloword，hadoop 的HelloWord是一个Wordcount的例子，就是统计单词在不同的文档里出现的次数。        我这边准备了三个文档：（存入hdfs 的文件系统中)   [root@bigdata2
chenhua_1984·2014-11-28 11:00

Hadoop学习笔记之四：eclipse 安装插件构建开发环境

1 下载hadoop-eclipse-plugin插件 2 将hadoop-1.0.3-eclipse-plugin.jar复制到eclipse plugins 目录下面 3启动eclipse ，点击windows -引用，找到map reduce ，选择MapReduce的安装目录，这里选择主节点的安装目录 4 windows --show others ,配置hadoop 的
chenhua_1984·2014-11-27 18:00

hadoop学习笔记之三：hadoop hdfs fs 指令学习

查看指令参数：   [root@bigdata2 bin]# ./hadoop fs --help [-lsr <path>] [-du <path>] [-dus <path>] [-count[-q] <path>]
chenhua_1984·2014-11-27 17:00

hadoop学习笔记之二：1.0.1搭建集群

       安装环境     写道 两台主机： 192.168.1.2 bigdata2 192.168.1.4 bigdata3      1  安装JDK （两台主机安装一个版本的JDK）    [root@bigdata
chenhua_1984·2014-11-27 12:00

Hadoop学习笔记——高级编程

从前面的学习中，我们了解到了MapReduce整个过程需要经过以下几个步骤：1.输入(input):将输入数据分成一个个split，并将split进一步拆成。2.映射(map)：根据输入的进生处理，3.合并(combiner)：合并中间相两同的key值。4.分区(Partition)：将分成N分，分别送到下一环节。5.化简(Reduce)：将中间结果合并，得到最终结果6.输出(output)：负责
超人学院·2014-11-25 11:00

Hadoop学习笔记_伪分布式安装

 在上一篇文章中，我们已经设置了linux的静态ip，那么下面我们需要做一些linux操作系统上的配置，之后再进行伪分布式安装。1.首先，在大家上网的过程中，比如当大家想进行搜索时，一般可能会选择百度或者google，此时我们会打开浏览器，输入域名，然后进行搜索，而不是输入ip地址，同理，在linux上，我们可以设置linux的hostname来代替ip地址，使人们更加容易记忆。下面打开终端，看当
冰诺莫语·2014-11-18 22:00

Hadoop学习笔记（二）设置单节点集群

本文描述如何设置一个单一节点的 Hadoop 安装，以便您可以快速执行简单的操作，使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS)。参考官方文档：HadoopMapReduceNextGeneration-SettingupaSingleNodeCluster.Hadoop版本：ApacheHadoop2.5.1系统版本：CentOS6.5，内核（uname-
testcs_dn·2014-10-07 15:00

Hadoop学习笔记（二）设置单节点集群

本文描述如何设置一个单一节点的Hadoop安装，以便您可以快速执行简单的操作，使用HadoopMapReduce和Hadoop分布式文件系统(HDFS)。参考官方文档：HadoopMapReduceNextGeneration-SettingupaSingleNodeCluster.Hadoop版本：ApacheHadoop2.5.1系统版本：CentOS6.5，内核（uname-r）：2.6.3
mybwu_com·2014-10-07 15:00

Hadoop学习笔记（一）从官网下载安装包

Hadoop是一个分布式系统基础架构，由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。要学习Hadoop从下载安装包开始打开Hadoop的官方网站，点击DownloadHadoop或点击“GettingStarted”节中的Download Hadoopfromthereleasepage.点击Download点击Downl
testcs_dn·2014-10-03 18:00

Hadoop学习笔记（一）从官网下载安装包

Hadoop是一个分布式系统基础架构，由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。要学习Hadoop从下载安装包开始打开Hadoop的官方网站，点击DownloadHadoop或点击“GettingStarted”节中的DownloadHadoopfromthereleasepage.点击Download点击Downlo
mybwu_com·2014-10-03 18:00

Hadoop学习笔记之一:Hadoop项目简介

                                        项目打算使用Hadoop来做MapReduce,先对Hadoop项目有个大致的了解吧..Hadoop是Apache下面一个开源的分布式计算和存储的平台,其核心是MapReduce和HDFS,其他还有一些子项目是为Hadoop而服务的,包括HiveHbasePigChukwaZookeeper 等.目前包括两个版本，官方
chenhua_1984·2014-09-26 10:00

hadoop学习笔记

Hadoopmaster/slave模式hadoop的集群是基于master/slave模式，namenode和jobtracker属于master，datanode和tasktracker属于slave，master只有一个，而slave有多个。·分布式存储（hdfs）角度：集群中的节点由一个namenode和多个datanode组成。namenode是中心服务器，负责管理文件系统的名字空间（n
银云风·2014-09-25 14:36

hadoop学习笔记----- Hbase理论

HadoopDatabase便于时间查询； Hbase是一个分布式的、面向列的开源数据库，该技术来源于Changetal所写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（FileSystem）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bittable的能力。HBase是Apache的Hadoop项目
Onlyou_Linux·2014-09-04 01:03

hadoop学习笔记----- Hbase理论

HadoopDatabase便于时间查询；Hbase是一个分布式的、面向列的开源数据库，该技术来源于Changetal所写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（FileSystem）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bittable的能力。HBase是Apache的Hadoop项目的
丶老龚·2014-09-04 01:03

hadoop学习笔记之--- HDFS原理学习

HDFSHDFS设计基础与目标:冗余:硬件错误是常态流式数据访问。即数据比量读取而非随机读写，Hadoop擅长做的是数据分析而不是事务处理。大规模数据集简单一致性模型。为了降低系统复杂程度，对文件采用一次性写多多次读的逻辑设置，即是文件一经写入，关闭，再也不能修改。程序采用“数据京近”原则分配节点执行。 OLTP:偶尔随机性德读写 HDFS体系架构： NameNode:管理文件系统的命名空间；记录
Onlyou_Linux·2014-09-03 23:05

hadoop学习笔记之--- HDFS原理学习

HDFSHDFS设计基础与目标:冗余:硬件错误是常态流式数据访问。即数据比量读取而非随机读写，Hadoop擅长做的是数据分析而不是事务处理。大规模数据集简单一致性模型。为了降低系统复杂程度，对文件采用一次性写多多次读的逻辑设置，即是文件一经写入，关闭，再也不能修改。程序采用“数据京近”原则分配节点执行。OLTP:偶尔随机性德读写HDFS体系架构：NameNode:管理文件系统的命名空间；记录每个文
丶老龚·2014-09-03 23:05

Hadoop学习笔记_初识Hadoop

Hadoop是适合大数据的分布式存储与计算平台，分布式存储即HDFS(Hadoop Distributed File System),计算平台即MapReduce。Hadoop是分布式存储数据，在存储过程中会有数据通过网路进行传输，会受到带宽等方面的限制，因此如果在小数据规模下使用Hadoop，很可能并不如当前的解决方法效率高，因此Hadoop适合大数据的规模。 当前额Hadoop存在各种版本，
冰诺莫语·2014-09-02 22:00

完全分布式安装Hadoop

hadoop学习笔记之--完全分布模式安装Hadoop完全分布式模式安装步骤Hadoop模式介绍单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途伪分布模式：在单节点上同时启动namenode、datanode
MR_White·2014-09-02 19:00

--Hadoop相关零散知识点

Hadoop学习笔记：1、Hadoop三种安装模式本地模式：本地模式是Hadoop默认的模式，只有Hadoop被配置成以非分布式模式运行的一个独立Java进程。
hiqj·2014-08-30 18:00

HADOOP学习笔记之---3、HADOOP端口和配置文件

   一、Hadoop进程监听的地址和端口：Hadoop启动时会运行两个服务器进程，一个为用于hadoop各进程间进行通信的RPC服务进程，另一个是提供了便于管理员查看hadoop集群各进程相关信息页面的http服务进程。  用于定义各RPC服务器所监听的地址和端口的属性有如下几个：fs.default.name : 定义HDFS的namenode用于提供URI所监听的地址和端口，默认端口8020
Onlyou_Linux·2014-08-29 12:29

HADOOP学习笔记之---3、HADOOP端口和配置文件

一、Hadoop进程监听的地址和端口：Hadoop启动时会运行两个服务器进程，一个为用于hadoop各进程间进行通信的RPC服务进程，另一个是提供了便于管理员查看hadoop集群各进程相关信息页面的http服务进程。用于定义各RPC服务器所监听的地址和端口的属性有如下几个：fs.default.name:定义HDFS的namenode用于提供URI所监听的地址和端口，默认端口8020dfs.dat
丶老龚·2014-08-29 12:29

hadoop 学习笔记：mapreduce框架详解

hadoop学习笔记：mapreduce框架详解开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs
MR_White·2014-08-28 20:00

Hadoop学习笔记之二：HDFS体系架构

HDFS简介HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。1.             HDFS有以下几个主要特点：     处理超大文件：存储的一个超大文件可以达到数GB级、数TB级、数PB级。  
qinyan20121209·2014-08-24 16:54

Hadoop学习笔记之二：HDFS体系架构

HDFS简介HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。1.HDFS有以下几个主要特点：处理超大文件：存储的一个超大文件可以达到数GB级、数TB级、数PB级。集群规模动态扩展：节点动态加入到集群，可
qinyan20121209·2014-08-24 16:54

Hadoop学习笔记之一：Hadoop介绍

 序 前段时间，公司安排部署CDH4的集群环境，并对集群环境做初步验证，现在把安装部署过程、基准测试报告一一分享出来，并顺便整理下Hadoop的系列知识点，以备后面查阅需要。 在学习Hadoop之前，有必要简单了解一下大数据知识 1.             大数据背景大数据的产生：众所周知，随着信息社会的快速发展，信息量以爆发式的速度增长，这些信息包括来自互联网的大数据、大量传感器的机器数据、行
qinyan20121209·2014-08-24 16:52

Hadoop学习笔记之一：Hadoop介绍

序前段时间，公司安排部署CDH4的集群环境，并对集群环境做初步验证，现在把安装部署过程、基准测试报告一一分享出来，并顺便整理下Hadoop的系列知识点，以备后面查阅需要。在学习Hadoop之前，有必要简单了解一下大数据知识1.大数据背景大数据的产生：众所周知，随着信息社会的快速发展，信息量以爆发式的速度增长，这些信息包括来自互联网的大数据、大量传感器的机器数据、行业的内容数据。这些数据的特征表现为
qinyan20121209·2014-08-24 16:52

Hadoop学习笔记14：./bin/hadoop namenode -format之源码解析

上一节讲解了shell脚本运行的本质这下让我们真正来一探类org.apache.hadoop.dfs.NameNodePS:这年头不会源码不好混啊，生活所迫！准备工作：需要把相应的.xml文件放在正确的目录下还有源码也要放在跟对应的class文件同一层次下，这样才可以找到源码！===========================与c语言对应的gdb对应，java有jdb启动方法如下： 这样就可以
强子哥哥·2014-08-20 10:00

Hadoop学习笔记13：./bin/hadoop namenode -format之脚本分析

网上视频和书本都说：启动之前要格式化，本节就来讲讲解格式化HDFS命令背后的原理！先来看看执行结果！下面我们来研究原理！=====================首先需要研究下./bin/hadoop脚本怎么运行THIS="$0" while[-h"$THIS"];do ls=`ls-ld"$THIS"` link=`expr"$ls":'.*->\(.*\)$'` ifexpr"$link":'
强子哥哥·2014-08-19 23:00
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他