Hadoop学习笔记

Hadoop学习笔记1-初识Hadoop

hadoop学习笔记初识hadoop数据越来越多，数据的增长越来越快，存储和分析这些数据成为挑战！数据的存储和分析当数据量逐渐变大时，单个磁盘的读写速度成为瓶颈。
王小坤·2017-06-17 17:10

Hadoop学习笔记：HDFS的java API使用

简单通过一个示例来使用一下HDFS的Java接口。packagecn.zhoucy.Hadoop;importjava.io.File;importjava.io.FileInputStream;importjava.io.FileOutputStream;importjava.io.IOException;importjava.io.InputStream;importjava.net.URI;
无扬人生·2017-05-24 14:45

Hadoop学习笔记之HDFS

HDFS基本概念HDFS是HadoopDistributeFileSystem的简称，是Hadoop的一个分布式文件系统。分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。HDFS组件构成Namenode&SecondaryNamenode负责管理文件目录
Sincere_Cry·2017-04-17 16:55

Hadoop学习笔记—1.初识hadoop

Hadoop学习笔记—1.初识hadoop一、Hadoop的发展历史Hadoop的起源不得不说如今IT巨头Google。
liuzebin9·2017-04-12 13:01

Hadoop学习笔记001——Linux环境配置(001)

一、配置VMware1.配置vmnetcfg（如图）将VMnet1配置为仅主机模式，并配置子网IP为：192.168.8.0（可自行配置）将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段注意：一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段，但是IP不能相同二、Linux环境配置1.0配置IP点击VMware快捷方式，右键打开文件所在位置->双击vmnetcfg
SEVEN_LEL·2017-04-05 23:35

hadoop学习笔记之七：hadoop与Mongodb结合

阅读更多mongodb是NoSQl领域里非常流行的一款非关系型数据库，提供了强大的分片存储与查询功能，用来做历史数据（日志）存储与查询比较适合，本身也提供了mapreduce功能，但是并不是任何时候Mongodb的使用者都会使用分片功能，更大的可能是使用副本集的方式（有时候机器并不多），而Hadoop提供了HDFS和分布式计算的功能，我们可以利用hadoop的MapReduce来取代Mongodb
stuming_zeng·2017-03-13 16:00

hadoop学习笔记之HDFS

1.HDFS存储机制HDFS包含三个守护进程：NameNode、SecondaryNameNode和DataNode。HDFS中使用“块”这样一个概念，将数据分成块，每一块默认大小64M，比磁盘块大得多，这是为了减少寻址时间占传输时间的比重。数据块存放在DataNode节点中，DataNode负责维护本地数据块列表。为了避免丢失，通常数据块会有多个副本，默认值是3，可配置。NameNode中存放元
flushest·2017-03-13 11:55

hadoop学习笔记之MapReduce特性

1.计数器在MR作业中内置计数器，统计任务状态，用户可以自定义计数器以实现统计目的，这块比较简单，不是什么原理性的东西，直接略过2.排序排序是MR中比较核心的问题，MR中数据是通过排序来进行组织的。排序的效率直接影响着整个作业的运行效率i)部分排序在Map任务执行完毕之后，写入到磁盘文件之前，对输出数据进行预排序。这样的排序是按照键进行字典排序而成，将键相同的数据组织到一起。预排序完成之后，将数据
flushest·2017-03-09 16:47

ES-Hadoop学习笔记-Storm交互

elasticsearch-Hadoop提供ElasticSearch与ApacheStorm的集成支持。从ElasticSearch读取的数据是以Storm里Tuple的形式进行操作处理。依赖版本信息：org.apache.stormstorm-core1.0.1org.apache.stormstorm-starter1.0.1org.apache.stormstorm-hdfs1.0.1or
ctwen·2017-03-05 17:21

hadoop学习笔记之初识hadoop hadoop单机版安装

安装jdk-1.8并配置1.将安装包复制到用户目录下并解压tar-zxvf安装包名-C.这里因为在用户目录下，可以不用sudo权限2.配置环境变量这个据我所知分为两种，分别是/etc/environment和~/.bashrc；前者是全局环境变量配置，后者是用户环境变量配置，根据需要选择编辑文件，往其中添加exportJAVA_HOME=/usr/lib/jvm/jdk1.8.0_121expor
flushest·2017-03-02 00:26

Hadoop学习笔记—4.初识MapReduce

一、神马是高大上的MapReduceMapReduce是Google的一项重要技术，它首先是一个编程模型，用以进行大数据量的计算。对于大数据量的计算，通常采用的处理手法就是并行计算。但对许多开发者来说，自己完完全全实现一个并行计算程序难度太大，而MapReduce就是一种简化并行计算的编程模型，它使得那些没有多有多少并行计算经验的开发人员也可以开发并行应用程序。这也就是MapReduce的价值所在
HoterSpring·2017-02-28 10:09

Hadoop学习笔记—3.Hadoop RPC机制的使用

一、RPC基础概念1.1RPC的基础概念RPC，即RemoteProcdureCall，中文名：远程过程调用；（1）它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。因此，它经常用于分布式网络通信中。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发
HoterSpring·2017-02-28 10:29

Hadoop学习笔记1

Hadoop部署方式本地模式伪分布模式(在一台机器中模拟，让所有进程在一台机器上运行)集群模式服务器只是一堆废铁而已，上面跑了tomcat，我们叫它web服务器；上面跑了mysql，我们叫它数据库服务器。所以不同服务器只是上面跑的进程(或者说程序)不同，我们是根据它们跑的进程来命名它们分别叫什么服务器的。宿主机(windows)和客户机(linux)之间通信host-only：宿主机与客户机单独组
陈半仙儿·2017-02-06 21:50

Hadoop学习笔记1

Hadoop部署方式本地模式伪分布模式(在一台机器中模拟，让所有进程在一台机器上运行)集群模式服务器只是一堆废铁而已，上面跑了tomcat，我们叫它web服务器；上面跑了mysql，我们叫它数据库服务器。所以不同服务器只是上面跑的进程(或者说程序)不同，我们是根据它们跑的进程来命名它们分别叫什么服务器的。宿主机(windows)和客户机(linux)之间通信host-only：宿主机与客户机单独组
chenyyhh92·2017-02-02 22:28

Hadoop学习笔记（三）HDFS应用程序开发

1.APIAPI文档位于hadoop安装目录的docs文件夹中。与HDFS相关的API位于org.apache.hadoop.fs包中。下面列出了几个常用类及其说明：FileSystem：用于封装文件系统（包括HDFS）的基类。类中提供了创建文件、拷贝文件、删除文件、目录列表等相关文件操作的API。FileStatus：用于封装文件属性信息的类，如文件长度、属主和组、最后修改时间等。FSDataI
FXBStudy·2016-11-24 09:40

Hadoop学习笔记（二）HDFS

一、简介HDFS是ApacheHadoopCore项目的一部分，是一个分布式文件系统。Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。1.1HDFS特点&目标在HDFS文件系统中一个文件将被分布在几圈中的多肽机器上存储。HDFS与其他分布式文件系统的主要区别是：HDFS是一个高度容错性的系统，适合部署在廉价的机器上。提供高吞
FXBStudy·2016-11-24 00:23

Hadoop学习笔记（一）

前言：我在写这篇博客的时候已经退出了Hadoop3.x版本的测试版本了，但是我是一个菜鸟，而且学校提供的教学材料是1.x版本的。我还是从手头现有的资料开始学起。学校提供的大数据学习资料：大数据处理技术教学课件-详细标签一、Hadoop1.x架构Hadoop的基本构成有两个核心子系统和多个扩展子系统组成，如下图：Hadoop系统中的两个核心子系统：HDFS分布式文件系统—主要负责各个机器节点上的数据
FXBStudy·2016-11-23 17:10

【Hadoop学习笔记】 MapReduce框架详解

开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术解决了什么问题时候，我后续的学习就能逐步的加快，而学习hdfs时候我就发现，要理解hadoop框架
Elaine_Bao·2016-08-19 10:12

Hadoop学习笔记(2) ——解读Hello World

Hadoop学习笔记(2)——解读HelloWorld上一章中，我们把hadoop下载、安装、运行起来，最后还执行了一个Helloworld程序，看到了结果。
紫豆包·2016-08-02 16:30

Hadoop学习笔记（1）：概念和整体架构

Hadoop简介和历史Hadoop架构体系Master和Slave节点数据分析面临的问题和Hadoop思想由于工作原因，必须学习和深入一下Hadoop，特此记录笔记。什么是hadoop？ApacheHadoop是一款支持数据密集型分布式应用并以Apache2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和G
dashuai的博客·2016-06-24 23:00

Hadoop学习笔记---持续更新中。。。

安装VMWare安装Linux安装JDK ————》rpm-ivhjdk_1.7.0.2.rpm配置环境变量 ----》etc/profile末尾添加JAVA_HOME=/usr/share/jdk1.5.0_05; #(此处需要修改)PATH=$JAVA_HOME/bin:$PATH;CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.j
u011009161·2016-05-06 20:00

Hadoop学习笔记（4）－Eclipse下搭建Hadoop2.6.4开发环境

0.前言本文参考博客：http://www.51itong.net/eclipse-hadoop2-7-0-12448.html搭建开发环境前保障已经搭建好hadoop的伪分布式。可参考上个博客：http://blog.csdn.net/xummgg/article/details/511730721.下载安装eclipse下载网址：http://www.eclipse.org/downloads
xummgg·2016-04-17 14:00

Hadoop学习笔记（3）－搭建Hadoop伪分布式

0.前言搭建伪分布式要先搭建本地模式。请参照上一个博客：http://blog.csdn.net/xummgg/article/details/51172933参考资料（官网为主，网络资料为铺）：http://hadoop.apache.org/docs/r2.6.4/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_O
xummgg·2016-04-17 14:00

hadoop学习笔记(1)

1.HDFS架构：NameNode保存元数据信息，包括文件的owner，permission，block存储信息等。存储在内存。2.HDFS设计思想文件以块的形式存贮，即block，大小为64M，大于64的文件分块，小于64则为1块。文件在上传的时候会产生副本，副本与原文件在不同的节点上，这样当一个节点挂掉后不至于丢失文件。节点挂掉后会在空闲节点生成损失的文件，保证副本不会少。（容错性）写文件前需
u011045817·2016-04-15 17:00

Hadoop学习笔记——Hadoop常用命令

Hadoop下有一些常用的命令，通过这些命令可以很方便操作Hadoop上的文件。1、查看指定目录下的内容语法：hadoopfs-ls文件目录2、打开某个已存在的文件语法：hadoopfs-cat文件地址[|more][]表示的是可选命令3、将本地文件存到Hadoop语法：hadoopfs-put本地文件地址Hadoop目录4、将Hadoop上的文件下载到本地文件夹内语法：hadoopfs-getH
zhiyong_will·2016-03-23 14:03

hadoop学习笔记（二）：伪分布式安装及数据测试

提前准备：1、配置网络（包括主机名、虚拟机名）。修改的文件有/etc/hosts、/etc/sysconfig/network-scripts/ifcg-eth02、设置SSH免密码登陆。虚拟机上执行：#ssh主机ip输入主机密码#ssh-keygen-trsa/*生成密钥*/#ssh-copy-id主机ipssh主机ip/*测试虚拟机免密码登陆主机*/3、主机安装jdk（先下载所需要的jdk）（
玫瑰小鹿angelina·2016-03-20 16:57

hadoop学习笔记（二）：伪分布式安装及数据测试

提前准备：1、配置网络（包括主机名、虚拟机名）。修改的文件有/etc/hosts、/etc/sysconfig/network-scripts/ifcg-eth02、设置SSH免密码登陆。虚拟机上执行：#ssh主机ip输入主机密码#ssh-keygen-trsa/*生成密钥*/#ssh-copy-id主机ipssh主机ip/*测试虚拟机免密码登陆主机*/3、主机安装jdk（先下载所需要的jdk）（
玫瑰小鹿angelina·2016-03-20 16:57

Hadoop学习笔记一(hadoop伪分布式搭建)

hadoop伪分布式搭建安装JDK1)创建文件夹mkdir~/jdk1.82)解压文件到这个目录下mvjdk-8u60-linux-x64.tar.gzjdk1.8tar-xzvfjdkxxx.tar.gz3)将新安装的的java添加到环境变量中vi~/.bash_profileJAVA_HOME=/home/hadoop/jdk1.8/jdk1.8.0_60;exportJAVA_HOMEPAT
sutonline·2016-03-08 19:45

01_Hadoop学习笔记内容说明

Hadoop学习笔记内容说明_001、 观看云帆大数据梦琪老师的《企业级Hadoop1.x应用开发基础课程》2014年4月左右版本。
YouxiBug·2016-03-04 14:00

Hadoop学习笔记——1.java读取Oracle中表的数据，创建新文件写入Hdfs

在编写mapreduce应用程序时，首先要解决的就是把应用系统中的数据先进行整理以文本文件的方式存储到hdfs上，或者将数据整理后保存到其他mapreduce支持的数据源上（如HBase）,本文主要是通过java应用程序把Oracle数据表中的数据进行读取，然后写入到Hdfs上，供mapreduce进行应用。1、java通过jdbc连接Oralce；1-1）数据库连接对象：Connectionco
Veechange·2016-02-20 12:00

Hadoop学习笔记： HDFS

注：该文内容部分来源于ChinaHadoop.cn上的hadoop视频教程。一.HDFS概述HDFS即HadoopDistributedFileSystem,源于Google发表于2003年的论文，是一种分布式的文件系统。HDFS优点：高容错性（数据自动保存多个副本）适合批处理适合大数据处理流式文件访问（一次性写入，多次读取）建立在廉价机器上HDFS缺点：不善于处理低延迟数据访问不善于处理小文件存
finalboss1987·2016-02-16 11:00

[Hadoop] Hadoop学习历程 [持续更新中…]

有关HDFS的介绍博客请移步：Hadoop学习笔记之Hadoop基础。有关HadoopFSShell的学习文档：Hado
Poll的笔记·2016-02-05 15:00

hadoop学习笔记(11)——hbase shell简单操作示例

1)表设计2)建表scores，具有两个列族：grad和course[root@masterbin]#hbaseshell hbase(main):002:0>create'scores','grade','course' 0row(s)in7.6340seconds=>Hbase::Table-scores3)查看Hasee中有哪些表hbase(main):003:0>list TABLE sc
thinkpadshi·2016-01-25 13:00

hadoop学习笔记(20160125)

1、Hadoop中Writable和WritableComparable区别Writable接口大家可能都知道，它是一个实现了序列化协议的序列化对象。在Hadoop中定义一个结构化对象都要实现Writable接口，使得该结构化对象可以序列化为字节流，字节流也可以反序列化为结构化对象。WritableComparable接口是可序列化并且可比较的接口。MapReduce中所有的key值类型都必须实现
背着理想去流浪·2016-01-25 09:00

hadoop学习笔记--集群搭建

注：大家常说的ssh其实就是一个免密码访问的东西，为了简化操作的，不用每次访问其他节点重新输入密码。但是要想配置如下：1.在每台机器上执行ssh-keygen-trsa，连敲三次回车键(即设置空密码) 2.然后在每台机器上都执行cd~/.ssh，并分别把id_rsa.pub复制到authorized_keys中， 即执行cpid_rsa.pubauthorized_keys 3.然后分别把s
arrendondo·2016-01-22 22:00

hadoop学习笔记(十)——hadoop + hbase + zookeeper

注：hadoop2.5.2+hbase1.1.2+zookeeper3.4.61)hadoop安装参考之前hadoop的安装步骤。[http://blog.csdn.net/thinkpadshi/article/details/45720405]2)zookeeper安装a)下载最新的稳定版本zookeeper-3.4.6.tarb)在/usr/local下解压，与hadoop处于同一目录级别#
thinkpadshi·2016-01-21 20:00

hadoop学习笔记之hdfs的文件上传下载

hadoop学习笔记之hdfs的文件上传下载实验平台：hadoop2.4.1Linux系统采用CentOS6.4编程工具：Linux下的javaEE实验初期准备是：将以上开发环境搭建好。
JustInToday·2016-01-05 16:49

Hadoop学习笔记(2) 关于MapReduce

1.查找历年最高的温度。MapReduce任务过程被分为两个处理阶段：map阶段和reduce阶段。每个阶段都以键/值对作为输入和输出，并由程序员选择它们的类型。程序员还需具体定义两个函数：map函数和reduce函数。对应的JavaMapReduce代码如下：publicclassMaxTemperature{ staticclassMaxTemperatureMapper extendsM
mengrennwpu·2016-01-03 01:00

Hadoop学习笔记(1) 初识Hadoop

1.Hadoop提供了一个可靠的共享存储和分析系统。HDFS实现存储，而MapReduce实现分析处理，这两部分是Hadoop的核心。2.MapReduce是一个批量查询处理器，并且它能够在合理的时间范围内处理针对整个数据集的即时查询。3.MapReduce适合一次写入、多次读取数据的应用，而关系型数据库更适合持续更新的数据集。二者的比较如表所述：表1关系型数据库和MapReduce的比较 传统关
mengrennwpu·2016-01-03 00:00

Hadoop学习笔记 7 Hbase集群环境搭建

  HBase运行模式:单机和分布式（伪分布式、真分布式），我们今天配置的环境是真分布式环境OS：Redhat6.564bitJDK:JDK1.7Hadoop:2.7.1Zookeeper:3.4.6 HBase集群环境是在HDFS环境中运行的，在安装HBase集群之前必须配置好HDFS的集群环境 配置之前，请先自行到Hbase官方网站下载安装包，我用的是目前最新的版本Hbase1.1.2http
muruiheng·2015-12-15 21:00

Hadoop学习笔记 6 Hadoop源码编译

在学习Hadoop开始，便被告知官网只提供了32位系统的安装文件，如果要在64位系统中运行，那就得自己重新编译安装文件；前段时间一直在学习怎么样安装使用Hadoop，先把编译64位的安装文件忽略了，等到对Hadoop熟悉之后再学习会更省时间，还不错，跟预想的一样。下面就介绍一下怎么样编译64位的安装文件系统环境OS：RedHat6.564bit企业版JDK：1.8.0_2064bit硬件：虚拟机1
muruiheng·2015-12-06 12:00

Hadoop学习笔记 5 sqoop 初学习

1.上传sqoop2.安装和配置   在添加sqoop到环境变量   将数据库连接驱动拷贝到$SQOOP_HOME/lib里3.使用   第一类：数据库中的数据导入到HDFS上      sqoopimport--connectjdbc:mysql://10.1.19.244:3306/openfire--usernameroot--password123 --tableofPresence--c
muruiheng·2015-12-05 20:00

Hadoop学习笔记 3 - Partioner 学习

Partioner是通过启动多个map与Reduce来将文件中的数据进行分组,在Mapper向Reducer输出之前对输出进行分组并根据此次分组指定每组数据在那台机器上执行，将结果输出到不同文件。 以下为实现代码： packagecom.itbuilder.mr; importjava.io.IOException; importjava.util.HashMap; importjava
muruiheng·2015-12-02 21:00

Hadoop学习笔记 4 - 集群环境安装部署

一、集群规划：主机名称   主机IP      安装软件   运行的进程hadoop01   10.1.19.130   zookeepr1   DataNode、NodeManager、JournalNode、QuorumPeerMainhadoop02   10.1.19.132   zookeepr2   DataNode、NodeManager、JournalNode、QuorumPeer
muruiheng·2015-12-01 20:00

Hadoop学习笔记—20.网站日志分析项目案例（一）项目介绍

一、项目背景与数据情况1.1项目来源本次要实践的数据日志来源于国内某技术学习论坛，该论坛由某培训机构主办，汇聚了众多技术学习者，每天都有人发帖、回帖，如图1所示。图1项目来源网站-技术学习论坛本次实践的目的就在于通过对该技术论坛的apachecommon日志进行分析，计算该论坛的一些关键指标，供运营者进行决策时参考。PS：开发该系统的目的是为了获取一些业务相关的指标，这些指标在第三方工具中无法获得
阿莱倪士·2015-11-27 22:00

Hadoop学习笔记（一）Hadoop的单节点安装

要想深入学习Hadoop分布式文件系统，首先需要搭建Hadoop的实验环境，Hadoop有两种安装模式，即单节点集群模式安装（也称为伪分布式）和完全分布式模式安装，本节只介绍单节点模式的安装，参考官方文档：http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleCluster.html由于Hadoop
Rongbo_J·2015-11-24 21:00

Hadoop学习笔记（一）Hadoop的单节点安装

原文链接：http://www.cnblogs.com/lanzhi/p/6468464.html要想深入学习Hadoop分布式文件系统，首先需要搭建Hadoop的实验环境，Hadoop有两种安装模式，即单节点集群模式安装（也称为伪分布式）和完全分布式模式安装，本节只介绍单节点模式的安装，参考官方文档：http://hadoop.apache.org/docs/r2.7.1/hadoop-proj
weixin_34378767·2015-11-24 21:00

Hadoop学习笔记

1、在ubuntu环境安装jdk#javac若，没有安装jdk，则会提示安装包#apt-getinstall 一般是openjdk-7-jdk安装完之后，要设置环境变量#vim/etc/profile (注：该文件是环境配置文件，所有用户都会访问到)在顶部注释之下添加如下代码：（注意红色的部分是jdk安装目录，在安装过程列表中可以找到）#java环境变量exportJAVA_HOME=/usr/l
ProgrammerZHANG·2015-11-22 10:00

hadoop学习笔记：zookeeper学习（上）

出处：http://www.cnblogs.com/sharpxiajun/p/3294581.html大型网站架构交流QQ群：466097527每周技术分享经典电子书分享欢迎加群在前面的文章里我多次提到zookeeper对于分布式系统开发的重要性，因此对zookeeper的学习是非常必要的。本篇博文主要是讲解zookeeper的安装和zookeeper的一些基本的应用，同时我还会教大家如何安装伪
hongxuecn·2015-11-15 20:42

hadoop学习笔记：zookeeper学习（上）

出处：http://www.cnblogs.com/sharpxiajun/p/3294581.html大型网站架构交流QQ群：466097527每周技术分享经典电子书分享欢迎加群在前面的文章里我多次提到zookeeper对于分布式系统开发的重要性，因此对zookeeper的学习是非常必要的。本篇博文主要是讲解zookeeper的安装和zookeeper的一些基本的应用，同时我还会教大家如何安装伪
hongxuecn·2015-11-15 20:42
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他