hadoop学习

Hadoop学习01-hdfs概念

hadoop解决什么问题1.海量数据如何存储（hdfs）2.海量数据如何计算（mapreduce）1.HDFS两个核心namenode与datanodenamenode：管理datanode，类似仓库管理员，管理元数据信息，有单点故障问题datanode：存储数据的节点，数据存放具有备份。1.保存具体的block数据，2.负责数据的读写操作和复制操作3.DataNode启动会想NameNode报告
彩笔梳子·2020-11-16 13:24

零基础制定Hadoop学习路线

第二周：2020/11/02--2020/11/061.HDFS入门之基本概念、特性2.深入理解Hadoop生态系统之HDFS的架构和底层原理3.HDFS写流程和读流程4.HDFS的使用5.HBase和HDFS的关系第一周：2020/10/27--2020/10/31先从Hadoop入门WordCount和WeatherData这种“HelloWorld”的例子网上有很多，复制下来自己跑一遍分析是
Natasha·2020-11-13 11:27

Hadoop学习笔记（1）

Hadoop介绍如何保存比服务器硬盘大的文件？  例如一个文件600G，有三台硬盘各500G的服务器，如何存储数据？  谷歌提出了GFS分布式文件系统，将文件切片分别存在不同的服务器，每个切片保存多个供容错使用的副本。待客户端调用时，将切片整合，并提供给用户。  相应的开源实现为HDFS。如何提升计算效率？  例如计算1+2+…+10000000，现有三台计算机，如何提高计算效率？  谷歌提出了M
丶苍炎战神丶·2020-10-07 09:47

Hadoop学习-MapReduce（2）

Hadoop-Mapreduce1.MapReduce介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。Reduce负责“合”，即对map阶段的
此处一淌水·2020-09-29 11:18

Hadoop学习笔记（八）：如何使用Maven构建《hadoop权威指南3》随书的源码包

《hadoop：thedefinitiveguide3th》中的例子默认提供了一种编译和构建jar包方法——maven，如果没有maven你会发现编译测试随书的源码会非常的麻烦（至少在命令行下），当然你也可以使用eclipse导入随书的源码再自己一个个的添加依赖性jar包（恐怕也不太容易）。不过还好有非常好的开源的软件项目管理工具来帮助我们做这些无关于程序本身设计与架构的琐碎的工作，那就是mave
diaoqi5743·2020-09-17 01:01

hadoop学习笔记2---hadoop的三种运行模式

1、单机模式安装简单，在一台机器上运行服务，几乎不用做任何配置，但仅限于调试用途。没有分布式文件系统，直接读写本地操作系统的文件系统。2、伪分布式模式在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondarynamenode等进程，模拟分布式运行的各个节点。配置已经很接近完全分布式。3、完全分布式模式正常的Hadoop集群，由多个各司其职
weixin_34014555·2020-09-16 13:42

Hadoop学习笔记(一)Hadoop快速入门：1.完全分布式运行模式

准备、过程虚拟机：VMwareWorkstation12Pro操作系统：CentOSLinuxrelease7.2.1511(Core)控制终端：SecureCRTHadoop版本：Hadoop-2.7.3JDk版本：jdk1.8.0_401）准备3台虚拟机（关闭防火墙、静态ip、主机名称）2）安装JDK3）配置环境变量4）安装Hadoop5）配置环境变量6）配置集群7）单点启动8）配置ssh9）
一个奔跑的C·2020-09-16 11:31

Hadoop学习笔记

一、Hadoop基础知识：（主要解决海量数据存储和海量数据分析计算）1、Hadoop的优势：1）高可靠性：因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理。2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。4）高容错性：自动保存多份
haotian1685·2020-09-16 11:28

hadoop学习笔记之完全分布模式安装

一、Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构，它是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop框架中最核心设计就是：HDFS和MapReduce.HD
Running_free·2020-09-16 11:01

Hadoop学习第一天-------最全配置步骤

今天主要是做一些开发前的前置工作，包括配置linux虚拟机网络，各虚拟机之间互相访问等等一、配置虚拟机的IP地址1.cd/etc/sysconfig/network-script,然后修改ifcfg-/ensxx文件：-IPADDR(IP地址)-NETMASK（子网掩码）-GATEWAY(网关地址)-DNS1以上数据需要根据VMware->编辑->虚拟网络编辑->VMnet8面板获取，其中DNS和
非秃程序员·2020-09-16 03:38

Hadoop学习笔记（老版本，YARN之前），MapReduce任务Namenode DataNode Jobtracker Tasktracker之间的关系...

一、基本概念在MapReduce中，一个准备提交执行的应用程序称为“作业（job）”，而从一个作业划分出的运行于各个计算节点的工作单元称为“任务（task）”。此外，Hadoop提供的分布式文件系统（HDFS）主要负责各个节点的数据存储，并实现了高吞吐率的数据读写。在分布式存储和分布式计算方面，Hadoop都是用主/从（Master/Slave）架构。在一个配置完整的集群上，想让Hadoop这头大
aijia7039·2020-09-16 02:13

个人Hadoop学习笔记

大数据启蒙分治思想适用于以下场景：Redis集群ElasticSearchHBaseHadoop生态等等场景大数据重点核心思想分而治之并行计算计算向数据移动数据本地化读取Hadoop的项目中，包含了如下模块HadoopCommonHadoopDistributedFileSystem(HDFS)HadoopYARN（分布式资源管理）HadoopMapReduce1、2、4在1.X的Hadoop的版
一坨坤哥·2020-09-16 01:32

Hadoop学习笔记 --- 深入理解 parquet 列式存储格式

最近在总结parquet相关的资料，这里对网上资料以及自己的思考做一个总结。Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目列式存储列式存储和行式存储相比有哪些优势呢？
杨鑫newlfe·2020-09-15 18:46

【Hadoop学习】HDFS中的集中化缓存管理

Hadoop版本：2.6.0本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接：http://www.cnblogs.com/zhangningbo/p/4146398.html概述HDFS中的集中化缓存管理是一个明确的缓存机制，它允许用户指定要缓存的HDFS路径。NameNode会和保存着所需快数据的所有DataNode通信，并指导他们把块数据缓存在off-heap缓存中。HDFS集中
weixin_30376163·2020-09-15 06:34

Hadoop学习笔记（9）－搭建Hbase伪分布式及简单操作

HBase安装模式有三种：单机模式、分布式（伪分布式和完全分布式）。本教程介绍了HBase的伪分布式模式安装配置的过程，伪分布式模式是把进程运行在一台机器上，但不是同一个JVM（单机模式），分布式模式的安装配置需要依赖于HDFS。安装方法见：http://hbase.apache.org/book.html#standalone_dist我下载的是hbase-1.2.3-bin.tar.gz(ht
XianMing的博客·2020-09-15 06:57

Hadoop学习初步：Maven构建Hadoop项目

转自：http://blog.fens.me/hadoop-maven-eclipse/前言Hadoop的MapReduce环境是一个复杂的编程环境，所以我们要尽可能地简化构建MapReduce项目的过程。Maven是一个很不错的自动化项目构建工具，通过Maven来帮助我们从复杂的环境配置中解脱出来，从而标准化开发过程。所以，写MapReduce之前，让我们先花点时间把刀磨快！！当然，除了Mave
ACMiao_·2020-09-15 02:44

Hadoop学习（7）——Hive高级应用(1)

一、Hive案例1.1、统计出掉线率最高的前10基站数据：record_time：通话时间imei：基站编号cell：手机编号drop_num：掉话的秒数duration：通话持续总秒数（1）建表createtablecell_monitor(record_timestring,imeistring,cellstring,ph_numint,call_numint,drop_numint,dura
V瑞·2020-09-15 02:27

Hadoop学习笔记十二 YARN基础知识

本文学习内容来自《精通HadoopMasteringHadoop》中国工信出版集团、人民邮电出版社一、简介YARN(YetAnotherResourceNegotiator)是Hadoop2.0为集群引入的一个资源管理层。基本思想是将JobTracker的两个主要功能：资源管理和作业调试/监控分离，它将JobTracker守护进程的职责分离了出来。JobTracker的职责有：Hadoop集群的资
谢厂节_编程圈·2020-09-15 02:25

大数据技术之_04_Hadoop学习_01_HDFS_HDFS概述+HDFS的Shell操作+HDFS客户端操作+HDFS的数据流(面试重点)+NameNode和SecondaryNameNode

大数据技术之_04_Hadoop学习_01_HDFS第1章HDFS概述1.1HDFS产出背景及定义1.2HDFS优缺点1.3HDFS组成架构1.4HDFS文件块大小（面试重点）第2章HDFS的Shell
黑泽君·2020-09-14 20:38

Hadoop学习笔记（二）浅谈Hadoop守护进程

Hadoop初学笔记（二）浅谈Hadoop守护进程对于分布式系统架构来说，一般而言分成两个部分：管理层，用于对应用层的管理应用层，用于任务的执行在Hadoop中，主要的后台守护进程包括：NameNode元数据服务器主节点，存储文件的元数据（文件名，文件目录结构，文件属性——生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode等SecondaryNameNode辅助元数据服务
寸辰·2020-09-14 15:41

Hadoop学习（四）——Hive学习2

Hadoop学习（四）——Hive学习2目录：1、报错：Hiveimportjsondata建表报错：2、报错：HiveloadJson数据文件到表中，发现数据全部为null：3、数据标签：给vType
Remoa·2020-09-14 06:39

Hadoop学习笔记

我的这一个系列的Hadoop学习笔记也是从这里一步一步进行下来的，同时又参考了网上的很多文章，对学习Ha
wind_bell27·2020-09-14 02:53

hadoop学习

MapReduce:SimplifiedDataProcessingonLargeClustershttp://labs.google.com/papers/mapreduce.htmlHTML:http://labs.google.com/papers/mapreduce-osdi04-slides/index.htmlDownloadingandinstallingHadoophttp://w
wind_bell27·2020-09-14 02:53

Hadoop学习笔记八之 combine 以及常用命令行 和全局变量

combine总结:combine功能和reduce一样的,都是组合重复数据起到聚合作用区别:combine属于map端函数,在本地对map产生数据进行分组聚合将得到结果通过网络传输给reduce优点;当到处理大量重复数据时,combine先在本地进行聚合,再把结果传输给reduce(实际\中间要经过shuffle处理,只是combine完成了shuffle和reduce工作)这样就减少IO流,提
顺顺顺子·2020-09-13 20:30

Hadoop学习之传递命令行参数给Mapper和Reducer

在Hadoop-1.2.1进行作业开发时，由于输入文件的特殊性，需要将日期作为参数传递到Mapper和Reducer任务。而通常情况下在使用hadoopjar运行作业时，传递的参数为输入文件路径和输出文件路径，那如何做到添加额外参数到作业中呢？仔细分析一下作业类的run方法，并结合HadoopAPI可以粗略的推断出：可以在core-site.xml文件中添加参数及参数值实现向作业传递参数。但该方法
skyWalker_ONLY·2020-09-13 19:45

hadoop学习笔记之flume nginx服务器安装

配置自定义repository及安装nginx1、复制原文件备份sudocp/etc/apt/source.list/etc/apt/source.list.bak2、编辑源列表文件sudovim/etc/apt/source.list3、将原来的列表删除，添加如下内容debhttp://nginx.org/packages/mainline/ubuntu/xenialnginxdeb-srcht
flushest·2020-09-13 18:43

Hadoop学习笔记：分布式数据收集系统Flume和Sqoop

背景Hadoop提供了一个中央化的存储系统，有利于进行集中式的数据分析与数据共享。Hadoop对存储格式没有要求，包括用户访问日志、产品信息和网页数据等。但是，数据分散在各个离散的设备上或保存在传统的存储设备和系统中，我们需要将数据存入Hadoop。常见数据来源包括网页信息、用户操作日志等非结构化数据和传统关系型数据库（像MySQL、Oracled等）中的结构化数据，例如商品信息、用户信息等。如何
GaryBigPig·2020-09-13 18:09

大数据学习笔记1

Hadoop学习笔记本文是关于在环境搭建过程中我个人遇到的问题的记录，所以并没有具体过程，过程大家可以自行在网上找，我也是在网上找的，并没有太大的区别。
ruirui610·2020-09-13 12:37

大数据之Hadoop学习（环境配置）——Hadoop伪分布式集群搭建

title:Hadoop伪分布式集群搭建date:2018-11-1415:17:20tags:Hadoopcategories:大数据点击查看我的博客:Josonlee’sBlog文章目录前言准备伪分布式特点JDK下载和环境配置配置虚拟机网络环境配置Hadoop的环境下载Hadoop上传并解压安装配置Hadoop环境变量修改hadoop配置文件配置hadoop用户免密登录启动Hadoop格式化h
weixin_30376453·2020-09-13 09:11

【Hadoop学习之五】win7+Eclipse+hadoop3搭建本机开发环境

环境虚拟机：VMware10Linux版本：CentOS-6.5-x86_64客户端：Xshell4FTP：Xftp4jdk8hadoop-3.1.1拓扑：知识准备：1、eclipse在win7本机电脑上，而部署的hadoop可以是在本机windows也可以是远程Linux伪分布式、完全分布式、HA集群2、为了方便开发，引入hadoop的eclipse插件（插件并不是必需的），方便之处有两点：(1
weixin_30552811·2020-09-13 07:27

hadoop学习日记（1）

1.hadoop是什么？hadoop软件库是一个框架，允许在集群中使用简单的编程模型对大规模数据集进行分布式计算。它被设计为可以从单一服务器扩展到数以千计的本地计算和存储的节点，并且hadoop会在应用层面检测和处理错误，而不依靠硬件的高可用性，所以hadoop能够在一个每个节点都有可能出错的集群之上提供一个高可用的服务。总结一下就是：1）hadoop是一个框架；2）hadoop适合处理大规模数据
永燃的瞳术师丶·2020-09-13 02:05

hadoop学习笔记（一）

1、关于hadoop我也是头一次接触，看了一点资料，慢慢了解，大家共同学习吧！2、首先了解一个关键词mapreduce：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布
xiaojing_tkgame·2020-09-12 21:13

【Hadoop学习笔记 第一章】Day01 Linux介绍和环境搭建

Linux介绍和环境搭建linux的主要特点基本思想Linux的基本思想有两点：一切都是文件；每个软件都有确定的用途。完全免费，多用户、多任务；良好的界面，支持多种平台。注意：linx是一个免费的像windows一样的操作系统linux中几乎一切是基于文件，文件几乎没有后缀区分linux中有且仅有一个超级用户rootlinux一般用作服务器linux的目录结构目录作用/linux系统的根目录，一般
ccszbd·2020-09-12 21:13

Hadoop学习--FileUtil工具类使用--day04

importjava.io.ByteArrayOutputStream;importjava.io.FileInputStream;importjava.io.FileOutputStream;importjava.io.InputStream;importjava.net.URL;importorg.apache.hadoop.conf.Configuration;importorg.apach
weixin_33923762·2020-09-12 20:13

hadoop学习(day01)-环境搭建

学习参考资料hadoop官网：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html厦门大学数据库实验室文章：http://dblab.xmu.edu.cn/blog/install-hadoop/国外hadoop环境搭建:http://www.bogotobogo.com
sj206327327206·2020-09-12 20:40

Hadoop学习 day04

今天，继续学习了Hadoop。学习了回收站、HA-概述、HA-环境准备、HA-手动故障转移-HDFS、HA-自动故障转移-HDFS、HA-自动故障转移-Yarn、回收站总结、HDFS-API-Maven版、项目打包放到集群上运行、MapReduce-wordcount、WordCount-优化、初步感受压缩和解压缩、Map-Reduce-压缩、倒排索引。总结一下：1.HA概述1）所谓HA（High
沛沛酱·2020-09-12 18:00

Hadoop学习 day03

今天，继续学习了Hadoop。首先，先是复习了昨天学习过的内容，然后学习了IO流HDFS文件上传、IO流HDFS文件下载、IO流定位读取HDFS第一个块、IO流定位读取HDFS第二个块、数据的一致性、HDFS写数据流程、HDFS读数据流程、NamenodeVSSName、镜像文件+日志文件、namenode版本、namenode数据还原实操、安全模式、Namenode多目录配置、DataNode工
沛沛酱·2020-09-12 18:00

Hadoop学习 day02

今天，继续学习了Hadoop。先是复习了之前学过的内容，然后学习了编译源码、HDFS概念、HDFS常用命令、HDFS客户端操作、HDFS获取文件系统、HDFS文件上传、HDFS文件下载、HDFS目录创建、HDFS文件夹删除、HDFS文件名更改、HDFS文件详情查看、HDFS文件和文件夹判断。总结一下：1.HDFS概念HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的
沛沛酱·2020-09-12 18:00

hadoop学习-Mapper和Reducer的输出类型

Mapper过程：MapperReducer过程：ReducerK1,V1的类型一般由job.setInputFormatClass()指定，比如job.setInputFormatClass(TextInputFormat.class)等等；Mapper和Reducer的K2V2需要保持一致；Reducer的输出K3V3一般由job.setOutputKeyClass(Text.class);j
我非英雄·2020-09-12 08:30

Hadoop学习系列之Hadoop、Spark学习路线（很值得推荐）

Hadoop学习系列之Hadoop、Spark学习路线（很值得推荐）文章出自：http://www.cnblogs.com/zlslch/p/5448857.html1Java基础：视频方面：推荐毕老师
十年没笑·2020-09-11 12:54

hadoop学习day3 mapreduce笔记

1.对于要处理的文件集合会根据设定大小将文件分块，每个文件分成多块，不是把所有文件合并再根据大小分块，每个文件的最后一块都可能比设定的大小要小块大小128ma.txt120m1个块b.txt500m4个块reducetask的并行度1.reducetask并行度就是将原来的一个大任务，分成多个小任务，每一个任务负责一部分计算数据。2.reduce任务有几个，最直观的的显示就是结果文件的个数。一个结
weixin_30824599·2020-09-11 04:19

Hadoop学习笔记之三：用MRUnit做单元测试

转载务必注明出处TaobaoQATeam，原文地址：http://qa.taobao.com/?p=10550引言借年底盛宴品鉴之风,继续抒我Hadoop之情，本篇文章介绍如何对Hadoop的MapReduce进行单元测试。MapReduce的开发周期差不多是这样：编写mapper和reducer、编译、打包、提交作业和结果检索等，这个过程比较繁琐，一旦提交到分布式环境出了问题要定位调试，重复这样
liuxinglanyue·2020-09-11 02:25

Hadoop学习笔记—8.Combiner与自定义Combiner

一、Combiner的出现背景1.1回顾Map阶段五大步骤在第四篇博文《初识MapReduce》中，我们认识了MapReduce的八大步凑，其中在Map阶段总共五个步骤，如下图所示：其中，step1.5是一个可选步骤，它就是我们今天需要了解的Map规约阶段。现在，我们再来看看前一篇博文《计数器与自定义计数器》中的第一张关于计数器的图：我们可以发现，其中有两个计数器：Combineoutputrec
HoterSpring·2020-09-11 01:03

学习总结十二：Hadoop学习之SecondaryNameNode

在启动Hadoop时，NameNode节点上会默认启动一个SecondaryNameNode进程，使用JSP命令可以查看到。SecondaryNameNode光从字面上理解，很容易让人认为是NameNode的热备进程。其实不是，SecondaryNameNode是HDFS架构中的一个组成部分。它并不是元数据节点出现问题时的备用节点，它和元数据节点负责不同的事情。1、SecondaryNameNod
colinmok·2020-09-11 00:19

Hadoop学习过程中遇到的问题锦集

2013-04-1312:25:47,472INFOorg.apache.hadoop.hdfs.server.namenode.NameNode:STARTUP_MSG:/************************************************************STARTUP_MSG:StartingNameNodeSTARTUP_MSG:host=xiaohua-
瑞木皓轩·2020-09-10 21:20

hadoop高可用集群环境搭建(ntp的时间同步配置+有zookeeper安装包，完整的高可用配置文件步骤)

没有完成hadoop3台虚拟机集群搭建的可以先看以下两篇博客hadoop学习——伪分布式环境搭建（有安装包非常详细）hadoop学习——完全分布式集群环境搭建(有完整的文件配置步骤)友情提醒：搭建好HA
Mr_Bright·2020-09-09 20:06

Hadoop学习内容概述

一、各章概述（Hadoop部分）(一)、Hadoop的起源与背景知识1、什么是大数据、大数据的核心问题是什么举例：（1）商品推荐：问题1：大量的订单如何存储问题2：大量的订单如何计算（2）天气预报：问题1：大量的天气数据如何存储问题2：大量的天气数据如何计算大数据的核心问题：（1）数据的存储：分布式文件系统（分布式存储）（2）数据的计算：分布式计算2、概念：数据仓库（Datawarehouse）（
好奇的小码农·2020-08-26 23:39

hadoop学习--基于Hive的Hadoop日志分析

本文将本地的hadoop日志，加载到Hive数据仓库中，再过滤日志中有用的日志信息转存到Mysql数据库里。环境：hive-0.12.0+Hadoop1.2.11、日志格式2014-04-1722:53:30,621INFOorg.apache.hadoop.hdfs.StateChange:BLOCK*addToInvalidates:blk_4856124673669777083to127.0
我非英雄·2020-08-26 13:50

Hadoop学习笔记（三）——HDFS垃圾桶机制

Hadoop——HDFS垃圾桶机制HDFS的垃圾桶机制1.基本介绍2.配置操作3.shell操作4.java操作HDFS的垃圾桶机制1.基本介绍每一个文件系统都会有垃圾桶机制，将删除的数据回收到垃圾桶里面去，避免某些误操作删除一些重要文件。回收到垃圾桶里里面的资料数据，都可以进行恢复。HDFS同样拥有垃圾桶机制，但默认为禁用状态，若要开启垃圾桶机制，需要手动配置。如果启用垃圾桶机制，dfs命令删除
AidenBrett·2020-08-26 09:18

Hadoop学习笔记（九）——HDFS Java API

Hadoop——HDFSJavaAPIHDFSJavaAPI一、搭建开发环境二、Maven依赖三、JavaAPI1.目录操作2.上传文件3.下载文件4.查看目录信息，只显示文件5.查看文件及文件夹信息HDFSJavaAPIHDFS在生产应用中主要是客户端的开发，其核心步骤是从HDFS提供的api中构造一个HDFS的访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS上的文件。一、搭建开发环
AidenBrett·2020-08-26 09:18
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他