Hadoop学习

第11期：Hadoop零基础学习路线

通过这段时间和群里同学们交流，发现很多大学生甚至职场小白对Hadoop学习路线不是很清晰，所以我花了一些时间给大家整理了一张Hadoop零基础学习路线全景图，给喜欢Hadoop的小伙伴提供一个学习的方向
老王随聊·2022-06-12 16:44

Hadoop学习笔记

Hadoop学习笔记前言：大数据的概念一、Hadoop入门1.概念1.1Hadoop是什么？
LencyGe·2022-06-07 17:34

Hadoop学习笔记（四）—— Zookeeper分布式集群部署

文章目录前言第一步上传Zookeeper的安装包第二步解压安装包第三步修改Zookeeper的配置文件第四步创建myid文件第五步配置环境变量第六步分发zookeeper的相关文件至其他服务器第七步使环境变量生效效果验证相关软件前言之前，我们在CentOS上部署了hadoop集群，在后期的使用中，为了减轻构建健壮的分布式系统服务，我们这里还要部署Zookeeper分布式协调服务。Zookeeper
JCLightZZ·2022-05-28 03:36

hadoop学习笔记-HDFS原理

关于client：当客户端创建文件的时候，并没有立即将其发送给NN，而是将文件存储在本地的临时文件中，这个操作对用户来说是透明的，当临时文件累计到达一个数据块的大小后，才会联系NN，NN才会将文件名插入到文件系统的层次结构中，然后分配一个数据块给它，返回DataNode的标志符给客户端，然后客户端才把数据写入到datanode上，当文件关闭的时候也会将剩余部分的文件上传到datanode上，告诉N
tycoon1988·2022-05-26 10:06

Hadoop学习（一）Hadoop概述

一、Hadoop1、简介Hadoop是一个由Apache基金会开发阿德分布式系统基础架构主要解决，海量数据的存储和海量数据的分析计算问题PS：储存大小数量级：兆M->吉G->太T->拍P->艾E->泽ZHadoop三大发行版本：Apache（最原始，最基础，开源）、Cloudera（大型互联网企业中用的多）、Hortonworks（文档较好）2、优势可靠性：Hadoop底层维护多个数据副本，所以即
温玉琳琅·2022-03-18 05:20

hadoop学习【10】——HDFS的shell操作

【前言】前面一直使用javaapi来操作hdfs做项目，一直没时间总结下HDFS的shell操作，趁项目中期休息，总结下HDFS的常用shell操作一、HDFS的来源简介（自己的理解）理解：因为数据量越来越大，单台服务器已经承受不了那么大的数据量，所以很自然就会想到使用多台机器共同来存放数据，但是这样就会存在多台机器中数据的管理问题，因此分布式的文件系统HDFS就诞生了，HDFS文件系统相当于一个
jonsen_hb·2022-02-28 10:28

Hadoop 深入浅出 ---- 入门 （1）

Hadoop深入浅出（1）Hadoop学习1.Hadoop概述1.1Hadoop的三大发行版本1.2Hadoop的优势1.3Hadoop版本之间的区别1.4Hadoop的组成1.4.1HDFS架构概述1.4.2YARN
Aphelios_King·2022-02-28 10:17

hadoop学习笔记（一）：hadoop生态系统及简介

一、hadoop1.x的生态系统HBase：实时分布式数据库相当于关系型数据库，数据放在文件中，文件就放在HDFS中。因此HBase是基于HDFS的关系型数据库。实时性：延迟非常低，实时性高。举栗：在近18亿条数据的表中查询1万条数据仅需1.58s，这是普通数据库（Oracle集群，Mysql集群）无法办到的。HDFS：分布式文件系统MapReduce：分布式计算框架Zookeeper：分布式协作
weixin_30652271·2022-02-27 09:11

Hadoop学习笔记：一、认识大数据生态体系

Hadoop学习笔记：一、认识大数据生态体系目标1大数据认知1.1部门业务流程1.2部门组织架构2Hadoop-->大数据生态2.1Hadoop是什么2.2Hadoop的发展2.3Hadoop优势2.4Hadoop
火航·2022-02-27 09:10

hadoop学习笔记之一：hadoop生态系统

from:http://cocoit.iteye.com/blog/2108691Hadoop从诞生至今已经发展成为一个大数据相关的庞大的软件生态系统。这里收集整理了跟Hadoop相关的Apache下的开源项目，以供后续分析研究。ApacheHadoopHadoop是一个大数据处理框架，它可用于从单台到数以千计的服务器集群的存储和计算服务。HadoopDistributedFileSystem(H
雪飞静·2022-02-27 09:09

hadoop实战视频教程 Hadoop新手快速入门经典视频教程

最新在学习hadoop、storm大数据相关技术，发现网上hadoop、storm相关学习视频少之又少这里整理了hadoop学习视频，分享出来给大家学习交流。
来啊小伙子·2022-02-11 20:08

Hadoop学习笔记

参考：http://www.cnblogs.com/heavenwang/p/3988033.html1.基本概念Hadoop是Apache基金会下一个开源的分布式计算平台，它以分布式文件系统HDFS和MapReduce算法为核心，为用户提供了系统底层细节透明的分布式基础架构。如下图Hadoop集群中有很多并行的机器来存储和分析数据，客户端把任务提交到集群，集群计算返回结果。Hadoop强调把代码
yz_wang·2022-02-09 16:30

hadoop学习笔记

概述4V特征Volume：数据量Variety：多样性、复杂性Velocity：速度Value：基于高度分析的新价值(价值密度的高低与数据的总量成反比)，因此数据是需要进行提纯的。技术变革技术驱动存储：文件存储==>分布式存储计算：单机==>分布式计算网络：万兆数据库：RDBMS==>NoSQL(HBase、Redis..)商业驱动从大量数据中获得价值技术概念数据采集：FlumeSqoop数据处理
异同·2022-02-06 08:13

大数据高级开发工程师——Hadoop学习笔记（2）

文章目录Hadoop进阶篇HDFS：Hadoop分布式文件系统分布式文件系统的理解HDFS架构详细剖析1.分块存储2.3副本存储3.[扩展：机架感知](https://hadoop.apache.org/docs/r3.1.4/hadoop-project-dist/hadoop-common/RackAwareness.html)4.抽象成数据块的好处5.HDFS架构6.扩展块缓存hdfs的文件
yangwei_sir·2021-11-26 20:41

Hadoop学习之旅

Hadoop学习之旅Hadoop概述介绍Hadoop优势Hadoop组成HDFS架构MapReduce架构YARN架构大数据技术生态体系推荐系统框架图配置服务器修改服务器名修改主机名称查看主机名称修改映射
cpuCode·2021-11-11 20:08

Hadoop01_认识大数据

Hadoop学习六个板块1.入门2.HDFS3.MapReduce4.Yarn5.生产调优6.Hadoop源码解析Hadoop学习的版本3.1.3学习前置基础：JavaSEMavenIDEALinux1
你怎么连话都说不清楚丶·2021-08-24 02:54

51cto赵强HADOOP学习（三）

MapReduce基本原理image.png基本概念MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MapReduce由两个阶段组成：Map和Reduce，用于只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。这两个函数的形参是key、value对，表示函数的输入信息。#jps#start-all.sh#jps#hd
lehuai·2021-06-27 07:24

Hadoop学习笔记—HDFS

[TOC]上一份工作主要负责大数据平台的建设，在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记，由于时间关系，不打算去修改其中的错别字和排版问题，直接释出原始笔记。搭建安装三个核心组件一个hadoop基本集群,牵涉三个组件:hdfs负责分布式的文件存储yarn负责分布式的资源管理mr负责分布式计算安装配置环境变量配置etc/hadoop/hadoop-env.sh、etc/hadoop/
西北偏北·2021-06-25 07:40

VMWare CentOS6.5修改静态ip后无法上网，修改为动态重新联网

因为hadoop学习需要固定ip所以在接下来安装hive时发现手动安装mysql解决不了两个glibc互相依赖的问题，试图挂载本地yum源但本地也无法解决依赖，故想用yum安装，于是重新联网。
berryshell·2021-06-23 21:56

Hadoop学习系列之Hadoop、Spark学习路线（很值得推荐）

1Java基础：视频方面：推荐高淇老师《Java300集视频教程》。学习hadoop不需要过度的深入，java学习到javase，在多线程和并行化多多理解实践即可。2Linux基础：视频方面：（1）北京尚学堂-Linux入门、（2）鸟哥Linux基础+私房菜、看的过程中，不可只看不同步操作，这是最危险的一件事！不需全部看完。如：基本的Linux操作系统官网下载、安装（命令行界面和图形界面）、基本命
摩羯青春我掌握·2021-06-20 09:01

环境准备（01） 创建启动后自动运行sshd的centos6.8容器

概述开发环境用的是Windows10，Hadoop的学习需要一个Linux的环境，故用Docker运行一个CentOS容器，在此容器中逐步完善Hadoop学习环境的搭建。
乌鲁木齐001号程序员·2021-06-19 04:40

SSH互信

在Hadoop学习之路——基本环境配置-提到，启动Hadoop集群使用sbin/start-all.sh的过程中需要输入4次当前用户密码，这是通过SSH连接进行的。
一朵琪葩·2021-06-15 14:45

51cto赵强HADOOP学习（十五）sqoop的导入导出

使用sqoop导入关系型数据库中的数据安装#cdtraining#tar-zxvfsqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz#rm-rfsqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz#mvsqoop-1.4.6.bin__hadoop-2.0.4-alpha/sqoop#cdsqoop#vi/etc/profileex
lehuai·2021-06-09 18:00

hadoop视频教程培训 hadoop最新实战教程 Hadoop新手速成培训全套完整视频教程

最新在学习hadoop、storm大数据相关技术，发现网上hadoop、storm相关学习视频少之又少，我这里整理了传智播客段海涛老师的hadoop学习视频，给大家学习。
单独行走的猪·2021-06-08 19:07

Hadoop学习（三） Map/Reduce编程

WordCount是一个简单的应用，它读入文本文件，然后统计出字符出现的频率。输入是文本文件，输出也是文本文件，它的每一行包含了一个字符和它出现的频率，用一个制表符隔开。这是《HadoopMap/Reduce教程》中的一个入门的Map/Reduce编程例子，可以说是Map/Reduce版的Hello,World.先随便找一个英文的文本文件，重新命名为a01.dat，通过UploadfilestoD
禅大师·2021-06-07 18:54

【hadoop学习之路】MapReduce实现数字排序

参考视频：【狂野大数据】一天搞定大数据之MapReduce目录1.MapReduce运行流程2.规划自定义的MapReduceSort程序3.代码实现4.问题解决1.MapReduce运行流程MapReduce主要经过三个阶段：①Map阶段1）以格式读取文本文件，其中k1为文本偏移量，通常定义为数字类型（如LongWritable），v2为文本，通常定义为Text类型2）自定义语句，用于处理及生成
新世纪debug战士·2021-05-20 18:45

hadoop学习遇到的错误1 namenode启动不了

1.在启动hdfs时候。键入start-dfs.sh后。namenode始终启动不起来。显示：port22:Networkisunreachable问题所在：hdfs配置文件core-site.xml中指定了IP地址，而本机linux换了IP与之不匹配，所以出现这个问题。解决：法一：更改core-site.xml中的IP为当前IP。然后删除tmp文件,重新格式化。法二：将core-site.xml
honeyman·2021-05-18 21:42

hadoop学习遇到的错误2 设置空间配额问题

dfsadmin设定文件空间大小遇到的问题1.在成功启动hadoop之后，创建一个文件夹lisihdfsdfs-mkdir/lisi2.设定这个文件空间大小为4Khdfsdfsadmin-setSpaceQuota4k/lisi/3.上传一个小于4K的文件（README.txt）hdfsdfs-putREADME.txt/lisi/README.txt4.但是却出现如下错误，显示空间只有4K，但是
honeyman·2021-05-14 22:33

Hadoop学习日志和资料

===========学习日志===========2017-04-28Hadoop大数据平台架构与实践|hadoop概述与安装Hadoop初探Hadoop安装2017-04-30Hadoop大数据平台架构与实践|HDFSHDFS初探（起源、流处理访问模式、分片冗余存储、本地校验）Hadoop文档（坚持看2.7.3的英文文档，翻译）2017-05-01Hadoop大数据平台架构与实践|MapRed
拾壹北·2021-05-13 16:41

51cto赵强HADOOP学习（十八）pig学习

什么是Pig？Pig的架构Piglatin可以进行排序、过滤、求和、分组、关联等常用操作，还可以自定义函数，这是一种面向数据分析处理的轻量级脚本语言Pig可以看做是piglatin到map-reduce的映射器Pig可以看做hadoop的客户端软件，可以连接到hadoop集群进行数据分析工作Pig方便不熟悉java的用户，使用一种较为简便的类似于SQL的面向数据流的语言piglatin进行数据处理
lehuai·2021-05-09 02:07

Hadoop学习笔记(4)-Sqoop

自行整理,学习用途,侵知删歉一.定义Sqoop是SQL-to-Hadoop数据库导入工具,从RDBMSs(RelationalDatabaseManagementSystems)双向到HDFS.支持系统:HiveAvroHBaseAccumulo使用JDBC连接到RDBMSs.特点可导入单个或者所有数据库中的表格可以通过WHERE指定导入的行列可以提供任意的SELECT语句可以自动生成一个Hive
丸蛋蟹·2021-04-30 02:36

Hadoop学习笔记 —— 概述（一）

1大数据部门组织结构2Hadoop概述2.1Hadoop发展史Hadoop是由Apache基金会所开发的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题。Lucene框架是DougCutting开创的开源软件，用Java语言开发，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎。2001年底Lucene成为Apache基金会的一个子项
鸭梨山大山大·2021-04-23 17:14

hadoop学习笔记——基础知识及安装

1.核心HDFS分布式文件系统主从结构，一个namenoe和多个datanode，分别对应独立的物理机器1)NameNode是主服务器，管理文件系统的命名空间和客户端对文件的访问操作。NameNode执行文件系统的命名空间操作，比如打开关闭重命名文件或者目录等，它也负责数据块到具体DataNode的映射2)集群中的DataNode管理存储的数据。负责处理文件系统客户端的文件读写请求，并在NameN
紫豆包·2021-04-18 02:15

Hadoop：MapReduce之倒排索引（Combiner和Partitioner的使用）

Hadoop：MapReduce之倒排索引前言一、案例要求二、实现过程1.IntelliJIDEA创建Maven工程2.完整代码3.Maven打包4.Hadoop集群运行推荐Hadoop学习视频前言本案例有一定门槛
Regan_zhx·2021-04-14 23:44

Hadoop学习笔记—Yarn

Hadoop学习笔记—Yarn@(Hadoop)[hadoop,yarn][TOC]上一份工作主要负责大数据平台的建设，在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记，由于时间关系，不打算去修改其中的错别字和排版问题
·2021-04-10 18:29

Hadoop学习笔记—Yarn

Hadoop学习笔记—Yarn@(Hadoop)[hadoop,yarn][TOC]上一份工作主要负责大数据平台的建设，在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记，由于时间关系，不打算去修改其中的错别字和排版问题
·2021-04-10 18:15

Hadoop学习笔记—HDFS

[TOC]上一份工作主要负责大数据平台的建设，在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记，由于时间关系，不打算去修改其中的错别字和排版问题，直接释出原始笔记。搭建安装三个核心组件一个hadoop基本集群,牵涉三个组件:hdfs负责分布式的文件存储yarn负责分布式的资源管理mr负责分布式计算安装配置环境变量配置etc/hadoop/hadoop-env.sh、etc/hadoop/
·2021-04-04 01:06

Hadoop学习笔记—HDFS

[TOC]上一份工作主要负责大数据平台的建设，在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记，由于时间关系，不打算去修改其中的错别字和排版问题，直接释出原始笔记。搭建安装三个核心组件一个hadoop基本集群,牵涉三个组件:hdfs负责分布式的文件存储yarn负责分布式的资源管理mr负责分布式计算安装配置环境变量配置etc/hadoop/hadoop-env.sh、etc/hadoop/
·2021-04-04 01:30

hadoop学习笔记6-sqoop

一.sqoop基础1.sqoop也是apache的项目2.sql-to-hadoop比如将mysql的数据导入到hdfs中，反过来也是以前我老记不住sqoop是干嘛的，但是把他分解成sql-to-hadoop，就好记了3.sqoop作业：用于定时执行。数据导出导入,sqoop作业是重点5.sqoop怎么和hadoop合作sqoop接到导入导出命令后，生成mapreduce代码，打成jar包，提交给
一直想成为大神的菜鸟·2021-02-24 22:41

Hadoop学习笔记(1)——HDFS概述

学习于Hadoop入门教程一.HDFS概述1.介绍需要跨机器存储，统一管理分布在集群上的文件系统统称为分布式文件系统。Hodoop使用HDFS(HadoopDistributedFileSystem)作文存储系统。HDFS使用多台计算机存储文件，对外提供统一操作文件的接口2.应用场景适合的场景a.存储非常大的文件并对延时没有要求b.彩球流式的数据访问方式，即一次写入，多次读取。数据集经常从数据源生
今天有没有写代码·2021-01-18 14:00

Hadoop学习　（ＭapReduce 过程详解及其性能优化

ＭapReduce过程详解及其性能优化ok.之前一篇Hadoop的HDFS笔记,真是出乎我的意料！！HDFS学习一夜之间尽然有一千访问！！太强了吧…感谢认可，2021年第一天,继续加油,搞完Hadoop其它的入门笔记!!Hadoop核心-ＭapReduce首先让我们来重温一下hadoop的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN：hadoop的资源调度系统Com
Java.慈祥·2021-01-03 11:25

Hadoop学习（ HDFS实现分布式存储：

Hadoop核心-HDFS前面提过，大数据的特点是：体量大类型繁多值密度低产生和处理速度快。当数据集的大小超过一台独立的物理计算机的存储能力时：就必须对它进行分区并存储到若干台单独的计算机上，然后将这些计算机通过网络连接。并对网络中的文件系统进行集中管理,由此构成分布式文件系统(HDFS)HDFS概述介绍:在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在：集群上的文
Java.慈祥·2020-12-26 17:23

hadoop学习-配置hadoop的windows依赖

之前讲的shell操作也是而客户端操作，只不过是通过shell命令。现在通过写代码的方式来操作hdfs虽然hdfs是在linux里面搭建的，我们通过配置windows环境去连接linux，就可以操作hdfs.整个hadoop工作之时需要依赖windows操作系统的平台。linux和windows的本地库是不一样的。在windows里面加入hadoop的本地库。hadoop3.1.01、先配置win
有上进心的阿龙·2020-12-18 19:15

hadoop学习-学习shell命令操作hdfs实现上传下载文件的功能getmerge指令

使用shell命令操作hdfs专门测试hdfs的操作，不需要yarn和历史服务器把他们关了在103下：stop-yarn.sh在102下：mapred--deamonstophistoryserver使用xshell查看根目录下面有什么文件。在根目录下面创建一个bigdata目录hadoopfs-mkdir/bigdata创建一个多级目录a/b/chadoopfs-mkdir-p/a/b/c使用s
有上进心的阿龙·2020-12-17 21:57

大数据学习之路~Hadoop

目录Hadoop学习之路（一）理论基础和逻辑思维Hadoop学习之路（二）Hadoop发展背景Hadoop学习之路（三）Hadoop-2.7.5在CentOS-6.7上的编译Hadoop学习之路（四）Hadoop
素颜vv风之殇·2020-11-28 15:30

7、hadoop学习笔记01

这里写自定义目录标题欢迎使用Markdown编辑器前提2、部署准备3、hadoop部署欢迎使用Markdown编辑器你好！这是你第一次使用Markdown编辑器所展示的欢迎页。如果你想学习如何使用Markdown编辑器,可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。前提1.1大数据主要分三块存储hdfshivehbasekudu计算sqlsparkflink资源任务调度yarn1.
weixin_45515429·2020-11-22 21:53

Hadoop学习01-hdfs概念

hadoop解决什么问题1.海量数据如何存储（hdfs）2.海量数据如何计算（mapreduce）1.HDFS两个核心namenode与datanodenamenode：1.管理各个datanode2.管理文件信息，文件名、文件多大、文件被切块、存贮位置信息，即管理元数据信息。3.基于RPC心跳机制控制集群中各个节点（datanode）的状态。4.namenode存在单点故障问题，可以启用一个备用
彩笔梳子·2020-11-19 17:18

Hadoop学习01-hdfs概念

hadoop解决什么问题1.海量数据如何存储（hdfs）2.海量数据如何计算（mapreduce）1.HDFS两个核心namenode与datanodenamenode：管理datanode，类似仓库管理员，管理元数据信息，有单点故障问题datanode：存储数据的节点，数据存放具有备份。1.保存具体的block数据，2.负责数据的读写操作和复制操作3.DataNode启动会想NameNode报告
彩笔梳子·2020-11-16 13:24

零基础制定Hadoop学习路线

第二周：2020/11/02--2020/11/061.HDFS入门之基本概念、特性2.深入理解Hadoop生态系统之HDFS的架构和底层原理3.HDFS写流程和读流程4.HDFS的使用5.HBase和HDFS的关系第一周：2020/10/27--2020/10/31先从Hadoop入门WordCount和WeatherData这种“HelloWorld”的例子网上有很多，复制下来自己跑一遍分析是
Natasha·2020-11-13 11:27

Hadoop学习笔记（1）

Hadoop介绍如何保存比服务器硬盘大的文件？  例如一个文件600G，有三台硬盘各500G的服务器，如何存储数据？  谷歌提出了GFS分布式文件系统，将文件切片分别存在不同的服务器，每个切片保存多个供容错使用的副本。待客户端调用时，将切片整合，并提供给用户。  相应的开源实现为HDFS。如何提升计算效率？  例如计算1+2+…+10000000，现有三台计算机，如何提高计算效率？  谷歌提出了M
丶苍炎战神丶·2020-10-07 09:47
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他