Hadoop学习第4页

hadoop学习心得20-09-08

前言hadoop学习心得今天主要学了关于Hadoop中hdfs的一些操作提示：以下皆为本人学习心得，不能保证正确，欢迎大神指点交流。

airleaya·2023-03-13 16:20

hadoop学习之hadoop简易安装配置

学习环境清单ubuntu16.04windows7hadoop2.9.0jdk8一下载安装hadoop首先创建好目录，用于后续文件的归类存放，执行下述命令sudomkdir-p/data/software#用于存放下载的软件接下来都用默认账户进行操作1.下载hadoop访问http://hadoop.apache.org/releases.html进行下载,我学习的版本是2.9.0,选择binar

你看见皮卡丘了吗·2023-03-12 18:18

Hadoop学习之路（六）MapReduce的核心运行原理

1.MapReduce流程图1.1从WordCount讲起word_count.png套路图.png

shine_rainbow·2023-03-11 09:52

Hadoop学习（一）虚拟机搭建hadoop集群

虚拟机环境操作系统：centos7内存分配：2g硬盘分配：30g预计搭建集群数：3搭建单机环境关闭防火墙自己机器为了方便，公司环境为了安全请开放相应端口关闭防火墙systemctlstopfirewalld.service禁用防火墙systemctldisabledfirewalld.service查看防火墙systemctlstatusfirewalld.service修改ipvi/etc/sy

LiJinQuanan·2023-03-09 23:19

Hadoop学习常见错误

一、关于安装1.在Hadoop全分布环境搭建中，记得每台服务器上都需要安装JDK2.安装Hadoop完毕后，除了需要配置环境变量外，还需要修改多个配置文件，缺一不可。文件位置在你指定路径安装的Hadoop下的/etc/hadoop/目录下。需要修改的配置文件：hadoop-env.shhdfs-site.xmlcore-site.xmlmapred-site.xml(这个配置文件是原来mapred

_浅陌_·2023-03-09 14:05

Hadoop学习--Yarn

Hadoop学习–Yarn尚硅谷Hadoop学习--Yarn一.Yarn资源调度器1.1Yarn基础架构1.2Yarn工作机制1.3作业提交全过程二.Yarn常用命令2.1Yarn生产环境核心参数2.2

阿里里！·2023-03-09 11:42

hadoop学习笔记（一）RemoteException:could only be replicated to 0 nodes instead of minReplication (=1)

最近在学习hadoop的使用从开始使用到现在一直都没出现过这种报错只是想要在hadoop上新建一个文件夹就报错namenodeisinsafemode属实给我整懵逼了我以为是我的集群最近开启-关闭的次数太多了出现了问题于是又坚持不懈的再次开启然后再次关闭（鬼知道我怎么想的，因为重启太多次导致的问题，我就要用重启来解决他？！！可能以毒攻毒的信念感太强了吧，就好像手机出问题了，我就会觉得重启手机，所有

甜美腿毛怪·2023-02-18 07:55

Hadoop学习路线图

Hadoop发展到今天家族产品已经非常丰富，能够满足不同场景的大数据处理需求。作为目前主流的大数据处理技术，市场上很多公司的大数据业务都是基于Hadoop开展，而且对很多场景已经具有非常成熟的解决方案。作为开发人员掌握Hadoop及其生态内框架的开发技术，就是进入大数据领域的必经之路。下面详细介绍一下，学习Hadoop开发技术的路线图。Hadoop本身是用java开发的，所以对java的支持性非常

熊猫人和熊猫君·2023-02-16 23:48

有道云问题

技术上：1.Hadoop学习，核心两个技术点需要理解：(1)HDFS，含义与应用以及工作原理希望能带着以下问题去学习：a.HDFS的存储机制,包括写入过程和读取过程（深入细节）写入是将数据分割成大小固定的块进行存储的

张思思_113d·2023-02-04 10:25

Hadoop学习笔记

Hadoop——大数据框架，有多种语言版本，包括python，JAVA等为什么需要Hadoop？数据量大，计算量大，单个机器无法完成可将数据分布在多个机器上由多个机器共同完成计算大数据计算需要各个机器相互协调工作，大数据算法有共同点，可将其做成框架，Hadoop就是这样的框架MapReduce，Google提出的框架以下面的例子来解释MapReduce的概念样例：Google搜索引擎，想知道大家对

柴柴总·2023-02-01 06:03

MR-eclipse本地开发环境搭建&Hadoop学习总结

一、Hadoop伪分布式部署及eclipse开发环境搭建1.搭建虚拟机环境：搭建在win7上的linux虚拟机，套件版本为：CentOSrelease6.2（Final）.2.下载hadoop，我下载的版本是hadoop1.1.23.下载hadoop-eclipse-plugin-1.1.2.jar或者在${HADOOPHOME}/contrib/目录下找到hadoop-eclipse-plugi

蓝天的IT生涯·2023-01-30 14:43

Hadoop学习之路----生态系统及其版本衍化总结（第一讲）

Hadoop学习之路----生态系统及其版本衍化总结（第一讲）课程讲到了第七周，感概颇多，如果我当初自己学的时候能够听到这样的课程，会少走多少弯路，曾静一个的小问题耗费一个月时间的情况都有。

礼彬fly·2023-01-30 14:12

大数据开发：Hadoop入门学习路线

今天大数据学习分享，我们来聊聊Hadoop学习路线。

加米谷大数据张老师·2023-01-12 21:05

python spark2.0_Python+Spark2.0+hadoop学习笔记——Python Spark MLlib决策树二分类

决策树是在数据分类问题中的一种常用且经典的机器学习方法，在本例里使用决策树模型来分析StumbleUpon数据集，来预测网页是暂时的(ephemeral)还是长青的(evergreen)，并且调教参数找出最佳的参数组合，来提高预测准确度。像这类经典的二分类问题，在python中调包来做的话会非常容易，且分析手段也有很多。但是现在的练习任务是使用Spark来对着类问题进行处理，因此，下面将开始介绍使

weixin_39940344·2023-01-07 14:42

python spark2.0_Python+Spark2.0+hadoop学习笔记——Python Spark MLlib决策树回归

机器学习领域中分类方法和回归方法是相对的，大多数的方法可以相互转换，即一般的机器学习方法如果可以分类的话，也会可以做回归预测。在本例的回归方法中，使用的评价指标是RMSE。第一步：导入数据库importsysfromtimeimporttimeimportpandasaspdimportmatplotlib.pyplotaspltfrompysparkimportSparkConf,SparkCo

weixin_39726873·2023-01-07 14:12

python spark hadoop_Python+Spark2.0+hadoop学习笔记——实战之推荐引擎

weixin_39620662·2023-01-07 14:42

python pipeline框架 hadoop_Python+Spark2.0+hadoop学习笔记——Spark ML Pipeline机器学习流程...

情况一：二元分类这部分使用的数据集是判断网页是暂时的还是长青的。因为涉及到了文本的信息，所以需要进行文本的数字化和向量化。在这部分中，机器学习分为三个部分，第一部分是建立机器学习流程pipeline，第二部分是训练，第三部分是预测。在建立机器学习流程pipeline中包含4个阶段，如下所示：StringIndexer：将文字的分类特征转换为数字。OneHotEncoder：将一个数字的分类特征字段

weixin_39645249·2023-01-07 14:42

hadoop学习整理——mapreduce数据分析案例（1）

有一份源数据文件，描述的是某餐饮公司各个分店在2019年和2020年的营业数据，源数据如下，请根据需求，编写MapReduce代码。劲松店,600,350,2019年劲松店,800,250,2020年王府井店,1900,600,2020年王府井店,2000,900,2019年回龙观店,6700,1800,2020年西单店,3000,1000,2019年西单店,5000,1000,2020年,350

Coder_Cjp·2022-12-24 18:15

Hadoop学习----HDFS

文件系统文件系统：是一种存储和组织数据的方法，实现数据的存储、分级组织、访问和获取等操作，使得用户对文件访问和查找变得容易。文件系统使用树形目录的抽象逻辑概念代替了硬盘等物理设备使用数据块的概念，用户不必关心数据底层存在硬盘哪里，只需要记住这个文件所属目录和文件名即可。文件系统通常使用硬盘和光盘这样的存储设备，并维护文件在设备中的物理位置传统常见的文件系统，更多的指的是单机文件系统，也就是底层不会

北海怪兽Monster·2022-12-23 09:01

Hadoop学习----Hadoop介绍

Hadoop介绍Hadoop是Apache软件基金会的一款开源软件。底层是由java语言实现。功能：允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理。Hadoop核心组件：HadoopHDFS（分布式文件存储系统）：解决海量数据存储HaqdoopYARN（集群资源管理和任务调度框架）：解决资源任务调用HadoopMapReduce（分布式计算框架）：解决海量数据计算官网：htt

北海怪兽Monster·2022-12-23 09:00

Hadoop学习----源码编译，集群搭建

Hadoop源码下载重新编译软件下载：https://hadoop.apache.org/releases.html建议是下载源码包。源码包和官方编译安装包有什么不一样呢？正常情况下，非生产环境直接使用官方编译安装包即可，但是官方提供的安装包不支持本地库。为什么要源码包？第一，里面有一些写的不好，我可以修改源码，这个略过。第二，软件运行需要操作系统支持，操作系统之间存在差异。Linux有很多发行版

北海怪兽Monster·2022-12-23 09:00

Hadoop学习-4-Hadoop部署（HA）

HA环境搭建zookeeper集群搭建zookeeper由2n+1台服务器组成集群搭建java环境，需要安装jdk修稿配置文件#zoo.cfgdataDir=/opt/data/zookeeper_dataserver.1=node-01:2888:3888server.2=node-03:2888:3888server.3=node-03:2888:3888创建myid文件,echo1>/opt

小白的数分之路·2022-12-23 09:29

Hadoop学习----MapReduce&&YARN

MapReduce1、MapReduce的思想核心是"先分再合，分而治之"所谓"分而治之"就是把一个复杂的问题，按照一定的"分解"方法分为等价的规模较小的若干部分，然后逐个解决，分别找出各部分的结果，最后把各部分的结果组成问题的最终结果Map表示第一阶段，负责"拆分"：即把复杂任务分解为若干个简单的子任务来并行处理，可以进行拆分的前提是这些小任务可以并行计算，彼此之间没有依赖关系。Reduce表示

北海怪兽Monster·2022-12-23 09:28

Hadoop学习——MapReduce随堂测验

文章目录一、WordCount1、WordCountDriverNew2、WordCountMapper3、WordCountReducer二、学生信息排序1、Student2、StudentDriver3、StudentMapper4、StudentReduce三、学生成绩求和1、ScoreDriver2、ScoreMapper3、ScoreReduce代码有注释一、WordCount1、Wor

姓余的·2022-12-21 16:51

大数据开发：Hadoop，Spark和Flink计算引擎对比

Hadoop学习可以说是大数据学习当中的重难点，很多同学都在Hadoop的学习当中存在各种各样的疑问。

加米谷大数据张老师·2022-12-12 15:32

Hadoop学习笔记——HDFS

文章目录一、HDFS概述1.1、HDFS产出背景及定义1.1.1HDFS产生背景1.1.2HDFS定义1.2、HDFS优缺点1.2.1、HDFS优点1.2.2、HDFS缺点1.3、HDFS组成架构1.4、HDFS文件块大小1.5、限制二、HDFS的Shell操作2.1、基本语法2.2、命令大全2.3、常用命令实操2.3.1准备工作2.3.2上传一、HDFS概述1.1、HDFS产出背景及定义1.1.

姓余的·2022-12-03 12:17

Hadoop学习笔记——入门教程（虚拟机安装Linux&Hadoop环境搭建配置）

文章目录一、Hadoop安装配置文档及注意事项二、Hadoop概述2.1、Hadoop是什么2.2、Hadoop的发展历史2.3、Hadoop三大发行版本2.3.1ApacheHadoop2.3.2ClouderaHadoop2.3.3HortonworksHadoop2.4、Hadoop优势2.5、Hadoop组成2.5.1HDFS架构概述2.5.2YARN架构概述2.5.3MapReduce架

姓余的·2022-12-03 12:47

Mapreduce的Partition分区介绍

Hadoop学习Mapreduce的Partition分区介绍1.Partition分区2.自定义Partitioner步骤3.自定义案例Mapreduce的Partition分区介绍1.Partition

klionl·2022-11-29 16:37

hadoop学习（5）—— 伪分布下运行一个简单的实例

1.创建目录[[email protected]]#bin/hdfsdfs-mkdir/user[[email protected]]#bin/hdfsdfs-mkdir/user/cyhp[[email protected]]#bin/hdfsdfs-mkdir/user/cyhp/input[root@hadoop-yarnha

普通网友·2022-11-29 15:14

【Hadoop学习】HDFS上传数据、读取数据流程

1.HDFS上传数据客户端通过FileSystem.create()创建文件对象，同时在HDFS中DistibutedFileSystem具体实现了FileSystem类。客户端通过DistibutedFileSystem类向NameNode发送上传文件请求，NameNode收到请求后检查要上传的目标文件及路径是否存在。NameNode检查后向客户端发送允许上传的请求并返回DataNode节点信息

温wen而雅·2022-11-28 16:51

【Hadoop学习项目】1. WordCount + Combine 详解每行代码

0.项目结构数据处理过程图1.WordCountDriverpackagehadoop_test.word_count_demo_01;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.LongWritable;importorg.apache.

辰阳星宇·2022-11-27 20:22

Hadoop学习5-4：Hadoop3.x新特性——纠删码（擦除编码）

1基本概念2纠删码操作2.1纠删码策略查看2.2纠删码策略设置2.3纠删码策略测试1基本概念 HDFS为擦除编码(EC)提供了支持，以更有效地存储数据。与默认三个副本机制相比，EC策略可以节省约50%的存储空间但不可忽略的是编解码的运算会消耗CPU资源。纠删码的编解码性能对其在HDFS中的应用起着至关重要的作用，如果不利用硬件方面的优化就很难得到理想的性能。英特尔的智能存储加速库（ISA-L

愿你被这个世界温暖相待·2022-11-24 07:35

Hadoop学习问题6：Did not find winutils.exe

问题描述IDEA执行HDFS的时候出现以下错误21/12/0622:38:58WARNShell:Didnotfindwinutils.exe:{}java.io.FileNotFoundException:CouldnotlocateHadoopexecutable:D:\main\hadoop-3.1.3\bin\winutils.exe-seehttps://wiki.apache.org/

愿你被这个世界温暖相待·2022-11-24 07:34

hadoop学习日记与资料整理

hadoop文件分布式系统的三大组成部分1、HDFS2、MR3、YARN一、HDFS1.HDFS原理了解2.hdfs文件读取过程过程描述：（1）客户端调用FileSyste对象的open()方法在分布式文件系统中打开要读取的文件。（2）分布式文件系统通过使用RPC（远程过程调用）来调用namenode，确定文件起始块的位置。（3）分布式文件系统的DistributedFileSystem类返回一个

焚阳与星辰·2022-11-21 22:07

Hadoop学习 Log设置

HadoopLog的输出，对于初学Hadoop的同学来说非常的重要，通过Log可以得到Hadoop的运行过程中，通过分析Log,可以用于Hadoop运行过程中的排错，以及初步了解Hadoop的运行流程Hadoop采用Log4j作为其Log组件，默认情况下，输出的Log级别为INFO,可以修改默认的Log的级别为Debug或ALL,得到更详尽的Log信息修改的文件有：${HADOOP_HOME}/e

yy9991818·2022-11-20 18:21

有快照的或链接虚拟机加内存

，其他的不行这里要设置的比你想要加多大的稍微多一点防止出错立即分配空间这样vm里的设置就完成了接下来要开启虚拟机操作操作和解释全在图片里了df-h就能查看虚拟机总体内存情况到这里虚拟机的内存就加装好了hadoop

星欲冷hx·2022-11-19 00:40

Hadoop学习之YARN（Tool接口案例）心得

需求：自己写的程序也可以动态修改参数，编写Yarn的Tool接口（使用WordCount案例）WordCount类：实现Tool接口并且实现其run()、setConf()、getConf()方法在该类中编写mapper和reducer（与MapReduce中一致）在run()方法中传入核心驱动conf(继续编写Driver中的那几步)在getConf()方法中为conf赋值（别人获取的话直接拿走

顺其自然的济帅哈·2022-10-18 15:40

Hadoop第一章：环境搭建

.修改IP3.添加普通用户4.创建文件目录5.卸载自带的jdk6.配置网络7.安装epel-release8.关闭防火墙9.配置hosts三、复制虚拟机四、Xshell链接总结前言从现在开始记录自己的hadoop

超哥--·2022-10-12 10:08

Hadoop学习——Combiner合并

Combiner是mapreduce程序中Mapper和Reducer之外的一个组件Combiner组件的夫类就是ReducerCombiner和Reducer的区别在于运行的位置Combiner是在每一个MapTask所在的节点运行Reducer是结合艘全局所有Mapper的输出结果Combiner的意义就是在每一个MapTask的输出进行局部汇总，以减少网络传输量Combiner能够应用的前提

HadwinLing·2022-10-07 07:43

zookeeper清空hbase_Hadoop学习---Zookeeper+Hbase配置学习

软件版本号：JDK：jdk-8u45-linux-i586.tar.gzZookeeper：zookeeper-3.4.6Hbase：hbase-1.0.0-bin一、JDK版本更换由于之前安装的jdk-6u45-linux-i586版本较低，与Hbase不兼容，因此更换为jdk-8u45-linux-i5861.jdk1.6卸载(1)删除jdk目录：sudorm-rf/opt/jdk1.6.0_

weixin_39953740·2022-09-19 11:43

hadoop学习之（MapReduce、Pig、hive）

学习背景：基于美国民航航班的历年数据（1987年--2008年），开发MapReduce、Pig、hive应用程序计算其中某一年各个航班的飞行数据（飞行架次、飞行距离）；MapReduce项目：1.编写MapReduce项目；2.将数据文件上传到hadoop；3.可以看看有没有上传成功，也可以在eclipse中查看；4.启动MapReduce项目，对项目进行配置；5.我们可以导出flightwee

是饿梦啊·2022-09-18 09:01

Hadoop学习笔记：分布式数据库 HBase

HBase概述HBase是一个构建在HDFS上的分布式列存储系统，是ApacheHadoop生态系统中的重要一员，主要用于海量结构化数据存储。HBase是GoogleBigtable的开源实现，从逻辑上讲，HBase将数据按照表、行和列进行存储，它是一个分布式的、稀疏的、持久化存储的多维度排序表。Hbase会把数据写到HDFS文件系统中。HBase具有以下特点：1）良好的扩展性；2）读和写的强一致

m0_67401606·2022-09-09 16:02

Hadoop学习笔记：CentOS 7平台上搭建Hadoop 3.3.1集群模式（3节点）

一、搭建过程步骤：1、准备安装环境1、虚拟机装好CentOS7系统，一共三个系统，分别命名为：node1、node2、node32、每个系统都卸载系统自带的openjdk3、安装jdk1.8，并配置环境变量4、设置IP5、修改主机名6、配置hosts文件7、关闭防火墙8、禁用selinux9、设置SSH免密码登陆10、最后设置完要重启系统安装环境准备https://blog.csdn.net/Ge

xMathematics·2022-09-06 15:37

Hadoop学习——Hadoop单机运行Grep实例（包含错误解决方法）

1.概述上一篇安装了Hadoop单机，所以今天打算先用Hadoop的mapreduce自带的Grep实例实践一下，顺带测试Hadoop是否成功安装。（不是水博客，有在努力填坑）实践开始之前，我们需要了解一下Grep实例，Grep（缩写来自GloballysearchaRegularExpressionandPrint）是一种强大的文本搜索工具，它能使用特定模式匹配（包括正则表达式）搜索文本。在今天

长弓同学·2022-09-01 07:25

Hadoop学习笔记(1)

目录一、Hadoop入门1、Hadoop概述1.1Hadoop是什么1.2Hadoop发展历史1.3Hadoop三大发行版本(了解)1.4Hadoop的优势1.5Hadoop1.x、2.x、3.x区别2、Hadoop组成2.1HDFS架构概述2.2YARN架构概述2.3MapReduce架构概述2.4HDFS、YARN、MapReduce三者关系2.5大数据技术生态体系2.6推荐系统框架图二、Ha

默萧756·2022-08-02 09:02

hadoop学习中：maven-assembly-plugin报红（没有加载对应的插件）

maven-assembly-plugin报红解决办法也很简单（就是插件没加载出来，你在上面手动增加依赖）另外需要注意的是：注意setting下maven环境要自己设置好（怎么配置？有手就行！）jdk版本要一致

大概是犬青·2022-07-25 12:25

hadoop学习中，1 error role: org.apache.maven.model.validation.ModelValidato... idea和maven版本不兼容

学习hadoop遇到的问题idea版本和maven版本冲突查看别人的解决方案：1errorrole:org.apache.maven.model.validation.ModelValidatorroleHint:ideidea用的是2021.3.1maven，3.8.5版本不兼容，降低maven版本，用3.5.4.如何下载旧版本的maven查阅Maven历史版本下载1）打开链接：https://

大概是犬青·2022-07-25 12:54

HADOOP学习笔记——HDFS

HADOOP学习笔记——HDFS什么是hdfshdfs的优点hdfs的缺点hdfs的组成框架hdfs的特性hdfs的读流程hdfs的写流程网络拓扑-节点距离机架感知（副本节点的选择）namenode和secondarynamenode

CHSN·2022-07-14 15:14

Hadoop学习记录4--Maven、HDFS API编程

目录1.Windows下安装hadoop2.Maven2.1Maven简介2.2Maven安装与配置2.3通过pom文件下载hadoop的客户端依赖3.API之文件操作3.1API之文件系统对象3.3API之文件下载3.4API之创建目录3.5API之删除目录3.6API之文件状态1.Windows下安装hadoop①解压到本地磁盘②配置环境变量③添加winutils.exe和hadoop.dll

枫茗、·2022-07-03 13:01

hadoop学习——在HDFS中创建文件夹的两种方法

参考书籍：《Hadoop大数据技术开发实战》shell命令创建文件夹启动hdfs,终端输入：start-dfs.sh在hdfs中创建一个input文件夹：hadoopfs-mkdir/input/使用参数-p创建多级目录：hadoopfs-mkdir-p/input/fileHDFSJavaAPI创建publicclassCreatDir{publicstaticvoidmain(String[]

m0_54853420·2022-06-14 14:13

推荐频道

Hadoop学习