hadoop3.1.3

HDFS入门（四）—— HDFS的读写流程（图文详解步骤2021）

HDFS入门（四）——HDFS的读写流程（图文详解步骤2021）4.1HDFS写数据流程4.1.1剖析文件写入4.1.2网络拓扑-节点距离计算4.1.3机架感知（副本存储节点选择）1）机架感知说明2）Hadoop3.1.3
Leokadia Rothschild·2021-05-04 21:21

MapReduce编程实践（基于deepin 20.2社区版&Hadoop 3.1.3）

参考资料：MapReduce编程实践(Hadoop3.1.3)厦大数据库实验室博客目录词频统计任务要求在Eclipse中创建项目编写Java应用程序编译打包程序运行程序词频统计任务要求首先，在Linux
CCH²¹·2021-05-01 14:37

大数据Hadoop3.1.3 HDFS 详细入门笔记

网页右边，向下滑有目录索引，可以根据标题跳转到你想看的内容如果右边没有就找找左边主文章链接https://blog.csdn.net/grd_java/article/details/115639179第一章：环境搭建https://blog.csdn.net/grd_java/article/details/115693312还没有搭建环境的可以参考第一章：环境搭建，当然不搭建你也可以看图片学习
殷丿grd_志鹏·2021-04-17 17:41

大数据平台搭建 | Hadoop 集群搭建

1、环境说明基于ApacheHadoop3.1.3版本依赖JDK环境Hadoop3.1.3下载地址2、Hadoop架构狭义上的hadoop主要包括三大组件分布式存储HDFS、分布式计算MapReduce
笨猪大难临头·2021-02-21 20:44

大数据分析美国疫情

0x00实验环境（1）Linux：Ubuntu16.04（2）Hadoop3.1.3（3）Python:3.7（4）Spark:2.4.00x01数据集数据集下载本次实验使用的数据集来自数据网站Kaggle
邱球球·2021-01-25 14:14

Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)

环境：本教程使用Ubuntu18.0464位作为系统环境（或者Ubuntu14.04，Ubuntu16.04也行，32位、64位均可），请自行安装系统装好了Ubuntu系统之后，在安装Hadoop前还需要做一些必备工作。创建hadoop用户如果你安装Ubuntu的时候不是用的“hadoop”用户，那么需要增加一个名为hadoop的用户。首先按ctrl+alt+t打开终端窗口，输入如下命令创建新用户
卡戎的白开水·2020-09-15 12:17

最新的Hadoop与HBase版本兼容性

HBase的版本一定要和Hadoop的版本保持兼容，不能随意选择如HBase2.2.2和Hadoop3.1.3兼容最新的Hadoop与HBase版本兼容性如下表截图来自http://hbase.apache.org
Pancras Wen·2020-09-15 06:43

Hadoop 3.1.3学习笔记1

Hadoop3.1.3学习笔记1本部分主要分析EC策略下的条带化读取、写入过程，包括StripeReader、StripeWriter、StripedBlockReader、StripedBlockWriter
张日狗·2020-09-11 04:48

大数据学习hadoop3.1.3——Flume企业开发案例二（负载均衡和故障转移）

1、案例需求使用Flume1监控一个端口，其sink组中的sink分别对接Flume2和Flume3，采用FailoverSinkProcessor，实现故障转移的功能。2、需求分析3、实现步骤（1）准备工作在/opt/module/flume/job目录下创建group2文件夹cdgroup2/（2）创建flume-netcat-flume.conf配置1个netcatsource和1个chan
Caron_xcb·2020-08-24 15:43

记Hadoop安装中出现的各种问题

安装及使用关于Hadoop安装及调试关于虚拟机和电脑间数据传输关于Linux的提示涉及Hadoop的常用命令Linux系统的常用命令及基本练习本文涉及名词解释结语前言经历了几天的不断尝试，最终成功的安装并配置了Hadoop3.1.3
Finderme·2020-08-22 12:36

大数据Hadoop3.1.3——HDFS文件系统的客户端操作（基础）

1、HDFS客户端环境准备1、将Windows依赖hadoop-3.1.0放到指定位置，设置环境变量将bin目录下的hadoop.dll放到下列目录下：2．配置HADOOP_HOME环境变量3.配置Path环境变量，然后重启电脑4．创建一个Maven工程5．导入相应的依赖坐标+日志添加junitjunit4.12org.apache.logging.log4jlog4j-slf4j-impl2.1
Caron_xcb·2020-08-21 16:19

大数据hadoop3.1.3——WordCount案例操作--Windows本地提交集群以及打jar包到集群上执行

WordCount案例实操1．需求在给定的文本文件中统计输出每一个单词出现的总次数（1）输入数据到*.txt文件，预计出现次数如下：banzhang1cls2hadoop1jiao1ss2xue12．需求分析按照MapReduce编程规范，分别编写Mapper，Reducer，DriverWordCount需求分析3．环境准备（1）创建maven工程（2）在pom.xml文件中添加如下依赖juni
Caron_xcb·2020-08-18 11:10

Hbase常见错误

Hadoop安装教程可以看这个.我的环境：centos7，java1.8.0_231，Hadoop3.1.3，zookeeper3.5.5，Hbase2.1.3错误索引一.org.apache.hadoop.hbase.PleaseHoldException
天炳·2020-08-17 17:36

Hadoop3.1.3 + Hbase2.1.7 设置Snappy压缩算法

一、查看Linux是否有系统自带的snappy库，如果有删除掉自带的snappy库①查看Linux是否有系统自带的snappy库ll/usr/lib64|grepsnappy②删除掉自带的snappy库yum-yremovesnappy二、安装snappy本地库①下载snappy：wgethttps://src.fedoraproject.org/repo/pkgs/snappy/snappy-1
い木乄子゛·2020-08-14 18:12

hdfs基础操作（命令行和java代码）

环境说明以下内容均基于hadoop3.1.3版本。命令
涂宗勋·2020-08-14 01:03

学会安装配置Windows hadoop3.1.3

**Windowshadoop3.1.3的安装与配置**1.首先解压hadoop3.1.3压缩包，然后解压apache-hadoop-3.1.0-winutils-master接着复制bin目录粘贴到hadoop3.1.3
itlanmao·2020-08-12 00:49

Hadoop3.x安装部署

一、安装部署此处是单机版安装，我安装的使hadoop3.1.3，因为hadoop2.x和hadoop3.x的安装部署有些不同，所以记录一下首先安装好jdk，并且准备好hadoop3.x的安装包，可以去官网下载
hykDatabases·2020-08-09 15:23

大数据学习hadoop3.1.3——kylin即席查询——Presto server安装

Presto是一个开源的分布式SQL查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景，不能处理OLTP。Presto架构Presto优缺点PrestoServer安装1、将presto-server-0.196.tar.gz导入hadoop102的/opt/software目录下，并解压到/opt/module目录tar-zxvfpresto-server-0.196.tar.gz-
Caron_xcb·2020-08-03 23:24

大数据hadoop3.1.3——MapReduce学习（基础概念）

1、MapReduce概述1、MapReduce定义2、MapReduce优缺点1优点2缺点3、MapReduce核心思想1）分布式的运算程序往往需要分成至少2个阶段。2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。3）第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。4）MapReduce编程模型只能包含一个Map
Caron_xcb·2020-08-03 23:24

大数据学习hadoop3.1.3——Presto-client安装

Presto命令行Client安装1）下载Presto的客户端https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.196/presto-cli-0.196-executable.jar2）将presto-cli-0.196-executable.jar上传到hadoop101的/opt/module/presto文件夹下3
Caron_xcb·2020-08-03 23:24

大数据学习hadoop3.1.3——Sqoop安装

1下载并解压1）下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/2）上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到hadoop102的/opt/software路径中3）解压sqoop安装包到指定目录，如：tar-zxfsqoop-1.4.6.bin__hadoop-2.0.4-alpha.ta
Caron_xcb·2020-08-03 23:53

大数据学习hadoop3.1.3——kafka安装与集群搭建（入门）

一、安装部署1、jar包下载http://kafka.apache.org/downloads2、解压安装包tar-zxvfkafka_2.11-2.4.1.tgz-C/opt/module/3、修改解压后的文件名称mvkafka_2.11-2.4.1/kafka4、在/opt/module/kafka目录下创建logs文件夹mkdirlogs5、修改配置文件cdconfig/viserver.p
Caron_xcb·2020-08-03 23:53

hadoop3.1.3集群搭建(ha+yarn)

当前环境：centos6.5,jdk8准备工作：1.服务器之间免密登录$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys$chmod0600~/.ssh/authorized_keys2.服务器之间时间同步3.安装zookeeper集群搭建步骤：1.下载apachehadoop3.1.3并
get it now·2020-08-03 19:38

大数据Hadoop3.1.3——Zookeeper集群本地搭建

1本地模式安装部署1）安装前准备（1）安装Jdk（2）拷贝Zookeeper安装包到Linux系统下（3）解压到指定目录tar-zxvfzookeeper-3.5.7.tar.gz-C/opt/module/2）配置修改（1）将/opt/module/zookeeper-3.5.7/conf这个路径下的zoo_sample.cfg修改为zoo.cfg；mvzoo_sample.cfgzoo.cfg
Caron_xcb·2020-08-03 11:06

伪分布Hadoop2.7.6 hbase2.1.8升级到Hadoop3.1.3 hbase2.1.10

如果Hadoop集群配置了高可用，则可以进行不停服的滚动升级。但现在是伪分布的单节点集群，因此需要停止Hadoop及相关的应用，包括hbase、zookeeper等。Hadoop升级因为目前有跑flink作业，checkpoint是放在hdfs上的，因此先停掉对应的job（只需要停job，不用关flink集群）停止hbase集群：stop-hbase.sh停止Hadoop集群：stop-all.s
ASN_forever·2020-08-02 15:04

hadoop3.1.3分布式集群搭建

环境准备：jdk1.8centos6.10zookeeper3.4.5三台服务器免密登录配置完成(此处省略步骤)1、上传Hadoop3.1.3安装包并解压这里我是安装在/usr/local这个路径下解压
奔跑小韭菜·2020-07-31 15:08

大数据hadoop3.1.3——Hadoop序列化以及案例操作

1、序列化概述2、自定义bean对象实现序列化接口（Writable）在企业开发中往往常用的基本序列化类型不能满足所有需求，比如在Hadoop框架内部传递一个bean对象，那么该对象就需要实现序列化接口。具体实现bean对象序列化步骤如下7步。（1）必须实现Writable接口（2）反序列化时，需要反射调用空参构造函数，所以必须有空参构造publicFlowBean(){super();}（3）重
Caron_xcb·2020-07-30 16:58

远程连接Hadoop（本机win10+idea+maven）+（linux +hadoop3.1.3）

事情起因最初我使用Hadoop的时候我想的是在linux里安装一个eclipse，可是想想这会直接把一些性能不太好的Linux搞崩溃。然后我就想远程连接Hadoop。网上好多教程说win远程连接Hadoop还要在win上安装Hadoop，但是经过我的测试，==只需要下载一个hadoop.dll放到c:\Windows\System32目录下就好。环境变量都不用配置。==这个下载的话直接在网上找就能
洛水流川·2020-07-30 16:47

Hadoop-HA集群详细配置Hadoop3.1.3版本（HDFS-HA集群、YARN-HA集群）

Hadoop-HA集群配置文章目录Hadoop-HA集群配置1环境准备2规划集群3配置Zookeeper集群HDFS-HA配置4配置HDFS-HA集群5启动HDFS-HA集群6配置HDFS-HA自动故障转移YARN-HA配置7YARN-HA工作机制8配置YARN-HA集群1环境准备（1）修改IP（2）修改主机名及主机名和IP地址的映射（3）关闭防火墙（4）ssh免密登录（5）安装JDK，配置环境变
Demik·2020-07-30 12:28

【大数据平台搭建】Hadoop 3.1.3+Spark 3.0.0集群搭建

1、安装环境vmware、centos7、jdk1.8、scala2.12.11、hadoop3.1.3、spark3.0.0（spark版本对jdk、scala版本有要求，详见官方文档）2、运行环境搭建该部分主要是
人生何事不浮云·2020-07-27 14:45

大数据Hadoop3.1.3——Zookeeper集群分布式搭建

1分布式安装部署1）集群规划在hadoop101、hadoop102和hadoop103三个节点上部署Zookeeper。2）解压安装（1）在hadoop101解压Zookeeper安装包到/opt/module/目录下tar-zxvfzookeeper-3.5.7.tar.gz-C/opt/module/3）配置服务器编号（1）在/opt/module/zookeeper-3.5.7/这个目录下
Caron_xcb·2020-07-11 20:23

1、hadoop3.1.3 分布式集群搭建的详细教程

hadoop集群搭建教程>hadoop知识背景1、创建虚拟机2、用户登录过程中遇到的问题2、修改镜像源为阿里云镜像3、更改用户名和主机名4、安装配置hadoop开发环境（1）安装SSH、配置SSH无密码登陆若已建立了多台虚拟机，想要进行连接⒈进行无密钥配置⒉原理解释⒊.ssh文件夹下（~/.ssh）的文件功能解释（2）使用FileZilla连接ubuntu（3）配置jdk和hadoop环境Hado
将进酒杯莫停。·2020-07-10 18:11

大数据综合实验的踩坑总结（林子雨）

这里是实验的来源综合实验一综合实验二实验环境说明我使用的实验环境是：Hadoop2.7.7+Hive3.1.2+ZooKeeper3.6.1+HBase1.4.13+Sqoop1.4.6之前一直是按照林子雨老师的博客进行学习的，他里面安装的是hadoop3.1.3
lendsomething·2020-07-09 19:25

Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)

环境本教程使用Ubuntu18.0464位作为系统环境（或者Ubuntu14.04，Ubuntu16.04也行，32位、64位均可），请自行安装系统（可参考使用VirtualBox安装Ubuntu）。如果用的是CentOS/RedHat系统，请查看相应的CentOS安装Hadoop教程_单机伪分布式配置。使用本教程请确保系统处于联网状态下，部分高校使用星网锐捷连接网络，可能导致虚拟机无法联网，那么
计忆芳华·2020-07-05 10:45

hadoop3.1.3完全分布模式安装

准备：三台centos7jdk1.8hadoop3.1.3三台分别设置静态ip为master:192.168.152.100node1:192.168.152.101node2:192.168.152.102修改网卡（这是master的）vi/etc/sysconfig/network-scripts/ifcfg-ens32TYPE=EthernetBOOTPROTO=staticNAME=ens
努力的Vashon·2020-07-05 09:40

Centos7搭建Hadoop3.1.3完全分布模式

详细搭建可以参考我的Hadoop2.8.0安装准备本文下载的是3.1.3版本的Hadoop关闭防火墙systemctlstopfirewalldsetenforce0虚拟机的准备安装3个虚拟机并实现ssh免密码的登录安装3个centos7虚拟机安装3个机器，机器分别叫masterslave1slave2在/etc/hostname下修改主机名其他两台也是一样修改主机映射修改/etc/hosts文件
浩翰Redamancy·2020-07-05 09:22

RHEL7.6 Hadoop3.1.3 完全分布式安装部署

部署规划|192.168.20.128|lsyk01|namenode，datanode，nodemanager||192.168.20.129|lsyk02|namenode，datanode，nodemanager，secondnamenode||192.168.20.130|lsyk03|namenode，datanode，，nodemanagerresourcemanager，nodema
fa_lsyk·2020-07-05 08:05

Hadoop 3.1.3学习笔记3

Hadoop3.1.3学习笔记3本节将介绍在丢失数据后的重建（Resctruction）过程中，Hadoop是如何选择源节点和目标节点在学习笔记2中介绍了丢失数据的重构过程，其中核心方法为StripedBlockReconstructor
张日狗·2020-07-04 23:31

Hadoop3.1.3 完全分布式集群搭建

文章目录完全分布式编写集群分发脚本xsync完全分布式集群规划:(按照3个副本来说)单节点启动集群格式化问题SSH无密登录配置群起集群配置历史服务器配置日志的聚集集群时间同步完全分布式克隆三台虚拟机完成环境准备查看https://blog.csdn.net/VanasWang/article/details/105395279sudomkdir/opt/module/opt/softwaresud
VanasWang·2020-07-04 09:45

Linux系统安装hadoop3.1.3实现全分布式

工具Linux系统：CentOS，版本7.0以上JDK：jdk1.8，1.8版本还分为不同的版本，但必须使用1.8版本的（注意：官网下载Linux版本的jdk）Hadoop：hadoop3.1.3，使用
༺❦Lᵒᵛᵉ༒ᵧₒᵤ❦༻·2020-07-04 01:04

Hadoop大数据学习---Hadoop3.1.3(完全分布式实战)---使用脚本一键搭建Hadoop--精华篇(五)

Hadoop大数据学习----脚本，超详细，一键搭建Hadoop完全分布式集群，前言首先，很多网友催我快出完全分布式，但是我做一篇文章要很久，因为我对文章要求比较高，绝对不做烂帖，看到这篇文章，我建议你收藏，如网友们所愿，详细讲解搭建步骤，喂奶式教学，手刃新手搭建Bug，深扒新手Bug底层原理，解密免密登录原理，以及脚本核心原理，Hadoop2.x.x和Hadoop3.x.x的区别，带大家来感受一
三里屯VIP·2020-06-29 15:44

Hadoop大数据学习---Hadoop3.1.3(入门实战)---精华篇(四)

Hadoop大数据学习–Hadoop3.1.3理论学习与搭建–实战精华帖前言：很多网友私信我，说想看我更新Hadoop，说官网都不说人话，初学者文档看不懂，今天，我们以白话视角看待Hadoop，通俗易懂
三里屯VIP·2020-06-29 15:12

Hadoop-3.1.3源码编译环境搭建

CentOS7.4，软件安装包路径为/data，软件安装路径为/apps，环境搭建过程中路径请做相应改动准备工作：一、下载软件安装包(附官下载地址)：1、jdk-8u231-linux-x64.tar.gz（hadoop3.1.3
月落乀最红尘·2020-06-29 06:44

大数据学习hadoop3.1.3——Flume学习进阶概念（事务、原理、拓扑结构）

1Flume事务2FlumeAgent内部原理重要组件：1）ChannelSelectorChannelSelector的作用就是选出Event将要被发往哪个Channel。其共有两种类型，分别是Replicating（复制）和Multiplexing（多路复用）。ReplicatingSelector会将同一个Event发往所有的Channel，Multiplexing会根据相应的原则，将不同的
Caron_xcb·2020-06-25 23:36

大数据学习hadoop3.1.3——Azkaban安装与配置--集群搭建（入门）

一、Azkaban特点Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。它有如下功能特点：1）Web用户界面2）方便上传工作流3）方便设置任务之间的关系4）调度工作流5）认证/授权(权限的工作)6）能够杀死并重新
Caron_xcb·2020-06-25 23:36

大数据学习hadoop3.1.3——Flume企业开发案例三（聚合）

1、案例需求：hadoop101上的Flume-1监控文件/opt/module/group.log，hadoop102上的Flume-2监控某一个端口的数据流，Flume-1与Flume-2将数据发送给hadoop103上的Flume-3，Flume-3将最终数据打印到控制台。2、需求分析3、实现步骤：（1）准备工作分发Flumexsyncflume在hadoop101、hadoop102以及h
Caron_xcb·2020-06-25 23:36

大数据学习hadoop3.1.3——Flume基础配置（入门）

一、Flume概述1、Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。主要作用：实时读取服务器本地磁盘的数据，将数据写入到HDFS2、Flume基础架构Flume组成架构如下图所示（1）AgentAgent是一个JVM进程，它以事件的形式将数据从源头送至目的。Agent主要有3个部分组成，Source
Caron_xcb·2020-06-25 23:35

大数据学习hadoop3.1.3——Flume开发自定义Interceptor（实战开发）

1）案例需求使用Flume采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。2）需求分析在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到Flume拓扑结构中的Multiplexing结构，Multiplexing的原理是，根据event中Header的某个key的值，将不同的event发送到不同的Channe
Caron_xcb·2020-06-25 23:35

window10安装Hadoop3.1.3

个人比较喜欢安装比较新的东西，所以选择Hadoop3.1.3准备工具：1、jdk8，这里不要用其他jdk了，会出现一些其他问题的，我用jdk11有些包就找不到，好像jdk9都不行2、Hadoop3.1.3
༺❦Lᵒᵛᵉ༒ᵧₒᵤ❦༻·2020-06-25 17:12

大数据hadoop3.1.3学习笔记——HBase的安装配置（高可用配置可选）

1Zookeeper正常部署首先保证Zookeeper集群的正常部署，并启动之：使用自定义脚本启动：zkstart2Hadoop正常部署Hadoop集群的正常部署并启动：sbin/start-dfs.shsbin/start-yarn.sh3HBase的解压解压Hbase到指定目录：tar-zxvfhbase-2.0.5-bin.tar.gz-C/opt/modulemv/opt/module/h
Caron_xcb·2020-06-19 18:16
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他