Hadoop1

配置 spark 历史服务器

我们是可以看到正在执行的任务的日志情况，一旦任务执行结束，web-ui就不能看到历史任务，需要额外配置历史服务器1.配置spark-default.conf文件,开启Log//创建Loghadoopfs-mkdirhdfs://hadoop1
风老魔·2023-02-06 19:03

大数据基石-Hadoop3.x学习教程-Hadoop产品了解与快速上手

大数据基石-HadoopHadoop3.x版本全系列教程===楼兰===文章目录一、关于Hadoop1、关于Hadoop产品2、Hadoop课程内容3、Hadoop的主要组件二、Hadoop环境搭建以及快速上手
roykingw·2023-01-30 15:49

Hadoop3.3.3集群安装

一、虚拟机准备本机配置：主机hadoop0:4c8gip配置为192.168.147.155从机hadoop1:1c1gip配置为192.168.147.156从机hadoop2:1c1gip配置为192.168.147.157Vmware
七羽319·2023-01-30 15:17

启动hadoop 2018-09-30

启动hadoop1、格式化HDFS分布式文件系统hadoopnamenode–format启动Hadoopstart-all.sh停止Hadoopstop-all.shjps命令可以看到Hadoop的所有守护进程
bigleft·2023-01-26 22:24

大数据面试通关手册｜Hadoop系列之YARN

1、简述hadoop1与hadoop2的架构异同1）加入了yarn解决了资源调度的问题。2）加入了对zookeeper的支持实现比较可靠的高可用。2、为什么会产生yarn,
王知无(import_bigdata)·2023-01-07 15:37

3台机器配置hadoop集群_Hadoop+Hbase 分布式集群架构

安装搭建Hadoop1、配置说明本次集群搭建共三台机器，具体说明下：主机名IP说明nn01192.168.1.51DataNode、NodeManager、ResourceManager、NameNodedn01192.168.1.52DataNode
张狂年少·2023-01-06 11:04

使用python脚本生成datax-json脚本（一次性操作多张表），并使用datax将业务数据从mysql采集到hdfs

8importosimportsysimportgetoptimportjsonimportpymysqlpymysql.install_as_MySQLdb()#MySQL相关配置，需根据实际情况作出修改mysql_host="hadoop1
@anSon_·2023-01-04 09:01

Alluxio 集群环境配置

的所有节点）tar-xvzpfalluxio-2.8.0-bin.tar.gz2.进入/conf文件夹下，配置一下masters、workers两个文件masters:hadoop1002workers:hadoop1
XhranXhran·2022-12-28 16:24

Hadoop： 主节点9000端口拒绝访问Call From hadoop3/192.168.79.1 to hadoop1:9000 failed on connection exception

调试步骤：1.将Hadoop目录下etc文件里的core-site.xml的localhost修改为本机名称或本机IP地址。2.用cmd进入Hadoop用cd进入sbin目录下，输入start-all.cmd。3.再进入bin目录创建文件夹就可以访问9000没报错了。（此贴仅记录学习）
一颗2021·2022-12-25 17:13

大数据面试题（四）：Yarn核心高频面试题

文章目录Yarn核心高频面试题一、简述Hadoop1与Hadoop2的架构异同二、为什么会产生yarn，它解决了什么问题，有什么优势？三、HDFS的数据压缩算法？及每种算法的应用场景？
Lansonli·2022-12-18 22:40

Hadoop伪分布式搭建（小白推荐，超详细）

hdfs-site.xml，yarn.site.xml，mapred-site.xml四个文件地址全部在/opt/hadoop/etc/hadoop下1.core-site.xmlfs.defaultFShdfs://hadoop1
Enjoy_zm·2022-12-08 08:15

Canal1.1.4获取数据后直接发送到kafka的Topic

Canal已经启动运行成功的情况下，停掉服务，找到这个配置文件中对应项进行修改：第一个配置文件vim/opt/canal/conf/canal.properties#配置zkcanal.zkServers=hadoop1
star-hash·2022-12-07 17:23

hadoop教程

目录一、大数据1、概念2、特点3、应用场景目录一、大数据1、概念2、特点3、应用场景二、Hadoop1、概述2、优势3、Hadoop1.x、2.x、3.x区别4、组成①HDFS架构概述编辑②YARN架构概述
ONLYYD·2022-11-19 08:09

Hadoop完全分布式部署

Hadoop完全分布式配置Hadoop完全分布式部署一、需要的软件二、安装配置Hadoop1、配置静态网络，关闭防火墙，设置hosts映射关系1.1使用ping命令检测网络是否连通1.2修改ip地址，设置为静态网络
小黄人的哆啦梦·2022-10-31 15:03

【大数据开发面试笔记】

一、hadoop1、HDFS的写数据流程（1）客户端通过Distri
爱酸柠檬·2022-10-16 07:27

Hadoop，Spark，Tez的区别与联系

文章目录1.0什么是Hadoop2.0什么是Spark3.0什么是Tez4.0三者之间的关系5.0Mr，Tez，Spark的对比1.0什么是Hadoop1）hadoop简介  Hadoop是一个由Apache
Fang GL·2022-09-10 07:46

大数据面试题

分别统计：各分数段人数，课程号和课程名称3、下面是学生的成绩表（表名score，列名：学号、课程号、成绩）5.查询没有学全所有课的学生的学号、姓名6.查询两门以上不及格课程的同学的学号及其平均成绩二、Hadoop1
黑冰vip·2022-04-22 08:46

Hadoop-全分布式配置

目录一、配置基础环境1、配置网络信息2、配置主机名3、主机名与IP的映射关系4、测试互通性二、关闭防火墙和SELinux1、关闭防火墙2、关闭SELinux三、安装Hadoop1、解压hadoop和jdk
王智刚·2022-03-26 11:00

Hadoop组件基本操作

文章目录一、Hadoop1、启动/结束Hadoop进程二、Hdfs1、创建/删除目录2、查看文件夹内容3、文件上传一、Hadoop1、启动/结束Hadoop进程第一步：进入Hadoop安装文件夹cd/usr
柳家山头号矿工·2022-03-25 07:37

Hadoop学习（一）Hadoop概述

一、Hadoop1、简介Hadoop是一个由Apache基金会开发阿德分布式系统基础架构主要解决，海量数据的存储和海量数据的分析计算问题PS：储存大小数量级：兆M->吉G->太T->拍P->艾E->泽ZHadoop
温玉琳琅·2022-03-18 05:20

大数据框架和数仓高频面试题总结

目录HadoopHiveHbaseSpark协作组件数仓Hadoop1、简答说一下hadoop的map-reduce编程模型MapReduce计算模型主要由三个阶段构成：Map、shuffle、Reduce
击水三千里·2022-02-28 10:53

Yarn与Mesos

提到这个问题就不得不说下Hadoop1与Hadoop2的差别。
YG_9013·2022-02-17 15:55

黑猴子的家：sample 随机抽样

1、Codevalsamplerdd=sc.makeRDD(Array("spark1","spark2","spark3","spark4","spark5","hadoop1","hadoop2",
黑猴子的家·2022-02-15 19:08

No FileSystem for scheme: hdfs

最近几个项目模块要从hadoop1升级到hadoop2，不过在修改的过程中出现了一些问题，其中一个问题就是在使用FileSystemfs=FileSystem.get(conf);调用hdfs时报错，具体报错信息如下
yhao浩·2022-02-09 16:44

day41 Hadoop 安装

文章目录Hadoop1、安装2、基本操作总结Iknow,iknow地球另一端有你陪我HadoopHadoop是一个适合海量数据的分布式存储和分布式计算的平台三大组件hdfs：是一个分布式存储框架，适合海量数据存储
韭菜盒子123·2021-11-18 22:56

cdh6.3.2安装部署

parcel文件离线源|cm|cdh||-------|---------------------------------------|--------|-----------|-----|-----||hadoop1
爱学习的ren·2021-06-22 00:33

Hadoop概述

Hadoop1、Hadoop的介绍Hadoop最早起源于Nutch。
打开世界的源代码·2021-06-12 10:20

《Hadoop权威指南》阅读笔记（1）

文章目录第一章：初识Hadoop1、数据的存储与分析2、Hadoop的优势3、ApacheHadoop的发展简史
你不冲谁冲·2021-05-27 10:34

Hadoop概述

Hadoop1框架的核心设计是分布式存储（HDFS）和分布式计算（MapReduce）。分布式存储系统是将
xiao_小鱼·2021-05-01 19:32

Hadoop HA高可用架构

HadoopHA高可用架构架构的问题及解决方案Hadoop1与Hadoop2模块架构HadoopHA高可用机制HadoopFederation联盟机制HA实现可能遇到的问题两个NameNode的Active
杀智勇双全杀·2021-04-24 23:09

解决集群org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://hadoop1:7077问题

问题出现：出现该问题的原因在于其他集群的profile并没有设置好：exportJAVA_HOME=/usr/java/defaultexportSPARK_HOME=/usr/local/spark2.4.7exportPATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbinexportHADOOP_US
master_hunter·2021-04-18 22:09

关于SSH远程登陆

1.远程登陆b机ip10.0.11.7，新建hadoop1用户，密码abcd1234########a机命令：[email protected]，输入密码后即登陆到b机，exit退出。
刘培富·2021-04-13 15:51

Deepin（Ubuntu通用）安装Hadoop伪分布环境（集成Hbase、Hive、MySQL、Spark、Scala）

目录（所有东西的安装方法和各种亲身经历BUG的解决）安装版本下载所有环境开启Deepin或Ubuntu（我用的是虚拟机）安装Hadoop1、安装和配置ssh2、安装和配置Java（一定要安装Java11
繁华尽头满是殇·2021-04-08 12:25

2021年 全网最细大数据学习笔记（一）：初识 Hadoop

文章目录一、大数据1、大数据的定义2、大数据的特点3、大数据行业应用4、Hadoop与大数据5、其他大数据处理平台6、大数据人才二、什么是Hadoop1、Hadoop简介2、Hadoop的发展历史3、Hadoop
Amo Xiang·2021-04-04 21:58

HDFS架构演变之路

前言Hadoop到目前为止发展已经有10余年，版本经过了无数次的更新迭代，目前业内大家把Hadoop大的版本分为Hadoop1，hadoop2，Hadoop3三个版本。
·2021-02-05 16:57

HDFS架构演变

前言Hadoop到目前为止发展已经有10余年，版本经过了无数次的更新迭代，目前业内大家把Hadoop大的版本分为Hadoop1，hadoop2，Hadoop3三个版本。
·2021-02-05 16:05

FLINK安装及提交任务

UI界面提交JOB命令提交JOBYARN模式提交JOBSession-cluster模式Per-Job-Cluster模式并行度拓展FLINK安装1.安装前确认有java环境,我这里有三台机器,分别是hadoop1
海绵不老·2021-01-22 23:17

大数据技术原理与应用——期末复习

大数据技术原理与应用大数据技术原理与应用第一章大数据概述1、大数据的4v特征2、大数据的影响3、大数据的两大核心技术4、大数据计算模式及代表产品5、大数据与云计算、物联网的关系第二章大数据处理架构Hadoop1
BKolo·2021-01-08 23:32

hadoop介绍及安装部署

一：Hadoop1什么使hadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。
醉舞经阁半卷书A·2020-11-30 22:49

Hadoop完全分布式集群搭建

NodeManagerhadoop1hadoop2hadoop3DNDNDNNMNMNMNNRM2NN准备工作准备3台虚拟机，可以新建1台，然后克隆2台1.修改主机名vi/etc/sysconfig/network，三台机器HOSTNAME分别改为hadoop1
WillLiaowh·2020-10-09 13:42

Hadoop2.2.0集群的HA高可靠的最简单配置

在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现，如图1所示。
weixin_34245082·2020-09-17 13:09

hadoop 集群安装

/hadoop/1、hadoop-env.shexportJAVA_HOME=/export/servers/jdk1.8.0_112、core-site.xmlfs.defaultFShdfs://hadoop1
diewo3417·2020-09-16 18:15

Win10下Eclipse提交hadoop程序出错：org.apache.hadoop.security.AccessControlException: Permission denied:

org.apache.hadoop.security.AccessControlException:Permissiondenied:user=zxz,access=WRITE,inode="/user":hadoop1
zxzLife·2020-09-16 16:32

Ubuntu12.04配置Hadoop1.1.2集群

对应的机器主机名为：master,backup,hadoop1,hadoop2建立Hadoop用户Hadoop最
sourceFour·2020-09-15 06:28

hadoop2.x 如何解决NameNode单节点故障问题？

hadoop1中只有一个NameNode节点，所以存在单节点故障问题。
suibianshen2012·2020-09-14 05:57

flume集群搭建

其中使用到了3台机器，hadoop1
CrazyL-·2020-09-13 17:48

hadoop集群及单节点安装教程

1、hadoop下载1、安装jdk参考：jdk下载2、下载hadoop，原理同12、环境修改#vi/etc/hostname分别修改三台主机名为：hadoop1、hadoop2、hadoop3添加环境变量
shoust·2020-09-13 04:10

大数据第一步：Scala+Hadoop+Spark环境安装

二、安装hadoop1、新增名为hadoo
南方有木·2020-09-11 08:43

centos7搭建hadoop集群之xcall脚本

在一些特定场景下，需要所有节点同时执行相同的命令，比如主机hadoop1执行ls命令，其他节点主机也同时执行ls命令，实现这种效果快捷方式一般有两种：1.使用工具，同一发送执行命令，如SecureCRT
yhblog·2020-08-26 08:00

java代码实现kafka消费端consumer的from-beginning功能

UUID.randomUUID().toString());完整例子//1、准备配置文件Propertiesprops=newProperties();props.put("bootstrap.servers","hadoop1
java_doom·2020-08-23 01:53
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他