Hadoop集群

Hadoop集群配置问题—小记jps没有NameNode的问题

本人Hadoop集群部署如下：hadoop102hadoop103hadoop104HDFSNameNodeDataNodeSecondaryNameNodeDataNodeDataNodeYarnNodeManagerResourceManagerNodeManagerNodeManager
向南不向北·2023-04-13 11:51

使用docker搭建hadoop集群

转载自：https://blog.csdn.net/czfblog/article/details/89901448?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-7.channel_param&depth_1-utm_source=distribute.pc_relevant.no
顾子豪·2023-04-13 09:32

Spark 对hadoopnamenode-log文件进行数据清洗并存入mysql数据库

一.查找需要清洗的文件1.1查看hadoopnamenode-log文件位置1.2开启Hadoop集群和Hive元数据、Hive远程连接具体如何开启可以看我之前的文章：(10条消息)SparkSQL-liunx
难以言喻wyy·2023-04-13 06:30

阿里云EMR集群搭建及使用

目录1.简介1.什么是EMR2.组成3.与自建hadoop集群对比4.产品架构2.使用1.创建EMR集群1.登录EMRonECS控制台2.软件设置3.硬件设置3.基础配置2.配置1.组件配置2.用户管理
q495673918·2023-04-13 05:08

为什么在Nodes of the cluster页面没有显示所有的node？

启动整个Hadoop集群：[root@sparkmaster~]#start-dfs.sh[root@sparkmaster~]#yarn-daemon.shstartresourcemanagerstartingresourcemanager
飞鸿踏雪Ben归来·2023-04-13 04:56

（一）Hadoop集群环境搭建前传

https://blog.csdn.net/collection4u/article/details/14127671五、修改Hostname1、临时修改hostname[root@localhostDesktop]#hostnamebigdata-senior01.chybinmy.com这种修改方式，系统重启后就会失效。2、永久修改hostname想永久修改，应该修改配置文件/etc/sysc
小猪Harry·2023-04-12 17:24

HDFS Balancer负载均衡器

DataNode的利用率计算2.2集群的利用率2.3平衡3、hdfsbalancer语法4、运行一个简单的balance案例4.1设置平衡数据传输带宽4.2执行banalce5、参考文档1、背景当我们的hadoop
huan_1993·2023-04-12 11:02

hdfs disk balancer 磁盘均衡器

生成计划3.2执行计划3.3查询计划3.4取消计划4、和diskbalancer相关的配置5、额外知识点5.1新的block存储到那个磁盘(卷)中5.2磁盘数据密度度量标准6、参考文档1、背景在我们的hadoop
huan_1993·2023-04-12 11:02

Hadoop集群动态扩容和缩容

一.动态扩容1.准备工作1)安装java2)配置hostname3)确保ssh免密登录可以互通4)配置hosts5)关闭防火墙2.修改workers修改保存每台服务器的$HADOOP_home/etc/hadoop/workers文件，添加节点node4。#catworkersnode1node2node3node43.启动DataNode在新加的节点node4上，启动datanode。#hdfs
lhdz_bj·2023-04-12 11:01

大数据Hadoop|MapRedece|Yarn

文章目录大数据时代HadoopHadoop概述Hadoop特性优点Hadoop国内外应用Hadoop发行版本Hadoop集群整体概述HDFS分布式文件系统传统常见的文件系统数据和元数据HDFS核心属性HDFS
北山啦·2023-04-12 09:09

大数据周会-本周学习内容总结07

目录01【hadoop】1.1【编写集群分发脚本xsync】1.2【集群部署规划】1.3【Hadoop集群启停脚本】02【HDFS】2.1【HDFS的API操作】03【MapReduce】3.1【P077
延锋L·2023-04-11 19:44

4_大数据之Hadoop(HDFS)

常用命令实操2.1启动Hadoop集群（方便后续的测试）sbin/start-dfs.shsbin/start-yarn.sh 2.2-help：输出这个命令参数hadoopfs-
十丈_红尘·2023-04-11 08:01

【ambari-部署】Ambari2.6.2 HDP2.6.5 大数据集群搭建

转自：https://blog.csdn.net/weixin_33923762/article/details/90932169hadoop集群master无法免密登录slave2：https://blog.csdn.net
beststone1·2023-04-11 08:28

hadoop一小时搞定单机搭建

hadoop单机搭建这几天准备开始学习hadoop，网上很多教程说的是用虚拟机搭建分布式、伪分布式hadoop集群，整了几天也没弄好。上次偶遇一位高人，指点迷津说你为啥不搭一个单机版的hadoop。
我的小熊不见了·2023-04-11 05:17

Spark搭建/Hadoop集群

一、Spark概述.Spark于2009年诞生于美国加州大学伯克利分校的AMP实验室，它是一个可应用于大规模数据处理的统一分析引擎。Spark不仅计算速度快，而且内置了丰富的API，使得我们能够更加容易编写程序。Spark在2013年加入Apache孵化器项目，之后获得迅猛的发展，并于2014年正式成为Apache软件基金会的顶级项目。Spark生态系统已经发展成为一个可应用于大规模数据处理的统一
知秋.727·2023-04-11 03:05

NIFI大数据进阶_离线同步MySql数据到HDFS_说明操作步骤---大数据之Nifi工作笔记0028

然后我们看如何把mysql中的数据,实时的同步到hdfs中去准备工作首先,创建一个mysql表,然后启动hadoop集群处理器我们需要这些处理器,首先通过querydatabasetable处理器,查询
脑瓜凉·2023-04-11 02:15

2、Hive：启动Hive

目录1初始化元数据库1）登陆MySQL2）新建Hive元数据库3）初始化Hive元数据库2启动Hive1）先启动hadoop集群2）启动Hive3）使用Hive4）开启另一个窗口测试开启hive3、使用
秋栗圆圆·2023-04-10 01:37

淘宝的十年技术之路

一、淘宝的核心技术（国内乃至国际的Top，这还是2011年的数据）拥有全国最大的分布式Hadoop集群（云梯，2000左右节点，24000核CPU，48000GB内存，40PB存储容量）全国分布80+CDN
iteye_7787·2023-04-10 00:34

大数据组件安装过程

zookeeper安装的三种模式-jxwch-博客园1、搭建HBase完全分布式集群-365upit-博客园Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS_给力星Storm
Oran_5590·2023-04-09 23:45

（九）大数据实战——hadoop集群的历史服务器配置与日志聚集

前言前面的章节我们已经介绍过了关于hadoop集群部署的内容，延续上一节的内容。本节我们主要介绍一下关于hadoop集群历史服务器的配置与启动，方便我们查看hadoop操作过程中的一些任务执行情况。
北溟溟·2023-04-09 22:12

（十）大数据实战——hadoop常用命令合集及集群启动关停自定义脚本执行脚本构建

前言本节内容我们主要是总结一下hadoop集群中常用的一些命令，以及通过自定义脚本，实现hadoop集群的启动、停止、状态查询等，便于hadoop集群的使用。
北溟溟·2023-04-09 22:12

Spark on Hive——Spark远程连接Hive，对Hive中的表进行操作

目录1.开启hadoop集群2.开启mysql3.开启hive远程连接4.将hive下面的hive-site.xml和jar包拷贝到spark的conf目录下5.重启spark-shell6.查询数据库的表
雷神乐乐·2023-04-09 21:21

大数据应用及应用第二章作业 Hadoop Hadoop安装有哪些模式？本实验是哪种模式？可不可以安装其他模式？ Hadoop和谷歌的MapReduce、GFS等技术之间有密切的关

○单节点模式（StandaloneMode）和伪分布式模式（Pseudo-DistributedMode）单点模式是所有的hadoop集群都在一台机器运行，伪分布式是不同组件在不同机器中运行，但这
JaneOnly300·2023-04-09 20:50

hadoop集群全部都启动了，但是还是访问不了网页的解决方法

如图，进程通过jps发现已经启动，但是还是访问不了hdfs和yarn的网页。解决思路：去检查下防火墙情况，发现开了systemctlstatusfirewalld解决方法：直接关闭防火墙，或者开放对应的端口服务，这边选择直接关闭systemctlstopfirewalldsystemctlstatusfirewalld再去连接网页就可以了
:Concerto·2023-04-09 17:47

XShell 怎么使用？第一次如何使用XShell连接虚拟机？

XShell使用前提：1.对应的需要连接的虚拟机在vm中开机着2.下载并安装好XShell3.虚拟机网络连通（具体可看(5条消息)Hadoop（1）——Hadoop集群构建（4）——Linux系统网络配置
连胜是我偶像·2023-04-09 13:45

Hadoop集群环境搭建与应用回顾

文章目录一、实训项目名称二、学习情况小结三、项目中用到的知识点四、实训项目中负责功能板块五、实训项目实现六、实训项目过程中遇到的问题及解决方法七、实训体会与心得一、实训项目名称Hadoop集群环境搭建与应用二
三月枫火·2023-04-09 11:31

Hadoop Hbase HA高可用集群搭建

本文用以记录Hadoop、HbaseHA高可用集群搭建基础环境准备根据前面hadoop集群搭建、hbase集群搭建添加外部zookeeper集群下载zookeeper：zookeeper-3.4.13zookeeper
Saxon_323e·2023-04-09 11:47

集群启动详解

hadoop编写两个hadoop集群常用脚本：Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）：myhadoop.sh//进入用户目录下的bin目录：cd/home/gfs
祝我好运！！·2023-04-08 21:44

java.net.connectexce_Call From master/192.168.128.135 to master:8485 failed on connection exception:...

hadoop集群搭建了ha，初次启动正常，最近几天启动时偶尔发现，namenode1节点启动后一段时间(大约10几秒-半分钟左右)，namenode1上namenode进程停掉，查看日志：12017-08
105菌·2023-04-08 20:37

大数据-学习实践-4MapReduce

2.1MapReduce介绍2.2分布式计算介绍、原理2.2.1MapReduce原理剖析2.2.2Map2.2.3Reduce2.3WordCount分析2.4MapReduce任务日志查看2.4.1停止Hadoop
yxyibb·2023-04-08 19:48

Nginx-浅析(转)

Nginx学习笔记（反向代理&搭建集群）一、前言1.1大型互联网架构演变历程1.1.1淘宝技术淘宝的核心技术（国内乃至国际的Top，这还是2011年的数据）拥有全国最大的分布式Hadoop集群（云梯，2000
weixin_34402090·2023-04-08 19:02

安装hadoop集群模拟大数据集群踩到的坑（一）

1.安装虚拟机使用VMWARE安装虚拟机CentOS7时候踩到的第一个坑，当安装完毕CentOS7的时候，使用vmwareworkstationpro14进行启动虚拟机，win10系统有概率蓝屏重启报错，这时候就需要更新到更高版本的VMwareworkstationpro16进行安装，因为这是兼容性问题，升级到16之后就没有蓝屏问题。2.布置虚拟环境参考本人最早的一篇centos7最小化安装开始，
blind_mokey·2023-04-08 18:19

【大数据环境搭建（三）】在Centos7上搭建Hadoop集群（完全分布式）

【大数据环境搭建（三）】在Centos7上搭建Hadoop集群（完全分布式）集群配置使用三节点，master、slave1、slave2，jdk1.8.0_171zookeeper-3.4.10hadoop
Feng-licong·2023-04-08 18:38

完全分布式Hadoop集群搭建

环境说明操作系统：CentOS8x86_64Hadoop版本：2.10.1节点数：3服务器规划：node1node2node3199.188.166.111199.188.166.112199.188.166.113NameNode(NN)SecondaryNameNodeResourceManager(RM)DataNode(DN)DataNode(DN)DataNode(DN)NodeMana
黑伴白·2023-04-08 18:38

Hadoop集群完全分布式搭建

本人也只是hadoop学习的一个萌新，在这段时间内因为课程的需要，安装了一下hadoop集群，里面遇到了一些问题，找到了一些解决办法，如果文章内有什么错误，欢迎大家与我交流，下面就开始搭建hadoop集群吧
巇橙·2023-04-08 18:06

Hadoop完全分布式集群搭建

配置hadoop集群所需要的准备：a.三台虚拟机，这里我们分别命名为master,slave1,slave2；b.jdk安装包，Hadoop集群需要在jdk环境下运行，3.hadoop安装包。
爱做梦的小鱼。·2023-04-08 18:01

大数据Hadoop集群搭建 1（伪分布式集群）

目录Hadoop集群简介Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群。Hadoop集群的部署方式分为三种，分别是单机模式、伪分布式模式和完全分布式模式。
currify--+·2023-04-08 18:30

大数据 | Hadoop集群搭建（完全分布式）

知识目录一、前言二、配置三台虚拟机2.1克隆三台虚拟机2.2配置克隆的虚拟机2.3使用Xshell连接虚拟机2.4配置SSH免密登录三、Hadoop集群准备3.1安装rsync3.2安装xsync分发脚本
初心%·2023-04-08 18:27

Hadoop集群环境搭建（超详细）

目录1实验环境2实验准备3配置SSH免密登录4Hadoop安装与配置1实验环境OracleLinux7.4JDK1.8Hadoop2.7.42实验准备1.实验准备三台机器分别为master,slave1,slave22.单击master机器桌面中的konsole图标3配置SSH免密登录1.编辑/etc/hosts文件,出现如下界面[Command001]：vim/etc/hosts2.按i键，如下
ZIYE_190·2023-04-08 16:18

两种解决ERROR: Attempting to operate on hdfs namenode as root的方法

描述：hadoop-3.1.0启动hadoop集群时还有可能可能会报如下错误[root@localhostsbin]#start-all.shStartingnamenodeson[hadoop]ERROR
世幻水·2023-04-08 07:28

大数据开发面试知识点复习2

文章目录大数据开发复习课程1、Hadoop1.1、介绍Hadoop1.2、Hadoop特性优点1.3、hadoop集群中hadoop都需要启动哪些进程，他们的作用分别是什么？
爱敲代码的小黑·2023-04-08 07:52

hadoop集群机架感知对性能调优的理解

1.查询机架信息指令：default-rack如上信息为默认的加价信息，即无机架配置2.机架感知基础Hadoop作为大数据处理的典型平台，在海量数据处理过程中，其主要限制因素是节点之间的数据传输速率。因为集群的带宽有限，而有限的带宽资源却承担着大量的刚性带宽需求，例如Shuffle阶段的数据传输不可避免，所以如何优化带宽资源的占用是一个值得思考的问题。仔细思考下，Hadoop数据传输的需求主要表现
香山上的麻雀·2023-04-08 05:00

hadoop集群安装ES(ElasticSearch 5.0.2)

配置/etc/hosts，ntp服务,免密码登录，关闭防火墙这里不做详细说明。安装java环境[root@manager~]#mkdir/usr/java[root@manager~]#cd/opt/[root@managerhadoop]#tarxvfjdk-8u91-linux-x64.tar.gz-C/usr/java编辑"/etc/profile"或者“.bash_profile”文件，在
蘑菇丁·2023-04-08 04:36

大数据集群（Hadoop生态）安装部署——Linux

大数据集群（Hadoop生态）安装部署——Linux简介前置要求Hadoop集群角色角色和节点分配安装调整虚拟机内存Hadoop集群部署验证Hadoop集群运行情况简介1）Hadoop是一个由Apache
期望上岸的鱼·2023-04-08 03:51

Spark SQL小文件问题处理

1.3.1、调优参数1.1、小文件危害大量的小文件会影响Hadoop集群管理或者Spark在处理数据时的稳定性：1.SparkSQL写Hive或者直接写入HDFS，过多的小文件会对NameNode内存管理等产生巨大的压力
·2023-04-08 01:22

Spark运维

方案总结：针对下文总结的实时任务存在的隐患，可对hadoop集群配置进行以下调整优化（优化方案需先在测试集群上测试）：增加yarnAM进程的容错重试次数，默认只有一次，调大后可增加长期在yarn上运行的任务的稳定性
Mr_Qifei·2023-04-06 23:44

大数据开发之Apache Hive

半结构化得到数据文件映射成一张数据库表，然后基于数据库表提供一种类似SQL的查询模型，也叫Hive查询语言，简称HQL；然后是Hive的核心就是把HQL转化成MapReduce程序，然后把转化后的MapReduce程序提交到Hadoop
C0oOder·2023-04-06 19:37

Flink03：Flink集群安装部署：Standaone模式、ON YARN模式

和我们之前讲的sparkonyarn是一样的效果这个时候我们的Hadoop集群上面既可以运
做一个有趣的人Zz·2023-04-06 17:49

大数据技术之Hadoop（MapReduce）第1章 MapReduce入门

Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。
尚硅谷铁杆粉丝·2023-04-06 15:11

跟着尚硅谷学大数据（二）MapReduce

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。
逗×·2023-04-06 15:31
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他