——Hadoop集群

FMI飞马网【线上直播】大数据安全实践

曾就职于珠海世纪鼎利通信科技股份有限公司，参与到全国最早用于移动通信领域的大数据信令共享平台试点项目的研发及建设（当时用于生产的Hadoop集群典型架构为Avatar机制，Apache社区的Hadoop
尤娜_d831·2023-09-14 13:13

Spark实例学习(一)spark3.x集群搭建

目录集群规划spark安装包下载虚拟机搭建NAT静态网络配置Hadoop集群搭建scala安装配置spark修改conf下文件分发虚拟机修改启动文件名配置历史日志启动sparkUI界面查看测试spark
阳光里哭泣的狗·2023-09-14 10:34

简单讲讲在一台机器上用docker部署hadoop HDFS

老东西叫我用vmvare部署hadoop,我觉得这简直蠢毙了,让我们用docker和docker-compose来快速的过一遍如何使用docker-compose来部署简单的hadoop集群范例写在前面
生生世世是所说的·2023-09-14 06:31

Debian下Hadoop集群安装

Debian下Hadoop集群安装依赖安装jdk8sudoapt-getupdate&&sudoapt-getinstall-ywgetapt-transport-httpswget-O-https:/
藤藤菜丶·2023-09-13 16:55

Hadoop集群搭建

目录导引Hadoop集群搭建1.安装VMwareWorkstation16PRO2.基于VMwareWorkstation16PRO安装Centos7完全分布式安装1.Hadoop集群节点设置2.准备三台虚拟机
db_gjq_2038·2023-09-13 15:35

Hadoop集群资源管理系统YARN

Hadoop生态分层YARN应用.pngYARN应用运行机制YARN通过两类长期运行的守护进程提供自己的核心服务：管理集群上资源使用的资源管理器（resourcemanager）、运行在集群中所有节点上且能够启动和监控容器的节点管理器（nodemanager）。容器用于执行特定应用程序的进程，每个容器都有资源限制（CPU、内存等），一个容器可以是一个Unix进程，也可以是一个Linuxcgroup
Vechace·2023-09-12 21:28

ZooKeeper&Flink&Hadoop集群单个节点服务器挂掉之后的恢复

其中ZooKeeper&Flink&Hadoop集群因为单节点连接失败也开始罢工了。组里的架构加运维大牛走了，小白尝试恢复集群服务。所以本文只涉及简单的服务恢复和报错处理。
wangyueshu·2023-09-10 13:11

Hadoop分布式模式配置

hadoop环境准备：hadoop下载地址：http://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gzhadoop
鸡肋是鸡肋！·2023-09-10 08:30

Hive安装与配置及常见问题解决

赋予权限2.4配置环境变量2.5初始化Hive3.常见问题3.1配置hive-env.sh3.2配置hive-site.xml时1.前期准备需要3台虚拟需要并安装好java运行环境JDK需要搭建配置好Hadoop
wxin_@·2023-09-10 06:17

通过Idea远程调试Hadoop集群

早期的开发中经常用eclipse远程调试Hadoop集群，近期Idea的市场占有率逐渐增加，本文介绍如何在通过Idea远程调试Hadoop集群。
东语~·2023-09-09 14:15

ExitCodeException exitCode=-1073741515 异常解决

在博客《通过Idea远程调试Hadoop集群》中部署环境后，有个别机器会出现ExitCodeExceptionexitCode=-1073741515异常，主要原因是windows操作系统缺少文件，本文主要介绍一下解决方法
东语~·2023-09-09 14:45

一键启动hadoop集群

文章目录一键启动Hadoop集群一键启动Hadoop集群输入cd/home/atbigdata/bin，进入bin目录，进行查看是否有自己的编写好的群启动Hadoop集群脚本。
Cocobuhui·2023-09-09 13:49

Hadoop集群搭建

Hadoop集群搭建Hadoop集群简介Hadoop集群包括两个集群：HDFS集群、YARN集群两个集群逻辑上分离、通常物理上在一起两个集群都是标准的主从架构集群HDFS集群（分布式存储）主角色：NameNode
藤藤菜丶·2023-09-09 05:45

namenode-HA

Namenode在HDFS中是一个非常重要的组件，相当于hadoop集群系统的心脏，在显示分布式集群环境中，还是会有可能出现Namenode的崩溃或各种意外。所以，高可用模式就体现出作用了。
MOOJ·2023-09-08 00:29

Hive概述

一、概述Hive是hadoop集群中一个数据仓库，可以将结构化的数据文件映射为一张表，并提供类似SQL的查询功能，其本质就是将HQL转化成mapreduce程序。
诗云HSY·2023-09-07 14:11

大数据之MapReduce

MapReduce概述是一个分布式的编程框架，MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。
十七✧ᐦ̤·2023-09-07 08:42

大数据面试题

Hadoop1,Hadoop集群中都需要启动那些进程,它们的作用分别是什么?
牛壹壹·2023-09-07 07:13

pyspark报错JavaSparkContext. : java.lang.NullPointerException

本例是由于hadoop集群是用的shadownet网段，而pyspark程序所在的容器启动时没有加--networkshadownet。spark_master='spark://
euler1983·2023-09-07 06:24

查看HDFS集群状态

Hadoop集群正常启动后，它默认开放了两个端口9870和8088，分别用于监控HDFS集群和YARN集群。
摸摸小油头.·2023-09-07 00:22

windows下hadoop-eclipse 开发环境搭建连接HDFS时报error: failure to login错误

在windows下部署hadoop集群，然后用eclipse部署开发环境搭建好后，连接HDFS系统时：在文件夹下提示：error:failuretologin错误，连接不上，多方查找下，本地安装的java
躺平的赶海人·2023-09-06 15:28

hadoop集群下各项配置文件部署，yarn-site.xml、hdfs-site.xml等详细版（待持续更新）

一、yarn-site.xml文件配置，下放resourcemanager简称RM参数默认值（default）备注yarn.resourcemanager.hostnameRM的hostnameyarn.resourcemanager.scheduler.address${yarn.resourcemanager.hostname}:8030RM对AM暴露的地址，AM通过地址想RM申请资源，释放资
躺平的赶海人·2023-09-06 15:28

Ambari系列（三）： Ambari架构详解

前言Hadoop集群的管控一直是一个热门的话题，对于这样的一个应用场景，我所知道国内很早就有人研究并且取得不错的成绩，这就是EasyHadoop。
zachary_OOM·2023-09-06 10:49

hadoop-MapReduce

分布式计算模型MapReduce1.理解MapReduce设计思想2.理解MapReduce分布式计算的基本原理3.掌握使用Java进行MapReduce编程4.掌握在Hadoop集群中提交MapReduce
不吃香菜lw·2023-09-06 08:31

Docker部署Hadoop集群

前几天写了文章“Hadoop集群搭建”之后，一个朋友留言说希望介绍下如何使用Docker部署，这个建议很好，Docker不仅在生产环境威力巨大，对于我们在自己电脑中搭建学习实验环境更是非常便利。
丨程序之道丨·2023-09-06 03:01

使用虚拟机搭建Hadoop集群的步骤及出现问题总结

虚拟机搭建hadoop集群的步骤及问题总结1.总体描述尝试使用VMware搭建hadoop集群，共设置四台装有Hadoop环境的虚拟机，其中一台设置为主，其余为从，他们都在同一局域网下，网关为192.168.106.2
weixin_49639753·2023-09-06 03:46

hadoop集群部署常见问题解决

1、权限•Permissiondenied（权限被拒绝）Hadoop的运行日志在$HADOOP_HOME/logs内也可以查看日志排错只要出现Permissiondenied就是权限问题hadoop安装文件夹或/data文件夹，未被授权给hadoop用户，所以无权限操作2、环境变量•commandnotfound没有配置好环境变量，导致/export/server/hadoop/bin/hadoo
W_yhhh·2023-09-06 03:46

云服务器搭建Hadoop集群

云服务器搭建Hadoop集群一、配置服务器1.创建普通用户2.安装Java环境3.安装hadoop4.网络配置5.hadoop配置6.执行分布式实例一、配置服务器1.创建普通用户说明：由于root环境下操作比较危险
Edge_Code·2023-09-06 03:16

搭建Hadoop集群——易出现问题及解决办法

一.学习目标了解虚拟机的安装与克隆熟悉Linux系统的网络配置和SSH的配置掌握Hadoop集群的搭建和配置掌握Hadoop集群的测试熟悉Hadoop集群的初体验的操作二.搭建1.创建虚拟机1.1下载安装
17.45·2023-09-06 03:16

大数据技术——hadoop集群搭建出现的问题

出现的问题和解决方案ssh免密出现的问题：解决方法：出现上图的是语法错误，在ssh和-keygen中多了空格，去掉即可2.ssh免密登录出现的问题：ssh登陆报错“WARNING:REMOTEHOSTIDENTIFICATIONHASCHANGED“解决方法：1)通过ssh-keygen密钥工具更新ssh-keygen-f~/.ssh/known_hosts-R远程主机IP地址2)手动清除～/.s
肉肉肉肉肉肉~丸子·2023-09-06 03:46

云服务器搭建 hadoop集群(全过程详解&解决碰到的问题)

该hadoop集群采用三台真实的部署在公网的服务器(系统为centos)进行分布式搭建。（两台腾讯云，一台阿里云）过程中遇到问题可以翻到最下方，或者评论区留言。
Object_in_java·2023-09-06 03:45

hadoop集群搭建出现的一些问题总结

为了实现三台主机(masterslave1slave2)间的免密码登录，分别将slave1和slave2的公钥发送给master，然后再将master复制到slave1和slave2ssh-copy-idmaster验证master里面的authorized_keyscat.ssh/authorized_keys这里出现了问题，只有master和slave2的公钥，没有slave1，最后发现是sl
大角牛向前冲_momo·2023-09-06 03:45

搭建hadoop集群的常见问题及解决办法

问题一:namenode-format重复初始化出现问题的原因是重复初始化时会重新生成集群ID，而dn还是原先的集群ID，两者不匹配时无法启动相应的dn进程。怎么查找问题原因：在logs目录下找到对应节点的.log文件，使用tail-200文件名来查看日志信息。解决办法1：修改data/name/路径下的version文件中的集群ID为老的集群ID，事实修改后仍然报错，初始化不只是集群ID不一致，
十七✧ᐦ̤·2023-09-06 03:15

Hive-3.0.0完全分布式部署

前置条件需要安装好了jdk环境、mysql、以及全分布的Hadoop集群一、安装将安装包解压到/opt目录下tar-zxfapache-hive-3.0.0-bin.tar.gz-C/opt配置环境变量
bigdata-rookie·2023-09-05 20:49

解读MapReduce程序实例

Mapreduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。
大禹编程扛把子·2023-09-05 14:03

解决容器中执行sudo systemctl start mysqld报错Failed to get D-Bus connection: Operation not permitted

背景：前一段时间使用docker构建了hadoop集群，现在在集群中安装hive，当执行sudosystemctlstartmysqld这个命令启动mysql服务的时候报错：FailedtogetD-Busconnection
DLoong+·2023-09-05 09:05

半小时搞定Hadoop+Mysql+Hive

1.说明 搭建过Hadoop集群的小伙伴一定知道，如果不用docker，半小时配好Hadoop+Mysql+Hive（后简称Hive）肯定是胡吹，有了Docker镜像，没有说明文档，配好了也不一定会用。
xieyan0811·2023-09-04 14:10

hadoop初始化namenode失败，报错：org.apache.hadoop.hdfs.qjournal.client.Quorumexception

在搭建Hadoop集群的时候，初始化namenode出现如下报错：解决方案1.要仔细检查配置文件是否正确，我之前就是配置文件不正确2.检查1，2，3节点的zookeeper服务是否开启3.检查1，2，3
kyrie_rlving·2023-09-02 18:12

Centos7.6连不上网，找不到WiFI适配器解决方案

参数如下：BOOTPROTO=static（静态IP）其他的配置和宿主主机一致（如网关、DNS等）今天在打开虚拟机就出现了网络连接不上的问题，另外其他两个虚拟机也出现了连接不上网络的问题（原因可能在配置Hadoop
kyrie_rlving·2023-09-02 18:42

关于IDEA打包JAR上传到Hadoop集群运行出现ClassNotFound的问题

问题描述复现尚硅谷大数据电信客服项目到数据分析的时候，发现无论怎么改变IDEA或者maven的打包方式、添加依赖jar，hadoop集群始终无法在运行项目的时候加载出来打包时候的其他第三方依赖，总会出现部分类的
时光追溯者·2023-09-02 16:36

Hadoop依赖环境配置与安装部署

关闭防火墙1.8服务器之间互传资料1.9做一个host印射1.10免密传输二、Hadoop安装部署2.1解压hadoop的tar包2.2切换到配置文件目录2.3修改配置文件2.4分发到其他节点2.5初始化Hadoop
626960·2023-09-02 07:32

Hadoop 3.2.4 集群搭建详细图文教程

目录一、集群简介二、Hadoop集群部署方式三、集群安装3.1集群角色规划3.2服务器基础环境准备3.2.1环境初始化3.2.2ssh免密登录（在hadoop01上执行）3.2.3各个节点上安装JDK1.8
Stars.Sky·2023-09-02 07:01

Hadoop集群搭建(五)-集群配置文件

目录集群部署规划自定义配置文件节点格式化配置workers启动集群配置历史服务器集群部署规划hadoop102hadoop103hadoop104HDFSNameNodeDataNodeSecondaryNameNodeNataNodeYARNNodeManagerResourceManagerNodeManagerNodeManager自定义配置文件core-site.xml、hdfs-site
HUA_8376·2023-09-02 06:55

【大数据】搭建Hadoop集群（附一键部署脚本）

本文主要讲解Hadoop运行环境的搭建（三台虚拟机），一键脚本部署，全自动化，不再需要按照文档一个一个进行配置，脚本执行后就可登录hadoop集群。
纯码农·2023-09-02 02:36

Hadoop运行模式

Hadoop运行模式本地运行模式（官方WordCount）完全分布式运行模式（开发重点）编写集群分发脚本xsyncSSH无密登录配置集群配置群起集群配置历史服务器配置日志的聚集集群启动/停止方式总结编写Hadoop
后端小知识·2023-09-01 19:23

在window上安装hadoop3.3.4

环境需要重新配一下首先需要配置Hadoop集群，但是为了代码调试方便需要先在Windows上配置Hadoop环境。
joey小天使·2023-09-01 15:32

大数据学习：Hive安装部署

此处以安装到node03为例；请大家保持统一使用hadoop普通用户操作1.1先决条件搭建好三节点Hadoop集群；node03上先安装好MySQL服务；1.2准备安装包下载hive的安装包http:/
zui初的梦想·2023-08-31 20:34

Flume跨服务器监控日志数据

需求：对于web项目单独所部署的服务器，每天都会产生大量的nginx日志文件，我们需要定时对这些日志文件进行采集并上传到Hadoop集群进行离线分析，最后做出可视化。
炸鸡叔老白·2023-08-31 12:14

[ hadoop ] 集群性能调优全面总结

[hadoop]集群性能调优全面总结_bone_ds的博客-CSDN博客_hadoop集群优化引子文章涵盖了hadoop框架的三个组成架构各自的优化方法,涉及存储,计算,故障排除等多个方面的具体调优内容
javastart·2023-08-31 07:27

自建minio实现doris的快速备份与恢复

支持通过腾讯云bos、阿里云oss、hdfs实现备份与恢复，但是我们公司doris部署在线下机房，如采用oss/bos,大数据备份与恢复比较慢，会占用一定的带宽，如采用hdfs，担心小文件太多影响现有的hadoop
spark大数据玩家·2023-08-31 03:47

Flink on yarn 集群部署

Flink要求它使用的Hadoop集群必须是要添加Kerberos和SASL认证的。
YoungJacker·2023-08-30 00:40
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他