Hadoop集群

从非kerberos认证的hadoop集群复制数据到kerberos化集群

在kerberos化主机上，先使用kinit命令初始化kerberossessionhadoopdistcp-Dipc.client.fallback-to-simple-auth-allowed=truehdfs://源IP:8020/文件路径/文件路径
长名字可以让你朋友更容易记住你·2023-09-20 20:02

Flink sql 1.17笔记

环境准备#启动hadoop集群#启动Flinkyarnsession(base)[[email protected]]$bin/yarn-session.sh-d#启动finksql
Link_999·2023-09-20 09:10

2020-12-03《Presto分布式SQL查询引擎——kkb笔记复习》

Presto分布式SQL查询引擎一、课前准备jdk版本要求：Java8Update151orhigher(8u151+),64-bit安装好hadoop集群安装好hive二、课堂主题介绍prestopresto
爱学大树锯·2023-09-20 08:54

PySpark集群完全分布式搭建

阅读本文前，有几个点需要注意：本文假设读者有Hadoop的搭建基础，并且成功搭建了完全分布式的Hadoop集群，因此本文不会对该方面的知识进行铺垫。
Ahaxian·2023-09-20 05:23

Hbase完全分布式搭建

一、简介Hbase官网二、生产集群搭建准备Zookeeper集群，Zookeeper搭建Hadoop集群(必须搭建完)，Hadoop搭建Hbase完全分布式配置(注意切换用户hadoop)#上传Hbase
鋆坤·2023-09-20 03:06

大数据开发中常用组件服务的集群管理脚本整理集合

大数据开发常用脚本整理集合大数据环境相关脚本bash运行模式说明创建shell脚本目录配置hostsSSH自动配置脚本文件同步、复制工具rsync基本用法文件同步脚步命令执行脚本节点循环简化大数据组件相关脚本Hadoop
CodeDevMaster·2023-09-20 01:34

一篇文章带你学会Hadoop-3.3.4集群部署

目录编辑一、Hadoop集群部署二、基础设施配置2.1设置网络2.1.1设置主机名称2.1.2设置hosts配置文件2.1.3关闭防火墙2.1.4关闭selinux2.1.5更换语言环境2.1.6更换时区
夜夜流光相皎洁_小宁·2023-09-20 00:55

Docker遇到的问题汇总

Docker遇到的问题汇总进行大数据开发，需要虚拟一个Hadoop集群，原来都是在Win下开发的，前段时间刚换成M1pro的02021款的mbp，遇到很多很多问题，到最后也根本没有办法使用号称支持M1Mac
小菜鸡也有大佬梦·2023-09-19 15:35

macOS Big Sur系统基于docker部署Hadoop集群

博主部署环境的时候，本地系统环境版本为：macOSBigSur11.3.11.集群环境要求类别版本OScentos7jdkjdk1.8hadoopHadoop2.9.22.集群规划集群服务器名称IP集群规划linux001172.16.0.2namenode，datanode，nodemanagerlinux002172.16.0.3Datanode,nodemanagerlinux003172.
回笼觉觉猪·2023-09-19 05:48

Hive【Hive（一）DDL】

前置准备需要启动Hadoop集群，因为我们Hive是在Hadoop集群之上运行的。从DataGrip或者其他外部终端连接Hive需要先打开Hive的metastore进程和hiveserver2进程。
让线程再跑一会·2023-09-17 09:11

启动hadoop服务报错

集群部署完hadoop和spark后，启动hadoop集群报如下错误：上一次登录：五9月1515:32:56CST2023pts/0上[root@managerconf]#whichstart-all.sh
泊涯·2023-09-16 10:04

【问题解决】Hadoop集群启动后执行JPS没有DataNode或NameNode

引言最近在尝试在搭建Hadoop集群并测试集群是否搭建成功，但是第一次格式化NameNode并启动HDFS和YARN时发现一会儿有DataNode或者NameNode但是后面就没有了，二者没有同时存在，
wydxry·2023-09-16 07:27

基于VM与Hadoop的完全分布式安装

其中完全分布式模式环境的配置需要在三台虚拟机上都做一次，本人也是第一次做，有很多不会的地方查了很多资料也走了很多弯路文章目录基于VM与Hadoop的完全分布式安装完全分布式运行模式环境配置配置JDK与Hadoop
凯撒袁六兽·2023-09-15 11:26

虚拟机搭建hadoop集群报java.net.ConnectException: 拒绝连接

问题描述我的core-site.xml的文件如下fs.defaultFShdfs://node1:9000hadoop.tmp.dir/tmp/hadoop-2.8.5node1是我hdfs的主节点，然后在node1这台机器上，执行start-dfs.sh，在node2和node3可以看到DataNode的jps，但是使用hdfsdfs-ls/命令就会报ls:CallFromnode2/x.x.x
捞月亮的阿汤哥·2023-09-15 04:59

搭建Hadoop集群 并实现hdfs上的crud操作

搭建Hadoop集群需要以下步骤：1.安装Java环境和Hadoop软件包在所有节点上安装Java环境和Hadoop软件包；以下是详细的步骤：在所有节点上安装Java环境和Hadoop软件包。
想用代码改变世界·2023-09-14 13:08

FMI飞马网【线上直播】大数据安全实践

曾就职于珠海世纪鼎利通信科技股份有限公司，参与到全国最早用于移动通信领域的大数据信令共享平台试点项目的研发及建设（当时用于生产的Hadoop集群典型架构为Avatar机制，Apache社区的Hadoop
尤娜_d831·2023-09-14 13:13

Spark实例学习(一)spark3.x集群搭建

目录集群规划spark安装包下载虚拟机搭建NAT静态网络配置Hadoop集群搭建scala安装配置spark修改conf下文件分发虚拟机修改启动文件名配置历史日志启动sparkUI界面查看测试spark
阳光里哭泣的狗·2023-09-14 10:34

简单讲讲在一台机器上用docker部署hadoop HDFS

老东西叫我用vmvare部署hadoop,我觉得这简直蠢毙了,让我们用docker和docker-compose来快速的过一遍如何使用docker-compose来部署简单的hadoop集群范例写在前面
生生世世是所说的·2023-09-14 06:31

Debian下Hadoop集群安装

Debian下Hadoop集群安装依赖安装jdk8sudoapt-getupdate&&sudoapt-getinstall-ywgetapt-transport-httpswget-O-https:/
藤藤菜丶·2023-09-13 16:55

Hadoop集群搭建

目录导引Hadoop集群搭建1.安装VMwareWorkstation16PRO2.基于VMwareWorkstation16PRO安装Centos7完全分布式安装1.Hadoop集群节点设置2.准备三台虚拟机
db_gjq_2038·2023-09-13 15:35

Hadoop集群资源管理系统YARN

Hadoop生态分层YARN应用.pngYARN应用运行机制YARN通过两类长期运行的守护进程提供自己的核心服务：管理集群上资源使用的资源管理器（resourcemanager）、运行在集群中所有节点上且能够启动和监控容器的节点管理器（nodemanager）。容器用于执行特定应用程序的进程，每个容器都有资源限制（CPU、内存等），一个容器可以是一个Unix进程，也可以是一个Linuxcgroup
Vechace·2023-09-12 21:28

ZooKeeper&Flink&Hadoop集群单个节点服务器挂掉之后的恢复

其中ZooKeeper&Flink&Hadoop集群因为单节点连接失败也开始罢工了。组里的架构加运维大牛走了，小白尝试恢复集群服务。所以本文只涉及简单的服务恢复和报错处理。
wangyueshu·2023-09-10 13:11

Hadoop分布式模式配置

hadoop环境准备：hadoop下载地址：http://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gzhadoop
鸡肋是鸡肋！·2023-09-10 08:30

Hive安装与配置及常见问题解决

赋予权限2.4配置环境变量2.5初始化Hive3.常见问题3.1配置hive-env.sh3.2配置hive-site.xml时1.前期准备需要3台虚拟需要并安装好java运行环境JDK需要搭建配置好Hadoop
wxin_@·2023-09-10 06:17

通过Idea远程调试Hadoop集群

早期的开发中经常用eclipse远程调试Hadoop集群，近期Idea的市场占有率逐渐增加，本文介绍如何在通过Idea远程调试Hadoop集群。
东语~·2023-09-09 14:15

ExitCodeException exitCode=-1073741515 异常解决

在博客《通过Idea远程调试Hadoop集群》中部署环境后，有个别机器会出现ExitCodeExceptionexitCode=-1073741515异常，主要原因是windows操作系统缺少文件，本文主要介绍一下解决方法
东语~·2023-09-09 14:45

一键启动hadoop集群

文章目录一键启动Hadoop集群一键启动Hadoop集群输入cd/home/atbigdata/bin，进入bin目录，进行查看是否有自己的编写好的群启动Hadoop集群脚本。
Cocobuhui·2023-09-09 13:49

Hadoop集群搭建

Hadoop集群搭建Hadoop集群简介Hadoop集群包括两个集群：HDFS集群、YARN集群两个集群逻辑上分离、通常物理上在一起两个集群都是标准的主从架构集群HDFS集群（分布式存储）主角色：NameNode
藤藤菜丶·2023-09-09 05:45

namenode-HA

Namenode在HDFS中是一个非常重要的组件，相当于hadoop集群系统的心脏，在显示分布式集群环境中，还是会有可能出现Namenode的崩溃或各种意外。所以，高可用模式就体现出作用了。
MOOJ·2023-09-08 00:29

Hive概述

一、概述Hive是hadoop集群中一个数据仓库，可以将结构化的数据文件映射为一张表，并提供类似SQL的查询功能，其本质就是将HQL转化成mapreduce程序。
诗云HSY·2023-09-07 14:11

大数据之MapReduce

MapReduce概述是一个分布式的编程框架，MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。
十七✧ᐦ̤·2023-09-07 08:42

大数据面试题

Hadoop1,Hadoop集群中都需要启动那些进程,它们的作用分别是什么?
牛壹壹·2023-09-07 07:13

pyspark报错JavaSparkContext. : java.lang.NullPointerException

本例是由于hadoop集群是用的shadownet网段，而pyspark程序所在的容器启动时没有加--networkshadownet。spark_master='spark://
euler1983·2023-09-07 06:24

查看HDFS集群状态

Hadoop集群正常启动后，它默认开放了两个端口9870和8088，分别用于监控HDFS集群和YARN集群。
摸摸小油头.·2023-09-07 00:22

windows下hadoop-eclipse 开发环境搭建连接HDFS时报error: failure to login错误

在windows下部署hadoop集群，然后用eclipse部署开发环境搭建好后，连接HDFS系统时：在文件夹下提示：error:failuretologin错误，连接不上，多方查找下，本地安装的java
躺平的赶海人·2023-09-06 15:28

hadoop集群下各项配置文件部署，yarn-site.xml、hdfs-site.xml等详细版（待持续更新）

一、yarn-site.xml文件配置，下放resourcemanager简称RM参数默认值（default）备注yarn.resourcemanager.hostnameRM的hostnameyarn.resourcemanager.scheduler.address${yarn.resourcemanager.hostname}:8030RM对AM暴露的地址，AM通过地址想RM申请资源，释放资
躺平的赶海人·2023-09-06 15:28

Ambari系列（三）： Ambari架构详解

前言Hadoop集群的管控一直是一个热门的话题，对于这样的一个应用场景，我所知道国内很早就有人研究并且取得不错的成绩，这就是EasyHadoop。
zachary_OOM·2023-09-06 10:49

hadoop-MapReduce

分布式计算模型MapReduce1.理解MapReduce设计思想2.理解MapReduce分布式计算的基本原理3.掌握使用Java进行MapReduce编程4.掌握在Hadoop集群中提交MapReduce
不吃香菜lw·2023-09-06 08:31

Docker部署Hadoop集群

前几天写了文章“Hadoop集群搭建”之后，一个朋友留言说希望介绍下如何使用Docker部署，这个建议很好，Docker不仅在生产环境威力巨大，对于我们在自己电脑中搭建学习实验环境更是非常便利。
丨程序之道丨·2023-09-06 03:01

使用虚拟机搭建Hadoop集群的步骤及出现问题总结

虚拟机搭建hadoop集群的步骤及问题总结1.总体描述尝试使用VMware搭建hadoop集群，共设置四台装有Hadoop环境的虚拟机，其中一台设置为主，其余为从，他们都在同一局域网下，网关为192.168.106.2
weixin_49639753·2023-09-06 03:46

hadoop集群部署常见问题解决

1、权限•Permissiondenied（权限被拒绝）Hadoop的运行日志在$HADOOP_HOME/logs内也可以查看日志排错只要出现Permissiondenied就是权限问题hadoop安装文件夹或/data文件夹，未被授权给hadoop用户，所以无权限操作2、环境变量•commandnotfound没有配置好环境变量，导致/export/server/hadoop/bin/hadoo
W_yhhh·2023-09-06 03:46

云服务器搭建Hadoop集群

云服务器搭建Hadoop集群一、配置服务器1.创建普通用户2.安装Java环境3.安装hadoop4.网络配置5.hadoop配置6.执行分布式实例一、配置服务器1.创建普通用户说明：由于root环境下操作比较危险
Edge_Code·2023-09-06 03:16

搭建Hadoop集群——易出现问题及解决办法

一.学习目标了解虚拟机的安装与克隆熟悉Linux系统的网络配置和SSH的配置掌握Hadoop集群的搭建和配置掌握Hadoop集群的测试熟悉Hadoop集群的初体验的操作二.搭建1.创建虚拟机1.1下载安装
17.45·2023-09-06 03:16

大数据技术——hadoop集群搭建出现的问题

出现的问题和解决方案ssh免密出现的问题：解决方法：出现上图的是语法错误，在ssh和-keygen中多了空格，去掉即可2.ssh免密登录出现的问题：ssh登陆报错“WARNING:REMOTEHOSTIDENTIFICATIONHASCHANGED“解决方法：1)通过ssh-keygen密钥工具更新ssh-keygen-f~/.ssh/known_hosts-R远程主机IP地址2)手动清除～/.s
肉肉肉肉肉肉~丸子·2023-09-06 03:46

云服务器搭建 hadoop集群(全过程详解&解决碰到的问题)

该hadoop集群采用三台真实的部署在公网的服务器(系统为centos)进行分布式搭建。（两台腾讯云，一台阿里云）过程中遇到问题可以翻到最下方，或者评论区留言。
Object_in_java·2023-09-06 03:45

hadoop集群搭建出现的一些问题总结

为了实现三台主机(masterslave1slave2)间的免密码登录，分别将slave1和slave2的公钥发送给master，然后再将master复制到slave1和slave2ssh-copy-idmaster验证master里面的authorized_keyscat.ssh/authorized_keys这里出现了问题，只有master和slave2的公钥，没有slave1，最后发现是sl
大角牛向前冲_momo·2023-09-06 03:45

搭建hadoop集群的常见问题及解决办法

问题一:namenode-format重复初始化出现问题的原因是重复初始化时会重新生成集群ID，而dn还是原先的集群ID，两者不匹配时无法启动相应的dn进程。怎么查找问题原因：在logs目录下找到对应节点的.log文件，使用tail-200文件名来查看日志信息。解决办法1：修改data/name/路径下的version文件中的集群ID为老的集群ID，事实修改后仍然报错，初始化不只是集群ID不一致，
十七✧ᐦ̤·2023-09-06 03:15

Hive-3.0.0完全分布式部署

前置条件需要安装好了jdk环境、mysql、以及全分布的Hadoop集群一、安装将安装包解压到/opt目录下tar-zxfapache-hive-3.0.0-bin.tar.gz-C/opt配置环境变量
bigdata-rookie·2023-09-05 20:49

解读MapReduce程序实例

Mapreduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。
大禹编程扛把子·2023-09-05 14:03

解决容器中执行sudo systemctl start mysqld报错Failed to get D-Bus connection: Operation not permitted

背景：前一段时间使用docker构建了hadoop集群，现在在集群中安装hive，当执行sudosystemctlstartmysqld这个命令启动mysql服务的时候报错：FailedtogetD-Busconnection
DLoong+·2023-09-05 09:05
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他