HADOOP集群

Hadoop集群三节点搭建（二）

一、克隆三台主机（hadoop102hadoop103hadoop104）以master为样板机克隆三台出来，克隆前先把master关机按照上面的步骤克隆其他两个就可以了，记得修改ip和hostname二、编写集群同步脚本在/home/attest/创建bin目录，在/home/attest/bin目录下创建集群同步脚本#!/bin/bash#1.判断参数个数if[$#-lt1]thenecho"
DIY……·2024-01-07 07:35

Flink常见核心概念

分布式缓存有时一些数据是通用的,就需要进行共享,可以放在文件、缓存、db中,可以放在文件中,先缓存到hadoop集群中,然后使用cachepublicclassCacheStream{publicstaticvoidmain
一生逍遥一生·2024-01-06 21:56

SuperMap分布式数据库实操

.配置开机自启动5.集群部署5.1主从复制集群5.2副本集集群安装部署配置开机自启动5.3分片集群二、DSF（HDFS）1.HDFS2.安装部署三、DSF(本地文件)四、HBASE1.数据模型2.安装Hadoop
会灭火的程序员·2024-01-06 15:42

企业级大数据安全架构（二）安全方案

作者：楼高1Knox访问控制ApacheKnox是一个为ApacheHadoop部署提供交互的应用网关，通过其RESTAPI和用户友好的UI，为所有与Hadoop集群的REST和HTTP交互提供了统一的访问点
云掣YUNCHE·2024-01-05 15:33

Hadoop集群环境下HDFS实践编程过滤出所有后缀名不为“.abc”的文件时运行报错：Path is not a file: /user/hadoop/input

一、问题描述搭建完Hadoop集群后，在Hadoop集群环境下运行HDFS实践编程使用Eclipse开发调试HDFSJava程序（文末有源码）：假设在目录“hdfs://localhost:9000/user
哇咔咔哇咔·2024-01-05 09:25

配置Hadoop集群后启动Hadoop时出错：Master: ssh: connect to host master port 22: No route to host

一、问题描述在配置完成Hadoop集群后,在启动Hadoop时出现报错：Master:ssh:connecttohostmasterport22:Noroutetohost错误截图如下（其中YKBMaster
哇咔咔哇咔·2024-01-05 09:54

Hadoop集群环境下HDFS实践编程过滤出所有后缀名不为“.abc”的文件时运行报错：java.net.ConnectException: 拒绝连接；

一、问题描述搭建完Hadoop集群后，在Hadoop集群环境下运行HDFS实践编程使用Eclipse开发调试HDFSJava程序（文末有源码）：假设在目录“hdfs://localhost:9000/user
哇咔咔哇咔·2024-01-05 09:19

Hadoop集群三节点搭建（一）

一、第一台虚拟机准备确认是可以上网，方便下载文件和工具，使用ping命令测试下安装工具net-tool：工具包集合，包含ifconfig等命令，大家可以根据自己需要按需下载创建普通用户attest，并修改attest用户的密码配置attest用户具有root权限，方便后期加sudo执行root权限的命令在/opt目录下创建文件夹，并修改所属主和所属组二、安装JDK卸载虚拟机自带的JDKrpm-qa
DIY……·2024-01-04 21:08

docker-compose部署hadoop集群（高可用）—— 筑梦之路

hadoop高可用依赖组件zookeeper1.下载二进制文件###1、zookeeper#下载地址：https://zookeeper.apache.org/releases.html#zookeeper非高可用用不到wgethttps://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz--
筑梦之路·2024-01-04 03:11

VirtualBox6.0 搭建Ubuntu18.04集群环境

image.png2、下载Ubuntu18.04镜像应为计划搭建hadoop集群，所以用server版本。
大道至简非简·2024-01-04 00:54

Azkaban+Spark资源调度

前提条件：各节点之间的免密、登录启动Hadoop集群、Spark、Azkaban、Hive免密登录操作ssh-keygen-trsaslave01执行：scp~/.ssh/id_rsa.pubhadoop
孤城暮雨@·2024-01-03 04:46

【Hadoop】如何启动和关闭Hadoop集群

启动Hadoop集群关闭Hadoop集群启动Hadoop集群参考官方文档ApacheHadoop3.3.6–HadoopClusterSetup要启动Hadoop集群，需要同时启动HDFS和YARN集群
不怕娜·2024-01-02 10:29

2024任务驱动Hadoop应用讲课提纲

任务驱动Hadoop应用课程概述项目一：搭建Hadoop集群任务1：搭建完全分布式Hadoop集群1.思路解析2.编程实现3.知识点讲解4.总结提高任务2：搭建高可用Hadoop集群（HA模式）1.思路解析
howard2005·2024-01-01 13:41

vwmare 15“无权输入许可证密钥...”与出现新问题hadoop集群无法启动

文章最后更新于2022.5.27，2:18am，希望对你有帮助“您无权输入许可证密钥…”与解决方法备份了虚拟机的所有文件，重置了电脑后，再把虚拟机的所有文件移动回原来的位置（文件路径不变），原本以为这样不会出现任何问题的。结果当打开输入密钥的时候，出现这个问题一开始以为是没有**“以管理员身份运行”导致无法输入密钥，但后来以管理员身份运行后也不行**>_<没办法，上网看看怎么解决呗上网查百度、CS
m0_67392409·2023-12-31 21:57

Zookeeper集群搭建

系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装（单机、伪分布）Hadoop集群搭建HBase2.2.2安装（单机、伪分布）Zookeeper集群搭建HBase集群搭建Spark安装和编程实践
WE-ubytt·2023-12-31 08:53

MapReduce基础介绍

Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。
Movle·2023-12-31 01:41

Hadoop分布式集群搭建（三台虚拟机）

一.准备工作搭建好VMwareWorkstationPro（我这里装的版本是16）二.新建虚拟机hadoop01搭建hadoop集群需要三台虚拟机1.新建虚拟机——>自定义（高级）2.不用改动，点击下一步
# Ling·2023-12-30 07:00

Hadoop集群搭建教程（完全分布式）

环境准备：本案例使用VMwareWorkstationPro虚拟机创建服务器来搭建Hadoop集群，所用软件及版本及简要配置方法如下：1.VMwareWorkstationPro15.5.1（推荐使用15
这是一个死肥宅·2023-12-30 07:27

Ambari入门及安装

Ambari简述什么是AmbariApacheAmbari项目旨在通过开发用于配置，管理和监控ApacheHadoop集群的软件来简化Hadoop管理。
青涩的芒果汁·2023-12-30 06:30

测试：如何查看节点进程？

对于Hadoop集群在Hadoop集群中，您可以使用`jps`命令来查看正在运行的Java进程。
AnyaPapa·2023-12-30 05:58

Spark集群- 连接hadoop、hive集群

目的使spark代码提交到集群运行时，能够操作hdfs、hive等保证所有spark机器都能解析hadoop集群的机器名称如果spark和hadoop部署在同样的集群，则可以省略这一步如果spark和hadoop
heichong·2023-12-29 13:59

hadoop hive spark flink 安装

下载地址Indexof/distubuntu安装hadoop集群准备IP地址主机名称192.168.1.21node1192.168.1.22node2192.168.1.23node3上传hadoop
nsa65223·2023-12-28 11:59

Spark从入门到精通23：Spark SQL简介

我们知道Hive是Hadoop生态中的一个数据分析引擎，它可以将HiveSQL转换成MapReduce任务提交到Hadoop集群中执行，大大简化了编写MapReduce程序的
金字塔下的小蜗牛·2023-12-28 09:20

Hadoop集群找不到native-hadoop

1.问题描述========hive运行中的问题，需要把把native复制进去/usr/lib2023-02-1519:59:42,165WARNscheduler.TaskSetManager:Losttask11.0instage1.0(TID3,common4,executor2):java.lang.RuntimeException:HiveRuntimeErrorwhileclosing
tuoluzhe8521·2023-12-28 02:38

EMR集群迁移自建Hadoop(元数据及HDFS数据）

1.背景老集群采用的腾讯emr集群，使用过程中磁盘扩容成本费用高且开源组件兼容性存在问题，因此决定采用自建hadoop集群，需要将emr的元数据和hdfs基础数据迁移过来。
tuoluzhe8521·2023-12-28 02:37

Hadoop集群shell常用命令

1.启动hadoop所有进程start-all.sh#等价于start-dfs.sh+start-yarn.sh但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题)。2.单进程启动。sbin/start-dfs.shsbin/start-yarn.sh3.常用命令3.1查看指定目录下内容hdfsdfs–ls[文件目录]hdfsdfs-ls-R///显式目录结构hado
Youngmon·2023-12-27 21:10

YARN知识点总结

如果把大数据Hadoop集群当作一台计算机,那么HDFS=磁盘YARN=任务调度器+资源管理器所有任务都是运行在Yarn上Yarn分为两个大的模块:ResourceManagerNodeManagerResourceManager
飞有飞言·2023-12-26 23:16

Hadoop集群部署

1.3在虚拟机中需要的基础文件包1.4关闭防火墙1.5创建Hadoop的账户及文件2模板虚拟机安装JDK3模板虚拟机安装Hadoop4克隆虚拟机5虚拟机配置主机名称映射6集群分发脚本7SSH无密登陆配置8Hadoop
程序员储物箱·2023-12-26 12:23

Hadoop基础操作（学习笔记二）

本笔记按照以下四步进行：1、查看hadoop集群的基本信息http://master:50070/HDFS监控服务http://master:8088/cluster/nodes集群的计算资源信息http
Mecury_·2023-12-26 10:32

pycharm连接虚拟机

要在PyCharm中远程连接到Linux上的Spark和Hadoop集群，您可以
俺会hello我的·2023-12-26 07:22

09-为Java开疆拓土的ZGC深度剖析

文章目录引言ZGC出现背景STW带来的问题手机系统(Android)显示卡顿证券交易系统实时性要求大数据平台(Hadoop集群性能)垃圾回收器的发展ZGC介绍ZGC中JVM内存布局和设计为什么这么设计？
月球程序猿·2023-12-26 04:15

HBase 集群搭建

文章目录安装前准备兼容性官方网址集群搭建搭建Hadoop集群搭建Zookeeper集群解压缩安装配置文件高可用配置分发HBase文件服务的启停启动顺序停止顺序验证进程查看Web端页面安装前准备兼容性1）
撕得失败的标签·2023-12-25 19:05

Kylin的工作原理

Kylin的详细工作原理如下：数据导入：Kylin将数据导入到Hadoop集群中，通过HBase作为存储引擎，将数据预处理后存储在HBase中。
程序大虾·2023-12-25 16:15

Hadoop2.x安全：hadoop集群之kerberos认证（三、常用命令、有效期）

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。问题或建议，请公众号留言;如果您觉得“大数据开发运维架构”对你有帮助，欢迎转发朋友圈从微信公众号拷贝过来，格式有些错乱，建议直接去公众号阅读概述：开启了Kerberos认证集群之后，集群不再像以前一样随意操作，需要证书进行登录，这里就讲一下我们日常用的的一些kerberos相关的一些操作，包括票据的创建、删除、有效期更改等。常用操作：1
大数据开发运维架构·2023-12-25 15:34

hadoop集群坏块处理

hadoop之hdfs数据块修复方法：1、手动修复#检查集群的健康状态hdfsfsck/#修复指定的hdfs数据块。也就是关闭打开的文件。hdfsdebugrecoverLease-path文件位置-retries重试次数检查坏块：hadoopfsck/user-files-blocks-locations检查是否有数据块正在写入：hadoopfsck/useropenforwrite
运维仙人·2023-12-24 21:39

docker搭建hadoop集群、hbase、postgresql

docker搭建hadoop集群、hbase、postgresql镜像包内容：1、安装包下载：2、创建镜像：dockerbuild-thadoop.3、查看镜像：dockerimages4、docker
Run不动了·2023-12-24 21:38

大数据高级开发工程师——Hadoop学习笔记（1）

文章目录Hadoop基础篇Hadoop集群安装环境准备服务器准备设置时钟同步三台虚拟机添加普通用户三台虚拟机定义统一目录三台虚拟机hadoop用户设置免密登录三台虚拟机安装jdkhadoop集群安装环境部署规划安装包下载查看
讲文明的喜羊羊拒绝pua·2023-12-24 08:53

Hadoop入门学习笔记——二、在虚拟机里部署HDFS集群

pwd=5ay8Hadoop入门学习笔记（汇总）目录二、在虚拟机里部署HDFS集群2.1.部署node1虚拟机2.2.部署node2和node3虚拟机2.3.初始化并启动Hadoop集群（格
faith瑞诚·2023-12-24 08:23

hadoop大数据学习笔记

二、Hadoop环境部署按着正常来说我们想要部署Hadoop集群需要把相同的软件部署到众多计算机上，实际学习
驰宇爱吃鱼·2023-12-24 08:53

Hadoop+Hive学习笔记-4

Hadoop集群搭建配置三台虚拟机之间的免密登录1切换到root用户：crontab-e在第一行写入：*/5****/usr/sbin/ntpdatentp1.aliyun.com三台机器都一同操作，这一步让三台机器的时间服务器一致
fwings260·2023-12-24 08:22

hadoop学习笔记(五)Hive安装部署

Hive安装部署Hive安装及配置配置已经完成,在此处启动hadoop集群Hive常用命令将本地文件导入Hive案例安装MySqlHive元数据配置到MySqlHive安装及配置下载地址:https:/
So.j·2023-12-24 08:22

【基础知识】大数据组件YARN简述

YARN是Hadoop系统的核心组件，主要功能包括负责在Hadoop集群中的资源管理，负责对作业进行调度运行以及监控。
偏振万花筒·2023-12-23 22:28

DBeaver连接hive

1.新建hive连接其中主机填写hive所在节点地址，端口10000为默认，数据库名不填则是默认default数据库，用户名密码填写hadoop集群中能操作hdfs的用户和密码。
sunweiking·2023-12-23 12:38

在自己电脑配置cdh 版 hadoop 提交mr job客户端

image.png1.首先下载与我们cdhhadoop集群对应的hadoop安装文件hadoop-2.6.0-cdh5.14.2.tar.gz链接:https://pan.baidu.com/s/1iHm5M-gGZRWLKbzVjbYJmA
Helen_Cat·2023-12-23 04:51

Hadoop 之 MapReduce

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。
djm猿·2023-12-22 18:17

hadoop集群的开启与关闭

背景很久没完hadoopl,连怎么开启关闭都不会了qwq1.进入安装hadoop的目录我这里是已经进入了2.开启集群sbin/start-dfs.sh3.关闭集群sbin/stop-dfs.sh
JSU_曾是此间年少·2023-12-22 13:41

Ambari-Hadoop集群、Elasticsearch集群及nginx安装

环境初始化hostnamevi/etc/hosts打通yumntplimit参数初始化防火墙jdkmysql-connectormysqlambariHDP安装ELK环境nodeeses-headkibanalogstashfilebeatnginx写在前面的话，安装这些东西的话，最好用脚本，不容易出错，下面写的是手动部署的过程环境初始化一定要先挂载好磁盘hostnamehostnamevi/et
客尘烦恼·2023-12-22 06:05

大数据----31.hbase安装启动

三台机器都执行：zkServer.shstartHadoop正常部署Hadoop集群的正常部署并启动。
学无止境的大象·2023-12-21 19:40

Hadoop集群的搭建（全网最详细，看了就会）

在搭建之前请一定要确保Hadoop集群搭建的前置准备已经完成，详细内容可以参考我的这篇文章。
叶落长街·2023-12-21 08:49

Hadoop集群搭建详细教程

Hadoop环境搭建1.环境准备1.首先创建一台模板机所谓的模板机是进行了一些最基础的配置，比如说进行主机名修改、网络配置、下载一些插件等准备工作。不会创建虚拟机的可以通过Centos7.5安装配置及虚拟机搭建详细教程进行虚拟机创建。1.1网络测试[root@hadoop101~]#pingwww.baiu.com如果ping不通百度，可能是网络配置没有配置好，可以通过配置文件等修改。1.2修改I
百万攻程狮·2023-12-21 08:49
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他