hadoop集群

半小时搞定Hadoop+Mysql+Hive

1.说明 搭建过Hadoop集群的小伙伴一定知道，如果不用docker，半小时配好Hadoop+Mysql+Hive（后简称Hive）肯定是胡吹，有了Docker镜像，没有说明文档，配好了也不一定会用。
xieyan0811·2023-09-04 14:10

hadoop初始化namenode失败，报错：org.apache.hadoop.hdfs.qjournal.client.Quorumexception

在搭建Hadoop集群的时候，初始化namenode出现如下报错：解决方案1.要仔细检查配置文件是否正确，我之前就是配置文件不正确2.检查1，2，3节点的zookeeper服务是否开启3.检查1，2，3
kyrie_rlving·2023-09-02 18:12

Centos7.6连不上网，找不到WiFI适配器解决方案

参数如下：BOOTPROTO=static（静态IP）其他的配置和宿主主机一致（如网关、DNS等）今天在打开虚拟机就出现了网络连接不上的问题，另外其他两个虚拟机也出现了连接不上网络的问题（原因可能在配置Hadoop
kyrie_rlving·2023-09-02 18:42

关于IDEA打包JAR上传到Hadoop集群运行出现ClassNotFound的问题

问题描述复现尚硅谷大数据电信客服项目到数据分析的时候，发现无论怎么改变IDEA或者maven的打包方式、添加依赖jar，hadoop集群始终无法在运行项目的时候加载出来打包时候的其他第三方依赖，总会出现部分类的
时光追溯者·2023-09-02 16:36

Hadoop依赖环境配置与安装部署

关闭防火墙1.8服务器之间互传资料1.9做一个host印射1.10免密传输二、Hadoop安装部署2.1解压hadoop的tar包2.2切换到配置文件目录2.3修改配置文件2.4分发到其他节点2.5初始化Hadoop
626960·2023-09-02 07:32

Hadoop 3.2.4 集群搭建详细图文教程

目录一、集群简介二、Hadoop集群部署方式三、集群安装3.1集群角色规划3.2服务器基础环境准备3.2.1环境初始化3.2.2ssh免密登录（在hadoop01上执行）3.2.3各个节点上安装JDK1.8
Stars.Sky·2023-09-02 07:01

Hadoop集群搭建(五)-集群配置文件

目录集群部署规划自定义配置文件节点格式化配置workers启动集群配置历史服务器集群部署规划hadoop102hadoop103hadoop104HDFSNameNodeDataNodeSecondaryNameNodeNataNodeYARNNodeManagerResourceManagerNodeManagerNodeManager自定义配置文件core-site.xml、hdfs-site
HUA_8376·2023-09-02 06:55

【大数据】搭建Hadoop集群（附一键部署脚本）

本文主要讲解Hadoop运行环境的搭建（三台虚拟机），一键脚本部署，全自动化，不再需要按照文档一个一个进行配置，脚本执行后就可登录hadoop集群。
纯码农·2023-09-02 02:36

Hadoop运行模式

Hadoop运行模式本地运行模式（官方WordCount）完全分布式运行模式（开发重点）编写集群分发脚本xsyncSSH无密登录配置集群配置群起集群配置历史服务器配置日志的聚集集群启动/停止方式总结编写Hadoop
后端小知识·2023-09-01 19:23

在window上安装hadoop3.3.4

环境需要重新配一下首先需要配置Hadoop集群，但是为了代码调试方便需要先在Windows上配置Hadoop环境。
joey小天使·2023-09-01 15:32

大数据学习：Hive安装部署

此处以安装到node03为例；请大家保持统一使用hadoop普通用户操作1.1先决条件搭建好三节点Hadoop集群；node03上先安装好MySQL服务；1.2准备安装包下载hive的安装包http:/
zui初的梦想·2023-08-31 20:34

Flume跨服务器监控日志数据

需求：对于web项目单独所部署的服务器，每天都会产生大量的nginx日志文件，我们需要定时对这些日志文件进行采集并上传到Hadoop集群进行离线分析，最后做出可视化。
炸鸡叔老白·2023-08-31 12:14

[ hadoop ] 集群性能调优全面总结

[hadoop]集群性能调优全面总结_bone_ds的博客-CSDN博客_hadoop集群优化引子文章涵盖了hadoop框架的三个组成架构各自的优化方法,涉及存储,计算,故障排除等多个方面的具体调优内容
javastart·2023-08-31 07:27

自建minio实现doris的快速备份与恢复

支持通过腾讯云bos、阿里云oss、hdfs实现备份与恢复，但是我们公司doris部署在线下机房，如采用oss/bos,大数据备份与恢复比较慢，会占用一定的带宽，如采用hdfs，担心小文件太多影响现有的hadoop
spark大数据玩家·2023-08-31 03:47

Flink on yarn 集群部署

Flink要求它使用的Hadoop集群必须是要添加Kerberos和SASL认证的。
YoungJacker·2023-08-30 00:40

【保姆级教程】hadoop 3.x 环境配置——入门篇

配置服务器1.1虚拟机1.2云服务器1.3服务器基础配置总览2配置用户3配置JAVA3.1更换yum源3.2安装JDK3.2.1推荐：离线安装3.2.2不推荐：在线安装4配置SSH5更改hosts6搭建Hadoop
我本鼠狂人·2023-08-29 22:55

hive搭建

Hadoop的架构体系中承担了一个SQL解析的过程，它提供了对外的入口来获取用户的指令然后对指令进行分析，解析出一个MapReduce程序组成可执行计划，并按照该计划生成对应的MapReduce任务提交给Hadoop
Gavin_hello·2023-08-29 18:46

4 hadoop集群配置案例

3）配置集群（1）核心配置文件，core-site.xmlcd$HADOOP_HOME/etc/hadoopvimcore-site.xml文件内容如下：fs.defaultFShdfs://hadoop102:8020hadoop.tmp.dir/opt/module/hadoop-3.1.3/datahadoop.http.staticuser.useratguigu（2）HDFS配置文件,h
水无痕simon·2023-08-28 09:48

0201hdfs集群部署-hadoop-大数据学习

问题集8.1InvalidURIforNameNodeaddress(checkfs.defaultFS):file:///hasnoauthority.结语1前言下面我们配置下单namenode节点hadoop
gaog2zh·2023-08-28 06:31

Hive原理剖析

提供类似SQL的HiveQueryLanguage语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。
Hello.Reader·2023-08-27 18:33

大数据学习之MapReduce

Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。2.MapReduce优缺点优点MapReduce易于编程。
在远方的你等我·2023-08-27 17:45

Hadoop集群搭建（伪分布式）

集群搭建hadoop伪分布式软件准备：VMwareWorkstationProcentos7xshell5jdk-8u141-linux-x64.tar.gzhadoop-2.10.1.tar.gz一.安装jdk1.首先在jdk官网中，下载jdk安装包，本文以jdk-8u141-linux-x64.tar.gz为例2.将安装包传入虚拟机中，本文以xshell5为例（1）.打开xshell5，连接上
......786·2023-08-27 15:11

（二）大数据实战——hadoop的模板虚拟机搭建

前言在实际的开发过程中，我们的hadoop都是以集群的方式存在，该系列内容我们使用vmware工具构建我们的虚拟机，从而实现hadoop集群搭建。
北溟溟·2023-08-27 15:11

大数据项目实战（Hadoop集群搭建）

一，搭建大数据集群环境1.2Hadoop集群搭建1.2.1jdk安装1.下载jdk(1)在根目录下创建三个子目录以备后用。
瑾寰·2023-08-27 15:10

大数据时代之java操作hdsf

前面已经讲过hadoop伪分布式和分布式环境搭建，参考大数据时代之Hadoop集群搭建本来想直接搞java代码操作hdfs的，想了想还是先简单的复习下命令行操作hdfs吧。
小小的人儿居然已存在·2023-08-27 11:49

饿了么大数据计算引擎实践与应用

其中6人的离线团队需要维护大数据集群规模如下：Hadoop集群规模1300+HDFS存量数据40+PB，Read3.5PB+/天，Write500TB+/天14WMRJob/天，10WSparkJob/
Alukar·2023-08-27 08:39

Ubuntu安装Hive，并使用Mysql作为元数据库

版本信息：Ubuntu：16.04JDK：1.8.0_144Hadoop：2.7.4Hive：2.1.1MySQL：5.7.22今天捣鼓了一下午关于Hadoop集群安装Hive，遇到了一些问题，在此记录下来
Hiwes·2023-08-26 17:12

Hive学习之路 （五）hive使用beeline配置远程连接

hive以hadoop集群为基础，提供hdfs的SQL支持；hive一般可以以mysql为元数据存储，默认Derby；hadoop，hive安装自行百度吧；介绍hive的远程访问：未配置之前使用beeline
hello_world!·2023-08-26 16:06

远程模式搭建Hive

在之前的博客中已经记录了三台节点搭建的hadoop集群，并在hadoop02上安装了hive，在hadoop03上安装了mysql。
QYHuiiQ·2023-08-26 16:35

YARN资源管理框架论述

一、简介为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性，并消除早期MapReduce框架中的JobTracker性能瓶颈，开源社区引入了统一的资源管理框架YARN。
Hello.Reader·2023-08-26 14:24

Hadoop集群搭建(hadoop-3.3.5)

一、修改服务器配置文件1、配置环境变量vim/etc/profile#java环境变量exportJAVA_HOME=/usr/local/jdk/jdk8exportJRE_HOME=$JAVA_HOME/jreexportCLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexportPATH=$JAVA_HOME/bin:$JRE_HOME/bi
如我般骄傲·2023-08-26 11:37

spark连接mysql创建hive表_Apache Spark整合Hive

安装hive前提是要先安装hadoop集群，并且hive只需要在NameNode节点集群中安装即可，可以不在DataNode节点的机器上安装。
weixin_39899226·2023-08-26 09:48

yarn 资源调度

1.什么是yarnyarn是hadoop集群当中的资源管理系统模块,从hadoop2.0开始引入yarn模块,yarn可为各类计算框架(mrsparkflink)提供资源的管理和调度,主要用于管理集群当中的资源
我是玄离大人·2023-08-26 08:08

大数据项目实战-招聘网站职位分析

目录第一章：项目概述1.1项目需求和目标1.2预备知识1.3项目架构设计及技术选取1.4开发环境和开发工具1.5项目开发流程第二章：搭建大数据集群环境2.1安装准备2.2Hadoop集群搭建2.3Hive
L卡夫卡·2023-08-25 09:43

报错-hive on spark执行数据导入脚本报错

背景CentOS7.5中三台机器(hadoop102、hadoop103、hadoop104)的hadoop集群问题描述数仓建设：dwd层向dws层导入数据时，脚本执行报错报错代码FAILED:SemanticExceptionFailedtogetasparksession
dyson不只是吹风机·2023-08-24 17:52

VMware 克隆失败，提示指定的虚拟磁盘需要修复【已解决】

最近在学习搭建hadoop集群，今天克隆模板机的时候报错了，提示指定的虚拟磁盘需要进行修复，说实话一脸懵逼。话不多说，百度之。
mba1398·2023-08-23 20:35

最详细的大数据之Hadoop分布式系统架构解析！没有之一！

其最底部是HadoopDistributedFileSystem（HDFS），它存储Hadoop集群中所有存储节点上的文件。
大数据学习01·2023-08-23 18:22

Hadoop支持LZO压缩

以下是在Hadoop中使用LZO压缩的一般步骤：安装LZO库和工具：首先，需要在Hadoop集群的所有节点上安装LZO压缩库和工具。你可以从LZO官方网站或发行版的软件包管理器中获
贾斯汀玛尔斯·2023-08-23 07:32

hibench 对CDH5.13.1进行基准测试（测试项目hadoop\spark\)HDFS作HA高可靠性

使用CDH5.13.1部署了HADOOP集群之后，需要进行基准性能测试。一、hibench安装1.安装位置要求。因为是全量安装，其中有SPARK的测试（SPARK2.0）。
weixin_30262255·2023-08-23 00:44

有道云笔记bug整理hadoop集群启动但不能访问50070

这是前年搭建集群遇到的问题，特此在输出，以便于自己这种错误要长记住搭建Hadoop伪集群时，HDFS文件系统成功格式化，节点启动了，jps也有显示，但http://IP:50070就是访问不了。就是防火墙没有关闭。防火墙命令要注意分centos版本伪集群搭建采用的是CentOS7.0，而CentOS7.0默认使用的是firewall作为防火墙，可以改为iptables。Firewall：syste
纯野生程序员·2023-08-23 00:10

Ambari2.7+HDP3.0安装(基于Centos7)

1.Ambari简介ApacheAmbari项目旨在通过开发用于配置，管理和监视ApacheHadoop集群的软件来简化Hadoop管理。
小宇0926·2023-08-22 04:50

大数据hadoop 新手快速入门经典视频教程

视频下载地址：http://demo.liuy88.cn/jp1185.html第一天hadoop的基本概念伪分布式hadoop集群安装hdfsmapreduce演示01-hadoop职位需求状况.avi02
艾希MR·2023-08-22 03:20

Hadoop小结（下）

HDFS集群HDFS集群是建立在Hadoop集群之上的，由于HDFS是Hadoop最主要的守护进程，所以HDFS集群的配置过程是Hadoop集群配置过程的代表。
Zain Lau·2023-08-21 07:00

Hadoop集群运维相关笔记 hdfs参数设置调优等

文章目录1.HDFS1.1DataNode服务经常僵死描述分析解决1.2DataNode因数据盘损坏重启失败描述分析解决1.3优化HadoopBalancer平衡的速度2.HBASE2.1master服务无法启动errororinterruptwhilesplittinglogs描述分析解决Ref本篇博客将持续更新一些遇到过的Hadoop大数据集群的问题，包括HBASEHDFS的常见问题及相关的解
小鹅鹅·2023-08-20 21:08

hdoop面试题6 后面的面试题各公司面试题,算法数据结构相关面试题 后面没看 阿善有用...

配置环境变量d)修改host文件域名e)安装ssh配置无密码登录f)解压hadoopg)配置hadoopconf下面的配置文件h)Hadoopnamenode-format格式化i)Start启动2.列出hadoop
okbin1991·2023-08-19 14:24

hadoop2的集群数据将副本存储在hadoop3

在Hadoop集群中，HDFS副本是分布式存储的，会存储在不同的节点上。
荣晓·2023-08-19 10:48

Hadoop 重启流程

因原有配置密钥目录有误，需要重启Hadoop集群3个节点，Hadoop版本3.3.21、Zookeeper分别在3个节点重新启动/opt/apache-zookeeper-3.7.0-bin/bin/zkServer.shstart2
wangqiaowq·2023-08-17 14:38

CnetOS7 搭建Sqoop-1.4.7(Hadoop3.0.3+HBase+Hive+zookeeper)

1、Centos7搭建Hadoop集群参考文章地址：https://blog.csdn.net/zhouzhiwengang/article/details/945499642、CentOS7搭建HBase
在奋斗的大道·2023-08-17 09:59

实战：使用Docker部署Hadoop集群

文章目录Hadoop简介Hadoop优势Hadoop应用场景docker与docker-compose安装Hadoop集群搭建环境变量docker-compose环境文件树结构编排并运行容器运行wordcount
小沈同学呀·2023-08-17 03:32

【hadoop】windows上hadoop环境的搭建步骤

一般我们都会将hadoop集群部署在服务器上，但是作为一个资深搬砖人，我们本地环境也需要一个开发hadoop的开发环境。
小沈同学呀·2023-08-17 03:01
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他