Hadoop集群第13页

Hive with Spark 实战

前言由于我司的系统已存在稳定的HiveonHadoop集群以及Spark集群，随着业务发展，需要打通这两者，并能方便大家在其上进行开放，于是有了本文。

软件开发随心记·2023-07-25 20:20

hadoop基础搭建（hadoop+hive+hbase+zk）（一）

root）四、安装Hadoop五、安装rsync（root）六、网络配置（4台服务器，root）七、rsync脚本配置（root）八、免密登录配置（4台服务器）九、zk集群搭建（10、11、12）十、hadoop

懒惰の天真热·2023-07-25 12:59

hdfs集群的扩容和缩容

1、背景当我们的hadoop集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。

2301_77342543·2023-07-25 09:28

Hadoop 重新格式化HDFS

有时候因为自己的一些错误修改，导致Hadoop集群总是有些节点启动不起来。这是就需要重新格式化HDFS，在重启。

zoux·2023-07-25 02:48

Hadoop简介以及集群搭建详细过程

Hadoop简介以及集群搭建详细过程hadoop集群简介hadoop部署模式Hadoop集群安装1.集群角色规划2.服务器基础环境准备3.上传安装包hadoop安装包目录结构5.编辑hadoop配置文件

fiveym·2023-07-23 15:35

Hadoop技术之HDFS分布式文件系统基础

▼往期内容汇总：大数据导论Linux操作系统概述VMwareWorkstation虚拟机使用Linux常用基础命令、系统命令ApacheHadoop概述ApacheHadoop集群搭建目录一、文件系统、

黑马程序员官方·2023-07-23 14:13

Prometheus节点监控及hadoop集群监控

背景：我司长期苦于CM6.3后收费问题，这次领导痛下决心，决定要自己开发一套大数据管理平台，监控就是其中一部分，本文主要阐述，话不多说，先看效果。1.监控组件Prometheus1.1上传Prometheus包[root@bigdb01~]#[email protected]/data/fan/install/native/09.prometheus/jmx_prometheus_jav

fanbuer·2023-07-22 15:15

spark 任务优化

数据倾斜处理方法1.过滤掉不符合预期的热点key，例如由于日志信息丢失导致某个字段产生大量空值2.加入随机因素，打散热点key3.使用mapjoin解决小表关联大表造成的数据倾斜问题文件大量的小文件会影响Hadoop

涂荼·2023-07-22 14:43

Linux_ SSH 配置免密登录，集群互通

details/755796112.hadoop启动集群的免密码登陆设置（超详解附流程图）https://blog.csdn.net/qq_25838777/article/details/806534813.Hadoop

高达一号·2023-07-22 08:08

解决hadoop运行报错org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String；)Lorg/ap

org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z，之前的wordcountdemo是自己打成jar包放到hadoop

Lcreator·2023-07-22 00:06

Kafka集成Kerberos

这样就防止了恶意地使用或篡改Hadoop集群的问题，确保了Hadoop集群的可靠性、安全性。前提条件zookeeper3.5.8kafka2.6.

Hadoop菜鸟798·2023-07-21 00:23

java.net.ConnectException: 拒绝连接； For more details see: http://wiki.apache.org/hadoop/ConnectionRefu

遇到这种情况，先分析报错的代码在哪，什么情况所导致的，这是sqoop导入数据时，没有开启Hadoop集群，所以报“拒绝连接”，看到这几行代码，一定要检查自己的集群有没有开启Warning:/opt/module

tianyi6_6·2023-07-21 00:21

hadoop集群时间同步

192.168.217.130mastermaster.hadoop192.168.217.131node1node1.hadoop192.168.217.132node2node2.hadoop一、设置master服务器时间查看本地时间和时区[root@master~]#dateMonFeb2709:54:09CST2017选择时区[root@master~]#tzselectimageimag

白纸糊·2023-07-20 19:37

Hadoop程序运行一直卡在INFO mapreduce.Job: Running job: job_1578474456005_0034

以前Hadoop集群运行jar包都没问题的，但是昨天突然出现了这个问题，网上查阅了很多，大部分说是配置的问题（yarn-site.xml、mapred-site.xml配置错误），但是既然我的环境以前能运行程序就应该不是环境的问题

百味珍果糖·2023-07-20 12:40

knox 配置

wandy0211·2023-07-20 05:33

Impala入门操作

Impala简介用于处理存储在Hadoop集群中的大量数据的大规模并行处理SQL查询引擎，高性能低延迟底层基于C++编写优点执行数据处理时，不需要对存储在Hadoop上的数据进行转换或移动可以用传统的SQL

冥更·2023-07-19 17:37

Hive 托管表、外部表和事务表

Hive允许你使用类似于SQL的查询语言（称为HiveQL）来分析存储在Hadoop集群上的数据。在Hive中，表是数据的逻辑组织单元，你可以通过创建和管理表来组织和操作数据。

贾斯汀玛尔斯·2023-07-19 10:37

解决Hadoop集群hive库建表中文和表数据乱码问题

最近在测试环境，发现DDL建表后，发现中文注释和表数据乱码的问题，如下查询元数据原因是hive的metastore支持的字符集是latin1，所以中文写入的时候会有编码问题。解决方案如下：对MySQL的编码设置[client]下面增加default-character-set=utf8在[mysqld]下面增加default-character-set=utf8init_connect='SETN

沉迷学习无法自拔的我·2023-07-19 02:49

hadoop集群搭建

一、虚拟机概况三台centos7.54g(内存)2核40gmaster192.168.2.146hadoop01192.168.2.153hadoop02192.168.2.148二、环境变量以及安装准备1、/etc/profile.d/hadoop.shexportJAVA_HOME=/home/james/app/jdk1.8.0_91exportCLASSPATH=$JAVA_HOME/li

James0824·2023-07-18 20:03

MapReduce在Zookeeper集群上鉴权失败

另外我还有一个hadoop集群，这个集群使用了另一个配置了安全的zookeeper集群。这样的话，我就是有两个zookeeper集群：一个带安全，另一个不带安全。现在当我运行mapr

羽飞·2023-07-18 18:22

Spark常见面试题

1）本地模式 Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。

undo_try·2023-07-18 13:41

Linux多虚拟机集群化配置详解(Zookeeper集群、Kafka集群、Hadoop集群、HBase集群、Spark集群、Flink集群、Zabbix、Grafana部署)

Linxu集群化环境前置前面安装的软件，都是以单机模式运行的，学习大数据相关的软件部署，后续安装软件服务，大多数都是以集群化（多台服务器共同工作）模式运行的。所以，需要完成集群化环境的前置准备，包括创建多台虚拟机，配置主机名映射，SSH免密登录等等。配置多台Linux虚拟机我们可以使用VMware提供的克隆功能，将我们的虚拟机额外克隆出3台来使用。首先，关机当前CentOS系统虚拟机（可以使用ro

xy294636185·2023-07-18 10:42

Hadoop集群配置及运行

本文章基于尚硅谷Hadoop3.x视频进行总结，仅作为学习交流使用视频链接如下：30_尚硅谷_Hadoop_入门_集群配置_哔哩哔哩_bilibili集群配置整体思路1.切换到/opt/module/hadoop-3.3.4/etc/hadoop，配置core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml，分发hadoop文件夹集群启动整

ZRSAI·2023-07-18 07:18

Docker搭建Hadoop集群

目录1.拉取centos镜像2.基础镜像配置(基于centos构建hadoopbase镜像)3.集群环境配置1.创建3个容器2.配置网络3.配置主机和ip的映射关系4.配置3个节点的免密登录4.搭建hadoop

DLoong+·2023-07-18 04:52

Hadoop运行模块

伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。完全分布式模式：多台服务器组成分布式

YOLO数据集工作室·2023-07-16 20:24

Hadoop 集群搭建

Hadoop集群搭建1.Hadoop运行环境准备1.1模板虚拟机环境准备安装模板虚拟机，IP地址为192.168.50.100，主机名称hadoop100、内存4G、硬盘50G。

Thomas_Vader·2023-07-16 16:50

Hive配置更新和删除数据操作

许多用户使用诸如ApacheFlume、ApacheStorm或ApacheKafka这样的工具将流数据灌入Hadoop集群。当这些工具以每秒数百行的频率写入时，Hive也许只

IT小强哥·2023-07-16 16:49

Flink+hadoop部署及Demo

Hadoop集群高可用部署下载hadoop包地址https://dlcdn.apache.org/hadoop/common/hadoop-3.2.4/hadoop-3.2.4.tar.gz上传并解压到

Persistence___·2023-07-15 18:31

Hadoop集群环境搭建（我这里是搭建的一个主节点，两个从节点）

hadoop集群弄得我心力交瘁，终于弄好后决定记录一下。

ArrestYan·2023-07-15 16:18

hadoop 知识点总结

1、支持的模式启动hadoop集群1）、单机模式----对调试非常有帮助2）、为分布模式----3）、完全分布式模式2、格式化新的分布式文件系统.

盒马coding·2023-07-15 16:20

Apache Knox Gateway

knox运行为一个服务或者集群服务，并提供集中访问一个或者多个hadoop集群。通常网关的目标如下：1、为hadooprestapi提供外层的安全使hadoop安全更容易设置和使用。

wandy0211·2023-07-15 10:58

Hadoop期末复习城科专用

Hadoop期末复习目录Hadoop期末复习一、Hadoop集群概念解释：1.Yarn简答题1.Hadoop集群6个核心配置文件以及它的作用2.Hadoop集群部署方式以及各方式使用场景3.Hadoop

今日重到苏澜桥·2023-07-15 07:09

Kafka传输数据到Spark Streaming通过编写程序java、scala程序实现操作

前置准备工作项目环境说明LinuxUbuntu16.04jdk-7u75-linux-x64scala-2.10.4kafka_2.10-0.8.2.2spark-1.6.0-bin-hadoop2.6开启hadoop

piaow_·2023-07-15 02:05

hadoop集群搭建教程

目录集群规划所需软件包地址开始安装linux篇添加用户与用户组hadoop用户添加sudo权限配置hostname名称编辑hosts配置免密安装jdk1.8hadoop集群篇安装zookeeper安装hadoophbase

冰帆<·2023-07-15 01:09

Hadoop集群运行Spark应用程序

启动Spark集群先启动hadoop,再启动Spark,具体参考链接对Linux系统对Spark开发环境配置_Matrix70的博客-CSDN博客运行Spark安装好以后自带的样例程序SparkPispark-submit--classorg.apache.spark.examples.SparkPi--masterspark://master:7077examples/jars/spark-ex

Matrix70·2023-07-14 22:31

大数据Hadoop集群之超级详细的Hive安装配置

大数据Hadoop集群之Hive安装配置目录大数据Hadoop集群之Hive安装配置1.导入Hive压缩包并查看2.解压至module3.配置环境变量4.配置HIVE文件4.1配置hive-env.sh4.2

派大星子fff·2023-07-14 20:30

hadoop集群搭建+hive安装

1.系统环境VMware-workstation：VMware-workstation-full-16.2.3ubuntu：ubuntu-21.10hadoop：hadoop2.7.2mysql：mysql-connector-java-8.0.19jdk：jdk-8u91-linux-x64.tar（注意要是linux版本的，因为是在linux系统中创建虚拟机）hive：hive1.2.1小技巧

THE WHY·2023-07-14 20:30

大数据最佳实践-Kylin高级篇

大小优化构建5.2.1使用聚合组5.2.2并发粒度优化1.Cube执行情况2.Cube大小3.聚合组4.资源参数优化配置Kylin的精确去重指标跨Segment上卷留存分析漏斗分析Cue迁移I.在同一个Hadoop

猿与禅·2023-07-14 14:55

Hadoop集群启动配置

三台机器主hadoop01从hadoop02从hadoop031、Hadoop解压包修改core-site.xmlcdhadoop-2.7.4/etc/hadoop/vimcore-site.xmlfs.defaultFShdfs://hadoop01:9000hadoop.tmp.dir/root/export/servers/hadoop-2.7.4/tmp修改hdfs-site.xmlvim

redstone618·2023-07-14 13:19

[Container]Hadoop集群镜像打包

文章目录DockerDNS配置LinuxDockerDNS设置Windows、MacOsDockerDNS设置打包HadoopDockerfile打包文件参数声明和基础镜像引入安装相关依赖库创建普通用户下载或导入软件包环境变量配置初始化脚本参数配置`${HADOOP_CONF_DIR}/workers`工作节点`${HADOOP_CONF_DIR}/hadoop-env.sh`环境变量配置`${H

北溪入江流·2023-07-14 00:43

使用Hortonworks的Hadoop发行版（hdp）在Windows系统上安装Hadoop集群

由于工作中的具体需求，笔者需在Windows系统上搭建一个Hadoop集群去运行C++程序。之前折腾了好久，包括尝试在Windows系统上手动编译hadoop源码并部署。

winfield821·2023-07-13 17:24

Hadoop 集群如何升级？

本专栏目录结构和参考文献请见大数据技术体系正文升级Hadoop集群需要细致的规划，特别是HDFS的升级。如果文件系统的布局的版本发生变化，升级操作会自动将文件系统数据和元数据迁移到兼容新版本的格式。

Shockang·2023-06-24 08:08

Iceberg从入门到精通系列之二：Iceberg集成Hive

Iceberg从入门到精通系列之二：Iceberg集成Hive一、Hive引入Iceberg的jar包二、修改hive-site.xml三、启动hadoop集群四、启动hive元数据服务五、进入Hive

最笨的羊羊·2023-06-23 10:22

Hadoop3的高可用搭建

1.准备工作前期准备工作包括了CenOS7虚拟化安装与配置，Java虚拟机的安装，Hadoop相关部署包的下载，Hadoop集群所需基础环境的配置。

'煎饼侠·2023-06-22 17:36

大数据离线集群数据迁移实战项目

在2019年下半年，原有云厂商的机房已经不能满足未来几年的持续扩容的需要，同时考虑到提升机器扩容的效率（减少等待机器到位的时间）以及支持弹性伸缩容的能力，我们决定将大数据离线Hadoop集群整体迁移

岁月的眸·2023-06-22 03:10

dfs.nameservices参数

当在Hadoop集群中配置高可用性（HighAvailability）时，dfs.nameservices参数在Hadoop分布式文件系统（HDFS）中起着重要的作用。

sun13047140038·2023-06-22 00:42

Hadoop --- HDFS介绍

Hadoop安装可以参考：有基础的，已经安装了虚拟机的：Hadoop安装没有基础，也没有安装虚拟机的：Hadoop集群安装HDFS的优缺点：优点：高容错性，适合处理大数据，可构建在廉价机器上

三水写代码·2023-06-21 21:13

HDFS NameNode重启优化

一、背景在Hadoop集群整个生命周期里，由于调整参数、Patch、升级等多种场景需要频繁操作NameNode重启，不论采用何种架构，重启期间集群整体存在可用性和可靠性的风险，所以优化NameNode重启非常关键

shining_yyds·2023-06-21 04:48

3.Hadoop之MapReduce

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。优点：1.易于编程：用户只关心，业务逻辑。实现框架的接口。

hutc_Alan·2023-06-20 17:55

datanode启动后,在web50070端口发现不到datanode节点(能力工场)

直接上问题:这两天为了试验,安装了两套集群:(1)32位hadoop1集群(5个节点);(2)64位hadoop2集群(6个节点)两个集群中都遇到过这样的问题:在namenode正常启动hadoop集群后

能力工场小马哥·2023-06-20 09:37

推荐频道

Hadoop集群