Hadoop集群

Zookeeper深度解析（概念、原理机制、应用场景）

（Zookeeper作为Hadoop项目中的一个子项目，是Hadoop集群管理的一个必不可少的模块，它主要用来控制集群中的数据，如它管理Hadoop集群中的NameNode，还有H
lglhope·2023-04-06 15:25

Spark SQL 小文件问题处理

1.1、小文件危害大量的小文件会影响Hadoop集群管理或者Spark在处理数据时的稳定性：1.SparkSQL写Hive或者直接写入HDFS，过多的小文件会对NameNode内存管理等产生巨大的压力，
宝哥大数据·2023-04-05 16:50

大数据开发学习笔记

安装增强设备1.3vim编辑器的使用1.4修改计算机名1.5配置Java1.5.1下载并解压缩安装包1.5.2配置路径1.6安装salve节点1.7网络结构选择1.7.1分组1.7.2单机运行三个虚拟节点2.Hadoop
漩涡脆波波·2023-04-05 14:23

hive中启动mysql_hive的安装与配置 mysql安装 启动

元数据保持在内嵌的derby模式，只允许一个会话连接本地独立模式：在本地安装Mysql，吧元数据放到mySql内远程模式：元数据放置在远程的Mysql数据库1、下载Hive安装包2、将hive文件上传到HADOOP
半个科创史学先生·2023-04-05 06:38

启动hive用启动mysql吗_hive的安装与配置 mysql安装 启动

元数据保持在内嵌的derby模式，只允许一个会话连接本地独立模式：在本地安装Mysql，吧元数据放到mySql内远程模式：元数据放置在远程的Mysql数据库1、下载Hive安装包2、将hive文件上传到HADOOP
weixin_31040629·2023-04-05 06:08

大数据之非常详细Spark SQL操作Hive的读写过程

Hive的两种功能2.1作为数据仓库提供存储功能2.2作为查询引擎提供检索查询功能3.Hive的查询功能如下二、SparkSQL操作Hive的方法1.SparkSQL访问Hive仓库2.启动服务3.启动Hadoop
派大星子fff·2023-04-05 02:13

Zookeeper下载和安装

Zookeeper1.下载官方下载地址：https://zookeeper.apache.org/版本：apache-zookeeper-3.7.1-bin.tar.gz2.安装2.1本地安装2.1.1安装JDK见：Hadoop
Mr李小四·2023-04-04 22:42

【大数据入门核心技术-Impala】（二）Impala核心组件和架构

目录一、最快的SQL引擎二、Impala架构三、核心组件一、最快的SQL引擎Impala是一个MPP（大规模并行处理）SQL查询引擎：是一个用C++和Java编写的开源软件；用于处理存储在Hadoop集群中大量的数据
forest_long·2023-04-04 22:47

impala理论篇之六：查询的执行流程

Impala如何执行查询下面这个图表示impala在Hadoop集群中所处的位置：Impala由以下组件组成：Clients-HUE、ODBCclients、JDBCclients和impalashell
AllenGd·2023-04-04 22:36

Hadoop集群的组成成份

二、Hadoop集群中有两种角色：master与slave，master又分为主master与次master。其中：主master同时提供NameNode、Se
星之擎·2023-04-04 12:29

Hadoop 之 MapReduce 概述

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。
小吴学数据·2023-04-04 12:40

WordCount 在 MapReduce上运行详细步骤

1.准备好eclipse安装包，eclipse-jee-juno-linux-gtk-x86_64.tar.gz，使用SSHSecureFileTransferClient工具把安装包上传于Hadoop
飘羽·2023-04-04 09:56

浅析怎样使用yum安装CDH Hadoop集群

使用yum安装CDHHadoop集群2013.04.06Update:2014.07.21添加lzo的安装2014.05.20修改cdh4为cdh5进行安装。
tianhuak·2023-04-04 09:24

java高可用grpc_java

0推荐469浏览最近在学习Hadoop，Linux虚拟机搭建Hadoop集群，Windows环境下搭建开发环境，配置Windows开发环境过程中，遇到了些问题困扰了三天，今天终于解决了，分享一下经验，也吸取吸取教训
xiq11113·2023-04-04 07:13

一、 Hadoop集群部署（2.9.2版）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录保姆级安装教程系列——Hadoop集群安装（2.9.2版）一、安装版本二、创建3台虚拟机三、配置网络1.配置文件2.配置VMwareNetworkAdapterVMnet8
萌新的小太阳·2023-04-04 04:40

大数据技术高频面试题汇总

Hadoop默认不支持LZO压缩，如果需要支持LZO压缩，需要添加jar包，并在hadoop的cores-site.xml文件中添加相关压缩配置；Hadoop常用端口号；Hadoop配置文件以及简单的Hadoop
wespten·2023-04-03 23:50

Hadoop集群搭建HA高可用版

HadoopHA搭建前提需要准备三台虚拟机创建三台虚拟机，主机名分别更改为hadoop01,hadoop02,hadoop03Hadoop部署如下主机名主机IPhadoop01192.168.197.101hadoop02192.168.197.102hadoop03192.168.197.103以下更改主机名，配置网络，关闭防火墙，关闭selinux，时间同步，主机映射和免密登录三台虚拟机都要进
bug智造·2023-04-03 23:22

Hadoop大数据系统架构（深入浅出）

目录1.Hadoop生态体系2.Hadoop集群硬件架构3.Hadoop体系分层功能架构参考资料导读：从资源管理角度来看，当前的大数据系统架构主要有两种：一种是MPP数据库架构，另一种是Hadoop体系的分层架构
赵孝正·2023-04-03 21:42

基于树莓派的Hadoop集群搭建

由于本人需求，所以在四个树莓派上搭建了一个极小的Hadoop集群，请勿喷我的工作无用，都说了是我需要才这样做的，手动再见！
amjjagja·2023-04-03 18:44

day3-Hadoop集群搭建（完全分布式）

1、虚拟机准备克隆3个虚拟机hadoop101，hadoop102，hadoop103，改静态ip，主机名，3台机器的节点分配如下2、编写集群分发脚本xsync（1）在/home/hadoop目录下创建bin目录，并在bin目录下xsync创建文件：[hadoop@hadoop101~]mkdirbin[hadoop@hadoop101~]cdbin/[hadoop@hadoop101bin]to
xiaoqunzi233·2023-04-03 16:30

Spark集群搭建

①：在搭建spark的时候先搭建好Hadoop集群Hadoop的搭建。
二手Java程序员·2023-04-03 14:31

Hadoop集群搭建（超级超级详细）

Hadoop集群搭建（超级超级详细）1、集群规划安装VMware，使用三台Ubuntu18.04虚拟机进行集群搭建，下面是每台虚拟机的规划：主机名IP用户HDFSYARNhadoopWyc待定wycNameNode
跳舞的皮埃尔·2023-04-03 11:46

Hadoop集群环境搭建（七）之完全分布式搭建

第四部分：完全分布式安装完全布式环境部署Hadoop完全分部式是真正利用多台Linux主机来进行部署Hadoop，对Linux机器集群进行规划，使得Hadoop各个模块分别部署在不同的多台机器上。一、环境准备1、克隆虚拟机Vmware左侧选中要克隆的机器，这里对原有的hadoop01机器进行克隆，虚拟机菜单中，选中管理菜单下的克隆命令。选择“创建完整克隆”，虚拟机名称为hadoop03，选择虚拟机
printf200·2023-04-03 10:53

hadoop HA（高可用）集群全分布模式安装

该配置基于前面章节已经安装好的hadoop全分布式集群、zookeeper组件基础上才能执行本章操作文章目录hadoopHA（高可用）集群全分布模式安装前言一、删除hadoop分布式集群的文件（没有则不用）1、关闭hadoop
陈鸿林·2023-04-03 04:04

Hadoop集群搭建（五：Hadoop HA集群模式的安装）

实验目的要求目的：1、Hadoop的高可用完全分布模式的安装和验证要求：完成Hadoop的高可用完全分布模式的安装；Hadoop的相关服务进程能够正常的启动；HDFS能够正常的使用；MapReduce示例程序能够正常运行；实验环境五台独立PC式虚拟机。主机之间有有效的网络连接每台主机内存2G以上，磁盘50G。所有主机上安装CentOS7-64位操作系统。所有主机已完成网络属性配置所有主机已安装JD
Eyeshort·2023-04-03 04:26

hadoop HA集群搭建

HdoopHA集群中没有SecondaryNameNode因此要先删除hadoop目录下的masters文件在所有机器上输入rm-rf/usr/local/hadoop/masters第二步：删除之前的非高可用hadoop
温文尔雅的流氓·2023-04-03 04:15

Ha 高可用hadoop集群安装

1HDFS高可用分布式搭建1.1NameNodeHA实现原理通过JournalNode实现NameNode集群启动时，可以通过动手方式来实现NameNodeHA也可以通过自动方式实现NameNodeHA.NameNodeHA实现可以同时启动2个NameNode，这些NameNode只有一个是active的，另一个属于standby状态。active状态意味着提供服务，standby状态意味着处于休
臭臭GE·2023-04-03 03:09

doris原生安装

doris原生安装—尝试集成到cdh5失败安装前先查看doris端口是否本占用，调整fe.conf和be.conf对应端口号，因为hadoop集群安装8030和8040我这里端口都改掉了，具体怎样修改看本集群端口占用情况
select_where·2023-04-03 02:48

第二章：大数据处理架构Hadoop

本章内容：1.Hadoop的发展历程2.Hadoop生态系统的各个组件及其功能3.Hadoop的安装和使用方法4.Hadoop集群的部署和使用方法1.Hadoop简介Hadoop是Apache软件基金会旗下开源软件
饮马翰海·2023-04-02 19:51

hadoop系列：hadoop集群搭建

系列简介：前段时间看了网上一些关于hadoop的文章，其中将hadoop说的神乎其神，之前只知道hadoop使用的是google的MapReduce理论；但是它到底能够完成什么样的事情？相比我们现在使用的技术有什么样的优势？对开发者又有什么样的要求？带着这些疑问，我开始了hadoop的探索旅程...为了学习hadoop，那么我们必须要有个hadoop的环境，这篇文章就是为您解决安装hadoop环境
chengxinwen·2023-04-02 19:29

Spark + Kafka大数据环境的搭建和示例的简单运行

1.大数据平台环境的搭建1.1环境准备搭建Hadoop集群环境一般建议三个节点以上，一个作为Hadoop的NameNode节点。另外两个作为DataNode节点。
AshenYi·2023-04-02 16:58

handoop配置集成环境

第一次配置Hadoop集群，毫无经验，从下午两点一直配置到网上11点半，反复来回的重装虚拟机，由于是超超新手，很多东西不熟练，也有很多东西理解的不是很透彻，总结以下几点，第一希望可以帮助的跟我一样的新手
从零开始20220316·2023-04-02 14:58

[零基础]用docker搭建Hadoop集群

目录前言：为什么要用docker搭建Hadoop集群？
黄丕理·2023-04-02 14:32

Hadoop集群的搭建及配置

本文章对虚拟机的安装配置、jdk的安装以及hadoop完全分布式集群的搭建进行了讲解。1、安装虚拟机、操作系统2、设置IP、虚拟机在线安装软件3、搭建hadoop完全分布式集群修改配置文件克隆虚拟机配置ssh免密码登录配置时间同步服务启动关闭集群操作环境1.VMware2.CentOS6.8系统3.xshell54.linux进入编辑文件，保存退出相关命令1.进入文件vi、vim文件名（vimte
陌白网客·2023-04-02 14:27

Hadoop集群的配置

一.、创建虚拟机(10条消息)CentOS7虚拟机的搭建_仄言2997的博客-CSDN博客1.创建虚拟机2.安装CentOS二、虚拟机网络设置(10条消息)虚拟机网络配置_仄言2997的博客-CSDN博客三、安装JDK(10条消息)虚拟机安装jdk，运行java文件_仄言2997的博客-CSDN博客四、安装Hadoop(10条消息)虚拟机安装Hadoop_仄言2997的博客-CSDN博客1.下载并
仄言2997·2023-04-02 13:40

大数据-Linux下hadoop集群的配置及搭建

说明：本篇文章只会介绍搭建hadoop集群比较核心的部分，hdfs、yarn和mapreduce部分。介绍：（1）版本是hadoop3.X版本。（2）JDK选择的是jdk1.8版本。
数据微醺·2023-04-02 13:36

hadoop集群分布式环境搭建

五个节点：2个Master+3个SlaveCentOS-8.4.2105-x86_64-dvd1.isohadoop-3.3.1.tar.gzjdk-8u221-linux-x64.tar.gzapache-zookeeper-3.7.0-bin.tar.gz新建虚拟机，对centos进行配置基础配置切换到root用户，才能进行配置su-lroot1.配置ip[root@localhost~]#v
一休祺·2023-04-02 13:48

Hadoop集群环境配置搭建

一、简单介绍Hadoop最早诞生于Cutting于1998年左右开发的一个全文文本搜索引擎Lucene，这个搜索引擎在2001年成为Apache基金会的一个子项目，也是ElasticSearch等重要搜索引擎的底层基础。项目官方：https://hadoop.apache.org/二、Linux环境搭建首先准备三台Linux服务器，预装CentOS7。三台服务器之间需要网络互通。本地测试环境的IP
中才实用·2023-04-02 13:04

8.Hadoop的HA(高可用)模式集群搭建

若链接失效在下面评论，我会及时更新）搭建环境：hadoop-3.1.3，jdk1.8.0_162一、HA模式简介Hadoop的HA模式是在Hadoop全分布式基础上，利用ZooKeeper等协调工具配置的高可用Hadoop
学习BigData·2023-04-02 05:56

（五）大数据实战——使用模板虚拟机实现hadoop集群虚拟机克隆及网络相关配置

前言本节内容我们实现虚拟机的克隆，主要根据模板虚拟机克隆三台hadoop虚拟机，用于hadoop集群的搭建，同时根据上一小节的内容，配置hadoop虚拟机的主机名、ip网络等，最终完成hadoop虚拟机的实例化
北溟溟·2023-04-02 00:52

（七）大数据实战——hadoop集群安装搭建

前言本节内容我们主要来介绍如何搭建hadoop集群，将hadoop的基础环境搭建完成，便于我们使用hadoop集群。
北溟溟·2023-04-02 00:52

（八）大数据实战——hadoop集群组件启动及服务组件配置修改

关于hadoop组件的部署同上一节内容，如下：hadoop集群组件分布hadoop101hadoop102hadoop103HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManagerResou
北溟溟·2023-04-02 00:52

（六）大数据实战——hadoop集群实现免密登录和文件互传

前言本节内容我们主要介绍一下hadoop集群服务器之间实现免密登录和文件互传的功能，这样更加方便我们使用hadoop服务器实现服务器之间的相互登录和文件的相互传输。
北溟溟·2023-04-02 00:19

使用superset连接Hive

superset连接Hive在连接前，先要能实现JDBC方式访问Hive启动hadoop集群myhadoop.shstart在superset环境下安装依赖condaactivatesupersetpipinstallpyhivepipinstallsaslpipinstallthriftpipinstallthrift-sasl
QSQ95·2023-04-01 06:09

hive表直接入库本地mysql，用udf从将hive的查询结果直接写入mysql数据库中

在很多人已经在讨论大数据架构，实时分析，离线分析，优化等等问题的时候，我们还在闭门造车地玩着手里的那套hdfs+hbase+zookeeper+hive+sqoop+jdbc+mysql的原始框架，然而还是到懂不懂的hadoop
玉羽凌风·2023-04-01 06:07

【公测中】阿里云发布国内首个大数据双活容灾服务，满足高要求大数据灾备场景

HDR-BD采用业界领先的数据双向实时复制技术，可以实现Hadoop集群双活和准0RPO容灾，为大数据灾备制定了全新的标准。
许此一生·2023-04-01 04:37

【深入浅出 Yarn 架构与实现】6-1 NodeManager 功能概述

一、NodeManager基本职能在Hadoop集群中，每个计算节点都需要有一个管
大数据王小皮·2023-04-01 04:55

Hadoop集群搭建：11.Spark搭建

一、资源准备先要准备Spark安装包和Scala安装包，安装包可以在阿里和网易的资源站下载1，Spark下载：https://mirrors.aliyun.com/apache/spark/，需要按照自己HDFS的版本选择对应的安装包，我的HDFS是2.7版本，可以选择：spark-2.4.6-bin-hadoop2.7.tgz，也可以选择基于hadoop2.7版本的其他版本2，Scala下载：先
丶珍视当下·2023-03-31 18:51

hadoop集群安装配置Kerberos（二）：搭建kerberos基础环境（主从kdc）

目录一、安装前需知二、安装前准备三、安装步骤1.NTP时钟同步2.目录设置3.配置hosts4.安装软件5.主kdc节点创建realm6.启动服务7.从KDC节点配置（同步配置文件）8.主从同步9.hadoop客户端节点配置10.快速测试四、添加用户和生成认证文件五、问题处理一、安装前需知1、我们安装的方案为kerberos5解决方案，所以我们所有的KDC都能够处理Kerberos5客户端，不考虑
白桦翅果·2023-03-31 11:31

hadoop集群安装配置Kerberos（三）：hadoop集群配置 kerberos 认证

目录前言一、配置SASL认证证书二、修改集群配置文件1.hdfs添加以下配置2.yarn添加以下配置3.hive添加以下配置4.hbase添加以下配置三、kerberos相关命令四、快速测试五、问题解决1、Causedby:java.io.IOException:Failedonlocalexception:java.io.IOException:ServerasksustofallbacktoS
白桦翅果·2023-03-31 11:01
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他