Hadoop集群第5页

Hyper-v虚拟机Hadoop集群搭建

大数据Hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。(海量数据存储)HDFS为海量的数据提供了存储，而MapReduce**分布式计算**则为海量的数据提供了计算总结：用Java开发HDFS–解决大数据存储问题MapReduce–解决大数据计算问题HDF

真.电脑人·2023-11-30 16:16

电商平台数据仓库搭建02-Hadoop集群搭建

1，项目说明本项目来源于github电商平台数据仓库搭建。项目为个人学习记录，项目代码及文件可访问电商平台数据仓库搭建获得。2，项目准备虚拟机准备虚拟机开发工具为VMware15。本次项目我自己使用的CentOS版本为CentOS7。虚拟机需要配置3台，分别为Hadoop102，Hadoop103，Hadoop104。配置ssh、jdk1.vm-tools，并创建新用户hadoop并配置root权

王小磊~·2023-11-30 13:04

在centos7上搭建hadoop大数据平台

目录一、安装搭建java环境1、安装方法2、查看是否已安装3、卸载4、安装4.1检查yum中有没有java1.8包4.2开始安装5、验证二、Hadoop安装1、下载2、准备启动Hadoop集群2.1配置

船长灬普朗克·2023-11-30 13:03

Ubuntu 文件系统成为只读模式的解决办法

虚拟机环境的Linux系统由于是虚拟化虚拟出来的主机环境，因此经常会出现一些操作系统的问题，今天我遇到了一个Ubuntu操作系统文件系统成了只读模式，无法进行系统的操作，由于出问题的主机是我个人搭建的Hadoop

Kevin-K先森·2023-11-30 10:46

Flink-shell

1.FlinkSQl客户端启动一个flink的集群可以使用flink独立集群，也可以使用yarn-session.sh1.启动Hadoop集群2.yarn-session.sh-d3.sql-client.sh1.1sql-client.sh-isql-client.sh-i

大学生爱编程·2023-11-30 04:46

Spark3 on Yarn分布式集群安装部署(YARN模式)

spark-env.sh三、配置yarn-site.xml四、启动Hadoop和Spark集群五、基于YARN的client模式提交命令六、基于YARN的cluster模式提交命令七、关闭Spark、Hadoop

最笨的羊羊·2023-11-30 03:57

Spark集群安装（On Yarn）

说明：基于已经搭建完成的Hadoop集群，关于Hadoop集群搭建，可参考：https://blog.csdn.net/weixin_37901366/article/details/13017066一

maplea2012·2023-11-30 03:55

ambari部署hadoop

ambari搭建hadoop集群为何选用ambari安装前准备部署节点间做免密登陆搭建nginx服务创建repo源安装mysql服务安装ambari服务启动ambari服务登陆ambari-ui配置为何选用

hello_world_99·2023-11-30 03:23

Spark面试题

（☆☆☆☆☆）1）本地模式 Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。

終于、·2023-11-29 22:38

5. MapReduce 和 Yarn 技术原理【华为HCIA-BigData】

5.1导读本章主要讲述大数据领域中最著名的批处理与离线处理计算框架MapReduce，包括MapReduce的原理、流程、使用场景，以及Hadoop集群中负责统一的资源管理与调度的组件Yarn，包括Yarn

Mengo_x·2023-11-29 08:45

hadoop集群环境搭建和常用命令

搭建过程1.集群配置cat/etc/hosts2.步骤安装Java是否安装whichjava或者echo$JAVA_HOME3.解压安装包tar-zxvf4.修改配置文件cd$HADOOP_HOME/etc/hadoop/下面是需要修改的配置文件hadoop-env.shyarn-env.shhdfs-site.xmlcore-site.xmlmapred-site.xmlyarn-site.xm

Logan_addoil·2023-11-29 05:04

大数据编程技术基础实验八：Flume实验——文件数据Flume至HDFS

Flume至HDFS文章目录大数据编程技术基础实验八：Flume实验——文件数据Flume至HDFS一、前言二、实验目的三、实验要求四、实验原理1、flume的特点2、flume的可靠性五、实验步骤1、启动Hadoop

-北天-·2023-11-28 16:13

HDFS与Hive实战 + 滴滴出行数据分析

HDFS与Hive实战+滴滴出行数据分析1.HDFS1.1分布式文件系统1.2HDFS的Shell命令行1.3启动Hadoop集群1.4大数据环境清单2.数据仓库2.1数据仓库与数据库区别3.Hive3.1

jialun0116·2023-11-28 16:41

大数据平台/大数据技术与原理-实验报告--部署全分布模式Hadoop集群

实验名称部署全分布模式Hadoop集群实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.10.16-2023.10.20实验仪器设备以及实验软硬件要求专业实验室

jakeonil·2023-11-28 16:30

spark体验

几大特点快-100*hadoop运行易用-搭好框架之后，支持Java,Scala,Python,R,andSQL.通用-sql、流式计算、复杂分析灵活运行-hadoop集群，mesos、k8s等有广泛集成使用体验在接触

scofielong·2023-11-27 12:00

[Hbase]Hbase2.2.6的分布式集群搭建(使用自带的zookeeper)

1.Hbase2.2.6分布式集群搭建1.1.前提本次示例默认你已经完成了了如下操作：JDK的配置节点间的免密登录hadoop集群的搭建集群的时间同步1.2.Hbase分布式集群的架构图首先，本次示例需要三个节点

_balabala_·2023-11-26 19:53

Hbase高可用集群搭建手册

lizhonglingithub:https://github.com/Leezhonglin/blog:https://leezhonglin.github.io/本教程主要包含zookeeper集群、hadoop

kujirashark·2023-11-26 19:16

云建站架构师rain·2023-11-26 19:45

Sqoop工具MySQL导入数据到Hbase（Hbase部署）

基础环境集群工具版本sqoop-1.4.7.bin__hadoop-2.6.0mysql驱动，插件包jar提取码：LWXBhadoop-2.6.5hbase-2.2.6-bin以上是集群和工具的版本hadoop

一只little白·2023-11-26 19:44

1.5.1.2 Spark的部署与安装

Spark-Yarn基于Hadoop集群，这种实用性最广。安装Spark安装前准备：jdk8，hadoop2.

寒暄_HX·2023-11-26 13:16

HBase部署及数据库基本操作

(部署步骤)①安装JDK；②部署Hadoop;③配置Hadoop集群；④部署Zookeeper;⑤Hbase部署：（1）通过SecureCRT工具将HBase安装包上传到服务器nosql01的/opt/

Faine__001·2023-11-26 04:19

Hadoop集群升级（3.1.3 -＞ 3.2.4）

升级前确认旧版本：3.1.3升级版本：3.2.4旧版本安装路径：/ddhome/bin/hadoop/新版本安装路径：/ddhome/bin/hadoop-3.2.4安装新版本hadoop解压安装#解压安装包到相应目录下tar-zxvf/ddhome/tools/hadoop-3.2.4.tar.gz-C/ddhome/bin/#复制3.1.3的配置文件到3.2.4中cd/ddhome/bin/h

heheha_zj·2023-11-25 18:09

问题org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String；I)V的解决方案

前提条件：Hadoop集群（hadoop2.7.3）Java编译环境（jdk1.8）操作系统：win7IDE：eclipsehadoop插件下载附件链接：https

一朝风月S·2023-11-25 14:55

Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建

Kylin+Nginx集群搭建一、虚拟机安装Centos71.准备工作2.centos7安装过程3.关闭防火墙(关键)二、安装jdk1.卸载镜像自带jdk2.安装自己的jdk3.配置多机器间免密登录三、搭建Hadoop

桃橙柳·2023-11-25 09:15

HDFS文件上传和下载流程

1、HDFS上传文件客户端请求上传文件：客户端（通常是Hadoop集群中的一个节点）发出上传文件的请求，改请求包括文件的本地路径、文件名以及在HDFS中的目标路径NameNode验证请求：客户端请求首先到达集群中的

鲸落万物·2023-11-25 05:49

Hadoop之MapReduce

功能：用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。

僖僖cc·2023-11-25 04:41

如何解除hadoop安全模式问题

简单介绍一下安全模式：1.安全模式时hadoop集群的一个安全保障方式

青枫浦上看桃花·2023-11-25 03:16

Hadoop集群环境下HBase集群slave节点总是掉问题

HBase表格设计：create'DATA',{NAME=>'0',VERSIONS=>3,BLOCKSIZE=>'65535',BLOCKCACHE=>'false',IN_MEMORY=>'true',MIN_VERSIONS=>'1',TTL=>'18000'},{NAME=>'1',VERSIONS=>3,BLOCKSIZE=>'65535',BLOCKCACHE=>'false',IN_

拉普达男孩·2023-11-24 15:50

Hadoop集群间文件拷贝

Hadoop集群间文件拷贝distcp使用DistCpVersion2(分布式copy)是用于集群间/集群内的文件copy工具，使用MapReduce实现分布式、错误处理、恢复和报告。

Yampery·2023-11-23 06:27

hdfs 拷贝文件 java_hadoop集群间的hdfs文件拷贝

1、背景部门有个需求，在网络互通的情况下，把现有的hadoop集群(未做Kerberos认证，集群名为：bd-stg-hadoop)的一些hdfs文件拷贝到新的hadoop集群(做了Kerberos认证

每天喝王老吉·2023-11-23 06:24

flink sqlClient提交hiveIceberg

flinksqlClient提交hiveIceberg环境准备sqlclient启动前准备启动sqlclientinit.sqlinsert.sql环境准备组件名版本flink客户端1.14.4-2.12hadoop

sxau_zhangtao·2023-11-23 05:55

[hadoop]shell脚本执行jps时：-bash: jps: command not found

问题描述我构建了hadoop集群。我们一定会写一个shell脚本去每一个节点上去jps，查看每个节点的进程情况。（这是改正之后的脚本）#!

酸甜lemon·2023-11-22 13:40

-bash:jps:command not found

今天配置hadoop集群时，将master主机上的etc/profile文件拷贝到slaves主机上后，slaves主机上的jps命令不能用呢，最后确定是由于slaves主机上的jdk有问题。

weixin_34274029·2023-11-22 13:39

hadoop3.x系列完全分布式集群部署（集群各节点设置与端口号的设置）

前言：hadoop集群为了满足高可用性与集群的高可靠性，选择对不同节点设置相应的权限与能力。用于达成平台的使用。准备工作：三台部署好hadoop与java的虚拟机。

杂乱无章的我·2023-11-22 09:10

超详细的hive和mysql的安装与配置以及hive服务启动脚本

目录一、说明二、Hive安装与配置1.上传文件并解压2.修改目录名称3.配置hive环境变量4.删除冲突jar包5.启动hadoop集群6.初始化元数据库并启动三、MySQL安装与配置1.检查和上传文件并解压四

动心の瓦狗狗·2023-11-22 00:20

超详细的zookeeper和hbase安装教程以及启动脚本zk.sh等

数据存储路径）6.创建文件夹7.在zkData下创建myid文件（文件名不可更换）8.分发zookeeper并修改zkData配置9.编写zookeeper的启动、关闭、状态脚本hbase安装1.启动hadoop

动心の瓦狗狗·2023-11-22 00:37

iceberg学习笔记（2）—— 与Hive集成

前置知识：1.了解hadoop基础知识，并能够搭建hadoop集群2.了解hive基础知识3.Iceberg学习笔记（1）——基础知识-CSDN博客可以参考：Hadoop基础入门（1）：框架概述及集群环境搭建

THE WHY·2023-11-21 22:59

Mac上搭建Hadoop环境(3) — Hive下载及安装

前言之前已经完成了hadoop集群的安装，测试了HDFS的使用，现在准备在此基础上，继续安装Hive。

LestatZ·2023-11-21 13:54

hive01--hive的安装及配置

hive是基于Hadoop集群的，所以在安装hive之前需要先安装hadoop。

码到成龚·2023-11-20 20:58

Apache-Hive3.1.3安装

文章目录1Hive官方地址及安装包下载地址2安装Hadoop集群3Hive服务安装3.1Hive部署模式介绍3.1.1metadata、metastore3.1.2metastore配置方式3.1.3客户端

非晚の·2023-11-20 20:24

Hive-2.3.9的安装搭建

Hive的安装搭建Hive安装分类远程数据库模式安装远程元数据服务模式安装hive可以基于源码的方式安装，也可以使用二进制安装包安装，此文档基于二进制安装前期准备工作，完成hadoop集群的安装Hive

星瀚光晨·2023-11-20 20:23

2023.11.19 hadoop之MapReduce

是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop

白白的wj·2023-11-20 16:07

四、hdfs文件系统基础操作-保姆级教程

1、启动Hadoop集群想要使用hdfs文件系统，就先要启动Hadoop集群。

弦之森·2023-11-20 12:20

impala入门

mpala是用于处理存储在Hadoop集群中的大量数据的MPP(大规模并行处理)SQL查询引擎。它是一个用C+和Java编写的开源软件。与其他Hadoop的SQL引擎相比，它提供了高性能和低延迟。

YuPangZa·2023-11-20 12:25

Python大数据之linux学习总结——day10_hadoop原理

基础分布式和集群Hadoop框架概述生态圈版本更新hadoop架构[重点]官方示例圆周率练习词频统计[重点]需求:步骤:Hadoop-HDFS特点hdfs架构块和副本shell命令Hive环境准备[重点]前提启动hadoop

笨小孩124·2023-11-19 20:38

Hadoop集群进行map词频统计

一、首先新建虚拟机二、配置静态IP1、首先查看虚拟网络编辑器查看起始IP2.1、修改静态IP输入指令：vi/etc/sysconfig/network-scripts/ifcfg-ens33修改BOOTPROTO=static增加IPADDR、NETWASK、GATEWAY、DNS12.2、输入指令：vi/etc/sysconfig/network增加以下两条2.3、输入指令：vi/etc/hos

陈信宇是大聪明·2023-11-19 16:29

Hive 学习历程

Hive学习历程使用Hive时需要打开Hadoop集群以及hiveserver这里可以使用脚本来打开[hadoop@node02~]$all.shstart[hadoop@node02~]$hvservice.shstart

jasondde·2023-11-19 12:06

大数据之路-Hadoop-概述（2）

Hadoop集群首先，区分下集群和分布式的概念。分布式结构就是将一个完整的系统，按照业务功能，拆分成一个个独立的子系统。

胡萝卜土豆·2023-11-19 10:27

大数据开发：kafka集群搭建步骤示例

今天的大数据开发学习分享，我们主要来讲讲在Hadoop集群上如何搭建和配置kafka集群。一、集群规划首先看一下集群规划，3台节点都搭建kafka,并且每个节点都需要提前安装有zookeeper集群。

成都加米谷大数据·2023-11-19 08:53

2023.11.18 -自用hadoop高可用环境搭建命令

root@node1~]#zkServer.shstart[root@node2~]#zkServer.shstart[root@node3~]#zkServer.shstart#3.在node1中启动hadoop

白白的wj·2023-11-19 08:42

推荐频道

Hadoop集群