hadoop2.

1.5.1.2 Spark的部署与安装

安装Spark安装前准备：jdk8，hadoop2.

寒暄_HX·2023-11-26 13:16

Windows下DataGrip连接Hive

DataGrip连接Hive1.启动Hadoop2.启动hiveserver2服务3.启动元数据服务4.启动DG1.启动Hadoop在控制台中输入start-all.cmd后，弹出下图4个终端（注意终端的名字

干干脆脆的小饼干6688·2023-10-15 00:04

Hudi第三章：集成Flink

：集成SparkHudi第二章：集成Spark(二)Hudi第三章：集成Flink文章目录系列文章目录前言一、环境准备1.上传并解压2.修改配置文件3.拷贝jar包4.启动sql-client1.启动hadoop2

超哥--·2023-10-10 21:23

Hadoop ----HDFS MapReduce

操作日志文件fsimage元数据文件SecondaryNameNode获取NameNode的数据延后将新的NameNode数据进行合并然后再次写入NameNode中DataNode负责数据的存储数据是按块存储的hadoop2

烟解愁、酒上头·2023-10-08 07:55

大数据学习1.4-xShell配置Hadoop

1.创建hadoop目录mkdir/usr/local/hadoop2.切换到hadoop中cd/usr/local/hadoop/3.将hadoop直接拖到xShell中4.解压hadooptar-zxvfhadoop

汉卿HanQ·2023-09-19 09:09

hive数据仓库

hivehive数据仓库1.启动hadoop2.开启mysql服务3.启动hive4.hive的操作（1）创建数据库（2）查找hive数据库（3）设置属性信息(4)修改属性(5)删除数据库5.内部表与外部表

LMY~~·2023-09-18 08:40

【02】Hadoop简介及安装

2.Hadoop特点3.Hadoop中5个重要的进程二、Hadoop的安装·伪分布式模式安装1.下载Hadoop2.安装Hadoop3.配置Hadoop4.格式化文件系统。5.启动Hadoop并验证。

忻辰i·2023-09-18 05:21

Hive3第一章：环境安装

系列文章目录Hive3第一章：环境准备文章目录系列文章目录前言一、hive3安装1.上传文件2.配置环境变量3.修复日志错误（可忽略）4.初始化元数据库二、启动hive1.启动Hadoop2.启动hive

超哥--·2023-08-30 08:34

Hadoop 之 Spark 配置与使用（五）

Hadoop之Spark配置与使用一.Spark配置1.Spark下载2.单机测试环境配置3.集群配置二.Java访问Spark1.Pom依赖2.测试代码1.计算π三.Spark配置Hadoop1.配置Hadoop2

猪悟道·2023-07-26 06:14

Hadoop 之分布式集群配置与使用（三）

Hadoop之分布式集群一.集群实例创建二.配置1.创建三个虚拟机（Anolis）1.修改HostName2.配置免密登录，配置前2.配置命名节点1.在nd1/nd2部署hadoop2.配置3.查看集群信息三

猪悟道·2023-07-24 15:22

Docker搭建Hadoop集群

centos镜像2.基础镜像配置(基于centos构建hadoopbase镜像)3.集群环境配置1.创建3个容器2.配置网络3.配置主机和ip的映射关系4.配置3个节点的免密登录4.搭建hadoop集群1.安装hadoop2

DLoong+·2023-07-18 04:52

CentOS-7下搭建Hadoop环境

CentOS-7下搭建Hadoop环境前言安装包版本ssh免密登录环境搭建1.修改网络配置信息2.关闭防火墙3.时间同步4.设置主机名5.hosts设置6.ssh配置JAVA安装Hadoop配置文件1.解压Hadoop2

音尾漾·2023-06-08 19:24

2019-10-29 spark系列（一） spark 安装

请注意，从Spark2.2.0起，对Java7，Python2.6和旧的Hadoop2.

非甲即丁·2023-04-18 01:52

1.CentOS7 搭建 Hadoop 单节点模式

目录1.前期准备1.1.硬件要求1.2.jdk8环境1.3.ssh命令1.4.关闭防火墙1.5.下载Hadoop2.安装Hadoop2.1.上传安装包并解压2.2.配置JAVA_HOME2.3.伪分布模式启动

墨家先生·2023-03-28 19:24

基于 Docker 搭建 Hadoop 平台

基于Docker搭建完全分布式Hadoop平台前言环境遇到的坑折腾实录一、构建镜像1.准备JDK和Hadoop2.构建centos-hadoop镜像二、启动容器三、集群搭建1.进入容器2.配置主机名与IP

不思故亡·2023-03-24 18:10

解决集群部署Hadoop 启动后没有ResourceManager问题

jps命令没有看到ResourceManager2.查看ResourceManager日志出现java.lang.reflect.InaccessibleObjectException异常解决方法1.停止hadoop2

_DiMinisH·2023-03-20 08:42

8-点击流数据分析项目-Hive分析

文章目录8-点击流数据分析项目-Hive分析一、环境准备与数据导入1.开启hadoop2.导入数据二、创建hive表创建原始数据表（clickstreamdata-pre）：创建点击流pageview表

IT从业者张某某·2023-03-10 09:21

Linux初学

1.常见的端口：443：https21:ftp80:http22:ssh-1:默认端口3306:mysql8888:宝塔6379：redis9000：hadoop2.常用命令：ipa：查看当前主机ip号

Tomtutu·2023-03-10 04:44

Hadoop伪分布式环境搭建

Hadoop伪分布式环境搭建0.实验准备1.下载linux版本的jdk,hadoop2.下载MobaXterm远程连接Linux的工具3.linux远程连接服务器4.在根目录/下创建tools和training

甜味橘阳·2022-12-15 15:52

本机使用python操作hdfs搭建及常见问题

伪分布式搭建全流程完整教程三.本机使用python操作hdfs搭建及常见问题四.mapreduce搭建五.mapper-reducer编程搭建本机使用python操作hdfs搭建及常见问题一、环境搭建1.打开虚拟机系统，打开hadoop2

灞気水笵er·2022-12-04 16:58

ubuntu-hadoop伪分布

ubuntu-hadoop伪分布-环境配置1.1创建新用户（确保环境最干净）1.2jdk1.3hadoop配置ssh无密码（分布式的结点以ssh控制，有密码不行）hadoop环境变量伪分布模式检查停止/启用hadoop2

NoB⁢ug·2022-11-29 15:26

大数据入门-大数据技术概述(一)

目录大数据入门系列文章1.大数据入门-大数据是什么一、概念二、技术详解1.基础架构：Hadoop2.分布式文件系统：HDFS3.数据仓库：Hive4.存储引擎：Kudu5.分布式数据库：HBase6.实时框架

水坚石青·2022-08-15 09:34

大数据-离线数据处理

文章目录Hive离线分析回顾业务流程准备搭建环境1.启动Hadoop2.修改flume配置文件3.启动flume4.启动jt-logserver5.测试准备数据离线数据处理Hive管理数据数据清洗数据处理

DayDayUp-Panda·2022-04-24 14:33

Ubuntu下单机安装Hadoop详细教程（附所需安装包下载）

五、安装单机Hadoop1.下载安装Hadoop2.运行示例总结前言本文安装的Hadoop及Java环境基于林子雨老师的《大数据技术原理与应用（第3版）》中所要求，其中Java版本为1.8.0_301，

hjseo_seg·2022-03-31 11:51

hadoop安装及配置【三台】

1.下载需要的hadoop版本--->单击这里下载hadoop2.上传hadoop-2.7.5到master机器节点的目录~/bigdata下(可以用FileZilla等ftp工具上传)需要预先在master

destinyLee·2021-11-17 08:28

ubuntu16.04 给hadoop2.7.7 配置yarn

1.安装hadoop2.配置yarncd/usr/share/hadoop/hadoop-2.7.7/etc/hadoop配置yarn-site.xmlsudovimyarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.aux-services.mapreduce.shuffle.classorg.a

WJXZ·2021-06-07 12:19

6.命令行编译打包运行五个MapReduce程序

Hadoop2.

weixin_30648587·2020-09-15 03:10

Hadoop fs -get 提示权限不够

可以从两个方面解决这个问题：1.更改Hadoop目录的权限hadoopfs-chmod777/user/hadoop2.配置HDFS的操作权限在Hadoop的conf目录中，

ffchinajoy·2020-09-14 01:29

hadoop2.4.0源码编译

2.安装依赖在编译Hadoop2.

jiangzeyun·2020-08-24 00:35

Linux 修改主机名和 ip 映射关系

1.修改主机名vim/etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop2.修改主机名和IP的映射关系vim/etc/hosts192.168.0.2hadoop

wickedvalley·2020-08-23 15:31

hadoop3.1.0 HDFS快速搭建伪分布式环境

安装Hadoop1.解压移动#1.解压tar.gztar-zxvfhadoop-3.1.0.tar.gz#2.将hadoop.tar.gz移动到usr目录下sudomvhadoop-3.1.0/usr/hadoop2

le3t·2020-08-21 14:14

二.hbase在window环境下安装

3.hadoop依赖如果没有装hadoop，则需要下载hadoop-common-2.2.0-bin-masterhadoop-common-2.2.0-bin-master(包含windows端开发Hadoop2

华哥来了你走开·2020-08-21 07:06

Centos7 配置ssh结点间免密登录

192.168.202.10mastereth0hadoop/home/hadoop192.168.202.11slave1eth0hadoop/home/hadoop192.168.202.12slave2eth0hadoop/home/hadoop2

卡卡ni很帅·2020-08-19 19:14

集群搭建 - Windows10 系统下运行HDFS【图文】【附源码】

（所有源码均在https://github.com/zongzhec/HadoopPractise）步骤解说1.安装hadoop2.创建一个Maven/Gradle工程3.导入相应的依赖 junit

粽子·2020-08-11 02:53

Hive2.1.0安装及配置mysql

安装Hive2.1.01.准备工作：安装JDK、Hadoop2.下载并解压Hivewgethttps://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.1.0

fengshulin_0521·2020-08-03 16:35

Hadoop2.6.4伪分布式环境搭建

1.下载Hadoop2.上传解压3.移动目录4.执行命令vi/etc/profile配置hadoop的环境变量5.执行命令source/etc/profile使配置立即生效6.执行命令hadoopversion

LifeIsForSharing·2020-07-28 11:41

Hadoop核心组件之HDFS的安装与配置

教程目录0x00教程内容0x01Hadoop的获取1.官网下载2.添加微信：shaonaiyi8883.关注公众号：邵奈一0x02上传安装包到集群1.上传安装包到虚拟机0x02安装与配置Hadoop1.解压Hadoop2

邵奈一·2020-07-27 13:29

【Kylin】Kylin安装与部署

目录前提依赖环境集群规划安装依赖的Hbase1.1.1Kylin安装部署前提1.安装启动Hadoop2.安装启动zookeeper3.安装spark依赖环境软件版本Apachehbase-1.1.1-bin.tar.gz1.1.1spark

没去过埃及的法老·2020-07-14 20:25

MAC下安装SPARK

@MAC下安装Saprk参考:https://cloud.tencent.com/developer/article/14235081.搭建hadoop2.执行:brewinstallscala终端执行

l_ibrary·2020-07-14 13:02

iceiceice-Hadoop应用之旅一

采取的版本分别是:hadoop2.

碎话慢谈·2020-07-14 09:49

Hadoop高可用的安装

对本机免秘钥2.node01与node02、node03、node04免密钥的设置3.node01与node02相互免秘钥4.node03与node04相互免秘钥五、安装Hadoop1.在node01上安装Hadoop2

jwhsvduddhdhdh·2020-07-09 18:54

大数据之Hadoop学习（八）HBase Shell数据库表创建

HBaseShell数据库表创建一、启动Hadoop和HBase1.启动Hadoop2.启动HBase3.进入shell二、创建表三、插入数据①新增学号为2015001的学生的所有信息②、新增学号为2015002

w²大大·2020-07-08 02:11

Hadoop伪分布式安装

1.环境信息elementary14.04Java1.8.0_151（/apps/jdk1.8.0_151）Hadoop2.6.5（/apps/hadoop）用户名bigdata、密码123、主机名hadoop2

浅墨微蓝·2020-07-06 03:45

大数据之Hadoop学习（六）利用Shell命令对HBase数据库基本操作

HBase数据库基本操作一、启动Hadoop和HBase1.打开Hadoop2.启动HBase3.进入Shell界面二、HBase中创建表三、HBase数据库基本操作1.添加数据2.删除数据3.查看数据

w²大大·2020-07-05 09:56

从VirtualBox安装到使用Hadoop单词计数详细图解

系统安装完成Ⅱ在linux上安装JDK1.下载并安装JDK2.修改配置变量(1)通过vim进入profile(2)修改环境变量3.检查是否安好Ⅲ下载、安装、配置Hadoop环境、并启动Hadoop1.下载Hadoop2

Aries888·2020-07-05 07:34

phoenix入门

1.运行hadoop2.运行hbase3.下载phonix4.拷贝common/phoenix-3.0.0-incubating-client-minimal.jar和common/phoenix-core

键盘上的孤舞者·2020-07-04 20:48

linux-配置hadoop集群（配置文件及环境配置）

】3.将hadoop压缩包拖入4.使用tar-zxvf命令解压文件5.将文件夹名字简化6.生成密钥7.设置免密登录二、hadoop环境配置1.输入cd/opt/hadoop/etc/hadoop，进入hadoop2

:）คิดถึง·2020-07-04 03:34

*hadoop2.**学习笔记二（HDFS伪分布式）

HDFS简介摘录：HDFS是一个ApacheSoftwareFoundation项目，是ApacheHadoop项目的一个子项目（参见参考资料）。Hadoop非常适于存储大型数据（比如terabytes和petabytes），并使用HDFS作为其存储系统。HDFS允许您连接多个集群中包含的节点（普通个人计算机），那些集群上分布着一些数据文件。然后您可以将那些数据文件作为一个无缝文件系统来进行访问和

Notput·2020-06-30 10:53

sql审计-tez

www.qubole.com/blog/scaling-tez-application-using-application-timeline-server-v1-5/通过这篇文章可以明白ats1.0的弊端,在hadoop2

wangliang938·2020-06-28 10:16

转：HBase的shell命令和JavaAPI详解-挺全的

在hadoop2.

爱萨萨·2020-06-27 14:48

推荐频道