E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
本地模式
Redis缓存——(分布式锁)
目录分布式缓存缓存击穿,穿透,雪崩分布式锁Redisson实现分布式锁Lock锁读写锁分布式缓存对于
本地模式
下的缓存,每次如果负载均衡请求的服务器不相同,那么会有很大的几率不通过缓存,而是直接通过DB进行数据交换
GuochaoHN
·
2023-06-18 02:06
Redis数据库
分布式锁
缓存
redis
分布式
Flink 集群安装部署和 HA 配置
我们在这一课时将讲解Flink常见的部署模式:
本地模式
、Standalone模式和FlinkOnYarn模式,然后分别讲解三种模式的使用场景和部署中常见的问题,最后将讲解在生产环境中Flink集群的高可用配置
天空飘来一个云哥哥
·
2023-06-18 01:28
flink
flink
轻松通关Flink第06讲:Flink 集群安装部署和 HA 配置
我们在这一课时将讲解Flink常见的部署模式:
本地模式
、Standalone模式和FlinkOnYarn模式,然后分别讲解三种模式的使用场景和部署中常见的问题,最后将讲解在生产环境中Flink集群的高可用配置
sucaiwa
·
2023-06-18 01:28
大数据
flink
java
大数据
ZooKeeper【客户端命令行】
/zkCli.sh我们发现启动客户端时它会默认连接本地的服务器,这是因为zookeeper客户端启动时默认连接的是
本地模式
。指定连接集群中的服务器.
让线程再跑一会
·
2023-06-16 14:44
Zookeeper
java-zookeeper
zookeeper
java
Zookeeper 3.5.7
文章目录1、Zookeeper入门1.1概述1.2特点1.3数据结构1.4应用场景2、本地安装2.1
本地模式
安装2.2配置参数解读3、集群操作3.1集群操作3.1.1集群安装3.1.2选举机制(面试重点
李林楠
·
2023-06-15 10:48
zookeeper
java-zookeeper
zookeeper
java
Apache Hive安装部署
metastore服务配置三种模式:内嵌模式
本地模式
远程模式区分配置方式方法:metastore是否需要单独配置,单独启动metada
Rkun18
·
2023-06-15 03:23
#
大数据
hive
apache
hadoop
Hive学习笔记3
Reduce输出阶段压缩文件存储格式列式存储和行式存储TextFile格式Orc格式Parquet格式主流文件存储格式对比实验存储和压缩结合测试存储和压缩企业级调优执行计划(Explain)Fetch抓取
本地模式
表的优化小表大表
sheygshsi
·
2023-06-14 04:45
hive
PVE 集群部署-节点删除
的数据已经备份过,可以全部删除二.pve2节点自我删除systemctlstoppve-cluster.servicesystemctlstopcorosync.servicepmxcfs-l#强制设置为
本地模式
江小白go
·
2023-06-14 03:25
linux
运维
服务器
12、Hive优化-文件存储格式和压缩格式优化与job执行优化(执行计划、MR属性、join、优化器、谓词下推和数据倾斜优化)详细介绍及示例
ApacheHive系列文章1、apache-hive-3.1.2简介及部署(三种部署方式-内嵌模式、
本地模式
和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解
一瓢一瓢的饮 alanchan
·
2023-06-12 12:11
#
hive专栏
hive
hadoop
数据分析
数据仓库
大数据
10、hive综合示例:数据多分隔符(正则RegexSerDe)、url解析、行列转换常用函数(case when、union、concat和explode)详细使用示例
ApacheHive系列文章1、apache-hive-3.1.2简介及部署(三种部署方式-内嵌模式、
本地模式
和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解
一瓢一瓢的饮 alanchan
·
2023-06-12 12:10
#
hive专栏
hive
hadoop
大数据
数据仓库
数据分析
11、hive综合应用示例:json解析、窗口函数应用(连续登录、级联累加、topN)、拉链表应用
ApacheHive系列文章1、apache-hive-3.1.2简介及部署(三种部署方式-内嵌模式、
本地模式
和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解
一瓢一瓢的饮 alanchan
·
2023-06-12 12:10
#
hive专栏
hive
hadoop
大数据
数据分析
数据仓库
13、java api访问hive操作示例
ApacheHive系列文章1、apache-hive-3.1.2简介及部署(三种部署方式-内嵌模式、
本地模式
和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解
一瓢一瓢的饮 alanchan
·
2023-06-12 12:40
#
hive专栏
hive
java
hadoop
数据仓库
数据分析
7、hive shell客户端与属性配置、内置运算符、函数(内置运算符与自定义UDF运算符)
ApacheHive系列文章1、apache-hive-3.1.2简介及部署(三种部署方式-内嵌模式、
本地模式
和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解
一瓢一瓢的饮 alanchan
·
2023-06-12 12:39
#
hive专栏
hive
hadoop
大数据
数据分析
数据仓库
9、hive的explode、Lateral View侧视图、聚合函数、窗口函数、抽样函数使用详解
ApacheHive系列文章1、apache-hive-3.1.2简介及部署(三种部署方式-内嵌模式、
本地模式
和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解
一瓢一瓢的饮 alanchan
·
2023-06-12 12:39
#
hive专栏
hive
hadoop
大数据
数据仓库
数据分析
5、hive的load、insert、事务表使用详解及示例
ApacheHive系列文章1、apache-hive-3.1.2简介及部署(三种部署方式-内嵌模式、
本地模式
和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解
一瓢一瓢的饮 alanchan
·
2023-06-12 12:08
#
hive专栏
hive
hadoop
大数据
数据仓库
数据分析
6、hive的select(GROUP BY、ORDER BY、CLUSTER BY、SORT BY、LIMIT、union、CTE)、join使用详解及示例
ApacheHive系列文章1、apache-hive-3.1.2简介及部署(三种部署方式-内嵌模式、
本地模式
和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解
一瓢一瓢的饮 alanchan
·
2023-06-12 12:08
#
hive专栏
hive
大数据
数据分析
hadoop
数据仓库
8、hive的关系运算、逻辑预算、数学运算、数值运算、日期函数、条件函数和字符串函数的语法与使用示例详解
ApacheHive系列文章1、apache-hive-3.1.2简介及部署(三种部署方式-内嵌模式、
本地模式
和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解
一瓢一瓢的饮 alanchan
·
2023-06-12 12:08
#
hive专栏
hive
hadoop
大数据
数据仓库
数据分析
3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表
ApacheHive系列文章1、apache-hive-3.1.2简介及部署(三种部署方式-内嵌模式、
本地模式
和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解
一瓢一瓢的饮 alanchan
·
2023-06-12 12:07
#
hive专栏
hive
大数据
数据分析
数据仓库
hadoop
4、hive的使用示例详解-事务表、视图、物化视图、DDL(数据库、表以及分区)管理详细操作
ApacheHive系列文章1、apache-hive-3.1.2简介及部署(三种部署方式-内嵌模式、
本地模式
和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解
一瓢一瓢的饮 alanchan
·
2023-06-12 12:07
#
hive专栏
hive
数据库
hadoop
数据仓库
大数据
1、apache-hive-3.1.2简介及部署(三种部署方式-内嵌模式、
本地模式
和远程模式)及验证详解
ApacheHive系列文章1、apache-hive-3.1.2简介及部署(三种部署方式-内嵌模式、
本地模式
和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解
一瓢一瓢的饮 alanchan
·
2023-06-12 12:37
#
hive专栏
hive
hadoop
数据分析
大数据
数据仓库
2、hive相关概念详解--架构、读写文件机制、数据存储
ApacheHive系列文章1、apache-hive-3.1.2简介及部署(三种部署方式-内嵌模式、
本地模式
和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解
一瓢一瓢的饮 alanchan
·
2023-06-12 12:35
#
hive专栏
hive
架构
hadoop
大数据
数据分析
Spark大数据处理学习笔记(2.4)IDEA开发词频统计项目
详细实现过程及结果见【http://t.csdn.cn/0qE1L】文章目录一、词频统计准备工作1.1安装Scala2.12.151.2启动集群的HDFS与Spark1.3在HDFS上准备单词文件二、
本地模式
运行
Kox2021
·
2023-06-12 04:15
#
Spark大数据处理学习笔记
spark
学习
笔记
Hadoop部署
本地模式
本地模式
,即运行在单台机器上。没有分布式的思想,使用的是本地文件系统。使用
本地模式
主要是用于对MapReduce的程序的逻辑进行调试,确保程序的正确性。
千锋IT教育
·
2023-06-09 22:04
大数据从0到1的完美落地
hadoop
linux
大数据
Spark Standalone架构及安装部署
文章目录Standalone架构Standalone群集部署Standalone程序测试Standalone架构Standalone模式是Spark自带的一种集群模式,不同于前面
本地模式
启动多个进程来模拟集群的环境
蜜桃上的小叮当
·
2023-06-08 11:50
Spark
spark
架构
大数据
Hbase的布署
今天闲来无事,想起前两天关于在hadoop环境上布署Hbase的一些知识,在此分享下:1、Hbase和Hadoop,都属于分布式的组成部分,都包含有3种不同的运行模式,包括:
本地模式
(Local,即单机模式
小小哭包
·
2023-06-07 04:15
大数据
Java
计算机
hadoop
hbase
大数据
Hive基础概论
执行器执行引擎数据模型DataModelDataBase数据库Tables表Partitions分区Buckets分桶Hive与MySQL的区别Hive元数据Metastore配置方式需知内嵌模式安装
本地模式
安装
不知落叶何时落
·
2023-06-06 22:47
大数据
hive
hive
hadoop
大数据
Hadoop之Hive
文章目录一、Hive简介1.1Hive基本概念1.2Hive架构图1.3Hive数据模型二、Hive安装配置2.1内嵌模式2.2配置元数据到mysql2.3
本地模式
2.4远程模式2.5HiveJDBCHiverserver22.5.1
qq_40999093?
·
2023-04-20 04:06
hive
hadoop
大数据
Day50 Hadoop概述及其架构
基本命令详细启动脚本介绍1、全部启动集群所有进程2、单独启动hdfs(web端口50070)和yarn(web端口8088)的相关进程3、单独启动某一个进程hdfsshell常用操作:概述:Hadoop的三种运行模式:1.
本地模式
Tian-Ys
·
2023-04-19 03:36
笔记
python
zookeeper入门到精通
zookeeper的工作机制2.特点3.数据结构4.应用场景4.1.统一命名服务4.2.统一配置管理4.3.统一集群管理4.4.服务器节点动态上下线4.5.软负载均衡5.下载地址二、zookeeper安装1.
本地模式
安装
seeyoutlb
·
2023-04-18 22:46
中间件
java功能
java-zookeeper
zookeeper
分布式
centos7虚拟机下hbase的使用案例讲解
系列文章目录centos7虚拟机在集群zookeeper上面配置hbase的具体操作步骤centos7虚拟机配置集群时间同步的操作步骤_centos虚拟机时间同步centos7配置zookeeper
本地模式
与集群模式的详细教程卸载
张小鱼༒
·
2023-04-18 22:29
hbase
VMware
虚拟机
linux
centos
Linux环境下:Zookeeper-3.5.7安装部署
Linux环境下:Zookeeper-3.5.7安装部署官方下载地址https://zookeeper.apache.org/
本地模式
安装部署1)安装前准备(1)安装Jdk1.8.0(2)拷贝Zookeeper
北凉-徐凤年
·
2023-04-18 17:19
大数据相关软件的部署安装使用
linux
java-zookeeper
zookeeper
Ended Job = job_1614565181363_0003 with errors Error during job, obtaining debugging information....
Hive运行中,向表中插入数据时(包含但不限于)报错:图片.png错误原因:namenode内存空间不够,JVM剩余内存空间不够,新job运行导致解决办法:将hive设置成
本地模式
来执行任务sethive.exec.mode.local.auto
游侠_99999
·
2023-04-18 04:32
大数据集群搭建
第二部分:Hadoop
本地模式
安装Hadoop
本地模式
只是用于本地开发调试,或者快速安装体验Hadoop,这部分做简单的介绍。第三部分:Hadoop伪分布式模式安装学习Hadoop一般是在伪分布式模式
张明洋_4b13
·
2023-04-18 03:13
【RocketMQ】RocketMQ 5.1.0版本Proxy集群模式部署实践
Proxy有两种搭建方式:LOCAL:
本地模式
,顾名思义,通过追加参数,在broker本地启动CLUSTER:集群模式,
三月是你的微笑
·
2023-04-17 20:26
RocketMQ
java-rocketmq
rocketmq
java
云原生
Spark环境搭建教程
Spark环境搭建教程前言Spark环境搭建-Local-
本地模式
准备工作原理操作-开箱即用测试Spark环境搭建-Standalone-独立集群原理操作测试Spark环境搭建-Standalone-HA
肖广彪
·
2023-04-17 14:10
spark
hadoop
本地模式
部署_阿里云ECS服务器部署HADOOP集群(四):Hive
本地模式
的安装...
本地模式
需要采用MySQL数据库存储数据。1环境介绍2安装Mysql3Hive下载/usr/local将解压得到的目录改名为hivecd/usr/localmvapache-hive-2.3.
weixin_39754142
·
2023-04-17 09:49
hadoop本地模式部署
proxmox 退出集群
在需要退出集群的node上停止pve-cluster服务systemctlstoppve-cluster.servicesystemctlstopcorosync.service2、node上集群系统文件设置未
本地模式
skydieu
·
2023-04-17 00:34
(大数据开发随笔6)Hadoop 3.3.x分布式环境部署——
本地模式
本地模式
材料准备Linux虚拟机-CentOS7hadoop-3.3.1.tar.gzIndexof/hadoop/common(apache.org)jdk-8u321-linux-x64.tar.gzJavaArchive
脑汁
·
2023-04-16 13:28
大数据开发
hadoop
大数据
分布式
Hive优化相关设置
hive.limit.optimize.enable=true:优化LIMITn语句hive.limit.row.max.size=1000000:hive.limit.optimize.limit.file=10:最大文件数1.
本地模式
hiekay
·
2023-04-15 21:04
Hive的三种搭建模式及远程方式详细搭建步骤
Local方式:使用mysql数据库替代Derby来存储元数据,以解决多用户并发访问问题Remote方式:以
本地模式
为基础,m
thyyyyyyy
·
2023-04-15 20:21
大数据学习
hive搭建
hive安装
centos7虚拟机在集群zookeeper上面配置hbase的具体操作步骤
centos7网络问题centos7克隆虚拟机完成后的的一些配置介绍虚拟机centos7配置Hadoop单节点伪分布配置教程卸载centos7自带的jdk的操作步骤centos7配置zookeeper
本地模式
与集群模式的详细教程
张小鱼༒
·
2023-04-14 23:11
VMware
hbase
centos
虚拟机
linux
rsync备份 & nfs 文件互传& inotify实时监控
一,RSYNC1)RSYNC
本地模式
--类似cp命令[root@web01~]#touch121.txt[root@web01~]#rsync121.txt/opt/[root@web01~]#ll/opt
慕知
·
2023-04-14 19:03
Hbase1:HBase全分布模式安装
HBase环境搭建有三种方式:1.
本地模式
:只需要一个节点(只有HMaster,没有HRegionServer),不需要集成ZooKeeper,数据存储在本地文件系统上;2.伪分布模式:只需要一个节点(
勇于自信
·
2023-04-14 16:22
联想520r服务器装系统,联想Miix520
本地模式
重装win7系统教程
现在小编就以这款笔记本为例,教大家如何用
本地模式
重装
粉色曹操
·
2023-04-11 19:49
联想520r服务器装系统
利用计算机本地文档重装系统,
本地模式
怎么进入PE系统对电脑进行重装
小熊一键重装系统中的
本地模式
可以进入到PE系统,从而对电脑进行重装。那么我们应该如何通过
本地模式
进入呢?只需要下载一个PE镜像文件就可以了。接下来就请大家跟着小编一起操作。
温酒斩桦腾
·
2023-04-11 19:49
利用计算机本地文档重装系统
利用计算机本地文档重装系统,电脑如何用
本地模式
重装win10
电脑如何用
本地模式
重装win10系统?很多人都不了解
本地模式
究竟如何对电脑系统进行重装。其实只是利用韩博士装机大师中的
本地模式
进行下载PE镜像文件就可以对电脑进行重装系统。
verwandte
·
2023-04-11 19:19
利用计算机本地文档重装系统
centos7虚拟机配置集群时间同步的操作步骤
centos7网络问题centos7克隆虚拟机完成后的的一些配置介绍虚拟机centos7配置Hadoop单节点伪分布配置教程卸载centos7自带的jdk的操作步骤centos7配置zookeeper
本地模式
与集群模式的详细教程文章目录一
张小鱼༒
·
2023-04-11 01:17
linux
centos
VMware
虚拟机
时间同步
Hive中运行任务报错:Error during job, obtaining debugging information...
错误原因:namenode内存空间不够,JVM剩余内存空间不够新job运行所致解决办法:将hive设置成
本地模式
来执行任务sethive.exec.mode.local.auto=true;
敲代码的余文乐
·
2023-04-07 01:41
大数据应用——zookeeper集群部署
本地模式
安装安装前准备(1)安装JDK拷贝apache-zookeeper-3.5.7-bin.tar.gz安装包到Linux系统下解压到指定目录[hadoop@hadoop101software]$tar-zxvfapache-zookeeper
肉肉肉肉肉肉~丸子
·
2023-04-06 19:09
大数据
java-zookeeper
zookeeper
大数据
【学习记录】大数据课程-学习十一周总结
Hive的安装Hive的安装方式hive的安装一共有三种方式:内嵌模式、
本地模式
、远程模式元数据服务(metastore)作用是:客户端连接metastore服务,metastore再去连接MySQL数据库来存取元数据
知知洋洋
·
2023-04-06 12:35
大数据
学习
hive
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他