E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
zookeeper调优
Hive 基于Tez引擎 map和reduce数的参数控制原理与
调优
经验
1.概述主要对基于Tez的map数和reduce数测试与
调优
如果需要查看基于MapReduce的
调优
可以看这篇:Hive基于MapReduce引擎map和reduce数的参数控制原理与
调优
经验https
abcdggggggg
·
2023-08-11 14:47
Hive
大数据
数据仓库
Tez
Hive调优
Hive on Tez 参数
调优
HiveonTez
调优
一、配置参数
调优
1、开启ORC表向量化执行:向量化查询执行通过一次处理一个1024行的块来大幅提高IO效率(必须以ORC格式存储数据)sethive.vectorized.execution.enabled
liuwei063608
·
2023-08-11 14:16
hive
hadoop
big
data
Kafka 01——Kafka的安装及简单入门使用
Kafka01——Kafka的安装及简单入门使用1.下载安装1.1JDK的安装1.2
Zookeeper
的安装1.2.1关于
Zookeeper
版本的选择1.2.2下载、安装
Zookeeper
1.3kafka
@素素~
·
2023-08-11 14:07
Kafka
#
分布式架构
kafka
分布式
springboot 整合
zookeeper
出现与web日志依赖冲突解决办法
springboot整合
zookeeper
出现与web日志依赖冲突解决办法后台报错:ConnectedtothetargetVM,address:'127.0.0.1:49971',transport:
weixin_41115084
·
2023-08-11 11:24
springboot
zookeeper
日志
zookeeper
前端
jar
Springboot+dubbo+
zookeeper
启动出错 If you are using WebLogic you will need to add ‘org.slf4j‘ to prefer
Exceptioninthread"restartedMain"java.lang.reflect.InvocationTargetExceptionatsun.reflect.NativeMethodAccessorImpl.invoke0(NativeMethod)atsun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccesso
gufyang
·
2023-08-11 11:53
学习杂记
基于Spring、Netty、
Zookeeper
等实现Rpc远程调用
Rpc核心模块:rpc-client,rpc-server,rpc-support,rpc-api整个项目基于SpringBoot,各模块解耦底层传输使用Netty,传输可靠性高服务注册与发现使用
Zookeeper
MccreeFei
·
2023-08-11 10:34
大数据学习路线
一、linux基础(基本掌握)二、java多线程、并发包下的队列、JMS、JVM、反射和动态代理学习参考书籍《深入理解Java虚拟机》、《Java高并发实战》三、
zookeeper
(
Zookeeper
分布式协调服务介绍
记得_5d12
·
2023-08-11 10:38
kafka-2.12使用记录
2.12使用记录安装kafka2.12版本下载安装包根据你的系统下载rpm/deb/zip包等等,这里我使用的是rpm包安装命令rpm-ivhkafka-2.12-1.nfs.x86_64.rpm启动内置
Zookeeper
Inspire2023
·
2023-08-11 09:26
MQ消息队列
kafka
分布式
kafkaUI
Hbase伪分布式搭建与完全分布式搭建
hbase.
zookeeper
.property.dataDir配置的是zk保存hbase的scheml以及其他的信息。
南宫萧言
·
2023-08-11 08:23
Zookeeper
面试题整理含答案
zookeeper
是什么?
zookeeper
是一个分布式的,开放源码的分布式应用程序协调服务,是googlechubby的开源实现,是hadoop和hbase的重要组件。
WeChat——E
·
2023-08-11 06:28
java
zookeeper
Zookeeper
与Redis 对比
1.为什么使用分布式锁?使用分布式锁的目的,是为了保证同一时间只有一个JVM进程可以对共享资源进行操作。根据锁的用途可以细分为以下两类:1、允许多个客户端操作共享资源,我们称为共享锁。这种锁的一般是对共享资源具有幂等性操作的场景,主要是为了避免重复操作共享资源频繁加锁带来的性能开销。2、只允许一个客户端操作共享资源,我们成为排他锁。这种锁一般是用在对共享资源操作具有非幂等性操作的场景,也就是需要保
一只快乐的蓝巴德
·
2023-08-11 06:58
Java
java
2020-12-26
博客园Logo首页新闻博问专区闪存班级代码改变世界搜索注册登录累成一条狗学习一下SpringCloud(二)--服务注册中心Eureka、
Zookeeper
、Consul、Nacos阅读目录一、从零开始搭建
wubaoyu123
·
2023-08-11 05:19
docker-compose安装
zookeeper
集群与kafka
索引一、
zookeeper
与zk-ui的安装二、kafka与kafka-ui的安装kafka的安装依赖于
zookeeper
,所以这里将通过docker-compose先安装
zookeeper
集群,并通过
我是lk
·
2023-08-11 04:01
Docker
kafka
docker
zookeeper
docker-compose
【docker】docker-compose安装带ui页面的kafka集群
kafka-ui的kafka集群在日常的工作当中,kafka集群作为常用的中间件,其搭建过程略显繁琐,需要配置的文件颇多,为了方便各位初学者快速体验kafka的魅力,本文采取一键式安装kafka-3.3.1(不带
zookeeper
努力的gopher
·
2023-08-11 04:00
docker
ui
kafka
顶级分布式开源项目,配上这款可视化工具,真香!
ZooKeeper
作为顶级分布式开源项目,应用非常广泛,Dubbo和Kafka这些知名的开源项目都在使用。之前只是听说过它,并没有仔细研究过。
程序员知识圈
·
2023-08-11 02:50
KafKa集群搭建&常用命令
1、KafKa概述1.1定义KafKa是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据试试处理领域是一个分布式、支持分区的(partition)、多副本的(replica),基于
zookeeper
hodor_wzp
·
2023-08-11 02:41
mq消息中间件
kafka
分布式
KafKa集群搭建和知识点
一、KafKa概述1.1定义KafKa是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据试试处理领域是一个分布式、支持分区的(partition)、多副本的(replica),基于
zookeeper
hodor_wzp
·
2023-08-11 02:40
mq消息中间件
kafka
分布式
zookeeper
java api 使用
zookeeper
javaapi创建新增节点删除节点查看节点是否存在1.准备首先idea建一个maven项目pom里面引入org.apache.
zookeeper
zookeeper
3.4.10'org.apache.logging.log4jlog4j2.10.0pom2
世间女子各自享受自己的生活
·
2023-08-11 01:11
【从0开始离线数仓项目】——数据仓库的环境搭建(1)
目录一、服务器环境准备1.2编写集群分发脚本xsync1.3SSH无密登录配置1.4JDK准备1.5环境变量配置说明二、集群所有进程查看脚本三、
Zookeeper
安装3.1分布式安装部署3.2ZK集群启动停止脚本
Lingxw_w
·
2023-08-11 00:13
从0开始离线数仓项目
数据仓库
hadoop
zookeeper
kafka
掌握 JVM
调优
命令
“设为星标”,就能第一时间收到更新推送啦~~~JVM日常
调优
总结起来就是:首先通过jps命令查看当前进程,然后根据pid通过jinfo命令查看和修改jvm参数,通过jstat命令查看class的加载信息以及
追梦@Java
·
2023-08-11 00:13
jvm
python
开发语言
JVM
调优
实例
点击下方关注我,然后右上角点击...“设为星标”,就能第一时间收到更新推送啦~~~JVM提供了多种垃圾回收器,可以根据应用程序的需求选择最适合的垃圾回收器。例如,如果应用程序需要更快的响应时间,可以选择并行垃圾回收器(ParallelGC)或并发垃圾回收器(ConcurrentMarkSweepGC)。如果应用程序需要更低的停顿时间,可以选择增量垃圾回收器(IncrementalGC)或并发的垃圾
追梦@Java
·
2023-08-11 00:40
jvm
Zookeeper
集群 + Kafka集群
文章目录一.
Zookeeper
概述1.
Zookeeper
定义2.
Zookeeper
工作机制2.1
Zookeeper
工作机制图示3.
Zookeeper
特点4.
Zookeeper
数据结构5.
Zookeeper
赵烧鸡腿饭。
·
2023-08-11 00:39
zookeeper
kafka
分布式
dubbo之整合SpringBoot
目录
zookeeper
安装1.拉取
ZooKeeper
镜像2.新建文件夹3.挂载本地文件夹并启动服务4.查看容器5.进入容器(
zookeeper
)DubboAdmin安装1.下载dubbo-admin2.
lgcgkCQ
·
2023-08-10 23:02
Java
spring
boot
spring
dubbo
spring
boot
后端
可参考才是有价值的,架构设计的技改之路从来都不容易
架构师除了会使用工具,还需要有架构设计思想和性能
调优
技能。在设计上追求简单有效,不做过度设计。
互联网应用架构
·
2023-08-10 22:28
zookeeper
-1:zk是什么,能做什么
zookeeper
是什么?
xiari1991
·
2023-08-10 17:04
性能
调优
,看过的都说会了...
在展开今天的内容之前,我们先来看一下,是不是任何一个测试都可以学习性能测试。如果说需求、开发、DB、运维、测试是单一一门学科,那么性能就是综合学科,它包含了需求分析、DB、开发、测试、运维的所有学科。所以说,学习性能测试,你前期需要懂的是需求分析、DB设计、程序开发、自动化测试、运维。所以今天的内容是性能分析的一大重点,也是一大难点!WebServer服务优化对于Web服务性能优化的方向,一般是:
bug捕手
·
2023-08-10 17:29
软件测试
性能测试
程序人生
软件测试
软件测试工程师
性能测试
性能调优
Redis分布式锁是否是安全的?
当然分布式锁并不只限于这两种,还有基于
ZooKeeper
的分布式锁的实现、Chubby的分布式锁、Mysql分布式锁、基于Etcd、
ArchyLi
·
2023-08-10 15:00
编程资料汇总
一、大数据大数据入门资料介绍:Hadoop、Hive、Spark、Storm、Flink、Hbase、Kafka、
Zookeeper
、Flume、Sqoop、Azkaban的简介、使用、基本结构组成。
v2hoping
·
2023-08-10 13:28
技术
大数据
hadoop
hbase
spark
hive
zookeeper
常用命令
zookeeper
常用命令1.下载安装2.配置说明2.1配置3.
zookeeper
的常见命令3.1server端启动停止等命令3.2客户端连接等命令3.3客户端简单常用命令3.3.1查看目录(查看数据结构
@素素~
·
2023-08-10 13:01
#
zookeeper
zookeeper
分布式
2018-09-26
笔试要点:①JVM内存管理机制和垃圾回收机制②JVM内存
调优
③设计模式(熟悉常见设计模式的应用场景,会画类图,实在不行背几个也是有用的)④多线程(每次都会问,包括线程和进程、线程状态、线程并发的操作等,
或或是猪猪吗
·
2023-08-10 11:40
《
Zookeeper
》源码分析(四)之ServerCnxnFactory的启动过程
目录ServerCnxnFactory1.创建ServerCnxnFactory2.配置属性configure()3.启动start()ServerCnxnFactory
Zookeeper
使用ServerCnxnFactory
三横兰
·
2023-08-10 11:02
Zookeeper
zookeeper
《
Zookeeper
》从零开始学
Zookeeper
源码(三)之服务器的启动过程
目录QuorumPeerMainQuorumPeerMain在搭建本地的源码环境中,启动
zookeeper
服务端的入口为QuorumPeerMain,先看下它的类结构:它本身只有一个属性quorumPeer
三横兰
·
2023-08-10 11:32
Zookeeper
zookeeper
《
Zookeeper
》源码分析(五)之 ServerCnxnFactory的工作原理(上)
目录AcceptThread数据结构构造函数run()SelectorThread数据结构processAcceptedConnections()select()processInterestOpsUpdateRequests()本文开始分析ServerCnxnFactory的工作原理,按照顺序我们这样分析:建立连接监听读写事件处理读写就绪的事件连接的过期管理AcceptThread首先是Acce
三横兰
·
2023-08-10 11:30
Zookeeper
zookeeper
分布式
搭建一个高可用的
Zookeeper
环境
Zookeeper
背景Google的三篇论文影响了很多很多人,也影响了很多很多系统。这三篇论文一直是分布式领域传阅的经典。
Vernon
·
2023-08-10 11:30
深入了解 KaiwuDB 负载行为数据采集
除此之外,KaiwuDB数据库内部开发实现基于负载业务的行为数据采集功能,为KAP提供更加全面的数据支持,为用户提供更为多元化的信息,方便用户监控KaiwuDB内部的业务负载处理情况,指导用户进行SQL
调优
等
KaiwuDB
·
2023-08-10 11:05
KaiwuDB
KAP
负载行为数据采集
性能测试监控指标及分析
调优
指南
目录一、哪些因素会成为系统的瓶颈二、哪些指标做为衡量系统的性能三、性能测试注意的问题四、定位性能问题的时候,可以使用自下而上的策略分析排查五、优化性能问题的时候,可以使用自上而下的策略进行优化一、哪些因素会成为系统的瓶颈CPU:如果存在大量的计算,他们会长时间不间断的占用CPU资源,导致其他资源无法争夺到CPU而响应缓慢,从而带来系统性能问题,例如频繁的FullGC,以及多线程造成的上下文频繁的切
软件测试凡哥
·
2023-08-10 10:39
软件测试
性能测试
程序人生
软件测试
软件测试工程师
职业发展
经验分享
性能测试
flink常见故障排除
本博客总结为B站尚硅谷大数据Flink2.0
调优
,Flink性能优化视频中常见故障排除的的笔记总结。
第一片心意
·
2023-08-10 10:27
flink
flink
Curator之监听
在maven中引入recipes包,Curator封装
Zookeeper
的典型场景使用都放在了recipes包中。org.apache.cur
gmdqtd
·
2023-08-10 09:02
zookeeper
API操作与写数据原理
要执行API操作需要在idea中创建maven项目(改成自己的阿里仓库)导入特定依赖添加日志文件上边操作做成后就可以进行一些API的实现了目录导入maven依赖:创建日志文件:创建API客户端:(1)创建全局变量:(2)初始化(init):(3)创建节点(create):(4)监听API:(5)检测节点是否存在:写数据原理:(1)写流程之写入请求直接发送给Leader节点:(2)写流程之写入请求发
小唐同学爱学习
·
2023-08-10 09:21
Zookeeper
zookeeper
分布式
---------------- 部署
Zookeeper
集群 ----------------
Zookeeper
+kafka部署
Zookeeper
集群//准备3台服务器做
Zookeeper
集群1.安装前准备//安装JDK2.安装
Zookeeper
//修改配置文件//在每个节点上创建数据目录和日志目录
xiaowei0403
·
2023-08-10 09:50
zookeeper
分布式
云原生
Kafka3.0.0版本——Broker(服役新节点)示例
目录一、服务器信息二、VMware克隆服务节点(将虚拟机1克隆成虚拟机4)三、克隆后的(192.168.136.30)服务节点配置文件修改3.1、修改
zookeeper
服务配置文件3.2、修改kafka
小志的博客
·
2023-08-10 08:34
kafka
kafka
从零开始搭建Kafka+SpringBoot分布式消息系统
前言由于kafka强依赖于
zookeeper
,所以需先搭建好
zookeeper
集群。由于
zookeeper
是由java编写的,需运行在jvm上,所以首先应具备java环境。
java架构师联盟
·
2023-08-10 08:09
Zookeeper
面试题
一、
ZooKeeper
基础题1.1、
Zookeeper
的典型应用场景
Zookeeper
是一个典型的发布/订阅模式的分布式数据管理与协调框架,开发人员可以使用它来进行分布式数据的发布和订阅。
大迂居士
·
2023-08-10 07:24
zookeeper
zookeeper
分布式
云原生
大数据-玩转数据-Sink到Kafka
org.apache.flinkflink-connector-kafka_${scala.binary.version}${kafka.version}com.alibabafastjson1.2.75二、启动Kafka集群启动
zookeeper
人猿宇宙
·
2023-08-10 07:54
大数据-玩转数据-FLINK
大数据
kafka
分布式
Kafka与
Zookeeper
版本对应关系
文章目录了解版本对应Kafka安装包Kafka源码包了解比如:kafka_2.11-1.1.1.jar包其中2.11表示的是Scala的版本,因为Kafka服务器端代码完全由Scala语音编写。”-“后面的1.1.1表示的kafka的版本信息。遵循一个基本原则,Kafka客户端版本和服务端版本应该保持一致,否则可能会遇到一些问题。(与下文无关,仅作了解)版本对应可以根据源码包或者安装包来确认对应的
Pisces_224
·
2023-08-10 07:53
kafka
zookeeper
分布式
分布式协调组件
Zookeeper
Zookeeper
介绍什么是
Zookeeper
ZooKeeper
是⼀种分布式协调组件,用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。
Likelong~
·
2023-08-10 07:53
cloud
分布式
zookeeper
消息队列kafka及
zookeeper
机制
一、
zookeeper
1.1
zookeeper
简介1.2
zookeeper
工作机制1.3
Zookeeper
特点1.4
Zookeeper
数据结构1.5
Zookeeper
应用场景1.5.1统一命名服务1.5.2
m0_58076958
·
2023-08-10 07:21
kafka
zookeeper
分布式
zookeeper
集群安装
1、环境准备 表1-1集群节点配置信息ip操作系统内存磁盘空间安装软件10.166.50.23164位Centos7标准版8G127Gjdk1.8、
zookeeper
3.4.10
菜鸟社长
·
2023-08-10 06:38
zookeeper
分布式锁
场景“分布式锁”是用来解决分布式应用中“并发冲突”的一种常用手段,实现方式一般有基于
zookeeper
及基于redis二种使用基于
zookeeper
的分布式锁所需组件:
zookeeper
服务Curator
张云飞Vir
·
2023-08-10 03:29
JVM面试题--实践
目录JVM
调优
的参数可以在哪里设置参数值war包部署在tomcat中设置jar包部署在启动参数设置JVM
调优
的参数都有哪些?
Java菜鸟尹先生
·
2023-08-10 00:00
jvm
上一页
131
132
133
134
135
136
137
138
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他