大数据面试-Zookeeper

RAG与LLM原理及实践（14）---- Python + MinIO + Kafka进阶

目录背景根因分析配置构造创建network构造zookeeper构造kafka参数构造原理解析图解全过程解析工具使用kafkacat查看brokerpython实现pythonsend+kafkarecvpython
PhoenixAI8·2024-08-21 20:59

kafka-eagle 配置文件修改使用自带的数据库

######################################multizookeeper&kafkaclusterlistSettingsprefixedwith‘kafka.eagle
bright future cheer·2024-03-28 12:13

【大数据面试题】014 Flink CDC 用过吗，请简要描述

一步一个脚印，一天一道面试题。FlinkCDC的诞生背景FlinkCDC的全称是ChangeDataCapture（变更数据捕获）每一项技术的诞生都是为了解决某个问题，某个痛点。而FlinkCDC的诞生就是为了解决在读取，监控MySQL这样的数据库时，不会因为读取数据库，对数据库本身造成压力，影响性能。同时，保证了数据源的准确，正确。FlinkCDC原理方式一：通过查询来获取更新的数据。如查询数据
Jiweilai1·2024-03-20 04:43

ZooKeeper 概述

定义和功能ZooKeeper是一个开源的分布式协调服务，由Apache软件基金会托管。它主要用于解决分布式应用中遇到的一些复杂问题，如命名服务、状态同步服务、集群管理、分布式锁和队列管理等。
龙大.·2024-03-16 03:32

redis实现分布式锁

常见的实现分布式锁的方案由通过zookeeper的临时有序节点，数据库的自增主键和今天
yongbuyanqi9467·2024-03-14 06:57

ZooKeeper和Diamond有什么不同

本文主要是讨论下两个类似产品：ZooKeeper和Diamond在配置管理这个应用场景上的异同点。Diamond，顾名思义，寄寓了开发人员对产品稳定性的厚望，希望它像钻石一样，提供稳定的配置访问。
清风羽·2024-03-10 22:22

zookeeper 使用

zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法
SkTj·2024-03-10 02:15

hbase、hive、clickhouse对比

driver将sql分解成mapreduce任务元数据需要单独存储到一个关系型数据库，一般是mysql实际数据存储可以是外表，也可以是内表clickhouse单体架构分层类似mysql，集群状态下是多主，通过zookeeper
freshrookie·2024-03-05 16:40

常用中间件docker安装

zookeeperdockerrun-d--namezookeeper-p2181:2181--restartalways-eZOO_MY_ID=1-eALLOW_ANONYMOUS_LOGIN=yes-eTZ
Happywzy~·2024-03-04 18:13

Springboot中使用Redisson实现分布式锁

此时我们就要引入分布式锁了，分布式锁的实现方式有很多，可以使用Mysql数据库实现，也可以使用Zookeeper实现，当然比较
追风人聊Java·2024-03-02 02:43

Zookeeper实现分布式锁

Zookeeper实现分布式锁案例在分布式场景下，单机的锁已经无法实现对并发的控制，我们需要专门用分布式锁来在分布式环境下实现对多个进程能够有序的访问资源。
正在绘制中·2024-02-25 23:35

docker安装kafka和kafka-console-ui

3、安装kafkahttps://blog.csdn.net/m0_64210833/article/details/134199061kafka依赖Zookeeper,当然也可以用内置的kraft。
李君临·2024-02-25 13:24

Nacos、Eureka、Zookeeper注册中心的区别

Nacos、Eureka和Zookeeper都是常用的注册中心，它们在功能和实现方式上存在一些不同。Nacos除了作为注册中心外，还提供了配置管理、服务发现和事件通知等功能。
潇洒大舅哥·2024-02-25 12:52

zookeeper动态扩缩容（无需重启）

目录一、启动一个zk二、扩容一个zk三、缩容一个zk四、重新配置集群的节点前言：zookeeper动态扩/缩容的reconfig命令旨在不需要重启zookeeper中任何一个节点的情况下，对整个zookeeper
cj_eryue·2024-02-24 19:02

Eureka/Zookeeper/Nacos实现注册中心区别

一、CAP定律CAP理论：Consistency（一致性）Availability（可用性）Partitiontolerance（分区容错性）必然存在在我们集群中，如果某个服务器宕机（故障）：保证数据一致性：一致性(CP)保证服务可用性：可用性AP这个定理的内容是指的是在一个分布式系统中、Consistency（一致性）、Availability（可用性）、Partitiontolerance（分
超级码里喵·2024-02-24 08:24

Hadoop生态圈

MapReduce模型，支持SQL4.Pig也是一个数据分析引擎，不支持SQL，有自己的PigLatin数据5.Sqoop是数据采集工具，针对关系数据库6.Flume是针对文件等数据的采集7.Hadoop的HA通过Zookeeper
陈超Terry的技术屋·2024-02-20 19:47

Kafka常用命令汇总(一)

kafka-topics.sh--zookeeperlocalhost:2181--list2、创建一个叫作topic_01的主题,主题包含8分区,每个分区拥有两个副本。
秋风暮霞挽红曲_5f60·2024-02-20 18:45

Spring Boot Redis 实现分布式锁，真香

之前看很多人手写分布式锁，其实SpringBoot现在已经做的足够好了，开箱即用，支持主流的Redis、Zookeeper中间件，另外还支持JDBC。
Javaesandyou·2024-02-20 12:13

XMall 开源商城 SQL注入漏洞复现(CVE-2024-24112)

开源电商商城是开发者Exrick的一款基于SOA架构的分布式电商购物商城前后端分离前台商城:Vue全家桶后台管理:Dubbo/SSM/Elasticsearch/Redis/MySQL/ActiveMQ/Shiro/Zookeeper
OidBoy_G·2024-02-20 11:27

在Ubuntu下搭建开发环境

关于本文写作目标：作为在linux下安装JDK、MySQL、Zookeeper、Redis、MongoDB、RabbitMQ等开发组件的快速参考指南Linux版本：LinuxMint18.2Sonya（
·2024-02-20 11:22

zookeeper无法启动产生原因及解决办法

zookeeper无法启动产生原因：在安装目录下的conf文件夹下的zoo.cfg文件，其中dataDir属性与dataDirLog属性两个指定的文件目录需要确实存在才可以。
ljf8838·2024-02-20 10:48

Zookeeper

Zookeeper第1章Zookeeper入门Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。
efzy·2024-02-20 08:36

Zookeeper未授权访问漏洞

Zookeeper漏洞介绍Zookeeper支持某些特定的四字查询命令，可以未授权访问，从而泄露zookeeper服务的相关信息，这些信息可能作为进一步入侵其他系统和服务的跳板，利用这些信息实现权限提升并逐渐扩大攻击范围
杭城我最帅·2024-02-20 08:36

zookeeper源码(08)请求处理及数据读写流程

ServerCnxnFactory用于接收客户端连接、管理客户端session、处理客户端请求。ServerCnxn抽象类代表一个客户端连接对象：从网络读写数据数据编解码将请求转发给上层组件或者从上层组件接收响应管理连接状态，比如：enableRecv、sessionTimeout、stale、invalid等保存当前的packetsReceived、packetsSent、lastCxid、la
xuguofeng2016·2024-02-20 08:06

测试环境搭建整套大数据系统（三：搭建集群zookeeper，hdfs，mapreduce，yarn，hive）

一：搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二：搭建hadoop，yarn，mapreduce。1.安装hadoop。sudotar-zxvfhadoop-3.2.4.tar.gz-C/opt2.修改java配置路径。cd/opt/hadoop-3.2.4/etc/hadoopvimhadoop-env.
宇智波云·2024-02-20 08:05

Python操作Kafka基础教程

01Python操作Kafka基础教程创建ZooKeeper容器dockerrun-d--namezookeeper-p2181:2181-v/etc/localtime:/etc/localtimewurstmeister
Python私教·2024-02-20 07:52

Kafka的介绍

文章目录一、介绍二、消息队列通信的模式三、特性四、使用场景五、核心概念一、介绍kafka是一个分布式的发布订阅消息系统基于Zookeeper协调最初由Linkedin公司开发，于2010年贡献给了Apache
kimi-001·2024-02-20 07:45

Docker部署Kafka单机版

01Docker部署Kafka单机版创建ZooKeeper容器dockerrun-d--namezookeeper-p2181:2181-v/etc/localtime:/etc/localtimewurstmeister
Python私教·2024-02-20 07:36

Zookeeper 集群部署的那些事儿

ZooKeeper是Apache的一个顶级项目，为分布式应用提供高效、高可用的分布式协调服务。ZooKeeper本质上是一个分布式的小文件存储系统。
牧小农·2024-02-20 06:25

ZooKeeper原理应用

ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是GoogleChubby的开源实现。
学编程的小屁孩·2024-02-20 05:33

Zookeeper(1):入门

/bin/bashcase$1in"start"){foriinhadoop100hadoop101hadoop102doecho----------zookeeper$i启动------------ssh
叶惠美zz·2024-02-20 04:33

HBase——基础概念介绍

HBase底层存储基于HDFS实现，集群的管理基于ZooKeeper实现。
zhanglf1016·2024-02-20 04:43

docker启动zookeeper

dockerrun-d-eTZ="Asia/Shanghai"-p2181:2181-v/Users/tyyc/docker/zookeeper_simple:/data--namezookeeperzookeeper
hello_zzw·2024-02-20 00:02

docker启动zookeeper

dockerrun-d-eTZ="Asia/Shanghai"-p2181:2181-v/Users/tyyc/docker/zookeeper_simple:/data--namezookeeperzookeeper
hello_zzw·2024-02-20 00:02

2.15日学习打卡----初学Zookeeper(二)

2.15日学习打卡目录:2.15日学习打卡一.Zookeeper部署运行伪集群安装集群安装服务管理二.Zookeeper系统模型数据模型节点特性客户端命令行节点数据信息Watcher监听机制权限控制ACL
中北萌新程序员·2024-02-19 23:20

第五节 zookeeper集群与分布式锁_2

1.分布式锁概述1.1什么是分布式锁1）要介绍分布式锁，首先要提到与分布式锁相对应的是线程锁。线程锁：主要用来给方法、代码块加锁。当某个方法或代码使用锁，在同一时刻仅有一个线程执行该方法或该代码段。线程锁只在同一JVM中有效果，因为线程锁的实现在根本上是依靠线程之间共享内存实现的，比如synchronized是共享对象头，显示锁Lock是共享某个变量（state）。分布式锁：分布式锁，即分布式系统
做个专注的工程师·2024-02-19 16:01

Apache DolphinScheduler中ZooKeeperCDH不兼容问题的解决方案

背景看到ApacheDolphinScheduler社区群有很多用户反馈和讨论这块问题，针对不兼容的问题，不仅需要自己重新编译各一个新包，而且因为默认是使用zk-3.8的配置，所以会出现不兼容问题。使用zk-3.4配置即可适配3.4.x解决办法（一）#切换到项目源码的根路径中执行mvncleanpackage-T1C-Prelease'-Dmaven.test.skip=true''-Dcheck
DolphinScheduler社区·2024-02-19 16:44

Redis分布式可重入锁实现方案

分布式锁实现方案有很多，有基于关系型数据库行锁实现的；有基于ZooKeeper临时顺序节点实现的；还有基于Redissetnx命令实现的。本文介绍一下基于Redis实现的分布式锁方案。
程序员小潘·2024-02-19 14:49

【大数据面试题】009 Flink 有哪些机制实现故障恢复

一步一个脚印，一天一道面试题（重点）容错检查点（Checkpoint）：Flink使用容错检查点来定期记录应用程序的状态。检查点包含了所有正在进行中的任务的状态信息。当发生故障时，Flink可以使用最近的检查点来恢复应用程序的状态。#从检查点恢复$bin/flinkrun-s:savepointPath容错恢复策略：Flink提供了多种容错恢复策略，可以根据具体的需求进行配置。例如，可以设置重启策
Jiweilai1·2024-02-19 13:05

【大数据面试题】007 谈一谈 Flink 背压

一步一个脚印，一天一道面试题（有些难点的面试题不一定每天都能发，但每天都会写）什么是背压Backpressure在流式处理框架中，如果下游的处理速度，比上游的输入数据小，就会导致程序处理慢，不稳定，甚至出现崩溃等问题。出现背压的原因上游数据突然增大比如数据源突然数据量增大多倍，下游处理速度跟不上。就像平时的小饭店能处理的很轻松，突然到了过年人多了很多，就会需要客人排队。网络，机器异常等这个也好理解
Jiweilai1·2024-02-19 13:35

【大数据面试题】006介绍一下Parquet存储格式的优势

一步一个脚印，一天一道面试题列式存储同一列的数据是同一种数据类型，所以压缩比例可以更高。同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python等都支持，所以Parquet文件可以在不同系统和语言通用。这是我觉得比较实在的优势
Jiweilai1·2024-02-19 13:34

【大数据面试题】008 谈一谈 Flink Slot 与 并行度

【大数据面试题】008谈一谈FlinkSlot与并行度配置并行度Parallelism概念作用Slot概念作用如何设置TaskManager任务管理器Flinksubmit脚本一步一个脚印，一天一道面试题该文章有较多引用文章
Jiweilai1·2024-02-19 13:01

2.16日学习打卡----初学Dubbo(一)

可以看我的这篇文章–2.14日学习打卡----初学Zookeeper(一)二.什么是RPC?RPC(RemoteProcedureCall)远程过程调用，它是一种通过网络从远程计算机程序上请求服
中北萌新程序员·2024-02-19 12:54

Linux/Ubuntu16.04安装kafka

Kafka的运行依赖Java8和ZooKeeper两个环境，所以下面将从安装JDK8和ZooKeeper的环境开始
前端技术小咖·2024-02-19 11:13

Apache DolphinScheduler中ZooKeeperCDH不兼容问题的解决方案

背景看到ApacheDolphinScheduler社区群有很多用户反馈和讨论这块问题，针对不兼容的问题，不仅需要自己重新编译各一个新包，而且因为默认是使用zk-3.8的配置，所以会出现不兼容问题。使用zk-3.4配置即可适配3.4.x解决办法（一）切换到项目源码的根路径中执行mvncleanpackage-T1C-Prelease'-Dmaven.test.skip=true''-Dchecks
·2024-02-19 10:36

Raft协议如何解决分布式系统一致性问题

zookeeper用的zab协议跟raft基本一样，就是心跳方向是反的，raft是leader向follower发送心跳，zab是follower向leader发送心跳询问leader健康状况。
肥兔子爱豆畜子·2024-02-15 10:56

kafka安装配置(docker)

Kafka对于zookeeper是强依赖，保存kafka相关的节点数据，所以安装Kafka之前必须先安装zookeeperDocker安装zookeeper下载镜像：dockerpullzookeeper
一+一加1·2024-02-15 10:25

Kafka(二)

第4章KafkaBroker4.1KafkaBroker工作流程4.1.1Zookeeper存储的Kafka信息（1）启动Zookeeper客户端。
xxxxxxxpp·2024-02-15 09:12

Dubbo与注册中心Zookeeper的交互过程

一张图搞定Dubbo里默认使用zkclient来操作zookeeper服务器，其对zookeeper原始客户单做了一定的封装，操作zookeeper时能便捷一些，比如不需要手动处理session超时，不需要重复注册
任嘉平生愿·2024-02-14 20:24

SpringBoot+Dubbo+Zookeeper集群实战

搭建环境Idea工程目录结构parent父工程api-service子工程api-service-impl子工程web子工程创建父工程Parentimage.pngimage.png4.0.0com.springboot.dubboparentpom1.0-SNAPSHOTapi-service-implapi-servicewebUTF-81.81.81.84.0.13.4.130.2.0org
长孙俊明·2024-02-14 18:59
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他