不重启kafka集群

大数据平台的硬件规划、网络调优、架构设计、节点规划

其中NameNode负责协调集群上的数据存储，StandbyNameNode属于NameNode
小枫@码·2024-01-22 17:18

大数据平台软硬件规划

一.大数据集群节点规划1.HDFS集群节点规划假如业务系统数据量每天增量50T，保留周期30天，那么HDFS存储容量为50T*30天*3副本*2倍（数据源+清洗加工）=9000T=8.79P假如每个机器的磁盘是
小枫@码·2024-01-22 17:17

Spark简介

它是一个快速通用的集群计算平台.Spark扩展了流行的MapReduce模型.Spark提供的主要功能之一就是能够在内存中运行计算，但对于在磁盘上运行的复杂应用程序，系统也比MapReduce更有效。
shinelord明·2024-01-22 17:17

hbase预分区

一个好的方法是在建立HBase表时预先分配数个Region，这样写入数据时，会按照Region分区情况，在集群内做数据的负载均衡。--自定义预分区的RowKeyhbase>cre
小枫@码·2024-01-22 17:15

如何本地安装Python Flask并结合内网穿透实现远程开发

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-22 17:36

在windows初装kafka

1.下载kafka:http://kafka.apache.org/downloadsimage.png2.解压image.png3.运行CMD到这里：image.png1).启动zookeeper.
小狼在IT·2024-01-22 17:37

搭建共享磁盘nfs

文章目录前言一、安装二、挂载目录1.新建目录2.配置3.启动三、客户端挂载1.安装2.查看nfs主机共享情况3.客户端挂载4.查看挂载情况5.开机自动挂载四、客户端卸载总结前言共享磁盘可以让集群服务器的共享目录
你知道“铁甲小宝”吗丶·2024-01-22 15:14

服务名配置dm_svc.conf-(达梦数据库)

达梦数据库-服务名配置dm_svc.conf1主备集群配置dm_svc.conf2多个集群同时配置dm_svc.conf3参数详细说明4服务名文件路径配置4.1windows环境4.2Linux环境5dm_svc.conf
祢真伟大·2024-01-22 15:50

表对象的标识

表对象标识kingbase中表作为数据库对象具有一个系统内部的唯一标识符，这个标识符被称为oid（对象标识符），它是kingbase用来在整个数据集群中唯一地标识每个数据库对象的一个字段。
我是东山·2024-01-22 15:17

k8s----ingress

k8s----ingress一、Ingress简介1.1、service的作用1.2、外部访问k8s集群内的服务二、Ingress组成2.1、ingress2.2、ingress-controller三
这小子贼帅·2024-01-22 13:06

k8s指南-Ingress

工作负载(3)(6)k8s指南-工作负载(4)(7)k8s指南-Service(8)k8s指南-Ingress(9)k8s指南-DNS与服务发现(10)K8S指南-平滑升级与自动扩缩容Ingress是k8s集群中负责管理服务外部访问的
还是转转·2024-01-22 13:06

k8s-ingress-nginx搭建

首先区分开ingress和ingress-controller前者个人理解是一种集群中服务之间访问控制策略后者是client访问集群时得一种方式如下图思维导图（部署方式不同，略有差别）暴露服务还分几种方式一
大鹅i·2024-01-22 13:34

裸机k8s安装nginx-ingress-controller

serviceAccount:kuboard-userserviceAccountName:kuboard-user中我们使用创建UI时候创建的ServiceAccountkuboard-user,因为此账户以进行过集群绑定
zow·2024-01-22 13:34

分布式系统中为什么需要使用消息队列

当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发的Notify、MetaQ、RocketMQ等。
码农小旋风·2024-01-22 12:44

关于Hive架构原理，尚硅谷

最近学习hive时候，在做一个实操案例，具体大概是这样子的：我在dataGip里建了一个表，然后在hadoop集群创建一个文本文件里面存储了数据库表的数据信息，然后把他上传到hdfs后，dataGrip
大数据ＳＱＬｂｏｙ·2024-01-22 11:41

48、Spark性能优化之性能优化概览

Spark性能优化概览由于Spark的计算本质是基于内存的，所以Spark性能程序的性能可能因为集群中的任何因素出现瓶颈：CPU、网络带宽、或者是内存。
ZFH__ZJ·2024-01-22 11:31

【Flink-1.17-教程】-【四】Flink DataStream API（1）源算子（Source）

创建执行环境1.2.执行模式（ExecutionMode）1.3.触发程序执行2）源算子（Source）2.1.准备工作2.2.从集合中读取数据2.3.从文件读取数据2.4.从Socket读取数据2.5.从Kafka
bmyyyyyy·2024-01-22 11:34

【后端目录贴】

【大数据】kafka8.【JAVA】目录贴9.【linux】目录贴10.【后端】深入浅出Node.js
骑鱼过海的猫123·2024-01-22 11:39

SpringCloudAlibaba----Nacos

简介二.Nacos的关键特性三.nacos相关图四.Nacos的安装五.使用Nacos完成服务注册与发现六.使用Nacos作为配置中心七.Nacos配置项热更新八.Nacos配置灰度发布九.Nacos集群环境部署十
我就是我352·2024-01-22 10:52

MySQL存储引擎

存储引擎常用存储引擎的对比：特点MyISAMInnoDBMEMORYMERGENDB存储限制有64TB有没有有事务安全支持锁机制表锁行锁表锁表锁行锁B树索引支持支持支持支持支持支持哈希索引支持支持全文索引支持集群索引支持数据缓存支持支持支持索引缓存支持支持支持支持支持数据可压缩支持空间使用低高
Thomas_Vader·2024-01-22 10:19

C语言应用层程序热补丁

2.通过修改可执行文件某个函数指向的地址，指向新的函数，这种方式可不重启正在运行的程序。这就热补丁(hotpatch)。二、热补丁使用1.API介绍Linux提供了一套API来动态装载库。
csdn_dyq111·2024-01-22 10:34

【大数据处理技术实践】期末考查题目：集群搭建、合并文件与数据统计可视化

集群搭建、合并文件与数据统计可视化实验目的任务一：任务二：实验平台实验内容及步骤任务一：搭建具有3个DataNode节点的HDFS集群集群环境配置克隆的方式创建Slave节点修改主机名编辑hosts文件生成密钥免认证登录修改
汐ya~·2024-01-22 09:35

什么是元数据

在集群文件系统中，分布信息包括文件在磁盘上的位置以及磁盘在集群中的位置。用户需要操作一个文件必须首先得到它的元数据，才能定位到文件的位置并且得到文件的内容或相关属性。
w蕾丝·2024-01-22 09:54

【Java万花筒】云端之旅：Java容器化、微服务与云服务之道

本文将深入探讨Java在容器化、Kubernetes集群、AWS云服务、SpringCloud微服务和ApacheHttpClient等方面的利用与实践。
friklogff·2024-01-22 09:16

Oracle-ORA-600 [ktecgetsh-inc], [1]报错分析

问题背景：在一套数据库的版本为11.2.0.4.160719的OracleRAC集群，应用程序执行语句出现异常失败，应用日志显示出现ORA-00600:internalerrorcode,arguments
牛牛的笔记·2024-01-22 09:29

某马头条——day06

kafka概述kafka环境搭建dockerpullzookeeper:3.4.14dockerrun-d--namezookeeper-p2181:2181zookeeper:3.4.14安装kafkadockerpullwurstmeister
北岭山脚鼠鼠·2024-01-22 09:55

redis-5.0.8集群环境搭建

1.前置准备Linux版redis-3.2.8单机环境安装redis-3.2.8主从复制架构搭建及哨兵配置如果你对redis的安装很陌生，请看完我以上两期教程，对完成此期教程很有帮助2.下载解压redis-5.0.8.tar.gz[xiaokang@hadoop01~]$cd/opt/software/[xiaokang@hadoop01software]$tar-zxvfredis-5.0.8.
小刘新鲜事儿·2024-01-22 08:15

【实战】K8S部署Redis集群代理Predixy

文章目录前言技术积累为什么要在redis集群前面加个predixy代理？这样做的好处有哪些？
小沈同学呀·2024-01-22 08:44

k8s搭建单机版redis

前段时间在集群上搭建了一个简易的单机版redis用于测试，注意redis是采用nodePort方式暴露的服务，因此需要在配置相应的端口安全组策略。
行走的小码农·2024-01-22 08:44

helm安装redis

redis主从–>redis-10.5.7.tgzk8s环境中一键拉起redis集群，解决传统方式安装的繁琐helminstallyemaodiyi-redis.
野猫第一·2024-01-22 08:13

Flink on YARN（下）：常见问题与排查思路

Flink支持Standalone独立部署和YARN、Kubernetes、Mesos等集群部署模式，其中YARN集群部署模式在国内的应用越来越广泛。
Apache Flink·2024-01-22 08:33

Flink on yarn 实时日志收集到 kafka 打造日志检索系统

点击上方"JasonLee实时计算",选择"设为星标"再也不用担心错过重要文章后台回复"监控",获取grafana监控Flink最新的模板背景在Flinkonyarn的模式下,程序运行的日志会分散的存储在不同的DN上,当Flink任务发生异常的时候,我们需要查看日志来定位问题,一般我们会选择通过FlinkUI上面的logs来查看日志,或者登录到对应的服务器上去查看,但是在任务日志量非常大的情况下,
JasonLee实时计算·2024-01-22 08:33

一张图轻松掌握 Flink on YARN 基础架构与启动流程

Flink支持Standalone独立部署和YARN、Kubernetes、Mesos等集群部署模式，其中YARN集群部署模式在国内的应用越来越广泛。
zhisheng_blog·2024-01-22 08:02

flink部署模式（二）- yarn三种部署模式

基于flink1.15.0SessionModeonyarn开启flinkyarn-session集群.
PONY LEE·2024-01-22 08:32

flink部署模式介绍

在一些应用场景中，对于集群资源分配和占用的方式，可能会有特定的需求。
201001070·2024-01-22 08:32

flink1.13环境搭建

1、本地启动非集群模式最简单的启动方式，其实是不搭建集群，直接本地启动。本地部署非常简单，直接解压安装包就可以使用，不用进行任何配置；一般用来做一些简单的测试。
201001070·2024-01-22 08:31

[flink]一Flink部署|配置文件|提交作业|部署模式|独立模式部署|yarn模式部署

一、集群部署集群规划节点服务器hadoop1hadoop2hadoop3hadoop4角色JobManagerTaskManagerTaskManagerTaskManagerTaskManager1、
胖胖学编程·2024-01-22 08:30

Flink集群部署到YARN上的提交流程

第一步:Flink任务提交后，Client向HDFS上传Flink的Jar包和配置第二步:之后向YarnResourceManager提交任务，ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMaster第三步:ApplicationMaster启动后加载Flink的Jar包和配置构建环境，然后启动JobManager第四步:之后
疯子1313·2024-01-22 08:00

【Flink】部署模式-会话模式/单作业模式/应用模式/Yarn模式/独立模式/K8s模式

下的部署模式独立模式（Standalone）会话模式部署单作业模式部署应用模式部署YARN模式相关准备和配置会话模式/应用模式/单作业模式NativeKubernetes部署模式在一些应用场景中，对于集群资源分配和占用的方式
清清清清风·2024-01-22 08:59

13.Flink之Flink on Yarn/K8s 原理剖析及实践

当JobGraph提交给Flink集群后，能够以Local、Standalone、Yarn和Kuberne
吃胖点儿·2024-01-22 08:58

ELK日志分析

Logstash（1）定义（2）插件①input②filter③output（三）可以添加的其它组件1.Filebeat（1）定义（2）filebeat结合logstash带来好处2.缓存/消息队列（redis、kafka
江南字子川·2024-01-22 08:55

03-Flink内存模型

内存管理在大数据场景下的问题，提升了计算效率.1.1JVM内存管理的不足1.1.1有效数据密度低存储：对象头、实例数据、对齐填充部分导致JVM中有效信息的存储密度很低1.1.2垃圾回收FullGC会严重影响性能以及和集群中的心跳信息超时
情深@骚明·2024-01-22 08:48

JVM系列-3.类的生命周期

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-22 08:16

JVM系列-1.初识JVM

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-22 08:16

JVM系列-2.字节码文件详解

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-22 08:07

Kafka（八）使用Kafka构建数据管道

目录1使用场景2构建数据管道时需要考虑的问题2.1及时性2.2可靠性高可用可靠性数据传递2.3高吞吐量2.4数据格式2.5转换ETLELT2.6安全性2.7故障处理2.8耦合性和灵活性临时数据管道元数据丢失末端处理3使用ConnectAPI3.1Connect的数据处理流程sourcesinkconnectorsTasksWorkersTransformerConverters偏移量管理3.2运行
yunyun1886358·2024-01-22 07:35

kafka入门(十)：副本数据同步

Kafka通过多副本机制实现故障自动转移，在Kafka集群中某个broker节点失效的情况下仍然保证服务可用。
乐之者v·2024-01-22 07:04

Spark写入kafka（批数据和流式）

Spark写入（批数据和流式处理）Spark写入kafka批处理写入kafka基础#spark写入数据到kafkafrompyspark.sqlimportSparkSession,functionsasFss
中长跑路上crush·2024-01-22 07:02

kubectl与 jq的用法

一、背景在日常运维工作中，我们需要管理和操作大量的配置文件，这在使用Kubernetes集群管理应用时尤为常见。
睡不醒的猪儿·2024-01-22 07:01

二进制部署K8S集群

初始化设置服务器关闭防火墙]#systemctlstopfirewalld]#systemctldisablefirewalld关闭selinux]#sed-i's/enforcing/disabled/'/etc/selinux/config#永久关闭]#setenforce0#临时关闭关闭swap]#swapoff-a#临时关闭]#sed-ri's/.*swap.*/#&/'/etc/fsta
Marco_pei·2024-01-22 07:00
上一页 61 62 63 64 65 66 67 68 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他