flink集群

KtConnect 本地连接连接K8S工具

其核心是通过建立本地到集群以及集群到本地的双向通道。
X_u·2024-02-07 13:32

如何恢复cephfs数据

2、准备测试环境2.1、准备测试集群我是基于L版本做的实验，J版也是可以的。
ypdai·2024-02-07 12:56

构建高效Docker环境：网络配置全指南

网络配置全指南引言Docker网络基础Docker网络概述Docker网络类型Docker网络的重要性Docker网络配置Bridge网络配置与实践Host和None网络配置的特点与应用Overlay网络的配置及其在集群中的使用
walkskyer·2024-02-07 12:15

四个特性，让这个信创文件安全传输软件备受客户青睐

信创产业发展已经成为经济数字化转型、提升产业链发展的关键，从技术体系引进、强化产业基础、加强保障能力等方面着手，促进信创产业在本地落地生根，带动传统IT信息产业转型，构建区域级产业聚集集群。
Ftrans·2024-02-07 12:09

Elasticsearch 通信模块的分析

Elasticsearch通信模块的分析-知乎Elasticsearch是一个基于Lucene的分布式实时搜索框架，它本身能够接受用户发来的http请求，集群节点之间也会有相关的通信。
大叶子不小·2024-02-07 12:02

集群分发脚本xsync

rsync简介rsync是"remotesynchronization"的简写，这个工具主要用于远程和本地系统之间同步文件和目录，优化了数据传输过程，只传输变化的部分。它被广泛应用于备份操作、镜像制作以及其他需要文件或目录同步的场景。rsync在功能丰富且高效的同时，也保证了传输安全性。rsync创建与使用脚本创建前提，三台机器已经配置好免密登录，具体参照：https://mp.csdn.net/
在下区区俗物·2024-02-07 12:30

CentOS7集群安装JDK1.8

准备工作1、提前安装三台虚拟机，可以参考:https://mp.csdn.net/mp_blog/creation/editor/1360101082、三台虚拟机分别配置免密登录，参考：https://blog.csdn.net/LSW_JAVADP/article/details/121757927安装JDK一、官网下载对应JDK自己用的：链接：https://pan.baidu.com/s/1
在下区区俗物·2024-02-07 12:30

CentOS7集群配置免密登录

准备工作提前开启三台虚拟机hadoop102、hadoop103,hadoop104,关于三台虚拟机的安装可以参考：https://mp.csdn.net/mp_blog/creation/editor/136010108配置免密登录一、分别修改三台机器的hosts,配置主机映射关系vim/etc/hosts文件中输入以下内容：IPhostname192.168.10.132hadoop10219
在下区区俗物·2024-02-07 12:00

CentOS7搭建Hadoop集群

准备工作1、准备三台虚拟机，参考：CentOS7集群环境搭建（3台）-CSDN博客2、配置虚拟机之间免密登录，参考：CentOS7集群配置免密登录-CSDN博客3、虚拟机分别安装jdk，参考：CentOS7
在下区区俗物·2024-02-07 12:57

独家解读！阿里首次披露自研飞天大数据平台技术架构

据介绍，飞天大数据平台由阿里自主研发，可扩展至10万台计算集群，是目前全球集群规模最大的计算平台。
DP29syM41zyGndVF·2024-02-07 11:13

主从不一致解决方案 && 如何降低主从延迟

DB主从一致性架构优化4种方法mysql并行复制降低主从同步延时的思路与启示其他文章参考见文末：Mysql复制方式(半同步复制，并行复制，多源复制)问：常见的数据库集群架构如何？
Lucky小黄人·2024-02-07 11:28

sheng的学习笔记-redis框架原理

摘要：redis命令，使用场景，持久化，缓存穿透，缓存雪崩，缓存击穿，持久化（RDB,AOF），事务，锁，集群，主从复制原理，哨兵模式目录基础知识官网：中文官网：redis中文官方网站英文官网：https
coldstarry·2024-02-07 11:41

Redis核心技术与实战【学习笔记】 - 26.Redis数分布优化（应对数据倾斜问题）

简述在切片集群中，数据会按照一定的规则分散到不同的实例上保存。
陈建111·2024-02-07 11:10

【Iceberg学习一】什么是Iceberg？

Iceberg为包括Spark、Trino、PrestoDB、Flink、Hive和Impala在内的计算引擎增加了表格功能，使用一种高性能的表格格式，其工作方式就像一个SQL表一样。
周润发的弟弟·2024-02-07 10:56

【极数系列】ClassNotFoundException: org.apache.flink.connector.base.source.reader.RecordEmitter & 详细分析解决

文章目录01Flink集成KafkaConnector运行报错02解决方案03原因分析04深入认识4.1flink-connector-base简介概述4.2flink-connector-base功能作用
浅夏的猫·2024-02-07 10:11

【极数系列】Flink集成KafkaSource & 实时消费数据（10）

文章目录01引言02连接器依赖2.1kafka连接器依赖2.2base基础依赖03连接器使用方法04消息订阅4.1主题订阅4.2正则表达式订阅4.3Partition列分区订阅05消息解析06起始消费位点07有界/无界模式7.1流式7.2批式08其他属性8.1KafkaSource配置项（1）client.id.prefix（2）partition.discovery.interval.ms（3）
浅夏的猫·2024-02-07 10:41

hadoop集群搭建踩坑实录

由于不可控以及不可知的原因我搭建的hadoop集群突然显示虚拟机出现了问题导致某一个DataNode数据丢失并且无法通过Xshell远程访问其他的DataNode主机和虚拟机无法互相ping通网上能找的解决办法基本都找了依然无法解决因此我能想到的是只能删除虚拟机重新克隆一台机器然而还是无法通过远程连接无奈之下我重启电脑发现又可以通过
温文尔雅的流氓·2024-02-07 10:39

Hadoop分布式计算实验踩坑实录及小结

目录Hadoop分布式计算实验踩坑实录及小结踩坑实录Hadoop学习Hadoop简介HDFSSomeconceptsMapReduce主要配置文件集群搭建来源与引用Hadoop分布式计算实验踩坑实录及小结踩坑实录单机
小童同学_·2024-02-07 10:08

【极数系列】Flink集成KafkaSink & 实时输出数据（11）

文章目录01引言02连接器依赖2.1kafka连接器依赖2.2base基础依赖03使用方法04序列化器05指标监控06项目源码实战6.1包结构6.2pom.xml依赖6.3配置文件6.4创建sink作业01引言KafkaSink可将数据流写入一个或多个Kafkatopic实战源码地址,一键下载可用：https://gitee.com/shawsongyue/aurora.git模块：aurora_
浅夏的猫·2024-02-07 10:37

Redis（九）集群（cluster）

文章目录概述作用1.redis集群的槽位slot2.redis集群的分片3.第1,2点的优势：**最大优势，方便扩缩容和数据分派查找**4.slot槽位映射，一般业界有3种解决方案第一种：哈希取余分区第二种
Lucky_Turtle·2024-02-07 10:26

Flink执行流程与源码分析（面试必问，建议收藏）

Flink主要组件作业管理器（JobManager）(1)控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的Jobmanager所控制执行(2)Jobmanager会先接收到要执行的应用程序
大数据左右手·2024-02-07 09:04

二进制方式部署k8s集群1.21版本-域名形式

二进制方式部署k8s-1.21版本-域名形式说明：系统参数主机名称IP地址部署节点部署组件m1192.168.11.187k8s1:masterk8s2:masterk8s1：etcd、apiserver、controller-manager、schedulerk8s2：etcd、apiserver、controller-manager、schedulern1192.168.11.188k8s1:
安安csdn·2024-02-07 09:57

【错误解决】etcdkeeper：context deadline exceeded

responseText”:“”,“status”:0,“statusText”:“error”}解决办法在装etcdkeeper的主机上的etcd配置文件加上http://127.0.0.1:2379etcd集群的地址用
安安csdn·2024-02-07 09:56

【错误解决】新建etcd集群报错：publish error: etcdserver: request timed out

所以要把etcd集群中所有主机都配置好，同时启动就OK了。所以，一定要同时启动，同时启动，同时启动。血与泪的教训呀！
安安csdn·2024-02-07 09:56

【错误解决】kubelet状态一直是 activing

场景使用二进制的方式搭建k8s集群现象kubelet状态一直是activingkubectlgetnode也没有任何资源原因通过journalctl-xefukubelet查看kubele日志发现：failedtorunKubelet
安安csdn·2024-02-07 09:56

[错误解决]centos中使用kubeadm方式搭建一个单master的K8S集群

安装步骤参考该大佬博客---------[ningan@k8s-masterpv]$kubectlgetpodTheconnectiontotheserverlocalhost:8080wasrefused-didyouspecifytherighthostorport?切换到root用户就好了-----------错误提示[ERRORFileContent–proc-sys-net-ipv4-i
安安csdn·2024-02-07 09:55

kubernetes CRD介绍及用kubebuilder编写自己的CRD及Controller

CRDapi2.4.3安装CRD2.4.4部署controller方法1：本地运行controller方法2：将controller部署到Kubernetes构建docker镜像并发布到仓库中部署镜像到集群
安安csdn·2024-02-07 09:55

[错误解决]centos中使用kubeadm方式搭建多master的高可用K8S集群

安装步骤部署KubernetesMaster时的错误部署KubernetesMaster时，创建了一个kubeadm-config.yaml文件，将相关配置信息放到这个地方，该文件如下：apiServer:certSANs:-master1-master2-master.k8s.io-192.168.44.158#虚拟ip-192.168.44.155#master1的ip-192.168.44.
安安csdn·2024-02-07 09:25

kyuubi 接入starrocks | doris

kyuubi接入starrocks一、环境Hadoop集群组件版本Hadoop3.1.1spark3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi
甜甜的巧克力阿·2024-02-07 09:48

Elasticsearch三节点集群搭建

Elasticsearch三节点集群搭建1、Elasticsearch简介Elasticsearch是一款近实时的分布式搜索、分析引擎，可以动态横向扩展以应对数据的增长。
TSLONG_TSL·2024-02-07 09:18

ElasticSearch三master节点集群状态查看方法

ES集群的状态实际上也是使用RESTful的接口，一般用的是GET方法http://[主机IP]:[ES端口]通常我们启动服务器之后，就可以通过这个简单的方式来验证服务器是否启动成功。
时倾 | 职业人生·2024-02-07 09:17

ELK日志系统技术架构

架构1.0问题和挑战：主要配置1.ES集群中所有节点使用虚拟机2.索引按照天生成3.数据节点负责数据的索引4.通过Nginx将用户的检索请求负载在数据节点运行状况部分索引节点负载非常高2.索引速度非常慢
leo_hush·2024-02-07 09:58

flink soruce详解

flink也如此。
loukey_j·2024-02-07 08:16

ES节点故障的容错方案

ES节点故障的容错方案1.es启动加载逻辑1.1segment和translg组成和分析1.2es节点启动流程1.3es集群的初始化和启动过程2.master高可用2.1选主逻辑2.1.1过滤选主的节点列表
李姓门徒·2024-02-07 08:22

Redis面试题——恕我无能只写到了第十个就写不下不去，我相信你们也看不下去了，这会已经一万五千字了，等后续有精力在补全吧

A：No以下是一些Redis的非单线程方面：持久化：复制：键过期和内存清理：模块系统：集群消息传播：客户端输入缓冲：因此二、Redis使用的多路I/O复用技术是什么？1、select:2、p
苏汀star·2024-02-07 08:54

Redis——面试+思想+应用

文章目录简介Redis基本介绍：性能：持久性和复制：补充——重点：Redis额外支持的操作：使用场景：与Java的集成：Redis集群RedisSentinel优点：缺点：适用场景：RedisCluster
苏汀star·2024-02-07 08:53

python炫酷代码_Python一行代码搞定炫酷可视化，你需要了解一下Cufflinks

原标题：Python一行代码搞定炫酷可视化，你需要了解一下Cufflinks导读：学过Python数据分析的朋友都知道，在可视化的工具中，有很多优秀的三方库，比如matplotlib，seaborn，plotly
weixin_39792472·2024-02-07 08:44

【Flink入门修炼】1-2 Mac 搭建 Flink 源码阅读环境

在后面学习Flink相关知识时，会深入源码探究其实现机制。因此，需要现在本地配置好源码阅读环境。
大数据王小皮·2024-02-07 08:10

K8S的容器执行kill命令怎么让重启容器

一、在k8s集群中重启容器的方法1、使用RollingRestart（滚动重启）：如果使用的是Deployment，StatefulSet等控制器，可以通过更新相关的Pod模板或配置来触发滚动重启。
NullzzZ·2024-02-07 07:25

k8s是什么，和docker有啥关系？

3，k8s的特性4，kubernetes集群架构和对应组件5，k8s核心概念我们都知道docker靠docker-compose单机编排容器，就是把多个容器放在脚本中一起运行，但是他是单机编排容器，如果我想实现多机编排呢
OSoooo·2024-02-07 07:20

一文搞懂Kafka中的listeners配置策略

集群节点之间同步什么数据，通过哪个端口，是否可以自定义端口？客户端通过哪个端口连接到kafka，通过9092连接的是什么，broker还是controller？
程序饲养员·2024-02-07 07:15

Redis核心技术与实战【学习笔记】 - 27.限制Redis Cluster规模的因素（通信开销）

简述RedisCluster能保存的数据量以及支撑的吞吐量，跟集群实例规模相关。Redis官方给出了RedisCluster的规模上线，就是一个集群运行1000个实例。
陈建111·2024-02-07 07:13

Flink-CDC实时读Postgresql数据

前言CDC,ChangeDataCapture,变更数据获取的简称，使用CDC我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括INSERT,DELETE,UPDATE等。用户可以在如下的场景使用cdc：实时数据同步：比如将Postgresql库中的数据同步到我们的数仓中。数据库的实时物化视图。Postgresql数据库配置Postgresql参数修改#更改wa
pigcoffee·2024-02-07 07:13

如何为Kafka加上账号密码（一）

Kafka认证基本概念一直以来，我们公司内网的Kafka集群都是在裸奔，只要知道端口号，任何人都能连上集群操作一番。直到有个主题莫名消失，才引起我们的警觉，是时候该考虑为它添加一套认证策略了。
程序饲养员·2024-02-07 07:12

Redis缓存高可用集群

Redis集群方案哨兵集群在redis3.0以前的版本要实现集群一般是借助哨兵sentinel工具来监控master节点的状态，如果master节点异常，则会做主从切换，将某一台slave作为master
车马去闲闲丶·2024-02-07 07:11

数据库学习案例20240206-ORACLE NEW RAC agent and resource关系汇总。

1集群架构图整体集群架构图如下：1数据库启动顺序OHASD层面操作系统进程init.ohasdrun启动ohasd.bininit.ohasdrun集群自动启动是否被禁用crsctlenablehas/
执笔画情ora·2024-02-07 06:46

Flink cdc debug调试动态变更表结构

Cannotfindfactorywithidentifier"mysql"intheclasspath.2.JsonFactory异常3.NoSuchMethodError异常其他结尾前言接着上一篇Flinkcdc3.0
yyoc97·2024-02-07 06:05

Spark scala如何本地运行

运行一个spark任务需要打包任务并上传到spark集群上运行，但是往往远端运行时间较长、众多处理器的日志收集困难，导
HanhahnaH·2024-02-07 06:03

【分布式技术专题】「Zookeeper中间件」Paxos协议的原理和实际运行中的应用流程分析

Paxos算法主要是针对Zookeeper这样的master-slave集群对某个决议达成
洛神灬殇·2024-02-07 06:45

【Flink】:No operators defined in streaming topology. Cannot execute.

在运行Flink的时候出现如下问题Exceptioninthread"main"java.lang.IllegalStateException:Nooperatorsdefinedinstreamingtopology.Cannotexecute.atorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment.getS
一杯咖啡半杯糖·2024-02-07 06:42
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他