flink高可用

pyflink中UDTF和UDF的区别

UDTF（UserDefinedTable-ValuedFunctions）和UDF（UserDefinedFunctions）在Flink和其他数据处理系统中有着明显的区别，主要体现在以下几个方面：输出类型
吉小雨·2024-09-07 14:58

PyFlink自定义函数

在PyFlink（ApacheFlink的PythonAPI）中，自定义函数分为三种主要类型：ScalarFunction（标量函数）、TableFunction（表函数）和AggregateFunction
吉小雨·2024-09-07 14:53

pyflink的窗口

PyFlink中的窗口操作教程在流处理应用中，窗口（Window）是一个非常重要的概念，它用于对无界的数据流进行切分，使得我们可以对流中的数据执行聚合、计数、排序等操作。
吉小雨·2024-09-07 14:53

MYSQL双主双从，使用Keepalived双机热备+LVS高可用群集

MYSQL双主双从，使用Keepalived双机热备+LVS高可用群集文档只记录Keepalived+LVS+mysql主从，不包含检验，如需检验，请自行添加web服务器一、IP规划服务器IP备注master1192.168.100.131master2
幽月静语·2024-09-07 13:21

Apache Flink 替换 Spark Stream的架构与实践( bilibili 案例解读)_streamsparkflink加载udf(1)

bilibili早期使用的引擎是SparkStreaming，后期扩展了Flink，在开发架构中预留了一部分引擎层的扩展。最下层是状态存储
2401_84165953·2024-09-07 12:44

探索Java中的分布式消息队列与事件总线：架构、实现与最佳实践

引言在现代分布式系统中，消息队列和事件总线已经成为实现松耦合、高扩展性和高可用性架构的关键组件。无论是微服务架构、事件驱动架构，还是实时数据处理，消息队列和事件总线都扮演着至关重要的角色。
๑҉ 晴天·2024-09-07 08:14

Redis&MQ

优点：异步、解耦、削峰缺点：系统可用性降低、系统复杂性提高、数据一致性问题引入MQ后，MQ宕机导致业务系统受影响，必须保证MQ的高可用引入MQ后，需要保证消息不丢失，保证不重复消费、消费的幂等性、顺序消费
`Oracle`·2024-09-06 20:35

大数据秋招面经之spark系列

3.repartition与coalesce4.spark的oom问题怎么产生的以及解决方案5.storm与flink,sparkstreaming之间的区别6.spark的几种部署方式：7.复习spark
wq17629260466·2024-09-06 19:54

81.MySQL-PXC高可用集群

1.第一个节点启动。Linux7:my.cnf文件需要拷贝到：/etc/my.cnf(非常重要)[root@mysql51~]#mysqlpxcbootstrap-pxcBootstrappingPXC(PerconaXtraDBCluster)InitializingMySQ[OK]se:StartingMySQL(PerconaXtraDBCluster)..[OK]当前集群只有一个节点。my
戒掉贪嗔痴(薛双奇)·2024-09-06 15:58

LVS基本介绍

使用LVS可以达到的技术目标是：通过LVS达到的负载均衡技术和Linux操作系统实现一个高性能高可用的Linux服务器群集，它具有良好的可
weixin_34144450·2024-09-06 15:57

mysql8.0使用PXC实现高可用

MySQL8.0使用PXC实现高可用1.概述官方文档:PerconaXtradbCluster8.0DocumentationPXC（PerconaXtraDBCluster）是一个开源的高可用性、高性能的
帽子运维笔记·2024-09-06 15:24

Kafka 如何保证数据不丢失？不重复

1.高可用型配置：acks=all，retries>0retry.backoff.ms=100(毫秒)(并根据实际情况设置retry可能恢复的间隔时间)优点：这样保证了producer端每发送一条消息都要成功
优秀后端工程师·2024-09-06 15:23

Mysql-PXC 高可用 Docker部署

mysqlha部署方案PXC环境#127.16网段作为测试网络dockernetworkcreate--subnet=172.16.0.0/16--driverbridgehfnet网段应用宿主映射说明172.19.129.98宿主host172.16.10.1:3306mysql3316172.16.10.2:3306mysql3326172.16.10.3:3306mysql3336172.1
haifengat·2024-09-06 15:22

MySQL 高可用--PXC

.PXC(PerconaXtradbCluster)Percona：基于MySQL数据库已二次开发的数据库产品xtradb：存储引擎Cluster：集群1.1概念：PXC是属于一套比较完美的MySQL高可用集群解决方案
行走的猫儿·2024-09-06 15:52

Apache Flink 运行时架构

Flink运行时架构Flink整个系统由两个主要部分组成JobManager和TaskManager，Flink架构也遵循Master-Slave架构设计原则，JobManager为Master节点，TaskManager
生病的毛毛虫·2024-09-06 04:44

Java 7.4 - 分布式锁

分布式锁基本要求：1、互斥2、高可用：锁服务时高可用的，即使获取锁的客户端出错，锁也一定会被释放，不影响其他线程对资源的访问。
没有韭菜的饺子·2024-09-06 04:39

Java实战：分布式ID生成方案

在分布式系统的设计与开发过程中，如何生成全局唯一、有序且高可用的ID是一个绕不开的核心问题。尤其是在电商、社交网络、金融交易等领域，ID不仅是业务数据的重要标识，还可能直接影响系统的稳定性和扩展性。
拥抱AI·2024-09-06 04:39

Flink生态与未来

本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKhaz核心组件栈Flink
weixin_30394333·2024-09-06 02:00

云计算之云数据库

3：配置简单：轻轻松松1分钟搭建主从等高可用架构。
weixin_34320724·2024-09-06 00:17

GBase 8c 分布式核心技术—CDC数据同步

GBase8c异地灾备集群间的不同节点采用各自对应的高可用部署方式，两地间采用同步或者异步复制的备份方式。可以抵御硬件级别故障、机房级别和城市级别灾难，两地之间距离可
manhuai2022·2024-09-05 19:11

腾讯云数据库（Redis）监控最佳指南

简介云数据库Redis（TencentDBforRedis）是由腾讯云提供的兼容Redis协议的缓存数据库，具备高可用、高可靠、高弹性等特征。
Tencent_Monitor·2024-09-05 16:21

Spring Cloud开发实战

SpringCloud是当今Java开发行业最为流行的分布式开发架构，使用其可以方便的搭建高可用、高性能、分布式的系统服务架构，本课程基于SpringCloudAlibaba的套件进行了实现架构的完整讲解
yootk·2024-09-05 11:47

Flink实践场景-通过DataStream KeyedProcessFunction统计每小时的出租车司机的收入

一、场景说明以及依赖请查看上一篇介绍Flink实践场景-通过DataStreamApi统计每小时的出租车司机的收入-CSDN博客二、KeyedProcessFunction介绍在Flink中，KeyedProcessFunction
似水_逆行·2024-09-05 10:12

Redis概述

一、为什么需要NoSQLHighperformance高并发读写HugeStorage海量数据的高效率存储和访问HighScalability&&HighAvailability高可拓展性和高可用性二、
AC编程·2024-09-05 03:08

实训34天（Docker与套接字的应用)

一、回顾1.主从复制（高可用）2.传统的主从复制3.gtids事务型的主从复制4.注意1）server_id唯一2）8.X版本需要get_ssl_pub_key3）5.X不需要4）changemasterto5
旧城少年666·2024-09-05 03:54

EMR组件部署指南

本文将详细介绍如何部署EMR的主要组件,包括:JDK1.8ElasticsearchKafkaFlinkZookeeperHBaseHadoopPhoenixScalaSparkHive准备工作所有操作都在
ivwdcwso·2024-09-05 00:05

kafka单条消息太大引起的线上故障

问题现象1.收到日志异常报警，一个Flink任务写入kafka消息出现了异常，异常消息如下org.apache.flink.streaming.connectors.kafka.FlinkKafkaException
ab342173024·2024-09-04 15:44

【MySQL数据库管理问答题】第14章 使用 MySQL InnoDB 集群实现高可用性

目录1.结合“体系结构”，请说明你对InnoDB集群的整体认知。2.请对组复制的原理和功能做一个完整的描述，并说明组复制有哪些先决条件和限制。3.MySQLShell(mysqlsh)和MySQLRouter(mysqlrouter)各自提供了什么样的集群管理功能？4.面对集群的重大停机事故，请给出你所能采取的恢复集群的办法和步骤。1.结合“体系结构”，请说明你对InnoDB集群的整体认知。（1）
summer.335·2024-09-04 14:31

Redis：支撑高并发及高可用复杂的缓存架构

这里写目录标题一、企业级Redis集群架构二、（nginx+lua）+redis+ehcache的三级缓存架构三、数据库+缓存双写一致性解决方案四、大key：缓存维度拆分解决方案五、如何提高缓存的命中率一、企业级Redis集群架构二、（nginx+lua）+redis+ehcache的三级缓存架构三、数据库+缓存双写一致性解决方案四、大key：缓存维度拆分解决方案五、如何提高缓存的命中率
玉成226·2024-09-04 12:51

12、Flink 解决流上的确定性最佳实践

最佳实践示例1运行流查询前主动开启TRY_RESOLVE模式，在检查到流查询中存在无法解决的NDU问题时，尽量按照错误提示修改SQL主动避免问题示例：FLINK-27639INSERTINTOt_join_sinkSELECTo.order_id
猫猫爱吃小鱼粮·2024-09-04 11:13

Flink详解系列之八--Checkpoint和Savepoint

一、Checkpoint获取分布式数据流和算子状态的一致性快照是Flink容错机制的核心，这些快照在Flink作业恢复时作为一致性检查点存在。
王吉吉real·2024-09-04 11:53

【架构-29】RPC

实现分布式系统在现代的软件应用中，尤其是大规模的企业级应用和互联网服务，往往需要构建分布式系统来满足高并发、高可用和可扩展性的要求。
W Y·2024-09-04 07:44

动态扩缩容-测试报告

确保扩缩容过程的平滑性和系统的高可用性。提高资源利用率-通过动态调整资源，避免资源浪费，降低成本。保障业务连续性-确保在高流量期间系统稳定运行，提升用户体验。
俊俏的萌妹纸·2024-09-04 05:28

写的很全面的Redis高可用技术解决方案大全

很多朋友向我咨询关于里面提到的高可用的方案的优缺点以及如何选择合适的方案线上使用，这里再整理发出来，供大家参考，如有不妥之处，欢迎批评指正，也欢迎推荐更好的技术方案。
JAVA架构师的圈子·2024-09-04 04:31

阿里云上云方案：Web与移动App云上部署解决方案

方案简介通过负载均衡SLB对多台云服务器ECS进行流量分发，并结合云数据库RDS，助力企业快速构建互联网高可用弹性的应用架构，同时方案整合云上计算、数据、存储等云服务实现Web与移动App
阿里云最新优惠和活动汇总·2024-09-04 02:47

zookeeper实践篇-Zookeeper经典分布式场景实践

上篇我们学习了zk的api基础实践，并且了解了zk原生api与一些开源实现的zk客户端框架的选择使用，本篇我们开始学习zk作为一个分布式协调工具在分布式场景中一些实现Zookeeper是一个高可用的分布式数据管理与分布式协调服务框架
逐梦々少年·2024-09-03 23:29

谈谈PhxSQL的设计和实现哲学（上）

AhighavailabilityMySQLclusterthatguaranteesdataconsistencybetweenamasterandslaves.摘要微信PhxSQL是一个提供Zookeeper级别强一致和高可用的
OpenIMup·2024-09-03 23:53

2022-Java 后端工程师面试指南 -(Redis）

Redis具有内置的复制，Lua脚本，LRU逐出，事务和不同级别的磁盘持久性，并通过RedisSentinel和RedisCluster自动分区提供了高可用性。说说Redis
倾听铃的声·2024-09-03 22:21

Gateway服务网关

服务网关：高性能，高可用一、流量网关与服务网关的区别流量网关：指提供全局性的、与后端业务应用无关的策略，如HTTPS证书认证、Web防火墙、全局流量监控、黑白名单等服务网关：指与业务紧耦合的、提供单个业务域级别的策略
HW--·2024-09-03 17:20

Nginx IP 哈希负载均衡配置：实现请求智能分发

在构建高可用的Web应用时，负载均衡是关键技术之一。Nginx是一个强大的负载均衡器，支持多种负载均衡策略，包括轮询、最少连接、IP哈希等。
2401_85763639·2024-09-03 16:46

Redis高可用方案：使用Keepalived实现主备双活

注意：请确保已经安装Redis和keepalived，本文不在介绍如何安装。1、使用版本说明Redis版本：5.0.2Keepalived版本：1.3.5Linux版本：Centos7.9查看Redis版本：/usr/local/redis/bin/redis-cli-v查看Keepalived版本信息：rpm-qa|grepkeepalived或者keepalived-v2、功能实现说明：使用K
广东数字化转型·2024-09-03 05:03

Flume介绍及调优

一、概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理
桓桓桓桓·2024-09-03 01:04

大数据技术之Flume

第1章Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。
okbin1991·2024-09-03 00:32

【HBase之轨迹】（1）使用 Docker 搭建 HBase 集群

——目录——0.前置准备1.下载安装2.配置（重）3.启动与关闭4.搭建高可用HBase前言（贫穷使我见多识广）前边经历了Hadoop，Zookeeper，Kafka，他们的集群，全都是使用Docker
寒冰小澈IceClean·2024-09-02 22:49

大数据开发技术HBase优化与特点分析

高可用在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久
at小白在线中·2024-09-02 13:32

MySQL 管理：全面指南

目录MySQL简介MySQL安装与配置MySQL性能优化MySQL安全性管理MySQL备份与恢复MySQL高可用与集群MySQL监控与维护MySQL常
wjs2024·2024-09-02 08:57

心跳机制大揭秘：Redis、数据库与 PING 命令的多面演绎

心跳机制被广泛应用于多种场景，以确保服务的高可用性和稳定性。比如Eureka的服务续约，Redis中的哨兵节点，Kubernetes的存活探针等等。今天我们来探究下心跳机制具体是如何实现的。
coding侠客·2024-09-01 23:00

MySQL基础学习：MySQL主从复制如何实现

这里写自定义目录标题一、为什么使用MySQL主从二、主从复制原理是什么三、如何保证主从一致一、为什么使用MySQL主从保证服务的高可用：当主机宕机的时候可以选择一个从节点作为主节点，保证了我们服务的高可用
玉成226·2024-09-01 15:39

Redis在linux环境集群部署详细介绍

而为了应对大规模数据存储和高可用性需求，Redis集群部署成为了必要的选择。本文将详细介绍如何在Linux环境下进行Redis集群部署，探讨不同的集群部署方式，并提供Docker部署示例。
J老熊·2024-09-01 14:02

消息中间件：深入理解 Kafka的消息顺序和一致性、可靠性和高可用性 第1版

消息中间件：深入理解Kafka的消息顺序和一致性、可靠性和高可用性第1版Kafka是一种分布式消息中间件，它能够处理大规模的实时数据流，是现代分布式系统中的关键组件。
upgrador·2024-09-01 09:00
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他