flink高可用

【大数据面试题】007 谈一谈 Flink 背压

一步一个脚印，一天一道面试题（有些难点的面试题不一定每天都能发，但每天都会写）什么是背压Backpressure在流式处理框架中，如果下游的处理速度，比上游的输入数据小，就会导致程序处理慢，不稳定，甚至出现崩溃等问题。出现背压的原因上游数据突然增大比如数据源突然数据量增大多倍，下游处理速度跟不上。就像平时的小饭店能处理的很轻松，突然到了过年人多了很多，就会需要客人排队。网络，机器异常等这个也好理解
Jiweilai1·2024-02-19 13:35

Apache Flink连载（二十八）：Flink细粒度资源管理（1）-适用场景和原理

个人主页：IT贫道-CSDN博客私聊博主：私聊博主加WX好友，获取更多资料哦~博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频目录
IT贫道·2024-02-19 13:03

[Flink02] Flink架构和原理

这是继第一节之后的Flink入门系列的第二篇，本篇主要内容是是：了解Flink运行模式、Flink调度原理、Flink分区、Flink安装。
YoungerChina·2024-02-19 13:32

七天爆肝flink笔记

一.flink整体介绍及wordcount案例代码1.1整体介绍从上到下包含有界无界流支持状态特点与spark对比应用场景架构分层1.2示例代码了解了后就整个demo吧数据源准备这里直接用的文本文件gradle
我才是真的封不觉·2024-02-19 13:01

【大数据面试题】008 谈一谈 Flink Slot 与 并行度

【大数据面试题】008谈一谈FlinkSlot与并行度配置并行度Parallelism概念作用Slot概念作用如何设置TaskManager任务管理器Flinksubmit脚本一步一个脚印，一天一道面试题该文章有较多引用文章
Jiweilai1·2024-02-19 13:01

hadoop硬件配置 高可用 datanode namenode硬件配置

每个分布式文件系统分块在NameNode的内存中大小约为250个字节，此外还要加上文件和目录所需的250字节空间。500字节一个块假设我们有5000个平均大小为20GB的文件并且使用默认的分布式文件系统分块大小（64MB）同时副本因子为3，5000*20GB=102400000M=97T那么NameNode需要保存5千万个分块的信息，这些分块的大小加上文件系统的开销总共需要1.5GB的内存。但是一
xcagy·2024-02-19 13:07

ACK One：构建混合云同城容灾系统

作者：蔡靖对于当前业务运行在IDC内的Kubernetes集群中，希望通过云计算为云下业务提供同城灾备的高可用冗余能力，可利用阿里云分布式云容器平台ACKOne[1]来提供统一得流量、应用和集群管理，实现业务流量的多集群路由和灾难情况下的流量的自动平滑容灾
·2024-02-19 12:35

ACK One：构建混合云同城容灾系统

作者：蔡靖对于当前业务运行在IDC内的Kubernetes集群中，希望通过云计算为云下业务提供同城灾备的高可用冗余能力，可利用阿里云分布式云容器平台ACKOne[1]来提供统一得流量、应用和集群管理，实现业务流量的多集群路由和灾难情况下的流量的自动平滑容灾
·2024-02-19 12:31

福利「Flink Forward Asia 2023 」PPT 阅读合集！

2023年12月8日-9日，FlinkForwardAsia（FFA）峰会成功举行。
·2024-02-19 11:20

Flink和Kafka端到端数据一致性

Flink内部把Checkpoint开启，设置Checkpoint模式为EXACTLY_ONCEenv.enableCheckpointing(1000*10L);env.getCheckpointConfig
今天好好洗头了嘛·2024-02-19 10:19

Flink介绍

Flink介绍1.简介ApacheFlinkisaframeworkanddistributedprocessingengineforstatefulcomputationsoverunboundedandboundeddatastreams.Flinkhasbeendesignedtoruninallcommonclusterenvironments
·2024-02-19 10:08

MySQL之MHA高可用配置及故障切换

MHA（MasterHighAvailability）是一个用于管理MySQL复制集群的高可用解决方案。MHA可以自动处理主服务器（Master）的故障并进行故障切换，同时还可以最小化复制延迟。
·2024-02-19 10:33

大厂的供应链采购系统设计

负责：中央/分销预订系统性能优化活动&优惠券等营销中台建设交易平台及数据中台等架构和开发设计目前主攻降低软件复杂性设计、构建高可用系统方向。
·2024-02-19 10:16

[AIGC] Kafka 的 Rebalance 机制：保证分区的可靠性和高可用性

在分布式系统中，Kafka是一种流处理平台，具有高吞吐量、低延迟和可扩展性等特点。在Kafka中，消费者组是一组消费者的集合，它们共同消费一个topic的所有分区。在消费者组中，每个分区只能由一个消费者消费，这个消费者被称为leader，其他消费者被称为follower。在Kafka中，Rebalance是一个重要的概念，它用于在消费者组中分配分区。当有新的消费者加入消费者组，或者消费者组中的消费
程序员三木·2024-02-15 10:55

Redis缓存穿透和缓存雪崩以及解决方案

Redis缓存穿透和缓存雪崩以及解决方案缓存穿透解决方案布隆过滤缓存空对象比较缓存雪崩解决方案保证缓存层服务高可用性依赖隔离组件为后端限流并降级数据预热缓存并发分布式锁缓存穿透缓存穿透是指查询一个一定不存在的数据
安晓生·2024-02-15 08:02

Flink SQL Query 语法（三）- Join

主要引用官方文档https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/dev/table/sql/queries/joins
Alex90·2024-02-15 06:18

Hbase - 自定义Rowkey规则

在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取
kikiki2·2024-02-15 06:39

运维工程师的转型与升级：解析35岁半衰期现象及其应对策略

目录什么是运维工程师1.系统维护：2.故障排除：3.安全管理：4.性能优化：5.自动化流程：6.云计算服务：运维工程师需要学什么Linux系统知识：网络基础知识：企业级负载集群：高可用集群：运维监控：脚本编程
Srlua·2024-02-15 02:11

基于Apache Flink的实时计算引擎Blink在阿里搜索中的应用

阿里巴巴是世界上最大的电子商务零售商。我们在2015年的年销售额总计3940亿美元，超过eBay和亚马逊之和。阿里巴巴搜索(个性化搜索和推荐平台)是客户的关键入口，并承载了大部分在线收入，因此搜索基础架构团队需要不断探索新技术来改进产品。在电子商务网站应用场景中，什么能造就一个强大的搜索引擎?答案就是尽可能的为每个用户提供实时相关和准确的结果。同样一个不容忽视的问题就是阿里巴巴的规模，当前很难找到
weixin_34186950·2024-02-15 01:50

基于 Apache Flink 的实时计算数据流业务引擎在京东零售的实践和落地

内容主要包括五个方面：京东零售实时计算的现状实时计算框架场景优化：TopN场景优化：动线分析场景优化：FLINK一站式机器学习点击查看更多技术内容一、京东零售实时计算的现状1.1现状技术门槛高、学习成本大
Apache Flink·2024-02-15 01:50

Flink在实时搜索引擎领域的应用

ApacheFlink是一个流处理框架，它可以处理大规模的流数据，并提供了实时计算能力。在实时搜索引擎领域，Flink可以用于实时处理搜索关键词、计算搜索结
禅与计算机程序设计艺术·2024-02-15 01:46

TiDB分布式关系型数据库简介

1.关于TiDBTiDB是由PingCAP公司开源的一款分布式关系型数据库，它支持水平扩展、强一致性和高可用性。TiDB兼容MySQL协议，可以无缝替代MySQL，特别适合处理大规模数据的场景。
翔云123456·2024-02-15 01:11

聊聊PowerJob Server的高可用

序本文主要研究一下PowerJobServer的高可用PowerJobSpringWorkertech/powerjob/worker/PowerJobSpringWorker.javapublicclassPowerJobSpringWorkerimplementsApplicationContextAware
·2024-02-14 23:51

Redis的哨兵系统

哨兵系统能够在Redis实例出现问题时自动进行故障转移，确保系统的高可用性。其工作原理如下：监控（Monitoring）:哨兵会不断地检查你的主节点和从节点是否运行正常。
Persistence is gold·2024-02-14 20:29

基于Kafka的实时计算引擎如何选择？

以Flink和Spark为首的实时计算引擎，成为实时计算场景的重点考虑对象。那么，今天就来聊一聊基于Kafka的实时计算引擎如何选择？FlinkorSpark？2.为何需要实时计算？
java菜·2024-02-14 19:37

企业级利器，阿里云 NVMe 盘和共享存储

7x24高可用是怎样炼成的？现实世界中单点故障是常态，确保故障下业务连续性是高可用系统的核心能力，那么在金融、保险、政务等关键应用中，如何保证业务7*24高可用？
阿里云技术·2024-02-14 18:50

LVS/DR&LVS高可用集群

一、基本知识HeartbeatHeartbeat项目是Linux-HA工程的一个组成部分，其与lvs在本质上无关。Heartbeat提供了2个核心的功能正是lvs所需要的，心跳监测部分和资源接管，心跳监测可以通过网络链路和串口进行，而且支持冗余链路，安装了Heartbeat的两台机器会通过心跳检测互相检测对方的状态，当检测到对方失效的时候会调用资源接管来做接管服务器，保证高可靠性。在一个高可靠的l
Hannah_zh·2024-02-14 18:39

在Ubuntu 14.04上使用Consul服务发现系统的介绍

简介Consul是一个分布式、高可用、数据中心感知的服务发现和配置系统。它可以用来呈现服务和节点，提供灵活和强大的接口，使客户端始终能够获取其所属基础设施的最新视图。
白如意i·2024-02-14 17:30

Flink教程

1.Flink运行框架1.1运行组件：作业管理器（JobManager）:请求slot资源管理器（ResourceManager）:管理slot任务管理器（TaskManager）:提供slot，执行任务分发器
July2333·2024-02-14 15:20

02-flink基本架构

02-flink基本架构flink基本组件栈flink基本组件栈.pngAPI&Libraries同时提供了流计算和批计算的接口，同时在此基础上抽象出不同的应用类型的组件库Runtime核心层主要负责对上层不同接口提供基础服务
蜗牛写java·2024-02-14 13:54

网易面试：请设计一个高可用性的软件架构，说明设计思路

尼恩说在前面在40岁老架构师尼恩的读者交流群(50+)中，最近有小伙伴拿到了一线互联网企业如阿里、滴滴、极兔、有赞、希音、百度、网易、美团的面试资格，遇到很多很重要的面试题：请设计一个高可用性的软件架构
40岁资深老架构师尼恩·2024-02-14 12:41

2021金三银四面试跳槽必备：15个互联网大厂Java高级工程师核心面试宝典

集合22题及答案解析JVM与调优21题及答案解析并发编程28题及答案解析Spring25题及答案解析23种设计模式解析SpringBoot25题及答案解析分布式高并发架构解析（消息队列，分库分表，事务，高可用
码农小芷·2024-02-14 11:43

Flink基础系列34-Flink CEP简介

一.什么是CEP复杂事件处理（ComplexEventProcessing，CEP）FlinkCEP是在Flink中实现的复杂事件处理（CEP）库CEP允许在无休止的事件流中检测事件模式，让我们有机会掌握数据中重要的部分一个或多个由简单事件构成的事件流通过一定的规则匹配
只是甲·2024-02-14 08:30

Sentinel服务流控

以及熔断降级来保护系统资源QPS超过阈值直接失败流量控制（flowcontrol），其原理是监控应用流量的QPS或并发线程数等指标，当达到指定的阈值时对流量进行控制，以避免被瞬时的流量高峰冲垮，从而保障应用的高可用性
高冷大猛男·2024-02-14 06:56

高并发系统的设计(1)

简历上写了有大数据、高并发、高可用、分布式系统的架构设计以及研发经验。我把经验写一些。系统的并发量高,怎么办?多上几台服务器,搞个集群!为什么要这么干呢?
Fuly1024·2024-02-14 05:32

深入理解负载均衡：关键概念与实践

负载均衡是现代IT架构中不可或缺的组件，它能确保高可用性和可靠性，同时提升用户体验。在本文中，我们将深入探讨负载均衡的关键概念和实践技巧，以帮助你更好地理解其在系统设计中的重要性。什么是负载均衡？
一休哥助手·2024-02-14 04:45

中移在线：基于openGauss的数据库自主创新替代实践

中移在线基于openGauss输出了安全可控、数据无损、业务低感知的自主创新数据库替代方案，不仅满足了业务应用的自主创新转型要求，其高可用架构和高性能优势也提升了业务系统的稳定性和服务效率。
renxyz·2024-02-14 04:40

京东云StarDB for openGauss实现混合多云场景元数据安全可控

基于openGauss产品的高性能、高可用、高智能、高安全四大核心特性，京东云推出了StarDBforopenGauss的商业版本，作为一款基
renxyz·2024-02-14 04:39

一万字详解 Redis Cluster Gossip 协议

单机无法保证高可用，需要引入多实例来提供高可用性单机能够提供高达8W左右的QPS，再高的QP
爱PSUI设计的星星·2024-02-14 02:42

Flink 1.7.0 安装、配置与使用

本地单机安装ApacheFlink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。
编码前线·2024-02-13 22:57

一文彻底搞懂Redis的三种集群模式

文章目录1.主从模式1.1基本原理1.2工作机制1.3优缺点2.哨兵模式2.1基本原理2.2工作机制2.3优缺点3.集群模式3.1基本原理3.2工作机制3.3优缺点4.总结redis高可用的三种模式：主从模式
澡澡洗澡澡·2024-02-13 22:24

高可用-性能测试-入门

性能测试一般情况下都是由测试这个职位去做的，那还需要我们开发学这个干嘛呢？了解性能测试的指标、分类以及工具等知识有助于我们更好地去写出性能更好的程序，另外作为开发这个角色，如果你会性能测试的话，相信也会为你的履历加分不少。这篇文章是我会结合自己的实际经历以及在测试这里取的经所得，除此之外，我还借鉴了一些优秀书籍，希望对你有帮助。本文思维导图：#一不同角色看网站性能#1.1用户当用户打开一个网站的时
无心六神通·2024-02-13 19:25

高可用-超时-重试-详解

由于网络问题、系统或者服务内部的Bug、服务器宕机、操作系统崩溃等问题的不确定性，我们的系统或者服务永远不可能保证时刻都是可用的状态。为了最大限度的减小系统或者服务出现故障之后带来的影响，我们需要用到的超时（Timeout）和重试（Retry）机制。想要把超时和重试机制讲清楚其实很简单，因为它俩本身就不是什么高深的概念。虽然超时和重试机制的思想很简单，但是它俩是真的非常实用。你平时接触到的绝大部分
无心六神通·2024-02-13 19:55

高可用架构

一、高可用架构概述1、单点故障概念：业务只运行在一台服务器上，如果服务器出现故障，就会造成业务中断，甚至数据丢失。2、高可用架构：(1)概念：高可用架构是指计算机系统能够保证无故障持续运行的概率。
Bean295·2024-02-13 17:45

hadoop 分布式集群安装与原理

我们分享一套能让您轻松完成集群搭建的方法，包括Hadoop的源码编译、企业级环境安装与配置和常用大数据组件的基本原理，请点击下面连接按笔记顺序进行学习服务器基础环境批量操作多台服务器zookeeper编译hadoop源码高可用
海牛大数据_青牛老师·2024-02-13 12:44

Flink SQL实战演练之CDC Connector

简介：公司实时项目组处理的业务数据以前是由业务团队把数据push到rabbitmq，然后我们通过flink转运到kafka，然后再做实时计算的，由于新业务逻辑变化会较大，导致推送过来的数据偶尔会出现偏差
Coder小咚·2024-02-13 10:43

阿里内部“高并发通关秘籍”曝光，看完带给你独一无二的认知！

引言众所周知，软件系统有三高：高并发、高性能、高可用。三者既有区别也有联系，门门道道很多，全面讨论可以大战三天三夜。
码农小芷·2024-02-13 09:38

一二三应用开发平台文件处理设计与实现系列之7——minio多节点共享磁盘模式验证

背景在不了解minio架构设计之前，我根据既往经验推测minio是将文件读写封装实现了一个应用系统，如要实现高可用，则需要部署两个minio节点，共享同一块磁盘。
学海无涯，行者无疆·2024-02-13 09:55

linux系统tomcat使用session复制和共享

session复制和session共享技术高可用性和容错性：通过复制或共享Session，当一个Tomcat实例发生故障或停机时，其他实例可以接管并继续处理用户请求，而不会丢失Session数据。
丨析木丨·2024-02-13 07:49

网易有道 | REDIS 云原生实战

REDIS云原生实战摘要本次以Redis为范例，阐述了有道基础架构团队在基础设施容器化道路上的实践，主要将从声明式管理，Operator工作原理，容器编排，主从模式，集群模式，高可用策略，集群扩缩容等方面展开
有道AI情报局·2024-02-13 05:16
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他