flink高可用

Flink的ListState在小规模场景下的缓存提速和接口优化丰富的实践

实时计算功能，底层是基于Flink，我们在此基础上开发辅助插件和可视化开发运维套件，我们将其称之为SailFlink。
OkGogooXSailboat·2024-01-17 18:36

Aviator表达式扩展--数组、列表负向序号索引以及自己的JSON库支持方括号([])赋值

1.背景笔者开发的大数据大数据平台XSailboat中的DataStudio模块包含基于DAG图的实时计算可视化开发功能，实现了Flink计算任务的可视化开发（想要了解更多，可以查看《Flink的DAG
OkGogooXSailboat·2024-01-17 18:36

关于Flink在一条计算管道中配置流和数据流通过广播方式合流的情形下，无保存点和检查点重跑时，让配置流先行，数据流等延迟几秒再进入合流节点的思考

1.背景笔者带领的团队在自研的大数据平台XSailboat上进行专家策略规则的计算管道开发时，遇到这样一种情形：计算管道中存在一条配置流和数据流通过广播方式合流的情形。配置流和数据流的输入源都是Kafka主题，但是是两个不同的Kafka主题。配置流的Kafka主题中存储的是规则配置，数据流中存储的是要分析的数据。在开发调试的时候，这两个主题中已有数据，一调试运行，数据流先到达被处理，配置流晚到，造
OkGogooXSailboat·2024-01-17 18:36

增加Java对象序列化和反序列化灵活性、适应性的方法

1.背景笔者在进行SailFlink框架开发的时候，涉及大量需要序列化和反序列的类，尤其是各种算子的Function方法。
OkGogooXSailboat·2024-01-17 18:06

本地运行Flink退出时java.nio.file.DirectoryNotEmptyException、目录没有正常删除解决方法

1.背景在开发大数据平台XSailboat中的查看Flink任务的状态数据工具时，用StateProcessAPI解析保存点数据，将其从HDFS上读取出来再将其解析过后下沉到HDFS以CSV格式保存，然后由其它接口提供对这个文件的分页加载功能
OkGogooXSailboat·2024-01-17 18:05

Flink的Reduce算子，Name-Position形式的Row数据在使用保存点/检查点重新启动的时候，变成了Position-Based形式的Row解决

1.背景大数据平台XSailboat提供了基于ApacheFlink的实时计算管道开发功能。DataStudio的实时计算管道开发功能中提供了分区规约节点(keyBy+reduce)。
OkGogooXSailboat·2024-01-17 18:05

基于大数据平台(XSailboat)的计算管道实现MySQL数据源的CDC同步--flink CDC

1.背景笔者在先前的一篇文档《数据标签设计–大数据平台(XSailboat)的数据标签模块》提到了关于数据标签的模块，现已实现并应用于项目中。在项目中遇到这样一种情形：在业务系统中，对某类对象打了标签，现在需要对这类对象进行过滤并分页查询，支持使用这类对象的属性和所打标签进行过滤。这就出现了一个问题：标签和打标信息是存储在大数据平台的数据库中的，而业务数据是存储在业务系统数据库中的，这是两个数据库
OkGogooXSailboat·2024-01-17 18:05

flink1.15消费kafka之checkpoint 二

前言上一篇讲解了checkpoint恢复的流程，以及checkpoint恢复时如何从状态中获取topic、partition，开始offset值，本篇主要如何取到offset值进行消费的。流程Task运行时，首先调用doRun方法：publicvoidrun(){try{doRun();}finally{terminationFuture.complete(executionState);}}pr
zhiyi329·2024-01-17 16:29

2024.1.16 用户画像day01 - 项目介绍

elasticSearch-业务数据源导入-离线指标开发-Flume实时采集-Nginx日志埋点数据-结构化流实时指标-制作报表数仓开发用户画像实时开发hive-spark数据挖掘结构化流-Flume-Kafka-Flink
白白的wj·2024-01-17 15:40

Flink Sql on Zeppelin（2）——维表Join

维表join代码编写之前在讲FlinkSql的时候和大家聊过维表以及如何用FlinkSql来完成维表Join现在带大家看看如何用Zeppelin来实现这个功能首先，我们先引入我们所需的依赖包，目前大家先跟着我这么写
狄杰丶·2024-01-17 15:33

DolphinDB 高可用集群迁移指南

在业务发展初期，资源有限的情况下，为了提高系统的可用性，我们会搭建一个伪高可用环境。伪高可用集群的特点在于其控制节点的元数据文件虽然有多副本，但存在多副本在同一台服务器的情况。
DolphinDB智臾科技·2024-01-17 15:19

LVS负载均衡群集

在各种互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器已经无法满足负载均衡及高可用的要求。
黄润程·2024-01-17 15:38

Keepalived双机热备

技能展示：会构建双机热备系统会构建LVS+HA高可用群集在这个高度信息化的IT时代，企业的生产系统、业务运营、销售和支持，以及日常管理等环节越来越依赖于计算机信息和服务，对高可用（HA）技术的应用需求不断提高
黄润程·2024-01-17 15:37

FlinkSQL【分组聚合-多维分析-性能调优】应用实例分析

FlinkSQL处理如下实时数据需求：实时聚合不同类型/账号/发布时间的各个指标数据，比如：初始化/初始化后删除/初始化后取消/推送/成功/失败的指标数据。
PONY LEE·2024-01-17 14:44

sqlserver-＞clickhouse迁移数据

网上看了很多cdc的方案，说实在的，flink也不好弄，主要是驱动。
kaka9·2024-01-17 14:20

Redis哨兵：分布式世界的守护者

2.Redis哨兵的原理解析2.1监控节点状态2.2故障切换2.3提供通知2.4配置中心3.Redis哨兵的应用场景3.1高可用性的保障3.2动态扩展与缩容3.3配置管理的便捷4.使用Redis哨兵的步骤
喔的 喔的嘛呀·2024-01-17 14:49

ZooKeeper 应用场景深度解析

目录引言1.分布式配置管理2.分布式锁3.分布式队列4.分布式协调5.分布式协同6、数据发布与订阅7、命名服务8、集群管理结论引言ZooKeeper是一个分布式协调服务，被广泛应用于构建高可用、可靠性强的分布式系统
喔的 喔的嘛呀·2024-01-17 14:18

RabbitMQ源码面试问题与答案（一万六千字让你精通RabbitMQ）

4.RabbitMQ集群和高可用性问题1:Rabbit
小王要努力ぴ·2024-01-17 13:50

【Flink-1.17-教程】-【二】Flink 集群搭建、Flink 部署、Flink 运行模式

【Flink-1.17-教程】-【二】Flink集群搭建、Flink部署、Flink运行模式1）集群角色2）Flink集群搭建2.1.集群启动2.2.向集群提交作业3）部署模式3.1.会话模式（SessionMode
bmyyyyyy·2024-01-17 12:16

StreamX流批一体一站式大数据平台：大数据Flink可视化工具的革命性突破，让你的数据更高效、更直观！

介绍：StreamX，开源的流批一体一站式大数据平台，致力于让Flink开发更简单。它极大地降低了学习成本和开发门槛，使开发者可以专注于最核心的业务。
知识分享小能手·2024-01-17 12:15

Flink旁路输出OutputTag

文章目录前言代码示例1.流复制2.条件分流3.迟到数据分流前言除了由DataStream操作产生的主要流之外，还可以产生任意数量的旁路输出结果流。结果流中的数据类型不必与主要流中的数据类型相匹配，并且不同旁路输出的类型也可以不同。当你需要拆分数据流时，通常必须复制该数据流，然后从每个流中过滤掉不需要的数据。使用旁路输出时，首先需要定义用于标识旁路输出流的OutputTag：//需要使用匿名内部类，
shandongwill·2024-01-17 12:42

rabbitmq-java基础详解

1、MQ定义MQ（MessageQueue）消息队列主要解决：异步处理、应用解耦、流量削峰等问题，是分布式系统的重要组件，从而实现高性能，高可用，可伸缩和最终一致性的架构，rabbitmq是消息队列中的一种
CAUC_lin·2024-01-17 11:30

Hbase - 自定义Rowkey规则

在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取
kikiki2·2024-01-17 11:48

ElasticSearch（五）集群架构

一、ES集群架构特性：高可用可扩展优势：提高系统可用性，部分节点停止服务整个集群不受影响存储可水平扩展概念集群一个集群可以有一个或者多个节点不同的集群通过不同的名字来区分，默认名字“elasticsearch
匠道·2024-01-17 11:45

关于K8S组件，你真正了解多少？

Kubernetes系统最重要的设计因素之一是能够横向扩展，即调整应用程序的副本数以提高可用性。设计一套大型系统，且保证其运行时健壮、可扩展、可移植和非常具有挑
云原生实战指南·2024-01-17 10:01

SpringBoot Redis入门（四）——Redis单机、哨兵、集群模式

单机模式：单台缓存服务器，开发、测试环境下使用；哨兵模式：主-从模式，提高缓存服务器的高可用和安全性。所有缓存的数据在每个节点上都一致。
wolf犭良·2024-01-17 08:57

互联网程序员面试方向有哪些

系统设计：包括高可用、高性
打工人何苦为难打工人·2024-01-17 08:27

Elastic-Job分布式调度学习

单机处理极限:我们使用SpringTask定时器也是可以做得到,但是单机的性能(CPU,内存,硬盘)始终有限,对于海量的数据处理会有一定的极限高可用:如果单机宕机了,单点故障导致整个任务调度无法使用,所以需要保证任务的高可用性防止重复执行
南瓜战士·2024-01-17 08:24

Spark master HA

1.原理只针对Spark自带的Standalone资源调度框架,因为Yarn本身就是高可用的Standalone集群只有一个Master，如果Master挂了就无法提交应用程序，需要给Master进行高可用配置
乔一波一·2024-01-17 08:34

flink1.15 维表join guava cache和mysql方面优化

优化前mysql响应慢,导致算子中数据输出追不上输入,导致显示cpubusy:100%优化后效果两个图对应两个时刻:----优化前selectl.id,JSON_EXTRACT(r.msg,'$$.key1')asmsgv(selectid,uidfromtb1lwhereid=?)join(selectuid,msgfromtb2)ronl.uid=r.uid;--优化后分两次查询mysql并且
Thomas2143·2024-01-17 08:10

阿里云服务器ECS有哪些优势？与普通IDC对比有哪些优势？

与普通的IDC机房或服务器厂商相比，阿里云提供的云服务器ECS具有高可用性、安全性和弹性的优势。
有头发程序猿·2024-01-17 08:09

AWS 专题学习 P3 (RDS、Aurora、ElastiCache)

RDS—StorageAutoScalingRDSReadReplicasReadScalabilityUseCasesNetworkCostRDS多可用区（灾难恢复）RDS—从单可用区到多可用区RDSCustom2.AmazonAuroraAurora高可用性和只读扩展
喵王叭·2024-01-17 06:16

Flink实战之运行架构

本文章：重点是分析清楚运行架构以及并行度与slot的分配1、JobManager和TaskManagerFlink中的节点可以分为JobManager和TaskManager。
core512·2024-01-17 06:16

FlinkAPI开发之水位线（Watermark）

案例用到的测试数据请参考文章：Flink自定义Source模拟数据流原文链接：https://blog.csdn.net/m0_52606060/article/details/135436048Flink
Appreciate(欣赏)·2024-01-17 06:08

FlinkAPI开发之处理函数

案例用到的测试数据请参考文章：Flink自定义Source模拟数据流原文链接：https://blog.csdn.net/m0_52606060/article/details/135436048概述之前所介绍的流处理
Appreciate(欣赏)·2024-01-17 06:03

深入理解与应用Flink中的水印机制

在ApacheFlink这一现代大数据处理框架中，对实时流数据的高效、准确处理是一个核心诉求。
临界爵迹·2024-01-17 06:03

Redis主从+哨兵集群(基于CentOS-8.0)高可用部署方案

目录一、环境描述二、Redis主从集群部署2.1Redis下载2.2Redis解压和移动文件2.4编译、安装Redis2.6新建bin和etc文件夹2.7分发Redis2.8配置2.8.1主节点配置2.8.2从节点配置2.9启动Redis服务2.10验证主从服务2.11查看节点角色信息2.12查看节点信息2.13测试发送信息三、Redis哨兵集群部署3.1哨兵配置3.2启动哨兵3.3哨兵检查、容灾
夜夜流光相皎洁_小宁·2024-01-17 05:30

【总结】Dinky学习笔记

概述Dinky是一个开箱即用、易扩展，以ApacheFlink为基础，连接OLAP和数据湖等众多框架的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践官网：Dinky核心特性沉浸式：提供专业的DataStudio
THE WHY·2024-01-17 04:11

Flink启动Yarn Session报错：Couldn‘t deploy Yarn session cluster

Flink版本：1.1.3启动YarnSession的语句：bin/yarn-session.sh-nmtest-d报错截图如下：仅通过ERROR信息只能知道是yarnsession集群未能正常启动，因此继续向下查找
THE WHY·2024-01-17 04:09

Flink实例：状态管理State 过期时间TTL

1State过期时间TTL使用flink进行实时计算中，会遇到一些状态数不断累积，导致状态量越来越大的情形。
大数据供成屎·2024-01-17 01:44

【状态管理｜概述】Flink的状态管理：为什么需要state、怎么保存state、对于state过大怎么处理

文章目录一.state相关1.state种类2.State的存在形式3.state在哪产生4.state内存设置二.statebackend1.三种状态后端2.如何在hdfs中存储？3.设置checkpoint3.1.大状态下设置checkpoint3.2.EXACTLY_ONCE下设置分析checkpoint三.State设置过期时间1.datastream的TTL2.TableAPI和SQL的
roman_日积跬步-终至千里·2024-01-17 01:13

Flink State 状态管理

文章目录前言一、状态分类二、keyed代码示例ListStateMapState总结前言状态在Flink中叫做State，用来保存中间计算结果或者缓存数据。
shandongwill·2024-01-17 01:43

mysql-高可用架构类设计中会遇到的问题???

高可用架构类设计问题一:mysql的主从复制是如何工作的???
Joah_l·2024-01-17 01:15

flume

第1章Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。
添柴少年yyds·2024-01-17 00:55

13. Spring Cloud Alibaba 负载均衡组件 - Ribbon详解

服务端负载均衡负载均衡是微服务架构中必须使用的技术，通过负载均衡来实现系统的高可用、集群扩容等功能。负载均衡可通过硬件设备及软件来实现，硬件比如：F5、Array等，软件比如：LVS、Nginx等。
Zal哥哥·2024-01-16 23:47

Keepalived 软件实现高可用群集的介绍及环境部署

keepalived软件介绍：keepalived起初是专门针对LVS负载均衡设计的一款强大的辅助工具，用来管理并监控LVS集群系统中各个服务节点的状态，后来又加入了可以实现高可用的VRRP功能。
努力转型的IT小王·2024-01-16 22:07

【高可用】SQL Server 2019 无域+WSFC搭建Always On环境图文步骤

SQLServer2019无域+WSFC搭建AlwaysOn环境简介利用WSFC+AlwaysOn实现双击热备方案选择环境介绍服务器配置安装故障转移修改主机名并加入域修改hosts文件防火墙规则修改DNS新建故障转移集群（任一台服务器）方案一用户界面操作方案二命令脚本验证故障转移是否成功（任意一台电脑关机）设置共享文件
厦门德仔·2024-01-16 22:00

大型网站性能优化之服务器端性能优化总结

之前我们总结了，网站的架构设计中需要关注的五点架构要素，分别是性能、高可用、伸缩性、拓展性、安全性，前面我们已经总结了网站性能测试中，需要测试的几点性能指标，我们通过性能测试得出指标后，就需要去优化性能
先生zeng·2024-01-16 22:00

Redis主从复制、哨兵模式、群集模式

目录一、Redis主从复制（一）定义（二）作用1.数据冗余2.故障恢复3.负载均衡4.高可用基石（三）缺陷（四）流程（五）搭建Redis主从复制1.安装Redis（1）环境准备（2）修改内核参数（3）安装
江南字子川·2024-01-16 21:17

参加数据库活动，学习知识，领取奖品

去年12月1日我发了一篇关于数据库高可用的文章《我们的数据库需要什么样的HA？》，文中介绍了阿里云PolarDBMySQL通过了热备无感秒切技术，解决了HA场景下的故障探测、切换速度和切换体验的问题。
yangyidba·2024-01-16 20:19
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他