flink高可用

RabbitMQ集群搭建

rabbitMQ的两种重要特性,异步化提高系统抗峰值能力和系统及功能解耦，这两个特点决定了rabbitMQ在我们的系统中占据了重要的地位，所以为了让RabbitMQ高可用，我们今天就来讲解下RabbitMQ
AmosZhu·2024-02-06 10:12

Golang学习教程

Golang的主要关注点是使得高可用性和可扩展性的Web应用的开发变得简便容易。
wx479·2024-02-06 09:50

MySQL组复制的介绍

通过结合原理图学习这些概念，可以很好的帮助我们理解组复制技术这一MySQL高可用方案，有利于提升我们对组复制的管理能力，以及为部署组复制和学习InnoDBCluter打下理论基础。
lu9up·2024-02-06 08:09

flume+Kafka+flink实时统计实战(单机版)

下面有些命令由于Kafka版本原因可能会报下面这种错误，请注意：ApacheKafka:bootstrap-serverisnotarecognizedoption2.5.0之前的版本使用broker-list2.5.0之后的版本使用bootstrap-server#Kafka启动服务安装配置好zookeeper，添加好环境变量，打开cmd，输入命令启动服务。zkServer或bin/zkServ
xiaolege_·2024-02-06 08:30

系统架构演变详解

随着用户量的不断增加、业务功能的扩展逐步，系统架构变得更加完美具备了高性能、高可用、安全性等特性。在互联网发展的早起，我们经常会在一台机器上运行所有的程序和软件。
悦.L·2024-02-06 08:00

FlinkCDC-Hudi:Mysql数据实时入湖全攻略五：FlinkSQL同时输出到kafka与hudi的几种实现

前序：FlinkCDC-Hudi系列文章：FlinkCDC-Hudi:Mysql数据实时入湖全攻略一：初试风云FlinkCDC-Hudi:Mysql数据实时入湖全攻略二：Hudi与Spark整合时所遇异常与解决方案
大数据点灯人·2024-02-06 08:25

Flink CDC 与 Kafka 集成：State Snapshot 还是 Changelog？Kafka 还是 Upsert Kafka？

我们知道，尽管FlinkCDC可以越过Kafka，将关系型数据库中的数据表直接“映射”成数据湖上的一张表（例如Hudi等），但从整体架构上考虑，维护一个Kafka集群作为数据接入的统一管道是非常必要的，
　Laurence·2024-02-06 08:52

Flink cdc3.0动态变更表结构——源码解析

文章目录前言源码解析1.接收schema变更事件2.发起schema变更请求3.schema变更请求具体处理4.广播刷新事件并阻塞5.处理FlushEvent6.修改sink端schema结尾前言上一篇Flinkcdc3.0
yyoc97·2024-02-06 08:01

【Flink入门修炼】1-1 为什么要学习 Flink？

什么是Flink？为什么要学习Flink？Flink有什么特点，能做什么？本文将为你解答以上问题。
大数据王小皮·2024-02-06 07:29

【Flink】FlinkSQL的DataGen连接器（测试利器）

简介我们在实际开发过程中可以使用FlinkSQL的DataGen连接器实现FlinkSQL的批或者流模拟数据生成，DataGen连接器允许按数据生成规则进行读取，但注意:DataGen连接器不支持复杂类型
一杯咖啡半杯糖·2024-02-06 07:29

PiflowX组件-OrderBy

计算引擎flink组件分组common端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子expressionExpression“”无否在流模式下运行时，
PiflowX·2024-02-06 07:57

Flink-1.18.1环境搭建

下载下载flink安装包Indexof/dist/flink/flink-1.18.1下载flink-cdc安装包ReleaseRelease3.0.0·ververica/flink-cdc-connectors
pigcoffee·2024-02-06 07:26

Flink面试准备

零.主要内容一.Flink提交1.Flink怎么提交?Local模式JobManager和TaskManager共用一个JVM,只需要jdk支持，单节点运行，主要用来调试。
大数据左右手·2024-02-06 07:25

MSR架构：推动数据中台进入2.0时代

语义层基于业务对象视图面向业务端用户提供语义化的业务逻辑表达式，支持业务端用户自助开发业务逻辑，业务端的开发者只关注于业务逻辑本身，不需要考虑后台是何种数据计算处理框架（MR、SPARK、FLINK、SQL
Trident敏捷数据开发平台·2024-02-06 07:54

PiflowX新增Apache Beam引擎支持

参考资料：ApacheBeam架构原理及应用实践-腾讯云开发者社区-腾讯云(tencent.com)在之前的文章中有介绍过，PiflowX是支持spark和flink计算引擎，其架构图如下所示：在piflow
PiflowX·2024-02-06 07:54

linux系统haproxy负载均衡器使用keepalived做高可用

haproxy负载均衡器做高可用haproxy+keepalivedhaproxy+keepalived两台负载均衡器都安装yum-yinstallhaproxyvim/etc/haproxy/haproxy.cfggloballog127.0.0.1local2infopidfile
丨析木丨·2024-02-06 07:44

linux系统keepalived介绍以及和nginx联合使用

keepalivedkeepalived介绍nginx+keepalivedkeepalived介绍keepalived是集群管理中保证集群高可用的一个服务软件，用来防止单点故障。
丨析木丨·2024-02-06 07:13

linux系统mysql数据库使用keepalived做高可用

mysql使用keepalived做高可用mysql+keepalived主库服务器配置从库服务器配置两台服务器安装mysql+keepalived先做两台服务器数据库互为主从主库服务器配置开启binlog
丨析木丨·2024-02-06 07:38

Redis（三）主从架构、Redis哨兵架构、Redis集群方案对比、Redis高可用集群搭建、Redis高可用集群之水平扩展

转自极客时间Redis主从架构redis主从架构搭建，配置从节点步骤：1、复制一份redis.conf文件2、将相关配置修改为如下值：port6380pidfile/var/run/redis_6380.pid#把pid进程号写入pidfile配置的文件logfile"6380.log"dir/usr/local/redis-5.0.3/data/6380#指定数据存放目录#需要注释掉bind#b
_蓝天IT_·2024-02-06 07:37

【大数据】Flink 中的 Slot、Task、Subtask、并行度

Flink中的Slot、Task、Subtask、并行度1.并行度2.Task与线程3.算子链与slot共享资源组4.Taskslots与系统资源5.总结我们在使用Flink时，经常会听到task，slot
G皮T·2024-02-06 07:01

【nginx】starrocks通过nginx实现负载均衡、故障转移与flink运行SR实战

`http`模块二.使用flink消费SR实战1.Expect:100-continue问题1.1.
roman_日积跬步-终至千里·2024-02-06 07:57

Flink 内容分享(十九)：理想汽车基于Flink on K8s的数据集成实践

第二阶段：在2021年7月，构建了基于Flink的实时处理平台，
之乎者也··2024-02-06 06:30

理想汽车基于Flink on K8s的数据集成实践

导读本文将介绍理想汽车在FlinkonK8s的数据集成落地实践。
架构师小秘圈·2024-02-06 06:28

Flink on k8s 讲解与实战操作

一、概述Flink核心是一个流式的数据流执行引擎，并且能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用。其针对数据流的分布式计算提供了数据分布，数据通信及容错机制等功能。
LinkSLA·2024-02-06 06:56

Flink on k8s之historyServer

1.FlinkHistoryServer用途HistoryServer可以在Flink作业终止运行（Flink集群关闭）之后，还可以查询已完成作业的统计信息。
卤蛋x001·2024-02-06 06:54

Flink Checkpoint 原理流程以及常见失败原因分析

本文仅为笔者平日学习记录之用，侵删原文：https://mp.weixin.qq.com/s/dKpYz-YvySAyAEFCq5_dGA前言目前实时任务主要以Flink为主，为了保证实时任务的容错恢复以及停止重启时的状态恢复
longLiveData·2024-02-06 05:47

GpuMall智算云平台教程：快速配置Linux云服务器

4.创建实例我们提供两种GPU云资源，社区云和高可用云。对性能和安全要求较高的选择高可用云，个人开发者和小型实验选择社区云。在【社区云】【高可用云】页面，
GpuMall·2024-02-06 05:04

RocketMQ和Kafka的区别，以及如何保证消息不丢失和重复消费

支持的语言少Kafka百万级服务端scala，客户端java主流语言均支持天生分布式、性能最好，常用于大数据领域运维难度大，对zookeeper强依赖，多副本机制下对带宽有一定要求RocketQA适用于高性能、高可用的消息传递场景
Marciaguoguo·2024-02-06 04:38

Mysql架构系列——生产常用的高可用部署模式介绍

模式高可用模式GaleraCluster是由Codership开发的MySQL多主集群，包含在MariaDB中，同时支持Perconaxtradb、MySQL，是一个易于使用的高可用解决方案，在数据完整性
吴代庄·2024-02-06 04:34

nginx3-网站架构(LNMP)/负载均衡/高可用

老男孩教育61期--week16--网站架构(LNMP)/负载均衡/高可用01.课程介绍部分：1.LNMP架构配置过程2.LNMP架构代码上线3.LNMP架构优化部署a数据库数据信息迁移b将数据信息共享存储
mrwangjian·2024-02-06 02:05

centos 配置bond_Centos7双网卡绑定配置 bonding

bonding的七种工作模式:bonding技术提供了七种工作模式，在使用的时候需要指定，每种有各自的优缺点，我们使用的是mode=4balance-rr(mode=0)默认,有高可用(容错)和负载均衡的功能
weixin_39520775·2024-02-06 02:03

VRRP详解

VRRP（VirtualRouterRedundancyProtocol）是一种网络协议，用于提供路由器冗余和高可用性。
是毛毛吧·2024-02-05 23:05

linux下Redis的安装与配置（4.0.9）

Redis具有内置复制，Lua脚本，LRU驱逐，事务和不同级别的磁盘持久性，并通过RedisSentinel提供高可用性，并通过Redis群集实现自动分区。一、Redis的安装先将安装需
Jason_c8d4·2024-02-05 22:33

FlinkCDC中文乱码问题

flink-conf.yaml文件中添加两个参数cdc.encoding:"UTF-8"env.java.opts:"-Dfile.encoding=UTF-8"注意添加位置在最后,防止被覆盖
实时即未来·2024-02-05 21:19

Flume 学习之路（一）Flume 概述和基本架构

Flume是一个分布式、可靠且高可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据的简单灵活架构，良好的可靠性机制、故障转移和恢复机制，具有强大的容错性。
白白贺·2024-02-05 20:23

对象存储高可用部署

#Minio分布式docker部署##一.前置条件-服务器已安装docker和docker-compose(略)-服务器能访问外网或docker镜像已预拉取好(略)-服务器时间差不能超过15分钟，可用NTP来保证时间一致(略)服务器：|host|IP||-----|-------------||host1|192.168.0.xx1||host2|192.168.0.xx2|1、文件上传oneho
日月星城2·2024-02-05 18:56

Hadoop Start(1) ——Google与Hadoop的前世今生

HadoopDistributionFileSystemHadoop分布式文件系统[2]YARN：YetAnotherResourceNegotiatorHadoop资源管理与调度器[3]HA：HighAvailability高可用
bclz·2024-02-05 18:41

RabbitMQ——基于 KeepAlived + HAProxy 搭建 RabbitMQ 高可用负载均衡集群

一个高可用，负载均衡的RabbitMQ集群架构应类似下图：这里对上面的集群架构做
小小暴徒·2024-02-05 17:24

es搭建集群模式时出现master not discovered or elected yet, an election requires two nodes with ids [xxx，xxx]问题

目录，然后kill掉es进程，重新启动就好了data目录是Elasticsearch节点的核心数据存储区域，它包含了索引、分片和相关的Lucene索引文件，确保数据在节点之间的分布和复制，以实现集群的高可用性和容错性
-00·2024-02-05 17:03

UWA Pipeline 2.6.0 版本更新

UWAPipeline是一款面向游戏开发团队的本地协作平台，旨在为游戏开发团队搭建专属的DevOps研发交付流水线，提供可视化的CICD操作界面、高可用的自动化测试以及UWA性能保障服务的无缝贴合等实用功能
UWA·2024-02-05 16:36

安全漏洞(1)-Log4j2远程代码执行漏洞，log4j2漏洞验证

ApacheStruts2、ApacheSolr、ApacheDruid、ApacheFlink等均受影响。漏洞评级CVE-2021
迷途的小兵·2024-02-05 15:20

FlinkSql中表的创建及查询

表中的列FlinkSql中的列分为俩种，第一种是常规列，也就是物理列，其定义了物理介质中存储的数据中字段的名称、类型和顺序。
大大大大肉包·2024-02-05 14:27

【大数据面试题】002 Flink 如何实现 Exactly-Once 语义

下面将介绍Flink是如何实现Exactly-Once语义的。
Jiweilai1·2024-02-05 13:54

flink写入es的参数解析

ElasticsearchSink内部使用BulkProcessor一次将一批动作(ActionRequest)发送到ES集群。在发送批量动作前，BulkProcessor先缓存，再刷新。缓存刷新的间隔，支持基于Action数量、基于Action大小、基于时间间隔3种策略。BulkProcessor支持在同一次Bulk中有多种ActionRequest(如:IndexRequest、DeleteR
大大大大肉包·2024-02-05 13:54

ES高可用架构涉及常用功能整理

ES高可用架构涉及常用功能整理1.es的高可用系统架构和相关组件2.es的核心参数2.1常规配置2.2特殊优化配置2.2.1数据分片按ip打散2.2.2数据分片机架感知2.2.3强制要求数据分片机架感知
李姓门徒·2024-02-05 11:18

【Redis】理论基础 - 主从复制

主从复制基础概念1）什么是主从复制2）主从节点的角色2.配置主从复制1）主节点配置2）从节点配置3.启动主从复制4.检查主从关系5.主从复制的管理1）断线重连2）复制偏移量结语Redis的复制机制是保障数据高可用性和冗余的关键组成部分
好久不见的流星·2024-02-05 10:20

架构篇33：传统的可扩展架构模式-分层架构和SOA

文章目录分层架构SOA小结相比于高性能、高可用架构模式在最近几十年的迅猛发展来说，可扩展架构模式的发展可以说是步履蹒跚，最近几年火热的微服务模式算是可扩展模式发展历史中为数不多的亮点，但这也导致了现在谈可扩展的时候必谈微服务
星猿杂谈·2024-02-05 10:32

云数据库RDS云监控

云数据库RDS是一种在线关系型数据库服务，它具备的特点包括：安全可靠：提供了容灾、备份、恢复等高可用性功能，确保数据的安全与可靠。
编织幻境的妖·2024-02-05 09:08

Flink生产环境常见问题及解决方法

在Flink生产环境中，可能会遇到一些常见的问题。下面简单的介绍几个常见问题，并且提供一些解决方法，来帮助你更好地应对这些问题。
咕噜签名分发·2024-02-05 09:34

【Kafka面试】Kafka的高可用机制有了解吗？

假如某个broker宕机，在集群中其他的broker依然可以对外提供服务，这个就是集群能够保证高可用性。
TAIKEMAN·2024-02-05 09:44
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他