flink高可用

从0开始，做一个后台项目的架构

团队协助基础工具链的选型和培训搭建微服务开发基础设施选择合适的RPC框架选择和搭建高可用的注册中心选择和搭建高可用的配置中心选择和搭建高性能的缓存中间件选择和搭建高性能的消息中间件选择和搭建高性能的关系数据库
程序员老舅·2023-12-21 12:43

linux运维面试题

linux运维面试题面试K8S篇(高可用)Q：k8s是什么？架构？Kubenetes是一个开源的容器集群管理系统。主要用于容器编排，解决容器调度问题。
秋叶原の黑猫·2023-12-21 12:29

基于 Flink 的典型 ETL 场景实现方案

目录1.实时数仓的相关概述1.1实时数仓产生背景1.2实时数仓架构1.3传统数仓vs实时数仓2.基于Flink实现典型的ETL场景2.1维表Join■2.1.1预加载维表方案1：方案2：■2.1.2热存储关联
话数Science·2023-12-21 11:59

Java基础入门教程！从高级到实战讲的太清楚了

Kafka宕机引发的高可用问题问题要从一次Kafka的宕机开始说起。
spring知识点大全·2023-12-21 11:20

LVS负载均衡集群之HA高可用模式

Keepalived工具介绍专为LVS和HA设计的一款健康检查工具一个合格的集群应该具备的特性：1.负载均衡LVSNginxHAProxyF52.健康检查（探针）for调度器/节点服务器KeeplivedHearbeat3.故障转移通过VIP飘逸实现主备切换健康检查（探针）的方式1.发送心跳消息：ping/pong2.TCP端口检查：向目标主机的ip：端口发起TCP连接请求，如果TCP连接成功（三
沈阳最速传说と疾走の猛虎！贵物刀一郎です·2023-12-21 10:15

springboot中使用kafka

消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。
Bill老罗·2023-12-21 10:56

数据中台之旅(五)数据开发介绍

功能介绍数据开发包含:作业开发(sqoop\hive\impala\python\shell)、实时开发(flink)、调度管理(工作流\定时调度\DAG查询)、日志管理(定时调度日志\作业运行日志)建设思路作业开发
belialxing·2023-12-21 09:59

依托亚马逊云科技构建韧性应用

亚马逊云科技把韧性视为一项最基本的工作，为了让我们的业务系统能持续优雅地提供服务，从各种故障和灾难中迅速恢复，亚马逊云科技不仅提供了全球高可用的基础设施，也提供了构建韧性系统的最佳实践和方法。
亚马逊云开发者·2023-12-21 09:16

Apache Pulsar 技术系列 - PulsarClient 实现解析

同时为了达到高性能，低延时、高可用，Pulsar在客户端也做了很多的优化，本文主要讲述PulsarClient基本原理和实现。
腾讯云中间件·2023-12-21 08:39

一文学会 Apache Zeppelin

github.com/apache/zeppelinZeppelinJIRA：https://issues.apache.org/jira/projects/ZEPPELIN/summaryZeppelin文档FlinkonZeppelin
跟着大数据和AI去旅行·2023-12-21 08:37

实时化与 Serverless 是开源大数据 3.0 时代的必然选择

近日在2023云栖大会上，阿里云开源大数据产品进行了年度发布：E-MapReduce、Elasticsearch等开源大数据产品全面Serverless化；创新性推出Flink与Paimon搭档的新一代流式湖仓
阿里云大数据AI技术·2023-12-21 08:00

Nginx+keepalived实现高可用负载群集

实现方式使用Nginx作为负载调度器，通过四层代理转发给web器处理请求，实现负载均衡；在Nginx调度器上配置脚本监控（健康检查），实现主备热备份，当主失效切换至备工作。实验实验准备Web服务器1：192.168.75.50（VIP192.168.75.111）Web服务器2：192.168.75.60（VIP192.168.75.111）Nginx+keepalived主负载调度器：192.1
GnaW1nT·2023-12-21 07:21

【Flink-Kafka-To-Hive】使用 Flink 实现 Kafka 数据写入 Hive

【Flink-Kafka-To-Hive】使用Flink实现Kafka数据写入Hive1）导入相关依赖2）代码实现2.1.resources2.1.1.appconfig.yml2.1.2.log4j.properties2.1.3
bmyyyyyy·2023-12-21 07:51

Flink 窗口（1）—— 基础概念

这就相当于将无界流的聚合转化为了有界数据集的聚合Flink“存储桶”在Flink中，窗口可以把流切割成有限大小的多个“存储桶”（bucket)；每个数据都会分发到对应的桶中，当到达窗口结束时间时，就对每个桶中收集的数据进行计算处理窗口处理过程
THE WHY·2023-12-21 07:48

b站高可用架构 笔记

b站高可用架构关键点：主机房，多活和多活机房参考文章：bilibili技术总监毛剑：B站高可用架构实践1.前端和数据中心负载均衡前端负载均衡(动态CDN):最近节点、带宽策略、可用服务容量数据中心负载均衡
秋叶原の黑猫·2023-12-21 07:43

HAProxy搭建Web群集

HAproxy的区别HAProxy提供了3种实现会话保持的方式实验实验准备实验步骤部署Haproxy服务器添加tomact服务器，web服务器，nfs共享存储实验测试前瞻什么是HAProxyHAProxy是可提供高可用性
GnaW1nT·2023-12-21 07:11

FlinkSQL

动态表是Flink在TableAPI和SQL中的核心概念，它为流数据处理提供了表和SQL支持。
Stephen6Yang·2023-12-21 07:40

Spring 6（一）【Spring 入门】

Flink按说应该是大数据学习的主线任务，但是长时间学一门技术还是心累的。正好之前对Java注解有了进一步的熟悉，一直想着熟悉巩固。
让线程再跑一会·2023-12-21 07:05

Flink（十）【处理函数】

今天学习Flink处理函数，学完这一块就剩状态管理、容错机制和FlinkSQL了，坚持坚持。学完再好好回顾回顾，最后就是把剩余的一些框架（Kafka、Flume等）补齐
让线程再跑一会·2023-12-21 07:30

黑马头条--day06文章上下架--kafka消息队列

自媒体文章上下架二.kafka概述1.消息中间件对比2.kafka介绍3.kafka安装配置三.kafaka入门（1）创建kafka-demo项目，导入依赖（2）生产者发送消息（3）消费者接收消息总结4.kafka高可用设计
可爱的鸡仔·2023-12-21 07:00

【大数据存储与处理】实验三 MongoDB 数据库操作

MongoDB数据库操作【实验目的】：1.掌握MongoDB数据库的基本概念2.掌握MongoDB创建数据库3.掌握MongoDB删除数据库【实验内容与要求】：MongoDB是一个开源文档数据库，提供高性能，高可用性和自动扩展
friklogff·2023-12-21 06:55

Linux系统LVS负载均衡群集

目录一、LVS负载均衡群集基础知识（一）群集基本定义（二）群集分类1.负载均衡群集（LB）2.高可用群集（HA）3.高性能运算群集（HPC）（三）负载均衡群集架构1.第一层：负载调度器2.第二层：服务器池
江南字子川·2023-12-21 06:39

Flink消费Redis Stream数据

前言对于流处理，感觉flink近乎苛刻的只对kafka友好。当然我对kafka也有天然的好感，但是相对于redis而言，kafka还是稍显复杂了一些。我们的生产环境中没有kafka，只有redis。
iFence·2023-12-21 06:08

Flink学习1——运行时架构(standalone模式)

本篇主要讲述FlinkStandalone模式下的运行时架构以及各个组件负责的功能，Flink的运行方式有很多，但都大同小异，本文基本可以满足对flink运行时架构的学习。
iFence·2023-12-21 06:07

Flink join（流流）详解（一）

本文基于flink1.11进行测试。前言这里所说的join是两个或者多个流的join，涉及流批join的内容或者批批join会另写一篇文章专门说。
iFence·2023-12-21 06:37

Flink process function使用详解

前言processfunction是flink中比较底层的函数。能够实现一些高层函数无法实现的功能。
iFence·2023-12-21 06:37

Flink SQL流表与维表join实践

想要使用FlinkSQL的方式join两张表，静态维表的作用类似一张字典表。流表源源不断的来数据，然后去内存中查询字典将流表的数据更新然后插入到MySQL数据库中。
iFence·2023-12-21 06:37

Flink 流表与维表join（流批join）——使用异步IO（async io）实现

前言之前的文章中讲过了Flink流流join也讲过了翻车版本的流批join。为什么翻车了，那篇文章也说了。如果事实表和维度表进行join，Flink会认为这是一个批处理程序。也就是说程序会自己暂停。
iFence·2023-12-21 06:37

flink 1.11 广播状态（Broadcast State）的使用

flink的join算子也是基于广播状态来实现的。需求这里使用flink逛网提供的需求：一个流中包含的事件Item，Item中包含两个属性，一个为Color，一个为Shape。
iFence·2023-12-21 06:07

Flink累加器、计数器的使用

Flink累加器的结果只能在作业结束以后才能得到。这就意味着，如果是一个一直不间断执行的流处理程序是无法得到累加器结果的。只有批处理成功，也就是会结束的flink程序才能得到累加器结果。
iFence·2023-12-21 06:07

【已解决 Flink Java API问题】The return type of function ‘xxx‘ could not be determined automatically

FlinkJavaAPI不像ScalaAPI可以随便写lambda表达式，写完以后需要使用returns方法显式指定返回值类型，否则会报下面错误，大概意思就是说Java的lambda表达式不能提供足够的类型信息
iFence·2023-12-21 06:07

Flink1.11 事件时间（event time）、watermark、watermarkstrategy使用详细案例

前言flink1.11中有了新版的指定watermark和watermarkstrategyAPI。
iFence·2023-12-21 06:37

Flink利用process算子进行分流操作

需求kafka中存有从metricbeat收集的各种数据系统指标数据存到同一个topic中，但是各种指标数据不尽相同，这时候需要将相同结构的数据收集到一起分开处理，就用到了Flink的分流操作。
iFence·2023-12-21 06:36

呕心沥血整理的LVS负载均衡知识还有NAT模式的部署，学到就是赚到

典型代表：软件类（Nginx、LVS、HAProxy、SLB）；硬件类：F5、绿盟高可用集群（HA）提高系统可用性，减少中断时间。通常用n个9来代表高可用的指标。（3个9表示99
王德发666·2023-12-21 06:34

flink sql1.18.0连接SASL_PLAINTEXT认证的kafka3.3.1

如下：version:"2.2"services:jobmanager:image:flink:1.18.0-scala_2.12container_name:jobmanagerports:-"7081
iFence·2023-12-21 06:33

LVS+keepalived小白都看得懂也不来看？

1高可用集群1.1一个合格的集群应该具备的特性1.负载均衡LVSNginxHAProxyF52.健康检查（使得调度器检查节点状态是否可以正常运行，调度器（负载均衡器）也要做健康检查）for调度器/节点服务器
王德发666·2023-12-21 06:32

LVS+keepalived群集

目录一、Keepalived及其工作原理1.Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题。
睡美人章繁·2023-12-21 06:02

Flink Table API 与 SQL 编程整理

FlinkAPI总共分为4层这里主要整理TableAPI的使用TableAPI是流处理和批处理通用的关系型API，TableAPI可以基于流输入或者批输入来运行而不需要进行任何修改。
程序猿进阶·2023-12-21 05:49

Redis集群高可用（主从，哨兵，集群模式）

（1）数据分区：数据分区(或称数据分片)是集群最核心的功能。集群将数据分散到多个节点，一方面突破了Redis单机内存大小的限制，存储容量大大增加；另一方面每个主节点都可以对外提供读服务和写服务，大大提高了集群的响应能力。Redis单机内存大小受限问题，在介绍持久化和主从复制时都有提及；例如，如果单机内存太大，bgsave和bgrewriteaof的fork操作可能导致主进程阻塞，主从环境下主机切换
木合杉·2023-12-21 04:24

Redis持久化，性能管理

Redis高可用主要通过以下几种方式来实现：单机、主从复制、哨兵模式、和集群模式。这些方式都旨在提高系统的稳定性和可用性，特别是在面对服务器故障或其他问题时。
木合杉·2023-12-21 04:23

Juniper EX系列交换机Virtual Chassis配置操作

提供相同的高可用性功能和大多数的故障切换功能。每个EX4200系列交换机都能作为路由引擎发挥作用。当两个或多个EX4200系列交换机互连在一起时，它们可与所有的虚拟机箱中的其他交换机共享一个控制层。
it技术分享just_free·2023-12-21 04:51

k8s高可用集群多个主节点_Kubernetes 集群规模应该有多大？

作者：赵程链接：https://blog.51cto.com/14143894/2528684说在前面的话今天谈谈k8s集群规模问题，到底集群应该有多大？虽然这个问题有些干燥，却包含了很多生产经验，如果这个问题也对你有所困扰，你可以选择继续读下去，大家在自己的公司不管是上云还是虚拟化技术，都已经在容器的途中多多少少都已经在迁移或者迁移的路上，在云原生的技术圈中，当谈到kubernetes稳定性可靠
我吃掉了一辆奔驰·2023-12-21 03:21

七、Nginx的高可用集群

1、什么是nginx高可用2、配置高可用的准备工作（1）需要两台服务器192.168.17.129和192.168.17.131（2）在两台服务器安装nginx（3）在两台服务器安装keepalived3
不减肥到一百三不改名字·2023-12-21 02:44

Flink CDC 系列（2）—— Flink CDC 源码编译

FlinkCDC系列文章：《FlinkCDC系列（1）——什么是FlinkCDC》《FlinkCDC系列（2）——FlinkCDC源码编译》《FlinkCDC系列（3）——FlinkCDCMySQLConnector
修破立生·2023-12-21 01:08

「Java工具类」BeanCopyUtil对象复制工具类

通用工具类的分享；以及springboot+springcloud+Mybatisplus+druid+mysql+redis+swagger+maven+docker等集成框架的技术分享；datax、kafka、flink
程序员阿宁·2023-12-21 01:37

Flink CDC

一、什么是CDC?  CDC是ChangeDataCapture（变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。二、CDC种类  CDC主要分为基于查询和基于Binlog两种方式，我们主要了解一下这两种之间的区别：基于查询的CDC基于Binlog的CDC开源产品S
满床清梦覆星河·2023-12-21 01:06

Flink系列之：基于Flink CDC2.0实现海量数据的实时同步和转换

Flink系列之：基于FlinkCDC2.0实现海量数据的实时同步和转换一、CDC技术二、FlinkCDC技术三、传统数据集成方案的痛点1.传统数据入仓架构1.02.传统数据入仓架构2.03.传统CDCETL
最笨的羊羊·2023-12-20 23:48

Iceberg （一、presto和trino实践——行级更新）

为什么先讲述presto和trino引擎操作，主要是这两个组件没有找到详细介绍的文档，另外关于spark/flink会有更多的文章
yyoc97·2023-12-20 23:18

Flink CDC 3.0 正式发布，详细解读新一代实时数据集成框架

01FlinkCDC概述FlinkCDC是基于数据库日志CDC（ChangeDataCapture）技术的实时数据集成框架，支持了全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等高级特性
Apache Flink·2023-12-20 23:16

Flink CDC 系列 - 同步 MySQL 分库分表，构建 Iceberg 实时数据湖

这篇教程将展示如何使用FlinkCDC构建实时数据湖来应对这种场景，本教程的演示基于Docker，只涉及SQL，无需一行Java/Scala代码，也无需安装IDE，你可以很方便地在自己的
四月天03·2023-12-20 23:16
上一页 53 54 55 56 57 58 59 60 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他