flink高可用

flink-1.10 native-k8s (Beta)

注意：flink-1.10版本的native-k8s还是实验版本，相关配置或客户端可能在未来变更。
yuchuanchen·2023-12-28 15:05

Flink开发利器StreamX

背景Hadoop体系虽然在目前应用非常广泛，但架构繁琐、运维复杂度过高、版本升级困难，且由于部门原因，数据中台需求排期较长，我们急需探索敏捷性开发的数据平台模式。在目前云原生架构的普及和湖仓一体化的大背景下，我们已经确定了将Doris作为离线数据仓库，将TiDB(目前已经应用于生产)作为实时数据平台，同时因为Doris具有onMySQL的odbc能力，所以又可以对外部数据库资源进行整合，统一对外输
Apache StreamPark·2023-12-28 15:34

一次在K8s上运行Flink的实录

本文先介绍一下K8s的ConfigMap资源和Ingress的基本概念,然后讲一下如何在K8s上部署Flink,最后看一下Flink的Operator又是怎么编写的ConfigMap问题背景:生产环境可能需要多个
小凯Alex·2023-12-28 15:04

【flink配置系列】FLink配置大全

FLink配置文章目录FLink配置配置基本设置常见设置选项主机和端口容错可重试的清理检查点和状态后端高可用性内存配置杂项选项安全性SSL与外部系统进行身份验证资源编排框架YARNKubernetesStateBackendsRocksDBStateBackendMetricsRocksDB
BigDataMLApplication·2023-12-28 15:03

flink on k8s(Flink1.15.0 on Native Kubernetes)

实验环境macOSx86-64minikube准备工作安装minikube下载安装curl-LOhttps://storage.googleapis.com/minikube/releases/latest/minikube-darwin-amd64sudoinstallminikube-darwin-amd64/usr/local/bin/minikubeminikubestart--drive
小迷糊同学·2023-12-28 15:33

Flink1.17实战教程（第七篇：Flink SQL）

系列文章目录Flink1.17实战教程（第一篇：概念、部署、架构）Flink1.17实战教程（第二篇：DataStreamAPI）Flink1.17实战教程（第三篇：时间和窗口）Flink1.17实战教程
阿moments·2023-12-28 15:01

flink1.13报错：The file STDOUT does not exist on the TaskExecutor

1.执行环境flink1.13jdk82.日志内容2022-08-2917:28:35.789[main]INFOorg.apache.flink.configuration.GlobalConfiguration
海若[MATRIX]·2023-12-28 15:01

Flink on K8s 企业生产化实践

背景为了解决公司模型&特征迭代的系统性问题，提升算法开发与迭代效率，部门立项了特征平台项目。特征平台旨在解决数据存储分散、口径重复、提取复杂、链路过长等问题，在大数据与算法间架起科学桥梁，提供强有力的样本及特征数据支撑。平台从Hive、Hbase、关系型数据库等大数据ODS(OperationalDatastore)层进行快速的数据ETL，将数据抽取到特征平台进行管理，并统一了数据出口，供数据科学
house.zhang·2023-12-28 15:00

PyFlink on K8s 部署实践

PyFlinkonK8s部署模式1.1Flink的部署模式https://blog.csdn.net/yunxiao6/article/details/1087052441.2PyFlinkonK8sStandalone
bao_since·2023-12-28 15:28

使用streampark进行flink on k8s LoadBalancer配置域名访问flink ui

在使用yarn部署flink任务时，yarn自动代理了flinkwebui，通过yarn的地址即可访问任务web页面。
Java小田·2023-12-28 14:26

Java 面试题集锦记录

3.Spring怎么保持高可用性、稳定性？4.负载均衡5.
程序媛一枚~·2023-12-28 14:58

什么是负载均衡？

负载均衡可以帮助小云有效解决单个服务器容量不足或性能瓶颈的问题，小云通过平衡流量负载，使得多台服务器能够共同完成请求处理，并且实现高可用性和高可靠性的服务。
久绊A·2023-12-28 13:26

Hadoop：Flink on Yarn服务配置与设置

之前打算直接在ambari上安装配置flink服务方便管理，但是发现ambari集成的flink会出现很多问题反而不方便管理（可能是没找到正确的方法），于是打算单独配置服务下载两个文件文件flink-1.10.1
william_cheng666·2023-12-28 13:14

Apache Flink 1.14.4 on yarn ha环境搭建

Flink支持多种安装模式Local—本地单机模式，学习测试时使用Standalone—独立集群模式，Flink自带集群，开发测试环境使用StandaloneHA—独立集群高可用模式，Flink自带集群
一位搬砖工·2023-12-28 13:14

flink的onYarn模式环境搭建

一.onYarn模式把资源管理器交给yarn模式进行管理1.两种运行模式1）session-cluster模式session：会话，开辟一块新的公共的空间先启动集群，直接向yarn申请空间，资源（session）保持不变，这个集群会常驻在yarn的集群中，不需要时进行手动停止，job任务可以向这个session提交，所有任务共享这个session，如果资源用完，需要等待之间的任务执行完毕释放资源才
奶糖~·2023-12-28 13:14

Apache Flink连载（五）：Apache Flink快速入门 - 环境准备及入门案例

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-12-28 13:43

Apache Flink连载（十七）：Flink On Standalone任务提交-Standalone Application模式

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-12-28 13:43

Apache Flink连载（十九）：Flink On Yarn运行-Yarn Session模式

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.任务提交命令2.任务提交流程1.任务提交命令
IT贫道·2023-12-28 13:43

org.apache.flink.client.deployment.ClusterDeploymentException: Could not deploy Yarn job cluster.

在cdh集群上，通过如下命令，提交flink任务到yarn集群中：flinkrun-myarn-cluster-d-ynmmy_flink_jobxxx.jar报错，信息如下：org.apache.flink.client.program.ProgramInvocationException
赶路人儿·2023-12-28 13:42

Flink1.8 on yarn 环境搭建及使用

一、下载flink包官网下载flink-1.8.1-bin-scala_2.11.tgz，然后解压下载地址https://flink.apache.org/downloads.html或https://
magic_kid_2010·2023-12-28 13:42

Flink on Yarn实战

使用方式：flink的安装包解压之后，即可直接使用，而不需要额外的配置。
fancyChuan·2023-12-28 13:11

Apache Flink连载（十八）：Flink On Yarn运行原理及环境准备

博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.FlinkOnYarn运行原理2.代码及Yarn环境准备
IT贫道·2023-12-28 13:40

从 Linux Crontab 到 K8s CronJob，定时任务正在经历怎样的变革

随着信息化时代的高速发展，业务变得越来越复杂，很多场景都需要定时任务，但是crontab方案存在高可用问题，不适合应用在业务应用
阿里云云原生·2023-12-28 13:57

Java版企业电子招标采购系统源码——鸿鹄电子招投标系统的技术特点

该产品采用了先进的云计算技术，具有高可用性、高扩展性和高安全性等特点，可以满足不同企业的需求。鸿鹄云商SAAS云产品的核心功能包
Xiaohong0716·2023-12-28 12:15

Nacos学习笔记-Sentinel整合示例

(面向云原生微服务的高可用流控防护组件)介绍·alibaba/SentinelWiki·GitHubSentinel下载地址：https://git
人生偌只如初见·2023-12-28 12:38

redis的主从复制和哨兵模式

redis的集群：高可用方案：持久化高可用主从复制哨兵模式集群主从复制：主从复制是redis实现高可用的基础，哨兵模式和集群都是在主从复制的基础之上实现高可用。
DDYYmmm·2023-12-28 12:01

开源minio-AWS-S3存储的部署及go操作详细

MinIO旨在提供高性能、高可用性的对象存储，并且与AmazonS3兼容，这意味着可以使用S3客户端工具和库直接与MinIO交互，而无需更改现有的应用程序代码。
liuyunshengsir·2023-12-28 12:49

zookeeper集群搭建

一、介绍zookeeper是一个高可用的分布式协调器，官网二、功能统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等三、单机安装zookeeper需要jdk环境，所以需要先安装
有人看我吗·2023-12-28 12:38

Zookeeper

Zookeeper角色Zookeeper集群是一个基于主从复制的高可用集群，
武昌库里写JAVA·2023-12-28 12:38

hadoop hive spark flink 安装

下载地址Indexof/distubuntu安装hadoop集群准备IP地址主机名称192.168.1.21node1192.168.1.22node2192.168.1.23node3上传hadoop-3.3.5.tar.gz、jdk-8u391-linux-x64.tar.gzJDK环境node1、node2、node3三个节点解压tar-zxvfjdk-8u391-linux-x64.tar
nsa65223·2023-12-28 11:59

Flink--DataSink学习

基于flink-1.8.1概述flink流式计算中需要经计算的结果进行输出（可以是msyql/hbase/ES等常见的DB或者filesystem，也可以是钉钉/邮件/短信等通知类信息），官网上成为connector
李小李的路·2023-12-28 09:36

Spring Cloud 微服务项目实战 -

SpringCloudSpringCloud组件库一览SpringCloud版本毕业版本依赖关系推荐使用微服务项目微服务“三大功能，两大特性”三大功能是指微服务核心组件的功能维度，由浅入深层次递进；两大特性是构建在每个服务组件之上的高可用性和高可扩展性
小小工匠·2023-12-28 09:52

腾讯大佬：分享百亿级请求高可用Redis分布式集群实践

腾讯大佬：分享百亿级请求高可用Redis分布式集群实践一、Redis有哪些常用的应用场景腾讯大佬：分享百亿级请求高可用Redis分布式集群实践二、Redis选型思考时延时延=后端发起请求db（用户态拷贝请求到内核态
勤奋的码农·2023-12-28 07:23

RabbitMQ高可用原理讲解

这两天在针对项目过程使用的RabbitMQ得学习文档整理的过程中，发现还遗漏了RabbitMQ的就集群原理的系统的分析的文档，这个就比较尴尬了，正好最近在整理RabbitMQ的集群的搭建，那我们今天就聊聊RabbitMQ的集群的相关原理RabbitMQ的优缺点在正式的聊聊集群的原理之前，我们先简单了解下RabbitMQ的优缺点，然后为什么要使用RabbitMQ的集群模式，他能为我们解决那些问题，各
AmosZhu·2023-12-28 05:31

Java版直播商城免 费 搭 建：电商、小程序、三级分销及免 费 搭 建，平台规划与营销策略全掌握

该产品采用了先进的云计算技术，具有高可用性、高扩展性和高安全性等特点，可以满足不同企业的需求。鸿鹄云商SAAS云产品的核心功能包
微服务商城技术分享·2023-12-28 05:01

支付系统高可用架构设计，写得太好了！（建议收藏）

点击上方“Java基基”，选择“设为星标”做积极的人，而不是积极废人！每天14:00更新文章，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC和MyCAT源码解析作业调度中间件Elastic-Job源码解析分布式事务中间件T
Java基基·2023-12-28 04:28

易天新引进DELL Z9432F-ON交换机设备，网络通信再迎新风采

DELLZ9432F-ON交换机是一款高性能、高可用性的网络交换机，具有许多先进的功能和技术。DELL系列交换机不仅能简化管理，还能够带
易天ETU·2023-12-28 03:27

Flink on K8S生产集群使用StreamPark管理

（一）直接部署（手动测试用，不推荐）FlinkonNativeKubernetes目前支持Application模式和Session模式，两者对比Application模式部署规避了Session模式的资源隔离问题
tuoluzhe8521·2023-12-28 02:38

K8S二进制部署master节点

本文介绍在k8smaster组件的二进制部署过程，由于环境为内网开发和测试环境，所以仅考虑etcd组件的高可用，api-server、controller-manager和scheduler的高可用暂不考虑
weixin_34023982·2023-12-28 02:02

k8s二进制最终部署（网络 负载均衡和master高可用）

k8s中的通信模式1、pod内部之间容器与容器之间的通信，在同一个pod中的容器共享资源和网络，使用同一个网络命名空间，可以直接通信的2、同一个node节点之内，不同pod之间的通信，每个pod都有一个全局的真实的IP地址，同一个node直接的不同pod可以直接使用对方pod的IP地址通信pod1和pod2是通过docker0的网桥来进行通信3、不同node节点的上的pod之间如何进行通信？cni
小布爱吃糖.·2023-12-28 02:32

k8s二进制部署v1.22.1

主机规划1.2软件版本1.3网络规划2集群初始2.1hostname2.2hosts2.3swapoff2.4chrony2.5limits2.6ipvs2.7sysctl2.8ssh2.9sources3高可用
ch.ran·2023-12-28 02:30

[大厂实践] 边缘网络的可观测性

原文:ObservabilityattheEdge管理2800个Kubernetes边缘集群Chick-fil-A共有约2800家餐厅，每一家都部署了Kubernetes边缘集群[1]，以实现高可用性，
俞凡 DeepNoMind·2023-12-28 01:13

分布式事务--TC服务的高可用和异地容灾

1.模拟异地容灾的TC集群计划启动两台seata的tc服务节点：节点名称ip地址端口号集群名称seata127.0.0.18091SHseata2127.0.0.18092HZ之前我们已经启动了一台seata服务，端口是8091，集群名为SH。现在，将seata目录复制一份，起名为seata2修改seata2/conf/registry.conf内容如下：registry{ #tc服务的注册中心类
勤奋的小狮子YY·2023-12-27 21:03

【知乎大数据技术】用Flink取代Spark Streaming！知乎实时数仓架构演进

“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。本文主要讲述知乎的实时数仓实践以及架构的演进，这包
yoku酱·2023-12-27 19:34

nginx2-网站服务部署

网站状态模块配置说明b网站日志信息详细说明d网站location配置说明e网站服务跳转功能配置f网站服务如何安全访问HTTPS2）网站LNMP架构aLNMP架构搭建配置bLNMP架构代码上线jenkins负载均衡/高可用知识重点回顾
mrwangjian·2023-12-27 18:49

redis缓存雪崩解决方案六种

1.保持缓存层的高可用性使用Redis哨兵模式或者Redis集群部署方式，即便个别Redis节点下线，整个缓存层依然可以使用。
jayjay_liu·2023-12-27 17:11

基于 Flink CDC 实现海量数据的实时同步和转换

摘要：本文整理自ApacheFlinkCommitter，FlinkCDCMaintainer，阿里巴巴高级开发工程师徐榜江（雪尽）在5月21日FlinkCDCMeetup的演讲。
Apache Flink·2023-12-27 16:51

深入解读 Flink CDC 增量快照框架

导读：随着大数据的迅猛发展，企业越来越重视数据的价值，数据采集工具也在不断改进，实时采集工具也在由长链路向短链路发展，今天和大家分享一下FlinkCDC技术。
学而知之@·2023-12-27 16:20

Flink Has Become the De-facto Standard of Streaming Compute

摘要：本文整理自ApacheFlink中文社区发起人、阿里巴巴开源大数据平台负责人王峰（莫问），在FlinkForwardAsia2023主会场的分享。
Apache Flink·2023-12-27 16:20

实战Java springboot 采用Flink CDC操作SQL Server数据库获取增量变更数据

ApplicationContextUtil7、自定义sink交由spring管理，处理变更数据前言：我的场景是从SQLServer数据库获取指定表的增量数据，查询了很多获取增量数据的方案，最终选择了Flink
arden.WANG·2023-12-27 16:50
上一页 47 48 49 50 51 52 53 54 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他