flink高可用

基于 Hologres+Flink 的曹操出行实时数仓建设

本文整理自曹操出行实时计算负责人林震基于Hologres+Flink的曹操出行实时数仓建设的分享，内容主要分为以下六部分：曹操出行业务背景介绍曹操出行业务痛点分析Hologres+Flink构建企业级实时数仓曹操出行实时数仓实践曹操出行业务成果分析未来展望一
Apache Flink·2024-01-19 08:54

flink之max与maxBy的区别

packagecom.sandra.day03;importcom.atguigu.bean.WaterSensor;importorg.apache.flink.api.common.functions.MapFunction
北斗星的城堡·2024-01-19 08:53

FlinkAPI_Environment_输入源_算子转化流程

FlinkEnvironmentgetExecutionEnvironment()根据当前平台,获取对应的执行环境,若未设置并行度,使用flink-conf.yaml中的并行度配置,默认1.StreamExecutionEnvironmentenv
菜鸡逆袭·2024-01-19 08:20

第四章 FlinkAPI & 编程模型

1、API基础概述1.1、四层API（1）第⼀层是最底层的抽象为有状态实时流处理，抽象实现是ProcessFunction，⽤于底层处理（2）第⼆层抽象是CoreAPIs，许多应⽤程序不需要使⽤到上述最底层抽象的API，⽽是使⽤CoreAPIs进⾏开发，目前开发使用最多的；例如各种形式的⽤户⾃定义转换（transformations）、联接（joins）、聚合（aggregations）、窗⼝（w
随缘清风殇·2024-01-19 08:49

第四章 FlinkAPI之Source基础练习

Flink之SourceAPI概览1、元素集合应用场景：测试代码时使用env.fromElementsenv.fromColletionenv.fromSequence(start,end)代码实战packagecom.hxjy.app
随缘清风殇·2024-01-19 08:49

FlinkAPI开发之状态管理

案例用到的测试数据请参考文章：Flink自定义Source模拟数据流原文链接：https://blog.csdn.net/m0_52606060/article/details/135436048Flink
Appreciate(欣赏)·2024-01-19 08:18

FlinkAPI（二）

一、Transformation操作1，map、flapmap、filterpublicclasstransTest1_Base{publicstaticvoidmain(String[]args)throwsException{StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();en
forerunner123·2024-01-19 08:17

Flink1.17 基础知识

Flink1.17基础知识来源：B站尚硅谷目录Flink1.17基础知识Flink概述Flink是什么Flink特点FlinkvsSparkStreamingFlink的应用场景Flink分层APIFlink
魅美·2024-01-19 08:16

【大数据】Flink 测试利器：DataGen

Flink测试利器：DataGen1.什么是FlinkSQL？2.什么是Connector？
G皮T·2024-01-19 08:45

Flink的KeyedProcessFunction基于Event Time和Process Time的定时器用法实例分析

FLink处理函数简介在Flink底层，我们可以不定义任何具体的算子（比如map，filter，或者window），而只是提炼出一个统一的【处理】（process）操作——它是所有转换算子的一个概括性的表达
PONY LEE·2024-01-19 08:14

FlinkAPI开发之容错机制

概述在Flink中，有一套完整的容错机制来保证故障后的恢复，其中最重要的就是检查点。
Appreciate(欣赏)·2024-01-19 08:12

K8s全套快速入门

K8s快速入门1介绍google开源的容器化管理工具机器数量十几台、上百台时，就可以考虑使用k8s高可用、自动容灾恢复、灰度更新、一键回滚历史版本、方便伸缩扩展等k8s集群架构：通常：一主多从master
NPE~·2024-01-19 08:48

14.云原生之三高系统

三高介绍从运维、后端、架构职能视角看待三高运维视角后端视角架构视角生产环境高可用的重要性如何实现三高系统云原生对三高系统的支持总结三高系统如何支撑？
野心与梦·2024-01-19 08:18

高可用架构 - 系统性能评估

性能评估的要点CPU主要工具：vmstat内存主要工具：free磁盘I/O主要工具：iostat、sar网络I/O主要工具：ifstat系统整体性能主要工具：topCPU评估imagevmstat命令结果分析：procsr运行和等待CPU时间片的进程数，。b等待资源的进程数。swapsi每秒从磁盘读入虚拟内存的大小。so每秒虚拟内存写入磁盘的大小。cpuus用户进程CPU使用率。sy系统CPU使用
SlowGO·2024-01-19 08:48

云原生微服务：现代化应用开发的支柱

传统的单块应用已经无法满足快速迭代、灵活扩展和高可用性的要求。而云原生微服务架构应运而生，为企业提供了一种优雅而灵活的解决方案。什么是云原生微服务？云原生微服务是一种现代化的应用架构模式，
工业甲酰苯胺·2024-01-19 07:40

云原生演进中的AI算力高效使用

01云原生技术的普及与发展云原生技术是一种基于容器技术的轻量级、高可用的应用架构，具有弹性扩展、快速部署、统一管理等特点。
virtaitech·2024-01-19 07:35

一站式大数据平台XSailboat简介--Hadoop、Hive、Flink、DataStudio、数据服务、API网关、认证中心、数据可视化、离线分析、实时计算、应用引擎等

1.引言从2021年年底开始，笔者带领一个微型团队开始开发我们的大数据平台XSailboat，目前已经初步具备实用化条件，产品将持续性地开发、完善、迭代升级。在接下来的一段时间，笔者将陆续编写一些关于大数据平台实现相关的技术文档，有兴趣的从事大数据相关的同学，可以关注收藏一下，交流一下开发技术。如果对我们的大数据平台XSailboat感兴趣的同学比较多，希望将其应用于学习或商业项目中，我们可以在条
OkGogooXSailboat·2024-01-19 06:26

【Flink】FlinkSQL读取Mysql表中时间字段相差13个小时

问题：Flink版本1.13，在我们使用FlinkSQL读取Mysql中数据的时候，发现读取出来的时间字段中的数据和Mysql表中的数据相差13个小时，Mysql建表语句及插入的数据如下；CREATETABLE
一杯咖啡半杯糖·2024-01-19 06:17

如何实现在Docker容器中运行Redis？

Redis是一个高可用的内存数据库。它的磁盘持久性键值数据存储是多种高可用性用途的理想选择。另一方面，Docker是一个用于容器化应用程序和服务的工具，隔离它们的环境，并允许它们单独运行。
WPHunter·2024-01-19 05:43

MySQL-05-存储引擎

1、简介相当于Linux文件系统，只不过比文件系统强大2、功能了解数据读写数据安全和一致性提高性能热备份自动故障恢复高可用方面支持等.3、存储引擎种类（笔试）3.1介绍(OracleMySQL)InnoDBMyISAMMEMORYARCHIVEFEDERATEDEXAMPLEBLACKHOLEMERGENDBCLUSTERCSV3.2
BJ天涯·2024-01-19 05:16

高并发大游戏如何选择阿里云服务器配置？

活动https://t.aliyun.com/U/bLynLC第七代云服务器采用第三代神龙架构，超高可用性，软硬协同的热升级、热迁移通道，让业务
暴富程序员·2024-01-19 04:25

非凸科技【社招/校招/实习生】长期招聘Rust工程师！Base北京/上海/成都

Base北京/上海/成都社招岗位：Rust工程师岗位职责：设计并开发基于Rust的高性能，低时延算法交易系统；设计并开发数据处理平台，监控运维平台；设计并开发面向客户的高可用交易工具等；设计并开发策略相关的回测平台
非凸科技·2024-01-19 04:44

Flink简介与应用场景

Flink是一个开源的分布式，高性能，高可用，准确的流处理框架。主要由Java代码实现，支持实时流处理和批处理，批数据只是流数据的一个极限案例。支持了迭代计算，内存管理和程序优化。
Real_man·2024-01-19 03:42

FineBI实战项目一（25）：实战项目一总结

没有集群，hdfs、hive、spark、kafka、flink等等都没有2解决方案mysql数据同步尽量和业务系统保持一致，以便后期出现问题排查。mysql同步到数仓，数仓
不死鸟.亚历山大.狼崽子·2024-01-19 02:39

如何在MinIO存储服务中通过Buckets实现远程访问管理界面上传文件

它的优点包括高性能、高可用性、易于部署和管理、支持多租户等。Cpolar
日刷百题·2024-01-19 02:29

浅聊雷池社区版（WAF）的tengine

旨在满足高并发、高可用性和高扩展性的需求Tengine的主要特点高性能：继承了Nginx的高性能特质，Tengine在处
小名空鵼·2024-01-19 01:18

Flink基础系列26-Flink状态管理

一.状态概述:Flink中的状态:算子状态（OperatorState）键控状态（KeyedState）状态后端（StateBackends）image.png由一个任务维护，并且用来计算某个结果的所有数据
只是甲·2024-01-19 01:56

HBase第一章：集群搭建

系列文章目录HBase第一章：集群搭建文章目录系列文章目录前言一、环境准备二、上传HBase三、上传HBase四、配置参数五、分发测试六、高可用总结前言Hive的内容基本算是学完了，太深入的东西，现在没有必要死磕
超哥--·2024-01-19 00:57

Hbase高可用集群部署

Zookeeper集群的正常部署并启动Hadoop集群的正常部署并启动配置环境变量vi/etc/profile#Hbase-HAexportHBASE_HOME=/home/xyp9x/hbase-2.0.5-HAexportPATH=$PATH:$HBASE_HOME/binsource/etc/profilehbase-env.sh修改内容vihbase-env.shexportJAVA_HO
衡超越爱学习~·2024-01-19 00:21

Redis集群优化

文章目录前言集群完整性问题集群带宽问题前言集群虽然具备高可用特性，能实现自动故障修复，但是如果使用不当，也会存在一些问题集群完整性问题集群带宽问题数据倾泻问题客户端性能问题命令的集群兼容性问题Lua和事务问题集群完整性问题集群带宽问题
不会仅此而已·2024-01-18 23:49

【性能调优】local模式下flink处理离线任务能力分析

文章目录一.flink的内存管理1.Jobmanager的内存模型2.TaskManager的内存模型2.1.模型说明2.2.通讯、数据传输方面2.3.框架、任务堆外内存2.4.托管内存3.任务分析二.
roman_日积跬步-终至千里·2024-01-18 23:18

25 - 高可用存储架构 - 双机架构

存储高可用存储高可用方案的本质都是通过将数据复制到多个存储设备，通过数据冗余的方式来实现高可用，其复杂性主要体现在如何应对复制延迟和中断导致的数据不一致问题对一个高可用存储方案，我们需要从以下几个方面去进行思考和分析
舍是境界·2024-01-18 23:09

HDFS使用QJM(Quorum Journal Manager)实现的高可用性以及备份机制

目录前言1.NameNode的启动和对edits和QJM相关配置文件的解析2.使用FSImage和FSEditLog类对image和editlog文件进行读写和管理3.EditsDoubleBuffer双缓存，让flush和write同时进行，互不干扰4.AsyncLoggerSetl类代理对QJM集群的读写6.QuorumCall封装了对基于paxos算法的QJM集群的异步操作7.StandBy
麦兜和小可的舅舅·2024-01-18 22:56

记一次公司的秒杀抢购活动

2、分析像这种秒杀抢购流量暴增的业务场景主要解决两个问题a、系统的稳定与高可用，简单来说你的系统不会被暴增的流量给击垮。b、数据一
coding丶life·2024-01-18 22:04

Flink学习

批处理和流处理的区别批处理和流处理是数据处理的两种主要方式，它们在处理时间、数据量和处理方式上有一些不同。处理时间：批处理是在一段时间内收集的数据，然后进行处理，一般情况下，这些数据是静态的，处理完成后再进行下一次处理。流处理则是实时（或者接近实时）处理数据，数据一进入系统就被处理，不需要等待整批数据都收集完毕再进行处理。数据量：批处理通常处理的数据量非常大，因为它需要等待一段时间内的数据收集完毕
~kiss~·2024-01-18 21:31

FlinkSql bug :OVER windows‘ ordering in stream mode must be defined on a time attribute.

flinksql报错org.apache.flink.table.api.TableException:OVERwindows’orderinginstreammodemustbedefinedonatimeattribute.org.apache.flink.table.api.TableException
Direction_Wind·2024-01-18 21:58

flinksql bug:In ‘hash‘ distribution mode with equality fields set, partition field ‘1000: ymd_bucket

partitionfield‘1000:ymd_bucket:bucket32’shouldbeincludedinequalityfields:‘[distinct_id,tip_page_id,rwk]’场景flinksql
Direction_Wind·2024-01-18 21:58

Hologres + Flink 流式湖仓建设

Hologres+Flink流式湖仓建设1Flink+Hologres特性1.2实时维表Lookup1.3高性能实时写入与更新1.4多流合并1.5Hologres作为Flink的数据源1.6元数据自动发现与更新
Direction_Wind·2024-01-18 21:56

浅聊雷池社区版（WAF）的tengine

旨在满足高并发、高可用性和高扩展性的需求Tengine的主要特点高性能：继承了Nginx的高性能特质，Tengine在处
网盾实验室·2024-01-18 21:17

大游戏并发使用什么阿里云服务器配置？

活动https://t.aliyun.com/U/bLynLC第七代云服务器采用第三代神龙架构，超高可用性，软硬协同的热升级、热迁移通道，让业务
腮帮子疼·2024-01-18 20:49

多服务器对外提供一个浮动ip

主要是用来做高可用/灾备切换，同一时间只有一个服务器提供服务。
谷谷谷雨·2024-01-18 20:26

前后端分离必备的接口规范

前言  随着互联网的高速发展，前端页面的展示、交互体验越来越灵活、炫丽，响应体验也要求越来越高，后端服务的高并发、高可用、高性能、高扩展等特性的要求也愈加苛刻，从而导致前后端研发各自专注于自己擅长的领域深耕细作
独泪了无痕·2024-01-18 20:49

【Docker】Docker容器实战部署多个Nginx实现负载均衡和高可用

文章目录前言下载Nginx复制出配置文件第一步：启动容器修改配置nginx-lb里的nginx.conf启动容器启动nginx1启动nginx2启动nginx-lb演示效果前言Docker下部署多个Nginx进行负载均衡，我这次实操的思路是使用三个Nginx。其中一个Nginx起负载均衡的作用，叫做nginx-lb,单独一个配置文件。另外2个Nginx起真正的转发作用，叫做nginx1和nginx
杰肥啊·2024-01-18 20:46

Linux 探索系统时间对数据库的若干影响

00.背景最近工作的时候遇到一些与ntp时间同步相关的问题：ntp服务对数据库高可用架构的影响（高可用架构失效）ntp与linux系统时区，cputick的关系（对时间相关的进程执行有影响）ntp或系统时区调整后
Zhao.Mr·2024-01-18 19:29

消息中间件面试题

目录一.为什么使用消息队列二.RabbitMQ1.RabbitMQ如何保证消息不丢失2.RabbitMQ消息的重复消费问题3.RabbitMQ延迟队列4.RabbitMQ消息堆积5.RabbitMQ高可用机制三
黑暗对我避而远之·2024-01-18 18:47

PiflowX组件 - Elasticsearch7Write

计算引擎flink组件分组ElasticSearch端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子hostshosts“”无是要连接到的一台或多台Elasticsearch
PiflowX·2024-01-18 17:08

Dinky为大数据框架Flink提供交互式平台，让你学习 FlinkSQL 更加轻松，并且掌握Flink技能！

它是一个基于ApacheFlink的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践。作为一个开箱即用、易扩展的平台，Dinky可以方便地连接OLAP、数据湖等众多框架。
知识分享小能手·2024-01-18 17:59

架构篇05-复杂度来源：高可用

文章目录计算高可用存储高可用高可用状态决策小结今天，我们聊聊复杂度的第二个来源高可用。参考维基百科，先来看看高可用的定义。
星猿杂谈·2024-01-18 17:58

Kafka消息中间件保证消息不丢失

为避免上面类似情况的发生，除了做好补偿措施，更应该在系设计的时候充分考虑各种异常，设计一个稳定、高可用的消息系统。
long_c2b7·2024-01-18 15:13

ElasticSearch入门

1.简介ElasticSerach是一个分布式，高性能，高可用，可伸缩，RESTful风格的搜索和数据分析引擎。通常作为ElasticStack的核心来使用。ES是一个近实时的搜索引擎。
糖屋·2024-01-18 15:14
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他