Flink调优

Flink SQL TopN语句详解

TopN定义（⽀持Batch\Streaming）：TopN对应离线数仓的row_number()，使⽤row_number()对某⼀个分组的数据进⾏排序。应⽤场景：根据某个排序条件，计算某个分组下的排⾏榜数据。SQL语法标准：SELECT[column_list]FROM(SELECT[column_list],ROW_NUMBER()OVER([PARTITIONBYcol1[,col2...
猫猫爱吃小鱼粮·2023-11-08 09:14

JVM运行时数据区-堆

目录一、堆的核心概述（一）概述（二）堆空间细分（三）jvisualvm工具二、设置堆内存的大小与OOM三、年轻代与老年代四、图解对象分配一般过程五、对象分配特殊过程六、常用调优工具七、MinorGC，MajorGC
zoeil·2023-11-08 08:18

Flink SQL Window TopN 详解

WindowTopN定义（⽀持Streaming）：WindowTopN是特殊的TopN，返回结果是每⼀个窗⼝内的N个最⼩值或者最⼤值。应⽤场景：TopN会出现中间结果，出现回撤数据，WindowTopN不会出现回撤数据，因为WindowTopN是在窗⼝结束时输出最终结果，不会产⽣中间结果。注意：因为是窗⼝上⾯的操作，WindowTopN在窗⼝结束时，会⾃动把State清除。SQL语法标准：SEL
猫猫爱吃小鱼粮·2023-11-08 08:56

flink的CoProcessFunction使用示例

背景在flink中对两个流进行connect之后进行出处理的场景很常见，我们本文就以书中的一个例子为例说明下实现一个CoProcessFunction的一些要点实现CoProcessFunction的一些要点这个例子举例的是当收到某个传感器放行的控制消息时
lixia0417mul2·2023-11-08 08:56

Flink--Data Source 介绍

DataSource简介Flink做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink
墨子白·2023-11-08 08:52

大数据技术之 Spark 优化

第1章Spark性能调优1.1常规性能调优1.1.1常规性能调优一：最优资源配置Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后
大数据翻身·2023-11-08 06:38

CVE-2021-44228——Log4j2-RCE漏洞复现

漏洞利用无需特殊配置，经阿里云安全团队验证，ApacheStruts2、ApacheSolr、ApacheDruid、ApacheFlink等均受影响。
Li-D·2023-11-08 05:00

Hudi学习3：数据湖主流架构

deltaLakeIcebergiceberg表可以扩展Hudi支持flink，并且支持快速upsert/delete
hzp666·2023-11-08 04:40

搭建DMETL与使用

创新地将传统的ETL工具（Extract、Transform、Loading)与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据共享交换的一站式支持，大幅度降低了用户使用各种hadoop以及flink
abiubiu~·2023-11-08 03:14

DMETL部署测试记录

创新地将传统的ETL工具（Extract、Transform、Loading)与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据共享交换的一站式支持，大幅度降低了用户使用各种hadoop以及flink
xufei_9527·2023-11-08 03:14

DMETL5工具安装部署（图形化安装）

创新地将传统的ETL工具（Extract、Transform、Loading)与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据共享交换的一站式支持，大幅度降低了用户使用各种hadoop以及flink
Dfnygs·2023-11-08 03:43

1.线程池与AQS

2.即：（降低资源消耗（创建、销毁消耗）、提高响应速度（不等创建、立即执行）、提高线程的可管理性（稀缺、无限制、降低稳定性、分配、调优和监控））1.2实现Runnable接口和Callable接口的区别
wild oats·2023-11-08 00:35

8年经验之谈 —— 记一次接口压力测试与性能调优！

经验总结1.如果总的CPU占用率偏高，且基本都被业务线程占用时，CPU占用率过高的原因跟JVM参数大小没有直接关系，而跟具体的业务逻辑有关。2.当设置JVM堆内存偏小时，GC频繁会导致业务线程停顿增多，TPS下降，最后CPU占用率也低了；3.当设置JVM堆内存偏大时，GC次数下降，TPS上升，CPU占用率立刻上升。4.Dom4J这个xml解析工具性能很强大，但在处理节点和层级都较多的xml文本时，
测试界的彭于晏·2023-11-07 22:01

flink集群搭建

1flink下载2.上传安装包3解压4修改配置文件4.1配置slaves4.2修改配置文件flink-conf.yaml5传送安装包到集群其他服务器6启动集群7验证7.1本地提交作业7.2打包提交作业1flink
菜菜的中年程序猿·2023-11-07 22:49

快速部署一个Flink集群

文章目录环境配置集群启动下载并解压安装包向集群提交作业在WebUI上提交作业命令行提交这里需要提到Flink中的几个关键组件：客户端（Client）、作业管理器（JobManager）和任务管理器（TaskManager
Alienware^·2023-11-07 22:19

【flink集群+高可用搭建】

flink1.集群搭建上传flink压缩包到指定目录解压tar-zxvfflink-1.10.1-bin-scala_2.12.tgz重命名mvflink-1.10.1flink配置环境变量：exportFLINK_HOME
长安不问·2023-11-07 22:49

腾讯云部署flink集群standalone模式

0、准备条件1、两台服务器，必须要再同一个vpc网络下，用内网地址可以ping通，腾讯云是同一个账号同一个地域的服务器会自动分配到同一个vpc下面（腾讯云稍微便宜点）2、开放防火墙，一个是安全组规则，一个是firewalld服务开放安全组关闭firewalldsystemctlstopfirewalldsystemctldisablefirewalld3、编辑所有服务器的/etc/hosts文件4
Ayu大象·2023-11-07 22:48

Flink Standlone集群搭建

文章目录Flink1.12standalone集群模式搭建一、集群搭建准备（1）服务器资源（2）JAVA执行环境（3）flink安装包（4）服务间需要配置免密登录①执行生成SSHKEY命令②将公钥发送给需要免密的机器上二
保护我方胖虎·2023-11-07 22:18

【docker专题_03】docker搭建Flink集群

1.拉取镜像#默认拉取最新版本dockerpullflink#检查镜像dockerimages|grepflink2.编写flink的yaml文件注意：云服务器需要设置安全策略放行8081端口，否则访问失败编写
SevenHee·2023-11-07 22:18

Flink集群配置

安装flink1.14.4版本并解压准备三台虚拟机：192.168.1.244（master）192.168.1.245192.168.1.246进入配置目录cd/opt/flink-1.14.4/conf
Xeon_CC·2023-11-07 22:48

云服务器搭建flink集群

文章目录1.集群配置2.修改集群配置3.访问WebUI4.提交作业方式5.Yarn部署模式配置5.1会话模式部署（SessionMode）5.2单作业模式(Per-jobMode)5.3应用模式部署（推荐）5.3.1上传HDFS提交（推荐）5.4历史服务器1.集群配置节点服务器s1s2s3s4gracal角色JobManagerTaskManagerTaskManagerTaskManagerTa
几窗花鸢·2023-11-07 22:47

掌动智能性能压力测试优势有哪些

3、进行系统调优：多次验证测试，调整系统活动是否达到预
掌动智能·2023-11-07 21:07

flink1.15报错 processElement_split

flinksql完整报错Causedby:java.lang.NullPointerExceptionatStreamExecCalc$1148.processElement_split178(UnknownSource
Thomas2143·2023-11-07 20:21

Flink Table API与SQL

这里目录标题11、TableAPI与SQL11.1需要引入的pom依赖11.2、两种planner区别（old/blink）11.3、基本程序结构11.4.TableEnvironment11.5、表(Table)11.5.1创建TableEnvironment11.5.2动态表11.5.2注册表11.5.4创建视图11.5.4创建零时表11.6.TableAPI语法11.6.1.Scan,Pro
忄凝^·2023-11-07 20:20

Flink TableAPI 和 SQL

文章目录FlinkTableAPI和SQL两种计划器（Planner）的主要区别：TableAPI和SQL程序的结构创建TableEnvironment创建表临时表（TemporaryTable）永久表
coding or coded·2023-11-07 20:47

Flink Table API 和 Flink SQL

1.简单介绍1.1什么是TableAPI和FlinkSQLFlink本身是批流统一的处理框架，所以TableAPI和SQL，就是批流统一的上层处理API。目前功能尚未完善，处于活跃的开发阶段。
pageniao·2023-11-07 20:17

19、Flink 的Table API 和 SQL 中的自定义函数及示例（2）

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-07 20:15

18、Flink的SQL 支持的操作和语法

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-07 20:14

19、Flink 的Table API 和 SQL 中的内置函数及示例（1）

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-07 20:41

「Java工具类」发现一个身份证地址解析出省市区的工具类

通用工具类的分享；以及springboot+springcloud+Mybatisplus+druid+mysql+redis+swagger+maven+docker等集成框架的技术分享；datax、kafka、flink
程序员阿宁·2023-11-07 18:06

MySQL数据库调优策略

1.数据库调优的措施1.1调优的目标尽可能节省系统资源，以便系统可以提供更大负荷的服务。（吞吐量更大）合理的结构设计和参数调整，以提高用户操作响应的速度。
shangjg3·2023-11-07 17:08

JVM调优工具详解及调优实战(1)

文章目录1.前提准备2.Jmap3.Jstack4.Jinfo5.Jstat（重点）6.案例分析1.前提准备任意启动一个web项目，这里我已经启动好了2.Jmapmap命令用于生成堆转储快照，有时候也成为heapdump或者dump文件。Jmap不仅仅可以获取dump文件，还可以查询finalize执行队列，Java堆和永久代的详细信息，如空间使用率、当时用的是那种收集器等。使用jps查看我们的进
jakiechaipush·2023-11-07 13:58

Elasticsearch高性能优化实践

ES性能调优ES的默认配置，是综合了数据可靠性、写入速度、搜索实时性等因素。实际使用时，我们需要根据公司要求，进行偏向性的优化。
fanchael_kui·2023-11-07 13:52

知行之桥EDI系统压力测试&性能调优分享

预计阅读时长3分钟本文主要讲解知行之桥EDI系统压力测试流程以及常见的性能调优方法。衡量一个产品是否成功的一个重要参考因素为：性能是否达标？是否可以进一步优化。
知行EDI·2023-11-07 12:31

Maven : Cannot deploy artifact from the local repository

1.美图2.背景mavendeploy一个本地仓库的jarbase)[email protected]$ll/Users/lcc/soft/maven/repo/org/apache/flink
九师兄·2023-11-07 10:04

Flink 从 0 到 1 学习 —— 如何自定义 Data Source ？

前言在《从0到1学习Flink》——DataSource介绍文章中，我给大家介绍了FlinkDataSource以及简短的介绍了一下自定义DataSource，这篇文章更详细的介绍下，并写一个demo出来让大家理解
zhisheng_blog·2023-11-07 09:39

Flink入门系列4----DataStream API编程

使用mvn创建一个flink-quick-start项目，自定义gav和包名mvnarchetype:generate-DarchetypeGroupId=org.apache.flink-DarchetypeArtifactId
西城xml·2023-11-07 07:18

【大数据Flink】入门案例 -- WordCount（DataStream）

Flink经典入门案例--WordCount1.环境准备2.数据加载3.数据处理3.1切割3.2标记3.3分组3.4聚合4.数据输出源码下面主要是使用DataStream的方式去实现，在Flink1.14
Buffedon·2023-11-07 07:47

【Flink】FLINK-CDC之DataStream方式的应用（mysql篇）

1、mysql中创建表，注意，mysql要开启binlog，否则报错CREATETABLE`cdc_user`(`id`BIGINT(11)NOTNULL,`name`VARCHAR(50)NULLDEFAULTNULLCOLLATE'utf8mb4_bin',`type`VARCHAR(50)NULLDEFAULTNULLCOLLATE'utf8mb4_bin',`desc`TEXTNULLDE
一杯咖啡半杯糖·2023-11-07 07:46

【Flink从入门到精通 02】DataStream API

在之前的文章中，我们介绍了Flink的安装部署、基础概念，今天我们来一起学习Flink的核心之一DataStreamAPI。
编程理想国·2023-11-07 07:15

四、Flink入门-- DataStream API

DataSink1.4Opeator作用概览1.5KeyedStream1.6物理分组1.7类型系统2.DataStreamAPI原理1.DataStream概览1.1使用示例packagecom.lyh.flinkimportorg.apache.flink.streaming.ap
灰二和杉菜·2023-11-07 07:14

Flink -Table API 中 和DataStream 互相转换

将Table转换成DataStream表可以转换为DataStream或DataSet,这样自定义流处理或批处理程序就可以继续在TableAPI或SQL查询的结果上运行了将表转换为DataStream或DataSet时，需要制定生成的数据类型，既要将表的每一行转换成的数据类型表作为流式查询的结果，是动态更新的转换有两种转换模式：追加(Append)模式和撤回(Retract)模式追加模式(Retr
腹黑客·2023-11-07 07:44

flink官方示例分析-基于 DataStream API 实现欺诈检测

看到这篇文章，应该都是看过flink官网的官方示例，这里就不作详细解释，只对其中的代码细节补充个人理解。如果还没看过，可以先看官方示例。
黑狗偶高·2023-11-07 07:13

【入门Flink】- 07Flink DataStream API【万字篇】

DataStreamAPI是Flink的核心层API。一个Flink程序，其实就是对DataStream的各种转换。
不进大厂不改名二号·2023-11-07 07:11

Flink SQL 自定义 redis connector

一般情况下,我们不需要创建新的connector,因为FlinkSQL已经内置了丰富的connector供我们使用,但是在实际生产环境中我们的存储是多种多样的,所以原生的connector并不能满足所有用户的需求
JasonLee实时计算·2023-11-07 05:42

聊聊flink 1.11 中的随机数据生成器- DataGen connector

文章目录使用示例源码解析创建TableSource数据生成器DataGeneratorDataGenTableSource使用在flink1.11中，内置提供了一个DataGen连接器，主要是用于生成一些随机数
大数据技术与应用实战·2023-11-07 05:42

zookeeper版本选择与配置参数调优

一、zookeeper发布策略ApacheZooKeeper社区一次支持两个发布分支：stable和current。ZooKeeper的稳定版本是3.7.x，当前版本是3.8.x。一旦发布新的次要版本，稳定版本预计将很快退役，大约半年后将宣布为End-of-Life。在半年的宽限期内，预计只会为该版本发布安全和关键修复程序。宣布EoL后，社区不再提供进一步的补丁。所有ZooKeeper版本都可以从
柠檬味的鱼°·2023-11-07 05:41

详述Flink SQL Connector写入clickhouse的问题与方法

笔者使用FlinkSQL（jdbcconnector）将实时数据写入Clickhouse时，查询Flink官方文档发现flink-connector-jdbc仅支持MySQL,PostgreSQL和Derby
search-lemon·2023-11-07 05:11

Flink的流流Join和流维Join

目录1.FlinkSql1.1流流Join-RegularJoin1.1.1UnBoundedJoin1.2流流Join-IntervalJoin1.3TemporalJoins1.4流维Join1.4.1
这个程序猿可太秀了·2023-11-07 05:10

ZooKeeper参数调优

zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg，需要将其修改为zoo.cfg。其中各配置项的含义，解释如下：1.tickTime：Client-Server通信心跳时间Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳。tickTime以毫秒为单位。tickTime=20002.initL
weixin_34345753·2023-11-07 05:10
上一页 72 73 74 75 76 77 78 79 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他