Flink调优

springboot-jvm调优

JVM调优是做什么的？为什么要调优？下面让我们一起实战一下尝试调优。
Bill老罗·2023-12-21 10:56

数据中台之旅(五)数据开发介绍

功能介绍数据开发包含:作业开发(sqoop\hive\impala\python\shell)、实时开发(flink)、调度管理(工作流\定时调度\DAG查询)、日志管理(定时调度日志\作业运行日志)建设思路作业开发
belialxing·2023-12-21 09:59

一文学会 Apache Zeppelin

github.com/apache/zeppelinZeppelinJIRA：https://issues.apache.org/jira/projects/ZEPPELIN/summaryZeppelin文档FlinkonZeppelin
跟着大数据和AI去旅行·2023-12-21 08:37

实时化与 Serverless 是开源大数据 3.0 时代的必然选择

近日在2023云栖大会上，阿里云开源大数据产品进行了年度发布：E-MapReduce、Elasticsearch等开源大数据产品全面Serverless化；创新性推出Flink与Paimon搭档的新一代流式湖仓
阿里云大数据AI技术·2023-12-21 08:00

阿里云云计算架构师 ACE认证

通过该技术认证可以有效证明该认证人员具备丰富的需求分析能力，云架构设计能力，云架构部署实施能力，云架构诊断和调优能力，洞察业务痛点，制定有效的技术改进方案，最大限度地提高系统架构可扩展性，安全性，可靠性
回到地面·2023-12-21 07:55

【Flink-Kafka-To-Hive】使用 Flink 实现 Kafka 数据写入 Hive

【Flink-Kafka-To-Hive】使用Flink实现Kafka数据写入Hive1）导入相关依赖2）代码实现2.1.resources2.1.1.appconfig.yml2.1.2.log4j.properties2.1.3
bmyyyyyy·2023-12-21 07:51

Flink 窗口（1）—— 基础概念

这就相当于将无界流的聚合转化为了有界数据集的聚合Flink“存储桶”在Flink中，窗口可以把流切割成有限大小的多个“存储桶”（bucket)；每个数据都会分发到对应的桶中，当到达窗口结束时间时，就对每个桶中收集的数据进行计算处理窗口处理过程
THE WHY·2023-12-21 07:48

FlinkSQL

动态表是Flink在TableAPI和SQL中的核心概念，它为流数据处理提供了表和SQL支持。
Stephen6Yang·2023-12-21 07:40

Spring 6（一）【Spring 入门】

Flink按说应该是大数据学习的主线任务，但是长时间学一门技术还是心累的。正好之前对Java注解有了进一步的熟悉，一直想着熟悉巩固。
让线程再跑一会·2023-12-21 07:05

Flink（十）【处理函数】

今天学习Flink处理函数，学完这一块就剩状态管理、容错机制和FlinkSQL了，坚持坚持。学完再好好回顾回顾，最后就是把剩余的一些框架（Kafka、Flume等）补齐
让线程再跑一会·2023-12-21 07:30

吴恩达深度学习笔记(28)-网络训练验证测试数据集的组成介绍

之前可能大家已经了解了神经网络的组成的几个部分，那么我们将继续学习如何有效运作神经网络，内容涉及超参数调优，如何构建数据，以及如何确保优化算法快速运行，从而使学习算法在合理时间内完成自我学习。
极客Array·2023-12-21 06:18

Flink消费Redis Stream数据

前言对于流处理，感觉flink近乎苛刻的只对kafka友好。当然我对kafka也有天然的好感，但是相对于redis而言，kafka还是稍显复杂了一些。我们的生产环境中没有kafka，只有redis。
iFence·2023-12-21 06:08

Flink学习1——运行时架构(standalone模式)

本篇主要讲述FlinkStandalone模式下的运行时架构以及各个组件负责的功能，Flink的运行方式有很多，但都大同小异，本文基本可以满足对flink运行时架构的学习。
iFence·2023-12-21 06:07

Flink join（流流）详解（一）

本文基于flink1.11进行测试。前言这里所说的join是两个或者多个流的join，涉及流批join的内容或者批批join会另写一篇文章专门说。
iFence·2023-12-21 06:37

Flink process function使用详解

前言processfunction是flink中比较底层的函数。能够实现一些高层函数无法实现的功能。
iFence·2023-12-21 06:37

Flink SQL流表与维表join实践

想要使用FlinkSQL的方式join两张表，静态维表的作用类似一张字典表。流表源源不断的来数据，然后去内存中查询字典将流表的数据更新然后插入到MySQL数据库中。
iFence·2023-12-21 06:37

Flink 流表与维表join（流批join）——使用异步IO（async io）实现

前言之前的文章中讲过了Flink流流join也讲过了翻车版本的流批join。为什么翻车了，那篇文章也说了。如果事实表和维度表进行join，Flink会认为这是一个批处理程序。也就是说程序会自己暂停。
iFence·2023-12-21 06:37

flink 1.11 广播状态（Broadcast State）的使用

flink的join算子也是基于广播状态来实现的。需求这里使用flink逛网提供的需求：一个流中包含的事件Item，Item中包含两个属性，一个为Color，一个为Shape。
iFence·2023-12-21 06:07

Flink累加器、计数器的使用

Flink累加器的结果只能在作业结束以后才能得到。这就意味着，如果是一个一直不间断执行的流处理程序是无法得到累加器结果的。只有批处理成功，也就是会结束的flink程序才能得到累加器结果。
iFence·2023-12-21 06:07

【已解决 Flink Java API问题】The return type of function ‘xxx‘ could not be determined automatically

FlinkJavaAPI不像ScalaAPI可以随便写lambda表达式，写完以后需要使用returns方法显式指定返回值类型，否则会报下面错误，大概意思就是说Java的lambda表达式不能提供足够的类型信息
iFence·2023-12-21 06:07

Flink1.11 事件时间（event time）、watermark、watermarkstrategy使用详细案例

前言flink1.11中有了新版的指定watermark和watermarkstrategyAPI。
iFence·2023-12-21 06:37

Flink利用process算子进行分流操作

需求kafka中存有从metricbeat收集的各种数据系统指标数据存到同一个topic中，但是各种指标数据不尽相同，这时候需要将相同结构的数据收集到一起分开处理，就用到了Flink的分流操作。
iFence·2023-12-21 06:36

flink sql1.18.0连接SASL_PLAINTEXT认证的kafka3.3.1

如下：version:"2.2"services:jobmanager:image:flink:1.18.0-scala_2.12container_name:jobmanagerports:-"7081
iFence·2023-12-21 06:33

Flink Table API 与 SQL 编程整理

FlinkAPI总共分为4层这里主要整理TableAPI的使用TableAPI是流处理和批处理通用的关系型API，TableAPI可以基于流输入或者批输入来运行而不需要进行任何修改。
程序猿进阶·2023-12-21 05:49

JVM性能调优准备之Visual GC插件

文章目录jvisualvm安装VisualGC插件VisualGC插件功能介绍区域划分spaces区域Graphs区域Histogram区域oracle官方文章介绍jvisualvm安装VisualGC插件以管理员身份打开cmd命令行窗口查看JDK版本（VisualGC插件需要对应JDK的版本）在cmd窗口输入jvisualvm命令打开JavaVisualVM工具（JDK自带）点击jvisualv
月球程序猿·2023-12-21 04:26

JVM性能调优辅助手册之JVM指令

文章目录栈和局部变量操作将常量压入栈的指令从栈中的局部变量中装载值的指令将栈中的值存入局部变量的指令wide指令通用(无类型）栈操作类型转换整数运算逻辑运算移位操作按位布尔运算浮点运算对象和数组对象操作指令数组操作指令控制流条件分支指令比较指令无条件转移指令表跳转指令异常方法调用与返回方法调用指令方法返回指令线程同步JVM指令助记符栈和局部变量操作将常量压入栈的指令aconst_null将null
月球程序猿·2023-12-21 04:25

Flink CDC 系列（2）—— Flink CDC 源码编译

FlinkCDC系列文章：《FlinkCDC系列（1）——什么是FlinkCDC》《FlinkCDC系列（2）——FlinkCDC源码编译》《FlinkCDC系列（3）——FlinkCDCMySQLConnector
修破立生·2023-12-21 01:08

「Java工具类」BeanCopyUtil对象复制工具类

通用工具类的分享；以及springboot+springcloud+Mybatisplus+druid+mysql+redis+swagger+maven+docker等集成框架的技术分享；datax、kafka、flink
程序员阿宁·2023-12-21 01:37

Flink CDC

一、什么是CDC?  CDC是ChangeDataCapture（变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。二、CDC种类  CDC主要分为基于查询和基于Binlog两种方式，我们主要了解一下这两种之间的区别：基于查询的CDC基于Binlog的CDC开源产品S
满床清梦覆星河·2023-12-21 01:06

Flink系列之：基于Flink CDC2.0实现海量数据的实时同步和转换

Flink系列之：基于FlinkCDC2.0实现海量数据的实时同步和转换一、CDC技术二、FlinkCDC技术三、传统数据集成方案的痛点1.传统数据入仓架构1.02.传统数据入仓架构2.03.传统CDCETL
最笨的羊羊·2023-12-20 23:48

Iceberg （一、presto和trino实践——行级更新）

为什么先讲述presto和trino引擎操作，主要是这两个组件没有找到详细介绍的文档，另外关于spark/flink会有更多的文章
yyoc97·2023-12-20 23:18

Flink CDC 3.0 正式发布，详细解读新一代实时数据集成框架

01FlinkCDC概述FlinkCDC是基于数据库日志CDC（ChangeDataCapture）技术的实时数据集成框架，支持了全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等高级特性
Apache Flink·2023-12-20 23:16

Flink CDC 系列 - 同步 MySQL 分库分表，构建 Iceberg 实时数据湖

这篇教程将展示如何使用FlinkCDC构建实时数据湖来应对这种场景，本教程的演示基于Docker，只涉及SQL，无需一行Java/Scala代码，也无需安装IDE，你可以很方便地在自己的
四月天03·2023-12-20 23:16

Flink CDC同步 MySQL 分库分表分片数据

只需要在创建flink源表时在数据库和表名上使用正则匹配即可。
shy_snow·2023-12-20 23:16

Flink cdc3.0同步实例（动态变更表结构、分库分表同步）

文章目录前言准备flink环境docker构建mysql、doris环境数据准备通过FlinkCDCcli提交任务整库同步同步变更路由变更路由表结构不一致无法同步结尾前言最近FlinkCDC3.0发布，
yyoc97·2023-12-20 23:39

Flink高可用集群搭建

部署flink的准备工作flink版本的选择需要考虑hadoop的版本，本集群hadoop的版本为2.7.4,flink的版本为flink-1.7.2-bin-hadoop27-scala_2.11.tgzflink
NikolasNull·2023-12-20 23:44

Flink系列之：监控Checkpoint

Flink系列之：监控Checkpoint一、概览二、概览（Overview）选项卡三、历史记录（History）选项卡四、历史记录数量配置五、摘要信息（Summary）选项卡六、配置信息（Configuration
最笨的羊羊·2023-12-20 22:21

Python高级算法——支持向量机（Support Vector Machine，SVM）

本文将深入讲解Python中的支持向量机，包括算法原理、核函数、超参数调优、软间隔与硬间隔、优缺点，以及使用代码示例演示SVM在实际问题中的应用。算法原理1.SVM的基本原理支持向量机的基本原理是找
Echo_Wish·2023-12-20 22:09

Flink系列之：JDBC SQL 连接器

Flink系列之：JDBCSQL连接器一、JDBCSQL连接器二、依赖三、创建JDBC表四、连接器参数五、键处理六、分区扫描七、LookupCache八、幂等写入九、JDBCCatalog十、JDBCCatalog
最笨的羊羊·2023-12-20 21:24

Flink系列之：State Time-To-Live (TTL)

Flink系列之：StateTime-To-LiveTTL一、TTL二、TTL实现代码三、过期状态的清理一、TTLFlink的TTL（Time-To-Live）是一种数据过期策略，用于指定数据在流处理中的存活时间
最笨的羊羊·2023-12-20 21:47

Flink系列之：Apache Kafka SQL 连接器

Flink系列之：ApacheKafkaSQL连接器一、ApacheKafkaSQL连接器二、依赖三、创建Kafka表四、可用的元数据五、连接器参数六、特性七、Topic和Partition的探测八、起始消费位点九
最笨的羊羊·2023-12-20 17:19

Flink系列之：Upsert Kafka SQL 连接器

Flink系列之：UpsertKafkaSQL连接器一、UpsertKafkaSQL连接器二、依赖三、完整示例四、可用元数据五、键和值格式六、主键约束七、一致性保证八、为每个分区生成相应的watermark
最笨的羊羊·2023-12-20 17:19

Flink系列之：窗口Top-N

Flink系列之：窗口Top-N一、窗口Top-N二、示例：在窗口聚合后进行窗口Top-N三、在窗口表值函数后进行窗口Top-N四、限制一、窗口Top-N适用于流、批一体窗口Top-N是特殊的Top-N
最笨的羊羊·2023-12-20 17:47

Flink SQL填坑记2：Flink和MySQL的Bigdata类型不同导致ClassCastException报错

最近在开发FlinkSQL的时候，需要关联Kafka事实表和MySQL维表，得到的数据写入Phoenix表中，但是其中有个字段，Kafka表、MySQL表和Phoenix表都是BigData类型，但是在实现的时候却报
IT源哥·2023-12-20 17:17

Linux内核参数调优

一、Linux内核配置文件Linux在系统运行时修改内核参数(/proc/sys与/etc/sysctl.conf)，而不需要重新引导系统，这个功能是通过/proc虚拟文件系统实现的。在/proc/sys目录下存放着大多数的内核参数，并且设计成可以在系统运行的同时进行更改,可以通过更改/proc/sys中内核参数对应的文件达到修改内核参数的目的(修改过后，保存配置文件就马上自动生效)，不过重新启动
wespten·2023-12-20 15:02

flink 读取 apache paimon表,查看source的延迟时间 消费堆积情况

paimonsource查看消费的数据延迟了多久如果没有延迟则显示0官方文档Metrics|ApachePaimon
Thomas2143·2023-12-20 15:49

高级调优：查找并修复 Elasticsearch 慢查询

原文链接https://www.elastic.co/cn/blog/advanced-tuning-finding-and-fixing-slow-elasticsearch-queriesElasticsearch是一个非常灵活且功能丰富的应用程序，它提供了许多不同的数据查询方法。但是，您是否遇到过查询速度低于预期的情况？对于像Elasticsearch这样的分布式系统，可能会有各种影响查询性
水的精神·2023-12-20 14:17

Go函数指针是如何让你的程序变慢的？

本文作者根据自己对Go代码的使用与调优经验，分享了Go的函数值对性能影响的原因以及优化方案，值得深度阅读！
腾讯云开发者·2023-12-20 14:56

【jvm从入门到实战】（十） 实战篇-内存调优

内存溢出和内存泄漏：在Java中如果不再使用一个对象，但是该对象依然在GCROOT的引用链上，这个对象就不会被垃圾回收器回收，这种情况就称之为内存泄漏。内存泄漏绝大多数情况都是由堆内存泄漏引起的。少量的内存泄漏可以容忍，但是如果发生持续的内存泄漏，就像滚雪球雪球越滚越大，不管有多大的内存迟早会被消耗完，最终导致的结果就是内存溢出。但是产生内存溢出并不是只有内存泄漏这一种原因内存泄漏的常见场景：内存
小星星*·2023-12-20 13:53

Flink-容错机制checkpoint

所以在Flink中，检查点的保存是周期性触发的，间隔时间可以进行设置。保存的时间点我们应该在所有任务（算子）都恰好处理完一个相同的输入数据的时候，将它们的状态保存下来。这样做可以实现一个数据被
Stephen6Yang·2023-12-20 11:42
上一页 40 41 42 43 44 45 46 47 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他