Flink调优

【FLINK】Kafka数据源通过Flink-cdc进行实时数据同步

何为FLINK-CDC？
木棉庭·2024-01-17 18:09

Java 实现mysql 同步 flink cdc 做数据收集 demo

**准备环境**java8mysqlflink1.3.5flinkcdc2.2.1数据库创建2张测试表格student、和student1CREATETABLE`student`(`id`int(11)
你是小可爱吗·2024-01-17 18:08

Flink的ListState在小规模场景下的缓存提速和接口优化丰富的实践

实时计算功能，底层是基于Flink，我们在此基础上开发辅助插件和可视化开发运维套件，我们将其称之为SailFlink。
OkGogooXSailboat·2024-01-17 18:36

Aviator表达式扩展--数组、列表负向序号索引以及自己的JSON库支持方括号([])赋值

1.背景笔者开发的大数据大数据平台XSailboat中的DataStudio模块包含基于DAG图的实时计算可视化开发功能，实现了Flink计算任务的可视化开发（想要了解更多，可以查看《Flink的DAG
OkGogooXSailboat·2024-01-17 18:36

关于Flink在一条计算管道中配置流和数据流通过广播方式合流的情形下，无保存点和检查点重跑时，让配置流先行，数据流等延迟几秒再进入合流节点的思考

1.背景笔者带领的团队在自研的大数据平台XSailboat上进行专家策略规则的计算管道开发时，遇到这样一种情形：计算管道中存在一条配置流和数据流通过广播方式合流的情形。配置流和数据流的输入源都是Kafka主题，但是是两个不同的Kafka主题。配置流的Kafka主题中存储的是规则配置，数据流中存储的是要分析的数据。在开发调试的时候，这两个主题中已有数据，一调试运行，数据流先到达被处理，配置流晚到，造
OkGogooXSailboat·2024-01-17 18:36

增加Java对象序列化和反序列化灵活性、适应性的方法

1.背景笔者在进行SailFlink框架开发的时候，涉及大量需要序列化和反序列的类，尤其是各种算子的Function方法。
OkGogooXSailboat·2024-01-17 18:06

本地运行Flink退出时java.nio.file.DirectoryNotEmptyException、目录没有正常删除解决方法

1.背景在开发大数据平台XSailboat中的查看Flink任务的状态数据工具时，用StateProcessAPI解析保存点数据，将其从HDFS上读取出来再将其解析过后下沉到HDFS以CSV格式保存，然后由其它接口提供对这个文件的分页加载功能
OkGogooXSailboat·2024-01-17 18:05

Flink的Reduce算子，Name-Position形式的Row数据在使用保存点/检查点重新启动的时候，变成了Position-Based形式的Row解决

1.背景大数据平台XSailboat提供了基于ApacheFlink的实时计算管道开发功能。DataStudio的实时计算管道开发功能中提供了分区规约节点(keyBy+reduce)。
OkGogooXSailboat·2024-01-17 18:05

基于大数据平台(XSailboat)的计算管道实现MySQL数据源的CDC同步--flink CDC

1.背景笔者在先前的一篇文档《数据标签设计–大数据平台(XSailboat)的数据标签模块》提到了关于数据标签的模块，现已实现并应用于项目中。在项目中遇到这样一种情形：在业务系统中，对某类对象打了标签，现在需要对这类对象进行过滤并分页查询，支持使用这类对象的属性和所打标签进行过滤。这就出现了一个问题：标签和打标信息是存储在大数据平台的数据库中的，而业务数据是存储在业务系统数据库中的，这是两个数据库
OkGogooXSailboat·2024-01-17 18:05

Linux高并发调优

springboot的tomcat的几个配置参数环境:jdk1.8+springboot2.1.1.RELEASEserver:port:8085servlet:context-path:/testtomcat:max-threads:1#最大线程数，默认200accept-count:1#挂起的最大连接数，默认100，最终会体现在这里publicabstractServerSocketChann
胖小白_d797·2024-01-17 17:10

flink1.15消费kafka之checkpoint 二

前言上一篇讲解了checkpoint恢复的流程，以及checkpoint恢复时如何从状态中获取topic、partition，开始offset值，本篇主要如何取到offset值进行消费的。流程Task运行时，首先调用doRun方法：publicvoidrun(){try{doRun();}finally{terminationFuture.complete(executionState);}}pr
zhiyi329·2024-01-17 16:29

2024.1.16 用户画像day01 - 项目介绍

elasticSearch-业务数据源导入-离线指标开发-Flume实时采集-Nginx日志埋点数据-结构化流实时指标-制作报表数仓开发用户画像实时开发hive-spark数据挖掘结构化流-Flume-Kafka-Flink
白白的wj·2024-01-17 15:40

Flink Sql on Zeppelin（2）——维表Join

维表join代码编写之前在讲FlinkSql的时候和大家聊过维表以及如何用FlinkSql来完成维表Join现在带大家看看如何用Zeppelin来实现这个功能首先，我们先引入我们所需的依赖包，目前大家先跟着我这么写
狄杰丶·2024-01-17 15:33

关于CarbonData+Spark SQL的一些应用实践和调优经验分享

大数据时代，中大型企业数据的爆发式增长，几乎每天都能产生约100GB到10TB的数据。而企业数据分系统构建与扩张，导致不同应用场景下大数据冗余严重。行业亟需一个高效、统一的融合数仓，从海量数据中快速获取有效信息，从而洞察机遇、规避风险。\\在这样的现状下，CarbonData诞生了，作为首个由中国贡献给Apache社区的顶级开源项目，CarbonData提供了一种新的融合数据存储方案，以一份数据同
weixin_34075551·2024-01-17 15:31

后端开发工程师需要掌握的内容

1.语言相关1.1Java核心知识点Java的类加载机制JVM相关：JVM内存模型和结构,GC原理,性能调优泛型集合体系异常体系IO体系多线程编程反射Servlet推荐数据《Java编程思想》《EffectiveJava
Programmer boy·2024-01-17 15:01

Java17优化指南

JVM调优的基本概念JVM调优主要涉及内存管理、垃圾收集器的选择和配置、JIT编译器优化等方面。优化目的在于减少延迟，提高吞吐量和资源利用率。1.内存管理优化内存管理是JVM调优的核心。
程序员升仔·2024-01-17 14:45

FlinkSQL【分组聚合-多维分析-性能调优】应用实例分析

FlinkSQL处理如下实时数据需求：实时聚合不同类型/账号/发布时间的各个指标数据，比如：初始化/初始化后删除/初始化后取消/推送/成功/失败的指标数据。
PONY LEE·2024-01-17 14:44

sqlserver-＞clickhouse迁移数据

网上看了很多cdc的方案，说实在的，flink也不好弄，主要是驱动。
kaka9·2024-01-17 14:20

MySQL单表记录数过大的优化策略详解

1.2多列索引2.分区表2.1分区表概述2.2按时间范围分区3.垂直拆分3.1垂直拆分概述3.2垂直拆分示例4.水平拆分4.1水平拆分概述4.2水平拆分示例4.3水平拆分优缺点4.4补充5.性能监控和调优
喔的 喔的嘛呀·2024-01-17 14:49

【Flink-1.17-教程】-【二】Flink 集群搭建、Flink 部署、Flink 运行模式

【Flink-1.17-教程】-【二】Flink集群搭建、Flink部署、Flink运行模式1）集群角色2）Flink集群搭建2.1.集群启动2.2.向集群提交作业3）部署模式3.1.会话模式（SessionMode
bmyyyyyy·2024-01-17 12:16

StreamX流批一体一站式大数据平台：大数据Flink可视化工具的革命性突破，让你的数据更高效、更直观！

介绍：StreamX，开源的流批一体一站式大数据平台，致力于让Flink开发更简单。它极大地降低了学习成本和开发门槛，使开发者可以专注于最核心的业务。
知识分享小能手·2024-01-17 12:15

Flink旁路输出OutputTag

文章目录前言代码示例1.流复制2.条件分流3.迟到数据分流前言除了由DataStream操作产生的主要流之外，还可以产生任意数量的旁路输出结果流。结果流中的数据类型不必与主要流中的数据类型相匹配，并且不同旁路输出的类型也可以不同。当你需要拆分数据流时，通常必须复制该数据流，然后从每个流中过滤掉不需要的数据。使用旁路输出时，首先需要定义用于标识旁路输出流的OutputTag：//需要使用匿名内部类，
shandongwill·2024-01-17 12:42

Hbase - 自定义Rowkey规则

在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取
kikiki2·2024-01-17 11:48

运维监控篇Zabbix简单的性能调优

http://www.cnblogs.com/zhengchunyuan/p/9282574.html
Lucky__Strike·2024-01-17 10:24

【小笔记】算法基础超参数调优思路

【学而不思则罔，思维不学则怠】9.29本文总结一下常见的一些超参数调优思路Batch_size2023.9.29简单来说，较大的bz可以加快训练速度，特别是基于GPU进行模型训练时，应该在显存允许范围内
落叶阳光·2024-01-17 08:39

2023 IoTDB Summit：天谋科技高级开发工程师谭新宇《优其效：如何用 IoTDB 监控工具进行深度系统调优》...

12月3日，2023IoTDB用户大会在北京成功举行，收获强烈反响。本次峰会汇集了超20位大咖嘉宾带来工业互联网行业、技术、应用方向的精彩议题，多位学术泰斗、企业代表、开发者，深度分享了工业物联网时序数据库IoTDB的技术创新、应用效果，与各行业标杆用户的落地实践、解决方案，并共同探讨时序数据管理领域的行业趋势。我们邀请到天谋科技高级开发工程师，ApacheIoTDBPMCMember谭新宇参加此
Apache IoTDB·2024-01-17 08:41

flink1.15 维表join guava cache和mysql方面优化

优化前mysql响应慢,导致算子中数据输出追不上输入,导致显示cpubusy:100%优化后效果两个图对应两个时刻:----优化前selectl.id,JSON_EXTRACT(r.msg,'$$.key1')asmsgv(selectid,uidfromtb1lwhereid=?)join(selectuid,msgfromtb2)ronl.uid=r.uid;--优化后分两次查询mysql并且
Thomas2143·2024-01-17 08:10

运行时管理和监控 Java 应用程序-JMX技术初探

文章目录1.JMX简介2.使用场景2.1性能监控和调优2.2运行时配置管理2.3故障诊断和问题排查3.使用样例3.1简单的MBean接口3.2简单的MBean实现3.3使用jconsole工具监测jmx
David爱编程·2024-01-17 07:52

jattach-一个集成jmap、jstack、jinfo、jcmd功能的轻量级JVM工具，无需JDK也能运行

jattach简介3.容器内安装jattach工具3.1容器内可访问外网安装jattach工具的方法3.2容器内无法访问外网安装jattach工具的方法4.在容器内使用jattach工具定位JVM问题/调优
David爱编程·2024-01-17 07:21

Flink实战之运行架构

本文章：重点是分析清楚运行架构以及并行度与slot的分配1、JobManager和TaskManagerFlink中的节点可以分为JobManager和TaskManager。
core512·2024-01-17 06:16

FlinkAPI开发之水位线（Watermark）

案例用到的测试数据请参考文章：Flink自定义Source模拟数据流原文链接：https://blog.csdn.net/m0_52606060/article/details/135436048Flink
Appreciate(欣赏)·2024-01-17 06:08

FlinkAPI开发之处理函数

案例用到的测试数据请参考文章：Flink自定义Source模拟数据流原文链接：https://blog.csdn.net/m0_52606060/article/details/135436048概述之前所介绍的流处理
Appreciate(欣赏)·2024-01-17 06:03

深入理解与应用Flink中的水印机制

在ApacheFlink这一现代大数据处理框架中，对实时流数据的高效、准确处理是一个核心诉求。
临界爵迹·2024-01-17 06:03

【总结】Dinky学习笔记

概述Dinky是一个开箱即用、易扩展，以ApacheFlink为基础，连接OLAP和数据湖等众多框架的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践官网：Dinky核心特性沉浸式：提供专业的DataStudio
THE WHY·2024-01-17 04:11

Flink启动Yarn Session报错：Couldn‘t deploy Yarn session cluster

Flink版本：1.1.3启动YarnSession的语句：bin/yarn-session.sh-nmtest-d报错截图如下：仅通过ERROR信息只能知道是yarnsession集群未能正常启动，因此继续向下查找
THE WHY·2024-01-17 04:09

基于SPARK的淘宝用户购物行为可视化分析

后续阶段将基于三台虚拟机情况下进行调优，以期实现性能最优化。
番茄薯仔·2024-01-17 02:14

HBase集群写入出现大量毛刺排查

大家好，我是K&D，一名10年以上大数据架构&研发经验从业者，目前主要从事云原生大数据方向设计，擅长云原生技术、数据架构、数据平台构建、大数据组件性能调优问题现象查看监控，业务请求量正常，但是server
KubeData·2024-01-17 02:12

一文了解数据库vs数据仓库vs数据湖

大家好，我是K&D，一名10年以上大数据架构&研发经验从业者，目前主要从事云原生大数据方向设计，擅长云原生技术、数据架构、数据平台构建、大数据组件性能调优以下是本文目录：什么是数据库？
KubeData·2024-01-17 02:11

程序员如何构建自己的「护城河」

大家好，我是K&D，一名10年以上大数据架构&研发经验从业者，目前主要从事云原生大数据方向设计，擅长云原生技术、数据架构、数据平台构建、大数据组件性能调优关注我，持续分享更多技术干货0.何为「护城河」前段时间
KubeData·2024-01-17 02:41

【AI】AI和医疗大数据（1/3）

医疗大数据的目标和挑战博主曾经在医疗智能设备领域创业，由于当时选择的模式过于复杂，包括了机械硬件、智能终端软硬件、院后微信生态做随访服务等，甚至，在推广的过程中，发现医院的网络条件很差，给医院还免费铺设了WIFI，搞的对WIFIAP信号的布点调优
giszz·2024-01-17 02:26

Flink实例：状态管理State 过期时间TTL

1State过期时间TTL使用flink进行实时计算中，会遇到一些状态数不断累积，导致状态量越来越大的情形。
大数据供成屎·2024-01-17 01:44

【状态管理｜概述】Flink的状态管理：为什么需要state、怎么保存state、对于state过大怎么处理

文章目录一.state相关1.state种类2.State的存在形式3.state在哪产生4.state内存设置二.statebackend1.三种状态后端2.如何在hdfs中存储？3.设置checkpoint3.1.大状态下设置checkpoint3.2.EXACTLY_ONCE下设置分析checkpoint三.State设置过期时间1.datastream的TTL2.TableAPI和SQL的
roman_日积跬步-终至千里·2024-01-17 01:13

Flink State 状态管理

文章目录前言一、状态分类二、keyed代码示例ListStateMapState总结前言状态在Flink中叫做State，用来保存中间计算结果或者缓存数据。
shandongwill·2024-01-17 01:43

一文搞懂Go语言单元测试

（2）基准测试代码2.组测试与子测试(1).组测试结果分析及命令：(2).子测试结果分析及命令：三、pprof调试工具1.对主函数进行传参（1）os.Args（2）flag.Args2.pprof性能调优总结
酷尔。·2024-01-17 01:30

jvm调优(工具篇)

提示：jvm调优的监控工具、故障排查工具、可视化工具、jps、jstat、jinfo、jmap、jstack、jcmd、jhat、jhsdb、jconsole、VisualVM、JavaMissionControl
郑..方..醒·2024-01-17 00:10

JVM内存调优

在Linux环境下设置TomcatJVM，在/opt/tomcat/bin/catalina.sh文件中找到"#-----ExecuteTheRequestedCommand"位置，设置JVM如下：#-----ExecuteTheRequestedCommand-----------------------------------------JAVA_OPTS="$JAVA_OPTS-server
LuckyTHP·2024-01-17 00:38

深入理解Nginx：网络性能的极致优化

目录引言Nginx的基本架构配置文件解析静态内容的处理反向代理和负载均衡SSL/TLS与HTTP/2支持动态内容的处理高级特性和模块性能调优Nginx与云计算和容器化安全性结论参考资源引言介绍Nginx
白嫖一茶·2024-01-17 00:15

Java JVM调优篇

目录1JVM类加载机制2JVM内存区域3JVM运行时内存4垃圾回收与算法5JVM参数详解6JVM调优工具介绍1JVM类加载机制1.1JVM类加载的五个阶段1.1.1加载加载时类加载过程中的一个阶段，这个阶段会在内存中生成一个代表这个类的
xinyi_java·2024-01-16 22:26

互联网加竞赛 基于机器学习与大数据的糖尿病预测

数据导入处理3数据可视化分析4特征选择4.1通过相关性进行筛选4.2多重共线性4.3RFE（递归特征消除法）4.4正则化5机器学习模型建立与评价5.1评价方式的选择5.2模型的建立与评价5.3模型参数调优
Mr.D学长·2024-01-16 21:38

Hudi0.14.0最新编译（修订版）

1编译环境Java1.8maven3.9.3hadoop3.3.4hive3.1.3spark3.2.1flink1.16.0hudi0.14.02hudi准备2.1源码$gitclonehttps:/
跟着大数据和AI去旅行·2024-01-16 20:40
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他