Flink调优

Flink入门教程

1.简介ApacheFlink是一个开源的分布式流处理框架，旨在提供高效、可扩展、容错的流式数据处理技术，支持实时流处理和批处理，并提供了Java、Scala、Python等语言的API。
zzy979·2023-11-16 18:21

《Flink原理、实战与性能优化》（Flink知识梳理一）

Flink原名StratosphereFlink是基于事件驱动的，而SparkStreaming微批模型，生成微小的数据批次Spark的弱点：Spark基于批处理原理，对流式计算相对较弱（本质上是对Hadoop
无影风Victorz·2023-11-16 18:40

Flink中的时间和窗口 完整使用 (第六章)

Flink中的时间和窗口完整使用一、时间语义1、Flink中的时间语义1.处理时间（ProcessingTime）2.事件时间（EventTime）3、问题二、水位线1、事件时间和窗口2、什么是水位线1
小坏讲微服务·2023-11-16 18:36

【学习笔记】大数据技术之Flink(二)

大数据技术之Flink问题1.Flink中迟到数据如何解决？
在学习的王哈哈·2023-11-16 18:04

Flink入门第七课：Flink DataStaem Api的Window操作

importcom.atguigu.Fbeans.SensorReading;importorg.apache.commons.collections.IteratorUtils;importorg.apache.flink.api.common.functions.AggregateFunction
曹利荣·2023-11-16 18:03

Flink之OperatorState

在Flink中状态主要分为三种:OperatorState(算子状态)KeyedState(键控状态)BroadcastState(广播状态)这里简单介绍一下OperatorState的使用,说到使用State
飞天小老头·2023-11-16 17:59

Flink之数据擦除及自定义Evictor

1窗口数据移除机制Flink中窗口数据移除机制是通过Evictor来控制的,Flink内置的Evictor如下:DeltaEvictorTimeEvictorCountEvictorEvictor的作用就是在窗口触发前或窗口触发中将其中的某些数据进行移除
飞天小老头·2023-11-16 17:54

大模型在数据分析场景下的能力评测｜进阶篇

如何调优大模型，来更好地做数据计算和洞察分析？如何降低整体成本，同时保障分析体验？
Kyligence·2023-11-16 12:42

思特威24校招-电路/算法/集成电路/ic/pm等-上海深圳

offer题解|#对顾客ID和日期排序#selectcust_id,order_numfromOrdersorderbycust_id,order_datedesc;树根互联一面jvm回收算法g1jvm调优
2301_79125642·2023-11-16 12:31

java开发校招面试，面试真题解析

阿里系的lazada一面现场（50min）①sync的底层实现，锁优化，和lock的对⽐等②jvm参数调优详细过程，到为什么这么设置，好处，⼀些gc场景，如何去分析gc⽇志③redis数据结构，使⽤场景
最新Java面经·2023-11-16 11:20

在KeyarchOS上搭建Flink 1.12.7

目录1概述2安装准备2.1操作系统环境2.2Flink版本3安装3.1安装JAVA3.2安装Flink3.3配置Flink4运行Flink4.1启动Flink4.2查看web页面4.3运行测试脚本4.4
KeyarchOS·2023-11-16 10:33

JVM GC 调优命令看这一篇就够了

JVMGC调优命令看这一篇就够了2023-11-1123:27·IT果果日记jstat可用于统计内存分配速率、GC次数，GC耗时jstat常用命令格式jstat-gc例如：jstat-gc6100010
qq_21305943·2023-11-16 09:03

Flink 整合 hudi

1、hudi介绍：Hudi是一个开源的大数据存储和处理框架，通过提供数据表、写入、读取、更新和删除等功能，实现了高效的增量数据处理和数据管理。它广泛应用于大数据领域，为数据湖环境下的数据操作提供了强大的支持。不仅可以存储数据，也可以将元数据存在在其中。优点：不在只依赖于分布式的文件存储系统，对分布式具有解耦合，数据的存储位置可以不用固定，数据并不是只能存储在hdfs中了。主要的作用：计算引擎可以是
新手小农·2023-11-16 08:21

Flink Checkpoint 问题排查实用指南

作者：邱从贤（山智）在Flink中，状态可靠性保证由Checkpoint支持，当作业出现failover的情况下，Flink会从最近成功的Checkpoint恢复。
Apache Flink·2023-11-16 08:49

Flink on YARN（下）：常见问题与排查思路

Flink支持Standalone独立部署和YARN、Kubernetes、Mesos等集群部署模式，其中YARN集群部署模式在国内的应用越来越广泛。
worldchinalee·2023-11-16 08:19

Flink任务日志写到kafka【最新1.12，1.13】

Flink1.12开始默认的日志框架就是log4j2，那么配置的方式跟之前log4j的方式有了一些区别，这边也踩了一些坑才解决。
FishMAN_已存在·2023-11-16 08:49

Flink on YARN 常见问题与排查思路

杨弢（搏远），阿里巴巴计算平台事业部技术专家，ApacheHadoopCommitter，目前专注于YARN、Flink、YuniKorn等开源项目的资源调度方向。
zhisheng_blog·2023-11-16 08:48

Flink cdc +doris生产遇到的问题汇总-持续更新

知识备份：阿里云FlinkCDC文档地址：MySQL的CDC源表-实时计算Flink版-阿里云cdc参数:WITH参数参数说明是否
黄瓜炖啤酒鸭·2023-11-16 08:18

Flink故障排查

参考cpu问题https://www.cnblogs.com/wuchanming/p/7766994.htmlhttps://blog.csdn.net/m0_46449152/article/details/111936485内存问题https://www.jianshu.com/p/15637724ef161.查看TaskHeap是否经常达到100%2.查看老年代FullGC发生次数解决方法
画画的老顽童·2023-11-16 08:18

Flink on yarn任务日志怎么看

1、jobmanager日志在yarn上可以直接看2、taskmanager日志在flink的webui中可以看，但是flink任务失败后，webui就不存在了，那怎么看？
qzWsong·2023-11-16 08:47

入坑Flink - Flink on Yarn提交任务异常

入坑Flink-FlinkonYarn提交任务异常在通过flinkrun-myarn-cluster提交任务过程中任务一直created查看jobManager日志发现jar包冲突2021-01-2516
机智的大脚猴·2023-11-16 08:47

解决Flink输出日志中时间比当前时间晚8个小时的问题

解决Flink输出日志中时间比当前时间晚8个小时的问题在flinkstandalone集群上，发现log输出时间比当前时间晚8个小时，我的集群系统时间是CTM+8时区的。
张行之·2023-11-16 08:47

Flink on yarn日志收集

背景在Flinkonyarn的模式下,程序运行的日志会分散的存储在不同的DN上,当Flink任务发生异常的时候,我们需要查看日志来定位问题,一般我们会选择通过FlinkUI上面的logs来查看日志,或者登录到对应的服务器上去查看
'煎饼侠·2023-11-16 08:16

【Flink】Flink任务缺失Jobmanager日志的问题排查

Flink任务缺失Jobmanager日志的问题排查问题不是大问题，不是什么代码级别的高深问题，也没有影响任务运行，纯粹因为人员粗心导致，记录一下排查的过程。
Meepoljd·2023-11-16 08:44

性能测试知多少---性能分析与调优的原理

最近一直纠结性能分析与调优如何下手，先从硬件开始，还是先从代码或数据库。
测试小鬼·2023-11-16 08:01

【入门Flink】- 11Flink实现动态TopN

基本处理函数（ProcessFunction）stream.process(newMyProcessFunction())方法需要传入一个ProcessFunction作为参数，ProcessFunction不是接口，而是一个抽象类，继承了AbstractRichFunction，所有的处理函数，都是富函数（RichFunction），拥有富函数所有功能。//泛型：//Typeparameters
不进大厂不改名二号·2023-11-16 05:37

Flink和Kafka连接时的精确一次保证

Flink写入Kafka两阶段提交端到端的exactly-once（精准一次）kafka->Flink->kafka1）输入端输入数据源端的Kafka可以对数据进行持久化保存，并可以重置偏移量（offset
不进大厂不改名二号·2023-11-16 05:29

JVM命令行工具和JVM调优实战

一、JVM命令行工具1.JPS（JVMProcessStatusTool）概述：虚拟机进程工具。命令格式：jps[option][hostid]，例：jps-l主要选项：-q只输出LVMID，省略主类的名称-m输出虚拟机进程启动时传递给主类main（）函数的参数-l输出主类的全名，如果进程执行的是jar包，输出jar路径-v输出虚拟机进程启动时JVM参数2.jmap概述：Java内存映像工具命令格
秋忆侬sonny·2023-11-16 04:31

JVM GC 调优命令看这一篇就够了

jstat可用于统计内存分配速率、GC次数，GC耗时jstat常用命令格式jstat-gc例如：jstat-gc6100010，统计pid=6的进程，每秒统计1次，统计10次。参数含义：S0C：年轻代中第一个Survivor区的容量，单位为KB。S1C：年轻代中第二个Survivor区的容量，单位为KB。S0U：年轻代中第一个Survivor区已使用大小，单位为KB。S1U：年轻代中第二个Surv
IT果果日记·2023-11-16 03:51

Chapter 8 Optimization 调优

Chapter8Optimization调优8.1OptimizationOverview优化概述8.2OptimizingSQLStatements[+/-]优化SQL语句8.3OptimizationandIndexes
scan724·2023-11-16 02:21

mysql sql trace_用MySQL的optimizer_trace进行sql调优

在我们调优MySQL的SQL时候，通常使用三种工具进行查看sql执行的效率，explain、profile、optimizer_trace。
weixin_39891694·2023-11-16 02:51

MySql数据库性能调优

Masud说道：MySql数据库性能调优是web开发的重要内容，当流量暴增的时候，数据库就撑不住了，如何调优呢？
iteye_9367·2023-11-16 02:49

mysql-Optimization Overview-数据库调优

Databaseperformancedependsonseveralfactorsatthedatabaselevel,suchastables,queries,andconfigurationsettings.ThesesoftwareconstructsresultinCPUandI/Ooperationsatthehardwarelevel,whichyoumustminimizeandm
jimiStephen·2023-11-16 02:16

Flume（一）【Flume 概述】

前言今天实在不知道学点什么好了，早上学了3个多小时的Flink，整天只学一门技术是很容易丧失兴趣的。那就学点新的东西Flume，虽然Kafka还没学完，但是大数据生态圈的基础组件也基本就剩这倆了。
让线程再跑一会·2023-11-16 01:46

ORACLE调优深入理解AWR报告

一堆历史性能数据，放在sysaux表空间上，AWR和sysaux都是10g出现的，是oracle调优的关键特性。
normaluser006·2023-11-16 01:35

开源服务专题之------sshd服务安装管理及配置文件理解和安全调优

本专题我将讨论一下开源服务，随着开源社区的日趋丰富，开源软件、开源服务，已经成为人类的一种公共资源，发展势头可谓一日千里，所以不可不知。SSHD服务，在我们的linux服务器上经常用到，很重要，涉及到服务器的安全，对这个服务的安全配置要高度重视。本文将从以下三个方面进行阐述开源服务及ssh服务。一、学习开源服务的步骤和方法二、SSHD服务安装、配置、使用三、设置安全的SSHD服务一、学习开源服务的
afxwd68402·2023-11-15 23:01

【寒武纪（7）】MLU的cntoolkit：Cambricon-BANG架构和使用分析，MLU并行计算的硬件抽象、编程模型以及调优思路

文章目录硬件抽象1存储1.1.1存储层次访存一致计算模型1Core核内同步和并行2核间并行和同步编程模型1、Kernel计算规模任务类型执行示例性能调优性能调优实践参考cambriconBANG架构是基础的
Hali_Botebie·2023-11-15 23:39

Mybatis Plus SaveBatch 调优25倍性能

最近在压测一批接口，发现接口处理速度慢的有点超出预期，感觉很奇怪，后面定位发现是数据库批量保存这块很慢。这个项目用的是mybatis-plus，批量保存直接用的是mybatis-plus提供的saveBatch。我点进去看了下源码，感觉有点不太对劲：我继续追踪了下，从这个代码来看，确实是for循环一条一条执行了sqlSession.insert，下面的consumer执行的就是上面的sqlSess
伴川·2023-11-15 22:37

MySQL调优的几种方式

MySQL调优有许多方式，以下是几种常用的方式：优化查询语句：通过使用合适的索引、优化查询语句的写法、避免全表扫描等方式来提升查询性能。
wzxue1984·2023-11-15 22:02

JVM 三大性能调优参数

JVM的性能调优是Java应用程序优化的重要部分，其中三大性能调优参数为：jvm三大性能调优参数1.堆内存大小(-Xmx和-Xms参数)：堆内存是Java应用程序中最重要的内存区域，存储对象实例和数组等数据
wzxue1984·2023-11-15 22:01

考Oracle ocm 19c 版本的前提是需要有Oracle 19c ocp证书

例如：Oracle有各种成熟的性能诊断调优工具、Oracle的分区表和分区索引功能更成熟等。即使在去O的大环境下，去O之前需要懂O，才是更正确的选择。什么是Oracle19cOCMOracle
杭州云贝数据·2023-11-15 19:14

2022年最新版 | Flink经典线上问题小盘点

2020年和2021年分别写了很多篇类似的文章，这篇文章是关于Flink生产环境中遇到的各种问题的汇总。这个版本在Flink新版本的基础上梳理了一个更加完整的版本。
王知无(import_bigdata)·2023-11-15 19:36

Flink SQL CDC 上线！我们总结了 13 条生产实践经验

摘要：7月，Flink1.11新版发布，在生态及易用性上有大幅提升，其中Table&SQL开始支持ChangeDataCapture（CDC）。
zhisheng_blog·2023-11-15 19:35

实时数据平台-Mysql到Mysql(Flink CDC和Debezium)

这里我们经常用到的组件是FlinkCDC，从下图我们看到对于FlinkCDC和Debezium的几个功能项都是支持的，区别为FlinkCDC可以做分布式，Debezium只能做单机。
diu_lei·2023-11-15 19:57

Flink 1.12的CDC

基于Flink构建流批一体的实时数仓是目前数据仓库领域比较火的实践方案。随着Flink的不断迭代，其提供的一系列技术特性使得用户构建流批一体的应用变得越来越方便。
'煎饼侠·2023-11-15 19:56

Flink-CDC 1.X 源码分享

1.FlinkCDC介绍1.1定义：CDC是变更数据捕获(ChangeDataCapture)技术的缩写，它可以将源数据库(Source)的增量变动记录，同步到一个或多个数据目的(Sink)。
'煎饼侠·2023-11-15 19:56

回顾丨2021数据库大咖讲坛（第6期）视频&PPT&互动问答

大会邀请来自中信建投证券股份有限公司、云和恩墨、PingCAP、Greenplum的技术专家，就Oracle中新增字段的点点滴滴、数据库性能提升之SQL优化、TiDB优化器原理介绍及调优实践案例分享、Greenplum
数据和云·2023-11-15 18:26

HBase原理 | HBase Compaction介绍与参数调优

我们知道，数据达到HBase服务端会写WAL-写Memstore，然后定期或满足一定条件时刷写磁盘生成一个HFile文件，随着时间推移生成的HFile会越来越多，将会影响HBase查询性能，同时会对HDFS造成一定影响。因此HBase会定期执行Compaction操作以合并减少HFile数量。1.两种合并HBase中Compaction分为两种。MinorCompaction称为小合并，主要是选取
create17·2023-11-15 17:13

StarRocks × Apache Flink：如何构建简单强大的实时数仓架构

实时数据分析正在成为企业数字化经营的核心，如何有效构建实时数据分析系统是每个企业都在面临的挑战。当前在构建实时数仓时，由于数据源的多样性，需要使用不同的采集工具，如Flume、Canal、Logstash。对于不同的业务，我们通常会采用不同的分析引擎。比如，对于固定报表业务，根据已知的查询语句可以预先将事实表与维度表打平成宽表，充分利用ClickHouse强大的单表查询能力；对于高并发的查询请求，
大数据技术架构·2023-11-15 16:27

数据同步工具调研选型：SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比

产品概述ApacheSeaTunnel是一个非常易用的超高性能分布式数据集成产品，支持海量数据的离线及实时同步。每天可稳定高效同步万亿级数据，已应用于数百家企业生产，也是首个由国人主导贡献到Apache基金会的数据集成顶级项目。SeaTunnel主要解决数据集成领域的常见问题：*数据源多样：常用的数据源有数百种，版本不兼容。随着新技术的出现，出现了更多的数据源。用户很难找到能够全面快速支持这些数据
SeaTunnel·2023-11-15 16:20
上一页 64 65 66 67 68 69 70 71 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他