Flink调优

Hive VS Spark

类似于spark的计算引擎还有很多，像mapreduce，flink等等。类似于hive的存储框架也是数不胜数，比如pig。最底层的存储往往都是使用hdfs。
AII派森·2023-11-22 16:55

OOM问题排查+Jvm优化

JVM调优的出发点：1、观察YGC的频率和耗时频率过高：可能是E和S的容量不够，2、观察FGC的频率和耗时频
信仰_273993243·2023-11-22 16:25

java数据库之sql优化

一、导致SQL慢的原因（1）硬件问题：网络慢，IO慢，内存不足，吞吐量小，磁盘空间满（2）Sql写法问题（3）数据过多，分库分表（4）索引失效（5）服务器调优及各个参数设置二、分析原因时，一定要找切入点
这一刻_776b·2023-11-22 15:02

flink1.10袋鼠云 迁移 flink1.15原生环境 事项汇总

)修改适配1DDL语法不通用(袋鼠云DDL中支持给别名DDL采用数据中台生成的模板,并把老版本DDL中的配置通过到相应参数中)2袋鼠云DDL支持给别名sql中字段和DDL中字段不一致.两种解决方案:1FlinkSQL
Thomas2143·2023-11-22 14:04

Sylph平台自定义数据源hdfs数据源

Sylph是一个一站式的大数据流计算平台，通过编译StreamSQL，sylph会自动生成ApacheFlink等分布式程序到ApacheYarn集群运行。
cherishpf·2023-11-22 14:24

DataWorks实践笔记-从入门到精通

在这个基础上，有Datahub数据总线引擎，实时计算Flink引擎
qq_43548990·2023-11-22 13:58

手写操作系统(1)——HelloOS

对于后端开发而言，操作系统层面的进程、线程、内存、I/O等相关知识根本逃不掉；对于WEB开发，性能调优更是离不开操作系统；对于运维、测试，如果操
青玉白露·2023-11-22 13:44

Linux环境下C++程序问题诊断与调优总结

1、CPU问题机器负载高CPU消耗高响应时耗高资源消耗低，但是压力上不去上下文切换频繁，cachemiss率高锁冲突严重CPU问题分析总结粗看系统负载情况:uptime,vmstat开发测试环境+线上环境机器实时的CPU资源消耗详细情况top开发测试环境+线上环境分析系统调用:strace开发测试环境分析函数的热点:perf，可以输出成火焰图便于直观观察开发测试环境+线上环境分析各个线程的资源消耗
淮杨·2023-11-22 12:36

Flink之状态TTL机制

在Flink状态使用过程中有时需要清除State中不许需要的数据,否则State中的数据会越来越多,既增加了内存压力,也降低了计算效率.而TTL机制可以很好的帮我们解决这个分体,利用TTL机制可以将状态中的冷热数据分离
飞天小老头·2023-11-22 12:26

Flink 源码之 Side Output 踩坑

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录问题背景Flink的sideoutput为我们提供了数据分类输出的方式，根据条件将一个流分为多个数据流。
AlienPaul·2023-11-22 12:57

Flink：背压，busy time和延迟之间的关系探究

1.BackPressure（背压）在算子层面上很好理解，背压的出现代表下游的消费者的消费速度小于上游生产者的生产速度；但实际上在Flink的runtime中，每个算子由subtask组成，背压更多是一个
韩澈·2023-11-22 12:37

Feign参数配置调优

#feign配置feign:client:config:#default全局的配置default:#连接超时时间connectTimeout:5000#读取超时时间readTimeout:30000#日志级别，BASIC就是基本的请求和响应信息loggerLevel:BASIChttpclient:enabled:false#feign最大连接数max-connections:2000#请求存活时
Coding工匠·2023-11-22 11:33

LoaRunner性能测试系统学习教程：MPM调优(6)

上期我们讲到LoaRunner性能测试编译时的配置，这期我们讲LoaRunner性能测试MPM调优。MPM调优ApacheHTTP服务器是一个设计强大并灵活的web服务器。
川石信息·2023-11-22 11:39

文章解读与仿真程序复现思路——电力自动化设备EI\CSCD\北大核心《计及氢电混合动力车响应的多区域综合能源系统协调优化调度》

协调优化调度：指的是对多种能源和能源设备进行协调和优化调度，以最优的方式满足能源需求。这可能涉及到不同能源的整合利用，以及对能源系统的灵活调度。计及氢电混合动
电网论文源程序·2023-11-22 10:17

flink连接kafka报错

问题描述：通过本地idea方式连接kafka，报如下错误：可能原因：本地程序会查询本地配置，看是否存在ip映射，可能是本地ip映射不存在，导致连接kafka失败。(主要是由于kafka的server.properties文件中的zookeeper.connect配置的是主机名导致)解决办法：在本地hosts文件中配置ip与主机名的映射关系。
是爱学习的编程大白哦·2023-11-22 09:43

Linux应用参数配置和调优,Hadoop 性能调优 重要参数设置技巧

这里主要针对Mapreduce的性能调优。
花猹猹·2023-11-22 09:13

Hadoop性能调优

Hadoop性能调优1.简介Hadoop性能调优不仅涉及Hadoop本身的性能调优，还涉及更底层的硬件、操作系统和Java虚拟机等系统的调优。
回忆美好·2023-11-22 09:42

hadoop性能调优

一、禁止文件系统记录时间Linux文件系统会记录文件创建、修改和访问操作的时间信息，这在读写操作频繁的应用中将带来不小的性能损失。在挂载文件系统时设置noatime和nodiratime可禁止文件系统记录文件和目录的访问时间，这对HDFS这种读取操作频繁的系统来说，可以节约一笔可观的开销。可以修改/etc/fstab文件中noatime和nodiratime来实现这个设置。如对/mnt/disk1
挑战不可能，努力·2023-11-22 09:12

hadoop性能调优之参数调优

本文转载自：http://blog.csdn.net/fp196391196391/article/details/8302121这里主要针对Mapreduce的性能调优。
我是机智的鱼油·2023-11-22 09:12

Hadoop Yarn性能调优

文章目录HadoopYarn性能调优1环境2yarn-site.xml配置HadoopYarn性能调优版本：hadoop-3.1.31环境内存vCode线程数hadoop1018G4核CPU4hadoop1028G4
老鼠扛刀满街找猫@·2023-11-22 09:41

转载：Hadoop性能调优

blog.csdn.net/dxl342/article/details/52840455https://blog.csdn.net/u014156013/article/details/81347670Hadoop性能调优
DT鸽子·2023-11-22 09:09

Hadoop性能调优概要说明

本文试着从性能调优的总体原则入手来了解概要，实际生产中遇到的问题也会在这个框架下处理。Hadoop运行环境：下面大致给出这四个层次的调优原则。1、硬件选型原则2、操作系统调优1）避免使用swap分区将
fjssharpsword·2023-11-22 09:07

hadoop调优

Hadoop调优：一、操作系统级别优化：1、优化文件系统：推荐使用EXT4和XFS文件系统，相比较而言，更推荐后者，因为XFS已经帮我们做了大量的优化。
alongwaywith·2023-11-22 09:36

Hadoop参数调优

Hadoop参数调优性能调优涉及4个方面：CPU利用率、内存占用情况、磁盘I/O和网络流量。有很多因素会对HadoopMapReduce性能产生影响。
MrZhangBaby·2023-11-22 09:05

Hadoop性能调优建议

一、服务器配置1.BIOS配置：关闭smmu/关闭cpu预取/performance策略2.硬盘优化raid0打卡cache/jbodscheduler/sector_size/read_ahead_kb3.网卡优化rx_buff/ring_buffer/lro/中断绑核/驱动升级4.内存插法：要用均衡插法，内存配对插。5.占用通道：先把每个通道都插满，再去插对应通道。（内存通道分布请查看机箱背板
shining_yyds·2023-11-22 09:33

JVM 性能调优

JVM性能调优JVM（JavaVirtualMachine）性能调优是优化Java应用程序性能的关键步骤。
我の唯一·2023-11-22 09:24

Flink基础（七）：状态的使用

Flink官网说，Flink是数据流上的有状态计算。那么问题来了，何为状态？
Hello Guava·2023-11-22 09:52

（二十）Flink Table API & SQL 编程指南 流式聚合性能优化

FlinkTableAPI和SQL使用户能够以更少的时间和精力定义高效的流分析应用程序。此外，FlinkTableAPI和SQL是高效优化过的，它集成了许多查询优化和算子优化。
京河小蚁·2023-11-22 09:21

Flink SQL流式聚合Mini-Batch优化原理浅析

FlinkSQL使得用户可以通过简单的聚合函数和GROUPBY子句实现流式聚合，同时也内置了一些优化机制来解决部分case下可能
王知无(import_bigdata)·2023-11-22 09:21

Flink 常见问题定位指南

但实际运行中，Flink作业可能因为各种原因出现吞吐量抖动、延迟高、快照失败等突发情况，甚至发生崩溃和重启，影响输出数据的质量，甚至会导致线上业务中断，造成报表断崖、监控断点、数据错乱等严重后果。
pucheung·2023-11-22 09:21

Flink Operator 使用指南 之 Flink Operator安装

介绍FlinkKubernetesOperator充当控制平面来管理ApacheFlink应用程序的完整部署生命周期。
麦田里的守望者··2023-11-22 09:21

(八）Flink DataStream API 编程指南 - 4 状态与容错 （中）

广播状态模式提供的API为了展示所提供的API，我们将从一个示例开始，然后再展示它们的全部功能。作为我们的运行示例，我们将使用这样的情况：我们有不同颜色和形状的对象流，并且我们想要找到遵循特定模式的相同颜色的对象对，例如矩形后面跟着三角形。我们假设这组有趣的模式会随着时间而演变。在此示例中，第一个流将包含Item具有一个Color和一个Shape属性的类型元素。另一个流将包含Rules.从Item
京河小蚁·2023-11-22 09:51

（八）Flink DataStream API 编程指南 - 4 状态与容错 （上）

KeyedDataStream如果你希望使用keyedstate，首先需要为DataStream指定key（主键）。这个主键用于状态分区（也会给数据流中的记录本身分区）。你可以使用DataStream中Java/ScalaAPI的keyBy(KeySelector)或者是PythonAPI的key_by(KeySelector)来指定key。它将生成KeyedStream，接下来允许使用keyed
京河小蚁·2023-11-22 09:21

（十六）Flink Datastream API 编程指南 Managing Execution

文章目录执行配置程序打包和分布式执行程序打包小结并行执行设置并行度Operator级别执行环境级别客户端级别系统级别设置最大并行度执行配置StreamExecutionEnvironment包含ExecutionConfig，它允许为运行时设置特定于作业的配置值。要更改影响所有作业的默认值，请参见配置。StreamExecutionEnvironmentenv=StreamExecutionEnv
京河小蚁·2023-11-22 09:21

Flink优化

文章目录资源配置调优内存设置并行度设置最优并行度计算Source端并行度的配置Transform端并行度的配置Sink端并行度的配置RocksDB大状态调优Checkpoint设置用FlinkParameterTool
未来影子·2023-11-22 09:49

Flink使用指南：状态计算完全搞懂了，你就是大佬！

系列文章目录Flink使用指南:面试必问内存管理模型，进大厂一定要知道！
XuTengRui·2023-11-22 09:46

Flink使用指南：Flink SQL聚合场景下的优化方案，一定要收藏！

系列文章目录Flink使用指南:教你FlinkSQL自定义Connector开发，使用SQL入库更方便！Flink使用指南：Flink设置全局变量，并在函数中获取，让你的代码更加优雅！
XuTengRui·2023-11-22 09:46

Flink Operator 使用指南 之 全局配置

背景在上一个章节中已经介绍了基本的Flink-Operator安装，但是在实际的数据中台的项目中，用户可能希望看到FlinkOperator的运行日志情况，当然这可以通过修改Flink-OperatorPOD
麦田里的守望者··2023-11-22 09:45

FlinkCDC DataStream 同步Postgresql数据库 所有表字段类型通用实现方式

Flinkcdcsql的方式同步PG数据库在之前已经详细介绍过，但是有一个问题就是每个表需要占用一个slot，如果表比较多的情况用这种方法就不妥，于是我们开发了一套通用的PG数据库表同步工具。
lg4546·2023-11-22 08:59

Java优质资源汇总（持续更新）

ReentrantLock的实现看AQS的原理及应用不可不说的Java“锁”事CompletableFuture原理与实践Java线程池实现原理及其在美团业务中的实践MySQL优化官方文档：MySQL优化大数据Spark调优
tcoding·2023-11-22 08:43

flink 13.5 自定义connect之clickhouse

1.项目结构2.pom文件4.0.0com-wudl-ckflink-connector-clickhouse13.5jarFlinkConnectorClickHouse1.81.13.52.12.12.120.3.2
wudl5566·2023-11-22 06:58

Flink sql 实现 -connection-clickhouse的 source和 sink

1.场景2.版本mysqlflinkclickhouse5.7.20-logflink-1.13.120.11.4.135.7.20-logflink-1.13.220.11.4.135.7.20-logflink
wudl5566·2023-11-22 06:57

使用flink-connector-jdbc实现flink写入clickhouse、mysql等

适用范围：flink1.11.0及之后版本，包名为flink-connector-jdbc编辑pom.xml中的小节添加依赖。
ming_rw·2023-11-22 06:55

【Flink】使用JDBC connector写入ClickHouse

文章目录1.概述2.背景信息2.1背景信息3.Flink1.10.1+flink-jdbc3.2准备表4.Flink1.11.0+flink-connector-jdbc4.1准备数据4.2改造5.flink-clickhouse-sink5.1
九师兄·2023-11-22 06:20

flink-cdc,clickhouse写入，多路输出

1、场景kafka日志数据从kafka读取1、关联字典表：完善日志数据2、判断日志内容级别：多路输出低级：入clickhouse高级：入clickhouse的同时推送到kafka供2次数据流程处理。2、实现packagecom.ws.kafka2clickhouse;importcn.hutool.json.JSONUtil;importcom.ws.kafka2clickhouse.bean.C
qzWsong·2023-11-22 06:18

Flink 使用JDBC connector 写入 Clickhouse

写在前面Flink1.11.0对JDBCconnector进行了一次较大的重构重构之前（1.10.3以及之前版本），包名为flink-jdbc.重构之后（1.11.0以及之后版本），包名为flink-connector-jdbc.Flink1.11.0
chaos jin·2023-11-22 06:46

Doris系列之动态分区操作

Doris系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-22 05:32

数据治理入门

处理模式模式名称常见场景常见框架批处理夜间几个小时，无人值守hivesparkdatax流处理7*24H一直运行，无人值守maxwell,flink,flume,kafka即席处理人机交互接口访问web
十七✧ᐦ̤·2023-11-22 04:36

CK03# ClickHouse日志存储设计点梳理

本文主要梳理了使用ClickHouse作为日志存储的设计点，主要内容有：应用日志存储时长定制ClickHouse数据的冷热存储ClickHouse数据迁移与删除ClickHouse查询性能调优点一、应用日志存储时长定制公司所有的应用存储日志时长统一设置固定存储时长
瓜农老梁·2023-11-22 03:54

使用JMX监控ZooKeeper和Kafka

JVM默认会通过JMX的方式暴露基础指标，很多中间件也会通过JMX的方式暴露业务指标，比如Kafka、Zookeeper、ActiveMQ、Cassandra、Spark、Tomcat、Flink等等。
跟着大数据和AI去旅行·2023-11-22 01:34
上一页 58 59 60 61 62 63 64 65 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他