flink性能调优

大数据秋招面经之spark系列

3.repartition与coalesce4.spark的oom问题怎么产生的以及解决方案5.storm与flink,sparkstreaming之间的区别6.spark的几种部署方式：7.复习spark
wq17629260466·2024-09-06 19:54

Apache Flink 运行时架构

Flink运行时架构Flink整个系统由两个主要部分组成JobManager和TaskManager，Flink架构也遵循Master-Slave架构设计原则，JobManager为Master节点，TaskManager
生病的毛毛虫·2024-09-06 04:44

Linux 性能调优技巧

2.CPU性能调优处理器亲和性：taskset命令用于将进程固定到特定的CP
云夏之末·2024-09-06 03:05

Flink生态与未来

本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKhaz核心组件栈Flink
weixin_30394333·2024-09-06 02:00

利用Spring Boot Actuator进行应用性能调优

引言在现代的微服务架构中，SpringBoot因其便捷性和可扩展性而广受欢迎。SpringBootActuator模块更是为开发者提供了无需编写额外代码即可监控和管理应用程序的能力。本文将探讨如何使用SpringBootActuator来优化应用性能，包括如何配置、监控以及利用其提供的端点来进行调优。SpringBootActuator简介SpringBootActuator是一个可以让你轻松地暴
潘多编程·2024-09-05 16:18

Flink实践场景-通过DataStream KeyedProcessFunction统计每小时的出租车司机的收入

一、场景说明以及依赖请查看上一篇介绍Flink实践场景-通过DataStreamApi统计每小时的出租车司机的收入-CSDN博客二、KeyedProcessFunction介绍在Flink中，KeyedProcessFunction
似水_逆行·2024-09-05 10:12

EMR组件部署指南

本文将详细介绍如何部署EMR的主要组件,包括:JDK1.8ElasticsearchKafkaFlinkZookeeperHBaseHadoopPhoenixScalaSparkHive准备工作所有操作都在
ivwdcwso·2024-09-05 00:05

kafka单条消息太大引起的线上故障

问题现象1.收到日志异常报警，一个Flink任务写入kafka消息出现了异常，异常消息如下org.apache.flink.streaming.connectors.kafka.FlinkKafkaException
ab342173024·2024-09-04 15:44

12、Flink 解决流上的确定性最佳实践

最佳实践示例1运行流查询前主动开启TRY_RESOLVE模式，在检查到流查询中存在无法解决的NDU问题时，尽量按照错误提示修改SQL主动避免问题示例：FLINK-27639INSERTINTOt_join_sinkSELECTo.order_id
猫猫爱吃小鱼粮·2024-09-04 11:13

Flink详解系列之八--Checkpoint和Savepoint

一、Checkpoint获取分布式数据流和算子状态的一致性快照是Flink容错机制的核心，这些快照在Flink作业恢复时作为一致性检查点存在。
王吉吉real·2024-09-04 11:53

【操作系统】详述linux系统性能调优及技巧

Linux系统性能调优是一个涉及多个方面的复杂过程，包括CPU、内存、磁盘I/O、网络等多个方面的优化。
Dylanioucn·2024-09-03 09:25

JVM性能调优监控工具jps、jstack、jmap、jhat、jstat使用详解

JDK本身提供了很多方便的JVM性能调优监控工具，除了集成式的VisualVM和jConsole外，还有jps、jstack、jmap、jhat、jstat等小巧的工具，本博客希望能起抛砖引玉之用，让大家能开始对
web718·2024-09-01 23:30

【Linux】Linux系统性能调优技巧

目录一、Linux系统性能指标二、Linux系统性能调优技巧2.1保持系统更新2.2磁盘I/O性能优化2.3内存管理调整2.4关闭不必要的服务2.5进程资源限制2.6网络性能调整2.7监控和分析工具2.8
大雨淅淅·2024-08-31 03:43

聊聊flink的Table Formats

序本文主要研究一下flink的TableFormats实例CSVFormat.withFormat(newCsv().field("field1",Types.STRING)//required:orderedformatfields.field
go4it·2024-08-31 01:48

Flink(1.13) 的运行架构

架构图image.png官网原图：https://ci.apache.org/projects/flink/flink-docs-release-1.13/fig/processes.svgFlink运行时至少包含两个进程
万事万物·2024-08-30 22:54

ethtool如何让接口闪灯_ethtool原理介绍和解决网卡丢包排查思路

前言之前记录过处理因为LVS网卡流量负载过高导致软中断发生丢包的问题，RPS和RFS网卡多队列性能调优实践，对一般人来说压力不大的情况下其实碰见的概率并不高。
waytobethunder·2024-08-30 15:55

Linux性能调优：如何优化NAT性能？

1、NAT的目的由于IPV4地址短缺，为解决公网IP地址短缺的问题，所以诞生了NAT技术，来重写IP数据包源IP或者目的IP。2、NAT分类静态NAT，即内网IP与公网IP是一对一的永久映射关系；动态NAT，即内网IP从公网IP池中，动态选择一个进行映射；网络地址端口转换NAPT（NetworkAddressandPortTranslation），即把内网IP映射到公网IP的不同端口上，让多个内网
小小小糖果人·2024-08-30 09:50

常见的实时数仓方案

实时部分以消息队列的方式实时增量消费，一般以Flink+Kafka的组合实现，维度表存在关系型数据库或者HBase；离线部分一般采用T+1周期调度分析历史存量数据，每天凌晨产出，更新覆盖前一天的结果数据
北极冰雨·2024-08-30 05:27

阅读APUE需要考虑的问题

在io部分，每一章都提到了效率问题，用户cpu时间，系统cpu时间始终时间，这些都将称为程序性能调优的一些关键点=============================================
m风满楼·2024-08-30 05:25

Linux系统性能调优技巧

Linux系统性能调优是一个复杂的过程，涉及到多个层面的优化，包括硬件、操作系统、应用程序等。以下是一些常见的Linux系统性能调优技巧：1.
jie201107·2024-08-30 05:52

Flink的窗口聚合

Flink在开启窗口后，经常会对数据进行聚合操作，本文介绍一下Flink的窗口聚合。Flink的窗口聚合的分类分为两类：全量聚合和增量聚合。
蜗牛@漫步·2024-08-29 12:32

Flink任务的失败恢复

在我们写完Flink程序并部署服务器上后，我们希望程序会一直运行下去。但总会有很多情况会导致全部或部分任务出现异常而导致程序中止，这个时候就希望任务能够自动处理这些异常情况。
蜗牛@漫步·2024-08-29 12:02

Flink的Savepoint机制

Flink有检查点（checkpoint）和保存点（savepoint），他们有很多相似的地方，但作用却不相同。Checkpoints的主要目的是在意外的作业失败的情况下提供一种恢复机制。
蜗牛@漫步·2024-08-29 12:02

java jmap jstat_JVM性能调优监控工具jps、jstack、jstat、jmap、jinfo使用详解

是什么jps查看所有的jvm进程，包括进程ID，进程启动的路径等等。我自己也用PS，即：ps-ef|grepjavajstack观察jvm中当前所有线程的运行情况和线程当前状态。系统崩溃了？如果java程序崩溃生成core文件，jstack工具可以用来获得core文件的javastack和nativestack的信息，从而可以轻松地知道java程序是如何崩溃和在程序何处发生问题。系统hung住了？
小五咔咔咔·2024-08-29 06:52

Linux 系统性能调优 1

Linux系统性能调优涉及多个方面，包括CPU、内存、I/O子系统、网络等。以下是一些常见的Linux系统性能调优技巧，可以帮助提升系统的整体性能。###1.
Wade_Crab·2024-08-28 19:01

汇总：20个Linux服务器性能调优技巧

Linux是一种开源操作系统，它支持各种硬件平台，Linux服务器全球知名，它和Windows之间最主要的差异在于，Linux服务器默认情况下一般不提供GUI(图形用户界面)，而是命令行界面，它的主要目的是高效处理非交互式进程，响应时间并不是那么重要，相反，能够长时间处理高负载才是最关键的。Linux高可用服务器集群解决方案让IT系统管理员可以从容应对许多常见的硬件和软件故障，允许多台计算机一起工
开源Linux·2024-08-28 14:58

Spring Boot 一个极简且完整的后台框架

先放几张图imageimageimage项目介绍SpringBoot，实现了一个极简单的后台框架image小编提供免费的Java架构学习资料（里面有高可用、高并发、高性能及分布式、Jvm性能调优、Spring
搬砖养女人·2024-08-28 10:33

（十四）基于 Flink SQL 应用案例

基于上面的应用场景，结合FlinkSQL，完成技术方案设计，并输出实现代码。目录问题1详解问题2详解问题1详解基于问题一，主要
springk·2024-08-28 07:44

10、Flink 动态表之更新和追加查询详解

更新和追加查询虽然这两个示例查询看起来非常相似（都计算分组计数聚合），但它们在一个重要方面不同：第一个查询更新先前输出的结果，即定义结果表的changelog流包含INSERT和UPDATE操作。第二个查询只附加到结果表，即结果表的changelog流只包含INSERT操作。一个查询是产生一个只追加的表还是一个更新的表区别：产生更新更改的查询通常必须维护更多的状态。将append-only的表转换
猫猫爱吃小鱼粮·2024-08-28 07:43

Flink SQL w/ Blink Planner执行流程解析（上篇）

Foreword大数据领域SQL化的风潮方兴未艾(所谓"EverybodyknowsSQL")，Flink自然也不能“免俗”。
码农老K·2024-08-27 17:44

大数据计算-SQL优化手段(CBO)-以Flink为例

文章目录背景理论知识示例结果展示结果解释背景大数据计算中，SQL生成的执行计划第一轮会经过固定规则的优化，第二轮会根据原计划，生成多条结合成本的的执行计划，根据cost进行排序，选出最优的执行计划。理论知识原始计划如左图，有三种执行方案方案1，scan表1，scan表2，然后hash，再join方案2，scan表1，scan表2，然后broadcast表1，再join方案2，scan表1，scan
wending-Y·2024-08-27 17:12

flink&paimon开发之一：创建catalog

开发环境IDEAFlink1.17.1Paimon0.5正式本地或HDFS存储参考链接paimonjavaAPIhttps://paimon.apache.org/docs/master/api/flink-api
leichangqing·2024-08-27 16:10

（二十）Flink Paimon

数据湖、湖仓一体是当前大数据领域技术发展的重要趋势。近几年开源数据湖技术如ApacheHudi、ApacheIceberg、ApachePaimon、DeltaLake等不断涌现，基于湖仓一体架构的统一元数据管理、数据治理也越来越受到关注。从传统数仓到数据湖、湖仓一体架构，从流批一体计算到基于数据湖的流批一体存储，越来越多的企业基于开源技术，在集成、计算、存储、查询分析等方面不断优化，建设形成适合
springk·2024-08-27 16:38

Kafka命令详解：从零开始，掌握Kafka集群管理、主题操作与监控的全方位技能，理解每一条命令背后的逻辑与最佳实践

为大家推荐几篇比较好的Kafka文章：Kafka分布式集群部署实战：跨越理论，直击生产环境部署难题与解决方案，性能调优、监控与管理策略大揭秘，轻松上手分布式消息中间件-CSDN博客ApacheKafka
长风清留扬·2024-08-27 16:37

Linux系统性能调优技巧

Linux系统性能调优技巧Linux系统作为服务器和桌面操作系统的主流选择之一，其性能调优是系统管理员和开发人员的重要任务。
shiming8879·2024-08-27 15:03

flink报错找不到类java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/DataStream

问题：解决方法：把这个Adddependencieswith"provided"scopetoclasspath勾选上
搞数据的小杰·2024-08-26 23:22

2024年最新Flink教程,从基础到就业，大家一起学习--Flink DataStream API-第一篇+源码讲解

本文涉及到大量的底层原理知识，包括运行机制图解都非常详细，还有一些实战案例，所以导致本篇文章会比较长，内容比较多，由于内容太多，很多目录可能展示不出来，需要去细心的查看，非常适合深入了解学习flink的小伙伴们
长风清留扬·2024-08-26 22:19

（十三）Flink SQL

目录DDL操作DML操作查询语句1.SELECTDISTINCT2.窗口函数3.窗口聚合4.OVER聚合5.连接操作6.TOP-NFlink对SQL的支持基于实现了SQL标准的ApacheCalcite
springk·2024-08-26 16:59

Flink 内存管理机制

序：Flink的内存管理机制也是Flink的一大亮点。Flink在JVM内部实现了自己的内存管理。
lvwenyuan_1·2024-08-26 16:58

（十五）Flink 内存管理机制

本章我们通过对Flink内存模型、JobManag
springk·2024-08-26 16:27

flink 状态参数设置

前提代码示例，通过flink消费kafka，查看list状态中的数据，确定参数的具体含义kafka的代码：发送两个key值，一秒发送一次for(inti=0;isource=KafkaSource.builder
陪你一起捡蛋壳·2024-08-26 13:36

（十九）Flink CDC

FlinkCDC(FlinkChangeDataCapture)是基于数据库的日志CDC技术，实现了全增量一体化读取的数据集成框架。
springk·2024-08-26 12:01

Flink内存调优

Flink内存调优JVM我们知道Flink是基于JobManager和TaskManager管理和运行任务，而他们都是以Java进程的形式运行的，所以在了解Flink内存时，我们需要先了解一下Java运行时环境
HHoao·2024-08-26 10:44

Linux系统性能调优详细讲解和案例示范

本文将深入探讨Linux系统性能调优的核心概念，介绍一些常用的性能定位命令，并结合实际案例详细说明如何解决常见的性能问题。
J老熊·2024-08-25 23:42

（十）Flink Table API 和 SQL 基本概念

ApacheFlink有两种关系型API来做流批统一处理：TableAPI和SQL。
springk·2024-08-25 21:56

（九）基于 Flink DataStream API 应用案例

在11.11购物节大促活动中，天猫、京东等商家会对外发布购物节对应的交易金额、单量等信息，下面我们以2023.11.11购物节大促为背景，完成如下任务的计算：问题1：每隔1秒统计购物节当日从零点开始，截止到当前时间总交易额。问题2：基于销售的商品，按照品牌分类，每小时统计对应品牌下的总订单量。基于上面的应用场景，结合DataStreamAPI，完成技术方案设计，并输出实现代码。目录问题1详解问题2
springk·2024-08-25 21:55

flink 状态

状态（State）是一个重要的概念，它允许Flink在处理流数据时跟踪和存储中间结果。这对于实现复杂的计算逻辑和满足应用需求至关重要。
王小工·2024-08-25 21:54

9、Flink SQL 流式概念之Compiled Plan详解

生成CompiledPlan配置过程首先会使用COMPILEPLAN语句生成一个JSON文件，它表示了序列化后的执行计划。COMPILEPLAN不支持查询语句SELECT...FROM...。执行COMPILEPLAN语句TableEnvironmenttableEnv=TableEnvironment.create(EnvironmentSettings.inStreamingMode());t
猫猫爱吃小鱼粮·2024-08-25 20:53

（十六）Flink 状态管理

分类状态有效期（TTL）过期数据的清理OperatorStateBroadcastState状态存储StateBackends分类设置StateBackendRocksDBStateBackend详解在Flink
springk·2024-08-25 20:22

Kafka快速入门：Kafka驱动JavaApi的使用

相比之下，使用JavaAPI可以充分利用编程语言的灵活性，对生产者和消费者进行更精细的性能调优。对于大多数中间件，熟悉服务器的命令行操作可能足以帮助学习其API的使用。然而，Kafka则不同，要全面掌
不止会JS·2024-08-25 00:46
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他