Flink调优

2022-12-13

虚拟电厂并非传统意义上的发电厂，它是一种将不同空间的可调（可中断）负荷、储能、微电网、电动汽车、分布式能源等一种或多种资源聚合起来，实现自主协调优化控制，参与电力系统运行和电力市场交易的智慧能源系统。
z张燕婷·2023-12-17 17:50

Kafka-生产调优

Kafka生产调优实践通常在生产环境中，Kafka都是用来应对整个项目中最高峰的流量搭建Kafka监控平台生产环境通常会对Kafka搭建监控平台。
有梦想的年轻人6174·2023-12-17 17:12

作者推荐 |【深入了解系统性能优化】「实战技术专题」全方面带你透彻探索服务优化技术方案（JVM优化篇）

全方面带你透彻探索服务优化技术方案JVM性能优化和调优内存管理线程管理代码优化最大子列和问题：JVM与JIT编译器相关的优化热点编译的概念选择编译器类型代码缓存相关编译阈值编译阈值半衰周期开启半衰周期设置半衰周期值编译线程方法内联开启内联机制设置方法的较热的方法内联大小阈值设置方法的内联的方法大小的触发阈值逃逸分析
洛神灬殇·2023-12-17 16:37

flink找不到隐式项

增加importorg.apache.flink.streaming.api.scala._即可
Thomas2143·2023-12-17 15:45

Flink系列之：Top-N

Flink系列之：Top-N一、TOP-N二、无排名输出优化一、TOP-N适用于流、批Top-N查询可以根据指定列排序后获得前N个最小或最大值。最小值和最大值集都被认为是Top-N查询。
最笨的羊羊·2023-12-17 15:09

Flink系列之：集合操作

Flink系列之：集合操作一、集合操作二、UNION三、INTERSECT四、EXCEPT五、IN六、EXISTS一、集合操作适用于流、批操作二、UNIONUNION和UNIONALL返回两个表中的数据
最笨的羊羊·2023-12-17 15:39

Flink系列之：ORDER BY语句和LIMIT语句

Flink系列之：ORDERBY语句和LIMIT语句一、ORDERBY语句二、LIMIT语句一、ORDERBY语句适用于流、批一体ORDERBY子句使结果行根据指定的表达式进行排序。
最笨的羊羊·2023-12-17 15:39

Flink系列之：Joins

Flink系列之：Joins一、Joins二、RegularJoins三、INNEREqui-JOIN四、OUTEREqui-JOIN五、IntervalJoins六、TemporalJoins七、事件时间
最笨的羊羊·2023-12-17 15:38

【DataSophon】大数据服务组件之Flink升级

是什么1.1DataSophon概述1.2架构概览1.3设计思想二、解压新旧组件安装包三、修改安装包中文件和目录四、重新生成安装包3.1重新打包3.2生成加密码3.3生成md5加密文件五、删除已装的组件包flink
阿龙先生啊·2023-12-17 15:37

流批一体神器 Flink 之 Flink State 架构原理解析

身为大数据工程师，你还在苦学Spark、Hadoop、Storm，却还没搞过Flink？醒醒吧！
zhisheng_blog·2023-12-17 14:32

SQL SERVER性能优化综述 - TravyLee的专栏 - 博客频道 - CSDN.NET

我始终认为，一个系统的性能的提高，不单单是试运行或者维护阶段的性能调优的任务，也不单单是开发阶段的事情，而
weixin_33778778·2023-12-17 14:30

JVM调优

JVM调优一、JVM调优是什么二、何时需要进行jvm调优三、常见的JVM调优内容四、JVM调优的基本原则1、在代码层面：2、在架构方面：3、系统参数方面：五、JVM调优目标六、JVM调优量化目标七、JVM
程序员 Super V·2023-12-17 13:01

JVM 调优

目的是：减少父GC，最终减少STW也就是父没了，子肯定就会减少当fullgc是，就可能出现STW，(意思是在GC时，就要停用户线程，比如一个用户下单，这时要GC了，下单过程就有卡顿，其实就是暂时锁死程序，先GC，清掉没用的。为什么有这么个机制？如果没有，一边跑下单线程，一边跑GC，搞不好把下单线程中的对象给清了)这是打开windows下的监控JVM工具https://www.bilibili.co
千百元·2023-12-17 13:28

JVM 性能调优及监控诊断工具 jps、jstack、jmap、jhat、jstat、hprof 使用详解

一.前言工欲善其事，必先利其器。在日常的企业级Java应用开发、维护中，我们可能会碰到下面这些问题：OutOfMemoryError，内存不足；内存泄露；线程死锁；锁争用（LockContention）；Java进程消耗CPU过高等。那么如何快速找出问题根本原因及如何解决成了我们需要掌握的基本技能，而这种技能的掌握除了自身的经验之外，更重要的是能够熟练地使用各种工具。很多问题在日常开发、维护中可能
懒鸟一枚·2023-12-17 10:34

kafka学习笔记--节点的服役与退役

如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录服役新节点新节点准备执行负载均衡操作退役旧节点执行负载均衡操作执行停止命令服役新节点依旧使用前面文章创建的三个
向着百万年薪努力的小赵·2023-12-17 10:25

一次显著的性能提升，从8s到0.7s

前言最近我在公司优化了一些慢查询SQL，积累了一些SOL调优的实战经验。这篇文章从实战的角度出发，给大家分享一下如何做SQL调优。
互联网杂货铺·2023-12-17 09:14

Flink-水位线和时间语义

Flink中的时间含义在实际应用中，事件时间语义会更为常见。一般情况下，业务日志数据中都会记录数据生成的时间戳（timestamp），它就可以作为事件时间的判断基础。
Stephen6Yang·2023-12-17 09:42

Flink窗口的概念和分类

窗口的概念Flink是一种流式计算引擎，主要是来处理无界数据流的，数据源源不断、无穷无尽。
Stephen6Yang·2023-12-17 09:12

Flink 简介

Flink简介#一、Flink简介#1.Flink发展这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有Hadoop、Storm，以及后来的Spark，他们都有着各自专注的应用场景。
lz_matlab·2023-12-17 09:09

Flink 状态管理

#Flink状态管理我们前面写的wordcount的例子，没有包含状态管理。如果一个task在处理过程中挂掉了，那么它在内存中的状态都会丢失，所有的数据都需要重新计算。
lz_matlab·2023-12-17 09:39

Flink 运行架构

Flink运行架构#Flink运行架构#1.Flink程序结构Flink程序的基本构建块是流和转换（请注意，Flink的DataSetAPI中使用的DataSet也是内部流）。
lz_matlab·2023-12-17 09:06

电商数仓项目----笔记三(用户行为数据同步)

在前面的笔记一和笔记二中，我们已经分别将用户行为数据和业务数据采集到kafka中了：在实时数仓中，由于Flink会从kafka中读取数据，也无需我们再同步数据了，因此同步数据是我们离线数仓的事。
zmx_messi·2023-12-17 08:43

JVM 性能调优及监控诊断工具 jps、jstack、jmap、jhat、jstat、hprof 使用详解

目录一.前言二.jps（JavaVirtualMachineProcessStatusTool）三.jstack四.jmap（MemoryMap）和jhat（JavaHeapAnalysisTool）五.jstat（JVM统计监测工具）六.hprof（Heap/CPUProfilingTool）七.总结一.前言工欲善其事，必先利其器。在日常的企业级Java应用开发、维护中，我们可能会碰到下面这些问
流华追梦^_^·2023-12-17 07:33

大数据 | Hadoop、Hive、Spark的关系

服务器可以插6块硬盘，每块硬盘4T，共24T原始容量，再加上一些数据包的可用冗余，再加上一些格式化的损失，保守估计一台服务器至少可以有10T以上的可用容量，再加上128G内存和两颗CPU，装入DBMS，稍微调优
xyzhang2018·2023-12-17 06:58

Flink系列之：WITH clause

Flink系列之：WITHclause适用流、批提供了一种编写辅助语句以在较大查询中使用的方法。这些语句通常称为公共表表达式(CTE)，可以被视为定义仅针对一个查询而存在的临时视图。
最笨的羊羊·2023-12-17 06:06

Flink系列之：使用flink查询数据和插入数据

SELECT语句和VALUES语句是使用TableEnvironment的sqlQuery()方法指定的。该方法以表的形式返回SELECT语句（或VALUES语句）的结果。Table可以在后续的SQL和TableAPI查询中使用、转换为DataStream或写入TableSink。SQL和TableAPI查询可以无缝混合，并进行整体优化并转换为单个程序。为了在SQL查询中访问表，它必须在Table
最笨的羊羊·2023-12-17 06:36

Flink系列之：SQL提示

Flink系列之：SQL提示一、动态表选项二、语法三、例子四、查询提示五、句法六、加入提示七、播送八、随机散列九、随机合并十、嵌套循环十一、LOOKUP十二、进一步说明十三、故障排除十四、连接提示中的冲突案例十五
最笨的羊羊·2023-12-17 06:36

Flink系列之：SELECT & WHERE clause

Flink系列之：SELECT&WHEREclause一、SELECT&WHEREclause二、SELECTDISTINCT适用于流、批一、SELECT&WHEREclauseSELECT语句的一般语法是
最笨的羊羊·2023-12-17 06:58

【Flink-cdc-Mysql-To-Kafka】使用 Flinksql 利用集成的 connector 实现 Mysql 数据写入 Kafka

【Flink-cdc-Mysql-To-Kafka】使用Flinksql利用集成的connector实现Mysql数据写入Kafka1）环境准备2）准备相关jar包3）实现场景4）准备工作4.1.Mysql4.2
bmyyyyyy·2023-12-17 05:04

【Flink-Sql-Kafka-To-ClickHouse】使用 FlinkSql 将 Kafka 数据写入 ClickHouse

【Flink-Sql-Kafka-To-ClickHouse】使用FlinkSql将Kafka数据写入ClickHouse1）需求分析2）功能实现3）准备工作3.1.Kafka3.2.ClickHouse4
bmyyyyyy·2023-12-17 05:57

FlinkSQL的联结和函数

联结查询常规联结InnerJoin:结果集取交集OuterJoinleftouterjoin:左表的数据全取，右表的数据取与左表匹配的数据rightouterjoin：右表的数据全取，左表的数据取与右表匹配的数据fullouterjoin：左表和右表都取匹配的数据常规联结，会将流中的数据一直保留在状态中，需要考虑状态的清除，可以使用TTLtableEnv.getConfig().getConfig
十七✧ᐦ̤·2023-12-17 05:32

FlinkSQL中的窗口

Union方案：A,B,C的任意组合共有8种，分别为（A,B,C,AB,AC,BC,ABC,空集）然后每种类型的个数也不一样，需要补足空白的字段将每种类型进行groupby+sum求和后Union在一起Flink
十七✧ᐦ̤·2023-12-17 05:28

JVM调优

什么时候JVM调优要对Java应用程序进行调优，优化JVM并不是第一选择。我们首先应该考虑软件架构和代码优化等方面，这方面的优化可能会取得更大的进步空间。
快乐非自愿·2023-12-17 04:42

作为一名java开发人员，不了解jvm调优对工作有什么影响？

对于java开发者来说，不论是新手还是老手，都会听说jvm一词，jvm算是java里比较核心与关键的东西了，但是对于一些新手或者工作有一段时间的java程序员来说，貌似感觉jvm并不那么重要一样，自己平时写代码写得好好的，不是很了解jvm好像也没什么的，其实这就大错特错了，jvm是时时刻刻的起着重要的作用，你写的代码都是基于他上面运行的，那么有的人就可能说不需要了解jvm照样能写好代码，有这种可能
Java机械师·2023-12-17 04:42

性能回归测试

无论添加大小功能时，都应该做回归测试，尤其是大的改动，不然对系统的运行产生的影响将相当大，后期调试，调优成本高昂。
泓礼·2023-12-17 03:11

Flink 源码之数据分区

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录前言Flink流处理作业支持并行操作。每一个并行度可以理解为一个数据管道。上游和下游的并行度也可能是不同的。
AlienPaul·2023-12-17 02:38

JVM入门

JVM调优主要是针对方法区、堆（99%）进行调优。常用的第三方插件（如Lombok）都是操作执行引擎区域，生成对应getter、setter方法本地方法栈，例如Thread类中的start0()方法。
一只欢脱的知更鸟呀·2023-12-17 02:35

Flink 有状态流式处理

传统批次处理方法【1】持续收取数据（kafka等），以window时间作为划分，划分一个一个的批次档案（按照时间或者大小等）；【2】周期性执行批次运算（Spark/Stom等）；传统批次处理方法存在的问题：【1】假设计算每小时出现特定事件的转换次数（例如：1、2…），但某个事件正好处于1到2之间就尴尬了。需要将1点处理一半的结果带到2点这个批次中进行运算。而这个划分跟我们事件发生的时间也是有误差的
程序猿进阶·2023-12-17 00:30

JVM Optimization Learning(六)

目录一、JVMOptimization1、ShenandoahShenandoah的使用方法2、ZGC内存布局颜色指针ZGC垃圾收集过程ZGC的版本更迭ZGC的使用方法ZGC的参数设置ZGC的调优3、JMH
杀神lwz·2023-12-17 00:54

Flink 源码之 SQL 内置function定义方式

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录前言近期使用FlinkSQL内置函数的时候遇到了点问题，函数的返回结果和想象中的不一致。
AlienPaul·2023-12-16 23:23

Linux 的性能调优的思路

Linux操作系统是一个开源产品，也是一个开源软件的实践和应用平台，在这个平台下有无数的开源软件支撑，我们常见的apache、tomcat、mysql等。开源软件的最大理念是自由、开放，那么Linux作为一个开源平台，最终要实现的是通过这些开源软件的支持，以最低廉的成本，达到应用最优的性能。因此，谈到性能问题，主要实现的是Linux操作系统和应用程序的最佳结合。01性能问题综述系统的性能是指操作系
测试界的世清·2023-12-16 21:39

JVM 详解（JVM组成部分、双亲委派机制、垃圾回收算法、回收器、回收类型、了解调优思路）

目录JVM详解（JVM组成部分、双亲委派机制、垃圾回收算法、回收器、回收类型、了解调优思路）1、概念：什么是JVM?JVM的作用？2、JVM的主要组成部分？
_L_J_H_·2023-12-16 20:36

flink部署模式详解

flink部署模式详解1.local：本地执行适用于本地调试与测试2.standalone：主机部署分为单机集群部署和多机集群部署，只支持session模式单机模式多机模式3.yarn：yarn集群部署支持
龍尐·2023-12-16 20:33

Apache Flink（十三）：Flink History Server

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-12-16 20:02

Apache Flink（十）：Flink集群基础环境搭建-JDK及MySQL搭建

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-12-16 20:32

Apache Flink（十二）：Flink集群部署-Flink On Yarn

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-12-16 20:32

weblogic 内存溢出调优方法

引言为了提高维护人员运维水平，以集中与分享日常运行维护经验为目的，现进行典型经验的编制。现象描述部分应用服务器出现宕机现象，在F5上查看时已经掉出集群状态。处理过程停止宕机应用服务器上的Weblogic进程。/home/weblogic/bea/user_projects/domains/pms/bin/setDomainEnv.sh文件中的启动内存大小并添加垃圾回收机制，修改后如下：MEM_AR
it技术分享just_free·2023-12-16 20:57

Weblogic 中间件性能调优

主要讨论WeblogicServer性能调优方法和经验，供技术人员参考。处理过程WebLogicServer的核心组件由监听线程,套接字复用器和可执行线程的执行队列组成。
it技术分享just_free·2023-12-16 20:27

Flink 本地单机/Standalone集群/YARN模式集群搭建

准备工作本文简述Flink在Linux中安装步骤，和示例程序的运行。需要安装JDK1.8及以上版本。
程序猿进阶·2023-12-16 20:26

Apache Flink（十一）：Flink集群部署-Standalone集群部署

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.节点划分
IT贫道·2023-12-16 20:55
上一页 43 44 45 46 47 48 49 50 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他