Flink调优

Linux内核分析(十三)--内存管理之I/O交换与性能调优

2.2、匿名页(Anonymouspage)------>2.3、读写方式------>2.4、常驻内存三、页面回收------>3.1、LRU算法------>3.2、嵌入式系统的zRAM四、内存性能调优
文艺小少年·2023-11-13 21:44

java table类api_Flink的Table API

TableAPI是SQL语言的超集并专门为ApacheFlink设计的，TableAPI是Scala和Java语言集成式的API。
nicole.yu·2023-11-13 20:07

Flink之Java Table API的使用

JavaTableAPI的使用使用JavaTableAPI开发添加依赖创建表环境创建表查询表输出表使用示例表和流的转换流DataStream转换成表Table表Table转换成流DataStream示例数据类型自定义函数UDF标量函数表函数聚合函数表聚合函数API方法汇总基本方法列操作聚合操作Joins合并操作排序GroupWindowsOverWindows使用JavaTableAPI开发添加依
CodeDevMaster·2023-11-13 20:01

【Java开发】之 JDK 自带的 JVM 性能调优监控工具

一、简介JDK本身自带了许多JVM调优监控工具，可以帮助我们查看Java应用程序的进程、线程、内存栈等信息。这些工具命令包括jps、jstack、jmap、jhat等等。
王廷云的博客·2023-11-13 17:03

Oracle数据库调优实战：优化SQL查询的黄金法则！

下面将介绍Oracle数据库调优的黄金法则，帮助您提高SQL查询的性能和效率。一、分析SQL执行计划SQL执行计划是优化SQL查询的第一步。
胖头鱼不吃鱼-·2023-11-13 16:45

Flink自定义aggregate聚合函数的步骤

第一步：将dataStream转换城windowedStream//kafka中的数据示例452437,3255022,5099474,pv,1511658000813974,1332724,2520771,buy,1511658000524395,3887779,2366905,pv,1511658000470572,3760258,1299190,pv,1511658001543789,311
Vincer_DB·2023-11-13 16:04

Flink从入门到精通之-12Flink CEP

Flink从入门到精通之-12FlinkCEP在Flink的学习过程中，从基本原理和核心层DataStreamAPI到底层的处理函数、再到应用层的TableAPI和SQL，我们已经掌握了Flink编程的各种手段
潘小磊·2023-11-13 14:31

Flink从入门到精通之-11Table API 和 SQL

Flink从入门到精通之-11TableAPI和SQL如图11-1所示，在Flink提供的多层级API中，核心是DataStreamAPI，这是我们开发流处理应用的基本途径；底层则是所谓的处理函数（processfunction
潘小磊·2023-11-13 14:01

JVM关键指标监控(调优)

JVM99%情况下不需要调优使用性能更好的垃圾回收器核心指标针对单台服务器而言：jvm.gc.time:每分钟GC耗时在1s以内500ms以内最佳jvm.gc.meantime:每次YGC耗时在100ms
牛壹壹·2023-11-13 13:22

Apache Doris 系列： 基础篇-Flink DataStream 读写Doris

简介本文介绍Flink如何流式写入ApacheDoris，分为一下几个部分：FlinkDorisconnectorDorisFE节点配置FlinkDataStream写DorisFlinkDorisconnectorFlinkDorisconnector
修破立生·2023-11-13 12:42

上手SQL语句调优必须了解的内容——Explain

在做性能测试时，资深的性能测试工程师，都会帮助研发同学优化sql语句，听起来很高深，但是具体操作是比较容易的，使用expain命令就可以了！本文我会用最简单有效的方式带大家掌握expain的使用方法！Explain概述explain即执行计划，使用explain关键字可以模拟优化器执行sql查询语句，从而知道MySQL是如何处理sql语句。explain主要用于分析查询语句或表结构的性能瓶颈。使用
测试开发Kevin·2023-11-13 12:35

Doris：读取Doris数据的N种方法

目录1.MySQLClient2.JDBC3.查询计划4.SparkDorisConnector5.FlinkDorisConnector1.MySQLClientDoris采用MySQL协议，高度兼容
m0_37559973·2023-11-13 12:59

Flink之处理函数 （ProcessFunction）

之前所介绍的流处理API，无论是基本的转换、聚合，还是更为复杂的窗口操作，其实都是基于DataStream进行转换的；所以可以统称为DataStreamAPI，这也是Flink编程的核心。
四维大脑·2023-11-13 11:04

Flink学习（3）——Window（窗口机制）API

1.Window的概念无论是无界的数据流还是有界的，Flink都可以做到接收一个数据就立即处理一个数据，最终我们可以得到整个数据流的所有数据的统计结果。
常识与偏见·2023-11-13 11:02

oracle之执行计划

oracle之执行计划sql调优就是通过各种手段和方法是优化器选择最佳执行计划，以最小的资源消耗获取到想要的数据。
MrChang@·2023-11-13 11:32

Flink

1.Flink简介1.1初识FlinkFlink项目的理念是：“ApacheFlink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源的有状态的流处理框架”。
不吃香菜lw·2023-11-13 11:31

Oracle获取执行计划的6种方法

执行计划描述了SQL引擎为执行SQL语句进行的操作，分析SQL语句相关的性能问题或仅仅质疑查询优化器的决定时，必须知道执行计划；所以执行计划常用语SQL调优。二、怎么获取执行计划？
使不得呀·2023-11-13 11:29

Spark 资源调优

1资源规划1.1资源设定考虑1、总体原则以单台服务器128G内存，32线程为例。先设定单个Executor核数，根据Yarn配置得出每个节点最多的Executor数量，每个节点的yarn内存/每个节点数量=单个节点的数量总的executor数=单节点数量*节点数。2、具体提交参数1）executor-cores每个executor的最大核数。根据经验实践，设定在3~6之间比较合理。2）num-ex
shangjg3·2023-11-13 08:41

Flink CDC 2.0及其他数据同步工具对比

CDC的全称是ChangeDataCapture，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为CDC。基于查询的CDC：离线调度查询作业，批处理。依赖表中的更新时间字段，每次执行查询去获取表中最新的数据；无法捕获删除事件，从而无法保证数据一致性；无法保障实时性，基于离线调度存在天然的延迟。基于日志的CDC：实时消费日志，流处理。例如MySQL的binlog日志完整记录了数据库中的变
贾斯汀玛尔斯·2023-11-13 07:54

如何在 Azure 中使用自动机器学习进行模型训练

自动机器学习（AutomatedMachineLearning，简称为AutoML）是一种通过自动化流程来简化模型训练和调优的技术。
嵌入式杂谈·2023-11-13 05:12

【ChatGPT提问技巧案例】之影视分镜头脚本撰写

文章目录1、使用场景举例1.1案例1.2思路示范（随便挑三个）2、实战2.1用ChatGPT帮我撰写项目计划书2.2用ChatGPT帮我进行SQL调优2.3用ChatGPT帮我写一个电影的分镜头脚本《毕业的十字路口
领航猿1号·2023-11-13 02:39

【Linux网络】系统调优之时间同步，搭建内网时间同步服务器

目录一、时间同步是什么二、时间同步实验pc1的chrony配置修改：pc2和pc3时间同步配置一样关于时间调整再同步回来：ntpdate命令最后，再总结一下（关于服务端口）：三、命令记录一、时间同步是什么顾名思义就是时间保持一样，好处就是可以再生产中，可以有一台时间同步服务器将所有的设备时间一致，方便统一管理二、时间同步实验实验准备计划准备2-3台主机，其中一台为时间同步服务器，理解为在内网中唯一
liu_xueyin·2023-11-12 23:29

【Linux网络】系统调优之聚合链路bonding，可以实现高可用和负载均衡

一、什么是多网卡绑定二、聚合链路的工作模式三、实操创建bonding设备（mode=1）1、实验2、配置文件解读3、查看bonding状态,验证bonding的高可用效果三、nmcli实现bonding一、什么是多网卡绑定将多块网卡绑定同一IP地址对外提供服务，可以实现高可用和负载均衡。直接给两块网卡，通过bonding，虚拟成一块网卡对外提供连接，被修改为相同的MAC地址。总结一下特点：1、增加
liu_xueyin·2023-11-12 23:57

1.安装flink-1.12.2

FLINKonYARN模式解压安装包：tar-zvxfflink-1.12.2-bin-scala_2.11.tgz/opt/修改yarn配置，设置applicationmaster重启时尝试的最大次数
数据湖填坑·2023-11-12 22:02

Flink部署--入门

Flink安装部署standalone模式在/opt/module/Flink目录下上传flink-1.7.0-bin-hadoop27-scala_2.11.tgz压缩包并解压[root@node01Flink
hykDatabases·2023-11-12 22:32

FlinkCEP - Flink的复杂事件处理

单个模式量词条件组合模式循环模式中的连续性模式操作consecutive()模式组匹配后跳过策略检测模式从模式中选取处理超时的部分匹配便捷的API(旧api迁移到新api)CEP库中的时间按照事件时间处理迟到事件时间上下文可选的参数设置例子FlinkCEP
京河小蚁·2023-11-12 22:29

flink-connector-mysql-cdc编译——flink-1.15.2版本

xflink-cdc编译——flink-1.15.2版本Flink目前最新版本已经更新到1.15.2版本，flink-cdc的release版本目前最新版本是2.2.1。
一棵枣树丶·2023-11-12 22:58

flink-cdc-oracle

flinkcdc抽取oracle数据首先需要在数据库方面对数据进行设置，参考网址如下https://blog.csdn.net/weixin_46580067/article/details/124985447
技术大白€·2023-11-12 22:28

【Flink Rest-ful API 】

Flink有了一些查询job状态指标的API,这些监控APIisaREST-fulAPI接受HTTP请求并返回JSONdata；这些监控API以jobManager中webserver为基础，默认其监听端口为
奔跑的前浪·2023-11-12 22:55

flink实战-- 生产环境flink程序注意事项

简介正常情况下Flink社区已尝试为每个配置提供合理的默认值，但是特殊应用场景需要我们设置具体配置项确保我们线上程序可以高性能的运行，重启等。
阿华田512·2023-11-12 22:24

【入门Flink】- 10基于时间的双流联合（join）

为了更方便地实现基于时间的合流操作，Flink的DataStremaAPI提供了内置的join算子。
不进大厂不改名二号·2023-11-12 21:25

AI图像处理算法岗位整理

负责算法的逻辑，性能调优，汇编优化，或者GPU算法实现。对算法的设计，实现，调试，优化，测试以及metrics统计负责。
生活需要深度·2023-11-12 18:30

Hive的表操作2

Hive系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-12 16:00

R系组播调优方案

修改/etc/sysctl.conf添加如下内容：Vim/etc/sysctl.connet.ipv4.ip_forward=1net.ipv4.ip_nonlocal_bind=1net.ipv4.conf.all.rp_filter=0net.ipv4.conf.default.rp_filter=0net.bridge.bridge-nf-call-arptables=0net.bridge
烈日下的奔跑·2023-11-12 15:45

Flink SQL 表值聚合函数（Table Aggregate Function）详解

使用场景：表值聚合函数即UDTAF，这个函数⽬前只能在TableAPI中使⽤，不能在SQLAPI中使⽤。函数功能：在SQL表达式中，如果想对数据先分组再进⾏聚合取值：selectmax(xxx)fromsource_tablegroupbykey1,key2上⾯SQL的max语义产出只有⼀条最终结果，如果想取聚合结果最⼤的n条数据，并且n条数据，每⼀条都要输出⼀次结果数据，上⾯的SQL就没有办法实
猫猫爱吃小鱼粮·2023-11-12 13:34

FlinkSQL聚合函数（Aggregate Function）详解

使用场景：聚合函数即UDAF，常⽤于进多条数据，出⼀条数据的场景。上图展示了⼀个聚合函数的例⼦以及聚合函数包含的重要⽅法。案例场景：关于饮料的表，有三个字段，分别是id、name、price，表⾥有5⾏数据，找到所有饮料⾥最贵的饮料的价格，即执⾏⼀个max()聚合拿到结果，遍历所有5⾏数据，最终结果就只有⼀个数值。开发流程：实现AggregateFunction接⼝，其中所有的⽅法必须是publi
猫猫爱吃小鱼粮·2023-11-12 13:00

【基础】Flink -- DataStream API

Flink--DataStreamAPI执行环境ExecutionEnvironment创建执行环境设置执行模式触发程序执行源算子Source从集合中读取数据从文件读取数据从Socket读取数据自定义数据源转换算子
情绪大瓜皮丶·2023-11-12 11:33

Flink API - 基本转换算子

文章目录基本转换算子-MapFlink程序与数据流创建流执行环境读取输入流Source转换算子Transformation输出结果Sink执行基本转换算子-Filter基本转换算子-FlatMap类型基本转换算子会针对流中的每一个单独的事件做处理
wenvlove·2023-11-12 11:02

（十）Flink Datastream API 编程指南 算子-5 外部数据访问的异步I/O

文章目录需要异步I/O操作前提条件AsyncI/OAPI超时处理结果的顺序EventTime容错担保机制ImplementationTips说明本页面解释了使用Flink的API与外部数据存储进行异步I
京河小蚁·2023-11-12 11:31

（十）Flink Datastream API 编程指南 算子-2 Windows窗口计算

文章目录窗口的生命周期KeyedvsNon-KeyedWindowsWindowAssignersTumblingWindowsSlidingWindowsSessionWindowsGlobalWindowsWindowFunctionsReduceFunctionAggregateFunctionProcessWindowFunctionProcessWindowFunctionwithInc
京河小蚁·2023-11-12 11:31

（十）Flink Datastream API 编程指南 算子-4 Process Function

文章目录ProcessFunctionLow-levelJoins举例TheKeyedProcessFunctionTimersFaultTolerance计时器合并ProcessFunctionProcessFunction是一个低级流处理操作，允许访问所有(非循环)流应用程序的基本构建块:events(streamelements)state(fault-tolerant,consistent
京河小蚁·2023-11-12 11:31

Flink1.13 DataStream API - Event Time - Generating Watermarks

事件时间-生成watermarks生成Watermarks介绍Watermark策略使用Watermark策略处理空置的数据源编写WatermarkGenerators编写PeriodicWatermarkGenerator编写一个PunctuatedWatermarkGeneratorWatermark策略和Kafka连接器算子怎样处理watermarks过期的AssignerWithPerio
大怀特·2023-11-12 11:30

【flink学习笔记】【4】Datastream API-源算子

①getExecutionEnvironment②createLocalEnvironment③createRemoteEnvironment④执行模式批处理环境流处理环境三、source（源算子）3.1准备工作pojo类型3.2读取有界流3.3读取kafka3.5自定义source3.6自定义并行source四、flink
路过倾蜓·2023-11-12 11:59

Flink-按键分区状态-算子状态-广播状态

文章目录1.按键分区状态（KeyedState）1.2基本概念和特点1.3支持的结构类型1.4代码实现1.5状态生存时间（TTL）2算子状态（OperatorState）2.1基本概念和特点2.2状态类型2.3代码实现3.广播状态（BroadcastState）3.1基本用法3.2代码实例更多资源链接，欢迎访问作者gitee仓库：https://gitee.com/fanggaolei/learn
Fang GL·2023-11-12 11:29

Flink1.12 DataStream（java）常用算子示例

文章目录前言Map算子FlatMap算子Filter算子KeyBy算子Max、Min、Sum、Reduce算子maxminsumreduceUnion算子Connect算子CoProcessFunction、CoFlatMap、CoMapProcess算子SideOutputs算子（原split、select）Window算子CoGroup算子算子链式调用总结：前言DataStream算子我们在开
保护我方胖虎·2023-11-12 11:57

Flink学习——DataStream API

一个flink程序，其实就是对DataStream的各种转换。
five小点心·2023-11-12 11:26

flink DataStream API（六）算子-概述

文章目录Operators概述DataStreamTransformationsMapFlatMapFilterKeyByReduceWindowWindowAllWindowApplyWindowReduceUnionWindowJoinIntervalJoinWindowCoGroupConnectCoMap,CoFlatMapIteratePhysicalPartitioning（物理分区）
666呀·2023-11-12 11:25

Flink（四）【DataStream API - Source算子】

前言今天开始学习DataStream的API，这一块是Flink的核心部分，我们不去学习DataSet的API了，因为从Flink12开始已经实现了流批一体，DataSet已然是被抛弃了。
让线程再跑一会·2023-11-12 11:53

Flink在汽车行业的应用【面试加分系列】

很多同学问我为什么要发这些大数据前沿汇报？一方面是自己学习完后觉得非常好，然后总结发出来方便大家阅读；另外一方面，看这些汇报对你的面试帮助会很大，特别是面试前可以看看即将面试公司在大数据前沿的发展动向（我曾经就有过一次经历，面试网易云音乐前，我在B站看了一个大佬分享的网易云实时数仓，刚好在面试的时候就碰见他了，最后反问就主动跟他说我看过他的汇报，然后还提出了自己的一些思考，面试官当场就给我通过了）
三石大数据·2023-11-12 09:15

最全最系统的 Android 界面性能调优资料

热文导读|点击标题阅读如何进阶成为Android架构师？一个支付宝App竟使用了30多个开源软件吊炸天！74款APP完整源码！界面是Android应用中直接影响用户体验最关键的部分。如果代码实现得不好，界面容易发生卡顿且导致应用占用大量内存。目录一.Android渲染知识1.1绘制原理1.2掉帧1.3为什么是60Fps？1.4垃圾回收1.5UI线程1.6垂直同步1.7UI绘制机制与栅格化二.检测和
Java和Android架构·2023-11-12 08:51
上一页 67 68 69 70 71 72 73 74 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他