Flink调优

《Linux 简易速速上手小册》第10章: 性能监控与优化（2024 最新版）

10.1.4拓展案例2：分析具体时间段的系统负载10.2优化性能10.2.1重点基础知识10.2.2重点案例：优化Web服务器性能10.2.3拓展案例1：数据库服务器性能优化10.2.4拓展案例2：网络性能调优
江帅帅·2024-02-13 22:58

佳人西洲

一个人听歌，最开始一定是听曲，曲调优美，抓人，令人感叹，就会听下去，更别说听了之后能在虚无间生出许多幻想感叹的，人说绕梁三日而不绝，食不知味，就是佳曲。
夜光丶·2024-02-13 22:23

openwrt折腾记5 广告屏蔽大师adbyby深度调优（借用老毛子完美数据文件）

广告屏蔽大师adbyby深度调优本文的精进起始和结局一、探索试融合试用adbyby规则文件二、对luci-app-adbyby-plus更新lazy.txt,video.txt文件脚本adbybyupdate.sh
wjcroom·2024-02-13 11:19

相机图像质量研究(12)常见问题总结：光学结构对成像的影响--炫光

系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台调优介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结：光学结构对成像的影响--焦距相机图像质量研究
上天肖·2024-02-13 10:00

Flink SQL实战演练之CDC Connector

简介：公司实时项目组处理的业务数据以前是由业务团队把数据push到rabbitmq，然后我们通过flink转运到kafka，然后再做实时计算的，由于新业务逻辑变化会较大，导致推送过来的数据偶尔会出现偏差
Coder小咚·2024-02-13 10:43

Python机器学习之交叉验证

交叉验证是一种非常常用的对于模型泛化能力进行评估方法，交叉验证既可以解决数据集的数据量不够大问题，也可以解决参数调优的问题。
一只怂货小脑斧·2024-02-13 09:32

Hive调优——explain执行计划

一、explain查询计划概述explain将HiveSQL语句的实现步骤、依赖关系进行解析，帮助用户理解一条HQL语句在底层是如何实现数据的查询及处理，通过分析执行计划来达到Hive调优，数据倾斜排查等目的
爱吃辣条byte·2024-02-13 07:10

探索XGBoost：多分类与不平衡数据处理

本教程将深入探讨如何在Python中使用XGBoost处理多分类和不平衡数据，包括数据准备、模型调优和评估等方面，并提供相应的代码示例。准备数据首先，我们需要准备多分类和不平衡的数据集。
Echo_Wish·2024-02-13 05:19

Flink第二篇：集群搭建

Flink集群搭建.Flink可以选择的部署方式有：Local、Standalone（资源利用率低）、Yarn、Mesos、Docker、Kubernetes、AWS。
菜鸟Coders·2024-02-12 17:22

Hbase - 自定义Rowkey规则

在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取
大猪大猪·2024-02-12 15:45

Flink 指标（一）

Flink自带一个度量系统，允许收集和公开指标到外部系统。
Alex90·2024-02-12 14:55

【大数据】Flink on Kubernetes 原理剖析

FlinkonKubernetes原理剖析1.基本概念2.架构图3.核心概念4.架构5.JobManager6.TaskManager7.交互8.实践8.1SessionCluster8.2JobCluster9
G皮T·2024-02-12 13:27

MySQL性能调优篇(1)-分析执行计划的方法

MySQL是一种常用的关系型数据库管理系统，它的性能优化对于数据处理的效率和性能至关重要。在优化MySQL数据库的过程中，分析执行计划是一个重要的步骤。执行计划是查询优化器在执行SQL语句时生成的一种解析树或操作流程图，用于描述MySQL数据库系统按照哪种方式执行查询操作。本文将介绍如何使用MySQL的语法来分析执行计划，并提供详细的示例。在MySQL中，我们可以使用EXPLAIN关键字来分析执行
俞兆鹏·2024-02-12 13:56

JVM调优的一些常用技术

JVM（Java虚拟机）调优是一个复杂的过程，涉及到对JVM运行时行为的监控和调整，以提高应用程序的性能和响应速度，减少内存使用，避免内存泄漏等问题。
dreammaker阿甘·2024-02-12 12:48

FLink发布任务

/bin/flinkrun-corg.apache.flink.streaming.examples.socket.SocketWindowWordCountSocketWindowWordCount.jar
卡门001·2024-02-12 09:06

[1132]Flink与Kafka版本对应关系

以下为Flink和Kafka的版本对照表Flink版本Kafka版本1.12.X2.4.11.11.X2.4.11.10.X2.2.11.9.X2.2.01.8.X2.0.11.7.X2.0.10.10
周小董·2024-02-12 01:47

【Flink】 Flink与Kafka版本对应关系

1.概述转载：Flink与Kafka版本对应关系转载这个主要是上次做flinkkafka版本升级，忘记记录了。
九师兄·2024-02-12 01:17

【Flink异常】flink与kafka版本匹配: NetworkClient$DefaultMetadataUpdater.handleServerDisconnect

文章目录1.异常详情2.报错原因及解决办法3.Flink与Kafka的版本匹配1.异常详情使用flink1.11的kafkaconnector读取0.9版本的kafka报错：[10:49:12:644]
search-lemon·2024-02-12 01:17

Flink Maven项目兼容多版本Kafka

主要有两种方法可以解决：修改jar包内部的包名或者使用自定义classloaderFlink需要导入kafka-clients来支持对kafka的生产和消费。
weixin_30855099·2024-02-12 01:47

gerrit调优——超级干货

一、确定配置大小根据gerrit使用的服务器集群的硬件配置来确定大小二、调整gerrit.configreceive.timeout处理传入更改和更新refs和Gerrit更改的超时。sshd.threads处理ssh请求的线程，限制可能的并行克隆/推送的数量httpd.maxThreads处理http克隆/推送请求和审查相关活动的线程数量database.poolLimitGerrit的数据库连
KEY丶·2024-02-11 21:50

Guava Cache之开启统计信息收集

GauvaCache开启统计信息收集1.开启统计在创建Cache时，我们可以配置Cache让其开启统计信息收集，这样我们就可以对Cache的内存使用情况进行监控，并根据统计信息对cache进行调优，如果您的应用比较重视性能的话
大风过岗·2024-02-11 21:00

一、全面理解 JVM 虚拟机

然后：学习JVM也是进行JVM调优的基础。写的代码放到线上要如何运行？要配多少内存？4G够不够？线上环境出问题，服务崩溃了，怎么快速定位？怎么解决问题？
硅谷子编程·2024-02-11 19:46

大数据--Flink--流处理（二）

一、flink单节点安装部署下载1）下载安装包[root@localhost~]#wgethttp://us.mirrors.quenda.co/apache/flink/flink-1.9.1/flink
无剑_君·2024-02-11 18:38

Flink 2.0 状态存算分离改造实践

本文整理自阿里云智能Flink存储引擎团队兰兆千在FFA2023核心技术（一）中的分享，内容关于Flink2.0状态存算分离改造实践的研究，主要分为以下四部分：Flink大状态管理痛点阿里云自研状态存储后端
·2024-02-11 18:02

通义灵码——灵动指间，快码加编，你的智能编码助手

是阿里云出品的一款基于通义大模型的智能编码辅助工具，提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码优化、注释生成、代码解释、研发智能问答、异常报错排查等能力，并针对阿里云的云服务使用场景调优
·2024-02-11 18:13

JVM | 第2部分：虚拟机执行子系统《深入理解 Java 虚拟机》

前言参考资料：《深入理解Java虚拟机-JVM高级特性与最佳实践》第1部分主题为自动内存管理，以此延伸出Java内存区域与内存溢出、垃圾收集器与内存分配策略、参数配置与性能调优等相关内容；第2部分主题为虚拟机执行子系统
多氯环己烷·2024-02-11 17:08

Spark 使用之操作Hudi表

Hudi编译我们使用如下软件环境：Scala2.12Flink1.15Spark3.3Hudi0.13.1Hudi编译的时候会遇到依赖下载缓慢的情况。需要换用国内源。修改settin
AlienPaul·2024-02-11 14:52

梯度提升树系列7——深入理解GBDT的参数调优

目录写在开头1.GBDT的关键参数解析1.1学习率（learningrate）1.2树的数量（n_estimators）1.3树的最大深度（max_depth）1.4叶子节点的最小样本数（min_samples_leaf）1.5特征选择的比例（max_features）1.6最小分裂所需的样本数（min_samples_split）1.7子采样比例（subsample）1.8损失函数（loss）1
theskylife·2024-02-11 14:40

离线数仓（一）【数仓概念、需求架构】

前言今天开始学习数仓的内容，之前花费一年半的时间已经学完了Hadoop、Hive、Zookeeper、Spark、HBase、Flume、Sqoop、Kafka、Flink等基础组件。
让线程再跑一会·2024-02-11 11:58

相机图像质量研究(11)常见问题总结：光学结构对成像的影响--像差

系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台调优介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结：光学结构对成像的影响--焦距相机图像质量研究
上天肖·2024-02-11 09:45

基于Swoole的高性能系统监控及Nginx负载均衡的实现

优化可以从很多的角度处理，比如说底层代码，系统调优比如要加大核数或者是否借助es查mysql，或者不同地区用户走到哪个机房。Part1服务监控
Bing的天涯路·2024-02-11 08:54

一次显著的性能提升，从8s到0.7s

今天从实战的角度出发，给大家分享一下如何做SQL调优。经过两次优化之后，慢SQL的性能显著提升了，耗时从8s优化到了0.7s。1案发现场前几天，我收到了一封报警邮件，提示有一条慢查询SQL。
近咫／＼ぃ天涯·2024-02-11 08:15

并发编程(一)-多线程&并发设计原理

在一些对性能要求比较高场合，多线程是java程序调优的重要方面。Java并发编程主要涉及以下几个部分：并发编程三要素原子性：即一个不可再被分割的颗粒。
Alan1914·2024-02-11 07:49

Flink-Concepts-Programming Model

多级抽象flink为开发streaming/batch应用提供了不同层级的抽象。最底层的抽象提供了有状态的流（statefulstreaming）。
耳边的火·2024-02-11 07:31

flink启动找不到yarn-session.sh命令

这个错误其实很低级，主要就是我安装flink的时候，以为自己配置了环境变量，谁知其实并没有配置环境变量。
故乡的花又开了吗·2024-02-11 07:57

Flink-CDC增量数据同步

1、介绍1.1什么是CDCCDC是ChangeDataCapture(变更数据获取)的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。1.2CDC的种类CDC主要分为基于查询和基于Binlog两种方式，我们主要了解一下这两种之间的区别：基于查询的CDC基于Binlog的CDC开源产
小鱼干换酒钱·2024-02-11 07:26

flinkcdc 3.0 架构设计学习

本文将会了解到flinkcdc3.0版本的架构设计,从一个宏观层面来学习flinkcdc3.0带来的新特性这也是作者目前觉得学习一项技术的思路和方法,就是首先先把demo跑起来体验一下,然后整体了解一下架构设计
Antgeek·2024-02-11 07:56

03 - Flink客户端源码CliFrontend

介绍通过"bin/flinkrun"提交jar包到Flink集群，在"bin/flink"脚本中实际是调用org.apache.flink.client.cli.CliFrontend#main触发真正的执行
敲代码的卡普罗尼·2024-02-11 07:26

FlinkCDC第三部分-同步mysql到mysql，ctrl就完事~（flink版本1.16.2）

注：1.16版本、1.17版本都可以使用火焰图，生产上最好关闭，详情见文章末尾Flink版本：1.16.2环境：LinuxCentOS7.0、jdk1.8基础文件：flink-1.16.2-bin-scala
草莓不苦·2024-02-11 07:25

【flink脚本系列】pyflink-shell.sh 功能用法示例源码解析

pyflink-shell.sh文章目录pyflink-shell.sh脚本主要功能脚本加上中文注释该脚本多种用法及其代码示例flink中其他类似脚本脚本主要功能该脚本用于启动PyFlink的交互式Shell
BigDataMLApplication·2024-02-11 07:25

flinkcdc 3.0 源码学习之任务提交脚本flink-cdc.sh

大道至简,用简单的话来描述复杂的事,我是Antgeek,欢迎阅读.在flink3.0版本中,我们仅通过一个简单yaml文件就可以配置出一个复杂的数据同步任务,然后再来一句bashbin/flink-cdc.shmysql-to-doris.yaml
Antgeek·2024-02-11 07:55

Flink CDC 2.0 实践

一、什么是FlinkCDC1.1什么是Flink-CDCFlink-CDC是Flink上的CDC项目，该项目为各数据库产品提供CDC能力。
问简·2024-02-11 07:55

深度剖析JVM调优法则：从两大特性CPU、内存出发轻松掌握调优实战技巧

1、JDK自带工具场景一、CPU过高CPU占用过高排查思路：（查进程->查线程列表->查线程堆栈）step1：通过top命令查询占用CPU情况topp.s.shift+p(大写的P-cpu排序)shift+m(大写的M-内存排序)step2：通过进程pid，查询对应的线程列表top-Hppid-H：显示线程信息-ppid1,pid2,...：只显示指定进程的信息step3：线程id转为十六进制从s
栈江湖·2024-02-11 03:04

Android性能调优 - 应用安全问题

Android应用安全1.组件暴露：像比如ContentProvider,BroadcastReceiver，Activity等组件有android:exported属性；如果是私有组件android:exported=“false”；如果是公有组件android:exported=“true”且进行权限控制；2.Log敏感信息泄漏：3.权限申请敏感权限调用在Manifest文件中调用一些敏感的用
emmmmsuperdan·2024-02-11 00:46

性能测试流程-性能测试2

性能测试流程1.性能测试需求分析2.性能测试计划及方案3.性能测试用例4.搭建测试环境5.测试数据准备6.测试脚本编写7.执行测试脚本8.性能测试监控9.性能分析和调优10.性能测试回归11.性能测试报告总结
Yasar.l·2024-02-10 22:24

李健《当你老了》背后的故事动人心——“求不得”也许才是世间最大的痛

歌词隽永，曲调优美，李健用舒缓、清冽的声音唱出来，分外打动人心。特别是在黄昏日暮时分，橘黄的光影，风吹过来，听着这首歌，心底想起一个人，那种情境让人沉思、迷醉。这首歌词取
风云舞实用育儿365·2024-02-10 19:08

游戏数据分析方法实践

一般而言会有以下几个场景：1.版本测试2.版本更新3.活动发布4.版本调优......所以对于数据分析师而言，掌握好分析方法则至关重要。
一条咸鱼的干货·2024-02-10 16:44

在Ubuntu上部署Stable Video Diffusion动画制作

其特点主要包括：1、微调优化:通过在特定条件下进行微调，提高了视频输出的一致性和质量。2、改进的生成性能:在生成视频的清晰度、分辨率以及帧数方面可能有
BBM的开源HUB·2024-02-10 15:08

LoaRunner性能测试系统学习教程：编译时的配置(5)

上期我们讲到LoaRunner性能测试Apache调优，这期我们讲LoaRunner性能测试编译时的配置。
川石教育·2024-02-10 12:05

计算机毕业设计PyFlink+Hadoop+Hive民宿数据分析可视化大屏 民宿推荐系统 民宿爬虫 民宿大数据 知识图谱 机器学习 大数据毕业设计

pandas+numpy或MapReduce对数据进行数据清洗，生成最终的.csv文件并上传到hdfs；3.使用hive数仓技术建表建库，导入.csv数据集；4.离线分析采用hive_sql完成，实时分析利用Flink
计算机毕业设计大神·2024-02-10 10:56
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他