Flink调优

MySQL | 查询接口性能调优、编码方式不一致导致索引失效

背景最近业务反馈，列表查询速度过慢，需要优化。到正式环境系统去验证，发现没筛选任何条件的情况下，查询需要三十多秒，而筛选了条件之后需要13秒。急需优化。先说结论：连表用的字段编码方式不一致导致索引不可用。查早原因1.遇到慢查询，首先需要定位慢的原因，先查到接口，看内部实现先初步猜测慢的原因，然后验证。先本地运行项目，找到相应的查询接口，利用MbBatisLog插件获取到分页查询的SQL，拿到数据库
赫萝的红苹果·2023-12-03 18:50

Apache Doris 整合 FLINK CDC 、Paimon 构建实时湖仓一体的联邦查询入门

1.概览多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。在之前的Doris版本中，用户数据只有两个层级：Database和Table。当我们需要连接一个外部数据目录时，我们只能在Database或Table层级进行对接。比如通过createexternaltable的方式创建一个外部数据目录中的表的映射，或通过crea
hf200012·2023-12-03 16:07

Flink入门（一）

整体框架Flink概述Flink上手部署Flink架构DataStreamAPI(算子)Flink中的时间和窗口：窗口就是范围处理函数：底层函数状态管理：容错机制：报错重启后能够从出错的位置继续执行FlinkSQL
十七✧ᐦ̤·2023-12-03 16:36

JVM运行时数据区域

文章目录内存结构程序计数器（寄存器）虚拟机栈局部变量表两类异常状况线程运行诊断本地方法栈堆方法区运行时常量池串池（StringTable）字符串的拼接串池的位置StringTable垃圾回收StringTable性能调优直接内存内存结构程序计数器
this.xxxx·2023-12-03 16:56

【openGauss2.1.0利用Index-advisor实现索引推荐】

【openGauss2.1.0利用Index-advisor实现索引推荐】一、环境说明二、参数调优步骤Index-advisor是openGauss2.1.0中的一个工具，可以帮助用户分析数据库中的查询语句
若兰幽竹·2023-12-03 16:26

【openGauss2.1.0实现X-Tuner进行参数调优】

openGauss2.1.0实现X-Tuner进行参数调优一、环境说明二、参数调优步骤openGauss2.1.0作为一款全新的开源关系型数据库，在性能方面具有很大的优势。
若兰幽竹·2023-12-03 16:26

JVM调优的几种场景（建议收藏）

最近很多小伙伴跟我说，自己学了不少JVM的调优知识，但是在实际工作中却不知道何时对JVM进行调优。今天，我就为大家介绍几种JVM调优的场景。
Java弟中弟·2023-12-03 15:52

flink+kafka的端到端一致性

上一篇中提到flink+kafka如何做到任务级顺序保证，而端到端一致性即为实现用户数据目标端与源端的准确一致，当源端数据发生更改时，保证目标端及时、正确、持久的写入更改数据。
另存為·2023-12-03 14:03

Linux性能压测——端口占用解决方案

针对高并发性能压测的调优的一定处理，特别是在Linux服务器端口占用的问题作出以下调整，为了快速释放被占用的端口，可以采取以下措施：修改TCPkeepalive参数：可以通过修改TCPkeepalive
笑口常开的小丸子·2023-12-03 13:23

IDEA -source 1.5 中不支持 lambda 表达式解决方法

一直在用scala编写Spark或者Flink代码，对于Java的lambda表达式一直认为没有前者一直点(".")下去方便，偶然用后者写代码中间出现一些小的设置问题，记录一下：示例代码finalLocalEnvironmentenv
架构师联盟·2023-12-03 12:29

Flink（九）【时间语义与水位线】

《解忧杂货店》1、时间语义Flink中的时间语义有两个：事件时间和处理时间。事件时间也就是数据产生的时间，通常都是数据自带的一个属性。处理时间则是指数据传输到我们集群被处理的时间。
让线程再跑一会·2023-12-03 10:13

【数据中台】开源项目（5）-Amoro

介绍AmoroisaLakehousemanagementsystembuiltonopendatalakeformats.WorkingwithcomputeenginesincludingFlink
码农丁丁·2023-12-03 08:05

阿里云轻量应用服务器跨地域迁移到ECS并获取IPV6

目标•开启IPV6•参数调优完美完成迁移下面将开始演示操作（将深圳地域轻量应用服务器迁移至河源地域ECS）完美迁移服务器数据1.导出轻量应用服务器为镜像首先进入轻量
qq_3304559116·2023-12-03 08:45

flink自定义source与自定义sink

flink自定义source与自定义sinkflink的source和sink即数据源和数据接收器。
k_wzzc·2023-12-03 08:21

Kafka（六）利用Kafka Connect+Debezium通过CDC方式将Oracle数据库的数据同步至PostgreSQL中

简单介绍场景二的例子，将Oracle数据库的数据通过CDC方式同步至PostgrSQL中使用Debezium时遇到问题的排查思路场景一和场景三的实现思路ETL(Extract,Transform,andLoad)和FlinkCDC
JackSparrow414·2023-12-03 07:01

解码 SQL：深入探索 Antlr4 语法解析器背后的奥秘

你可能已经使用过诸如MySQL、Hive、ClickHouse、Doris、Spark和Flink等工具来编写SQL查询。
Light Gao·2023-12-03 06:21

Flink-CDC 1.2 介绍及使用

CDC简介CDC是ChangeDataCapture(变更数据获取)的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。CDC的种类CDC主要分为基于查询和基于Binlog两种方式，我们主要了解一下这两种之间的区别：基于查询的CDC基于Binlog的CDC开源产品Sqoop、Kafk
_大叔_·2023-12-03 06:45

编程中常见的技术难题和解决策略

性能优化和调优在某个大型项目中，应对性能问题成为一个紧迫的任务。通过使用性
生生不息~·2023-12-03 05:18

免费用的 AI 工具 CodeGeeX ，开发效率翻倍！！！

AI可以通过学习和分析大量的性能数据，自动寻找性能瓶颈并进行智能调优，加快软件的响应速度，提升用户体验。
伴川·2023-12-03 05:41

【重点】Flink四大基石

摄入时间：数据进入Flink的时间；在系统内部，会把它当做事件时间来处理。事件时间在实际应用中更为广泛，从Flink1.12版本开始，Flink已经将事件时间作为默认的时间语义。
不进大厂不改名二号·2023-12-03 04:01

短篇小说:阴山旧谈

一日，王庄的千金小姐王凤莲在庭台弹奏古筝，曲调优美，声音穿过大院外的假山，一直传到街巷，不绝如缕。她举止优雅，面色芙蓉，红润的双手在弦间灵活地跳动——真惹人爱!
悦创诗译·2023-12-03 03:37

【性能测试入门必看】性能测试流程简介

明确客户需求3、找出系统性能瓶颈4、稳定性验证（强度测试）二、性能测试流程（二）——了解系统结构系统架构对于测试新手来是最难的；先来了解系统所使用的技术和框架，在环境搭建阶段，你需要了解项目的部署；在性能分析与调优阶段
测试界柠檬·2023-12-02 23:18

Flat Ads将在杭州举办社交出海沙龙，探寻海外巨大增量空间

11月29日，FlatAds联动AlibabaCloud、TopOn、融云，开展《泛娱乐社交APP出海新风口-杭州站》，分享如何捕捉出海新赛道的风向标，并迅速实现获客增长，还有社交出海最新广告变现调优策略和海外掘金热门玩法分享
科技新芯·2023-12-02 23:11

国产AI边缘计算盒子，双核心A55丨2.5Tops算力

●Mindstudio图形化开发环境，集成模型转换量化和网络性能调优工具，提高应用开发
深圳信迈科技DSP+ARM+FPGA·2023-12-02 22:36

互联网架构演变过程梳理和架构思想的学习

文章目录版权声明业务架构单体模式中台战略去中台化数据架构单数据库架构主从读写分库分表高速缓存数据多样化分布式文件nosql搜索引擎架构特点应用架构单机调优动静分离SOA微服务部署架构单机部署⻆⾊划分应⽤
缘友一世·2023-12-02 21:58

一次PHP并发性能性能提升104%调优实战

PHP是最好的语言2012年有一篇很火的博客：PHP:afractalofbaddesign。作者在文中对PHP大张挞伐，几乎就差说这是反人类的设计了。第一次读到此文时，我正在一个恶心的地方处理很多遗留的PHP项目。读完文章时，我开始思考是否要辞职去做一些与编程完全不同的事情。幸运的是，此后不久我就换了工作，而且PHP从5.*开始也成长了很多。今天，我想对那些不再使用PHP编程，或者被遗留项目困扰
未_来_可_期·2023-12-02 20:11

几张图让你彻底了解JAVASE、JAVAEE、JAVAWEB整个的知识体系

性能调优、Spring，MyBatis，Netty源码分析的朋友可以加我的Java进阶群：818464711，群里有阿里大牛直播讲解技术，以及Java大型互联网技术的视频免费分享给大家
分不清java·2023-12-02 20:59

AliExpress基于Flink的广告实时数仓建设

摘要：实时数仓以提供低延时数据指标为目的供业务实时决策，本文主要介绍基于Flink的广告实时数仓建设，主要包括以下内容：1.建设背景2.技术架构3.数仓架构4.实时OLAP5.实时保障6.未来规划建设背景广告是目前互联网流量变现的一种
王知无(import_bigdata)·2023-12-02 19:01

Hadoop进阶学习---MapReduce分布式计算架构

1.单词统计流程(文字简单描述)已知文件内容:hadoophivehadoopsparkhiveflinkhivelinuxhivemysql计算每个单词出现的次数2.MR底层计算原理[重点]MAP阶段第一阶段是把输入目录下文件按照一定的标准逐个进行逻辑切片
Yan_bigdata·2023-12-02 19:30

论如何让Spring Boot在高压力环境下依然与众不同

文章目录博主介绍本文内容调优线程池优化线程池配置多样化设备支持分布式控制同步编程文章总结博主目标博主介绍我是廖志伟，一名Java开发工程师、Java领域优质创作者、CSDN博客专家、51CTO专家博主、
我是廖志伟·2023-12-02 19:53

Hdoop学习笔记（HDP）-Part.18 安装Flink

目录Part.01关于HDPPart.02核心组件原理Part.03资源规划Part.04基础环境配置Part.05Yum源配置Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+
这啥命啊·2023-12-02 19:45

Flink系列：使用Debezium将MySQL数据库表数据采集到Kafka Topic，并将Kafka Topic数据同步到StarRocks数据库

Flink系列：使用Debezium将MySQL数据库表数据采集到KafkaTopic，并将KafkaTopic数据同步到StarRocks数据库在本篇文章中，我们将介绍如何使用ApacheFlink、
代码指四方·2023-12-02 18:36

20、Resnet 为什么这么重要

（本文已加入“计算机视觉入门与调优”专栏，点击专栏查看更多文章信息）resnet这一网络的重要性，上一节大概介绍了一下，可以从以下两个方面来有所体现：第一是resnet广泛的作为其他神经网络的backbone
董董灿是个攻城狮·2023-12-02 17:57

A.1[数据标注]：强烈推荐数据标注平台doccano----简介、安装、使用、踩坑记录

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：[NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-12-02 14:30

docker踩坑记录：docker容器创建doris容器间无法通讯问题

先进行开发环境搭建，环境为BE1;FE1，原来使用官方例子，但是官方例子是创建了一个bridge使用172.20.80.0/24通讯，这样正常来说，使用fe去操作doris是没有问题的，但是我们现在要使用flink
Alaia.·2023-12-02 14:47

2021-01 Flink SQL CDC学习

Flink1.11引入了FlinkSQLCDC，基于社区的开源组件flink-cdc-connectors实现，这是一个可以直接从MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的
星路旅行者·2023-12-02 13:39

GaussDB如何进行性能调优

GaussDB如何进行性能调优GaussDB性能调优过程需要综合考虑多方面因素，因此，调优人员应对系统软件架构、软硬件配置、数据库配置参数、并发控制、查询处理和数据库应用有广泛而深刻的理解。
Gauss松鼠会·2023-12-02 12:56

【jvm】调优之gc日志配置

用好GC是调优中不可绕开的一个点，而对于了解GC情况，GC日志显的尤为重要。那如何获取GC日志呢？接下来带你一步一步，配置一个GC日志的最佳实验。
叁戒·2023-12-02 12:43

记录一次性能调优过程

目录配置参数调优程序调优带宽优化其他配置参数调优配置参数调优往往是投入最小但能立竿见影看到效果的方式JVM调优。根据服务器的内存，适当调整JVM的运行内存。
峪幽兰·2023-12-02 12:27

机器学习如何判断模型训练是否充分

训练期间查看模型的训练日志可用于判断模型训练时的问题，例如欠拟合或过拟合，以及训练和验证数据集是否合适等问题，为后续模型调优的参数设置提供了基础。
supermapsupport·2023-12-02 10:34

【性能测试】性能分析和调优——步骤及案例

文章目录性能测试瓶颈分析常见的性能瓶颈分析性能调优性能调优步骤性能调优案例案例一——CPU案例二——网络案例三——SQL查询案例四——JVM内存溢出阅读前建议先了解前一篇文章：【性能测试】性能测试监控关键指标性能测试瓶颈分析常见的性能瓶颈分析
最最菜的菜鸟·2023-12-02 09:32

2023.11.28-电商平台建设03 - 大数据调优手段

1.优化手段1.1分桶表HIVE的分桶本质上就是MR的分区操作建表语句:createtable表名(字段类型,....)clusteredby(分桶字段)[sortedby(字段[asc|desc])]intoNbuckets---定义分桶表核心语句rowformat......分桶的作用1)进行数据采样工作1.1)当表的数据量比较庞大的时候,在编写SQL语句后,需要首先测试SQL是否可以正常的执
白白的wj·2023-12-02 09:52

maven打包设置，将所有内容打进一个jar包内

${project.artifactId}org.springframework.bootspring-boot-maven-plugin2.6.3cn.Flink01ApplicationZIPrepackage
山高终有顶，人行无尽头·2023-12-02 09:15

【Java笔记+踩坑】设计模式——原型模式

导航：【Java笔记+踩坑汇总】Java基础+JavaWeb+SSM+SpringBoot+SpringCloud+瑞吉外卖/黑马旅游/谷粒商城/学成在线+设计模式+面试题汇总+性能调优/架构设计+源码
程序员小海绵【vincewm】·2023-12-02 08:25

【阿里规约】阿里开发手册解读——代码格式篇

导航：【Java笔记+踩坑汇总】Java基础+JavaWeb+SSM+SpringBoot+SpringCloud+瑞吉外卖/黑马旅游/谷粒商城/学成在线+设计模式+面试题汇总+性能调优/架构设计+源码阿里规约
程序员小海绵【vincewm】·2023-12-02 08:25

【阿里规约】阿里开发手册解读——命名规范篇

导航：【Java笔记+踩坑汇总】Java基础+JavaWeb+SSM+SpringBoot+SpringCloud+瑞吉外卖/黑马旅游/谷粒商城/学成在线+设计模式+面试题汇总+性能调优/架构设计+源码
程序员小海绵【vincewm】·2023-12-02 08:54

什么是JVM的内存模型？详细阐述Java中局部变量、常量、类名等信息在JVM中的存储位置

导航：【Java笔记+踩坑汇总】Java基础+JavaWeb+SSM+SpringBoot+SpringCloud+瑞吉外卖/黑马旅游/谷粒商城/学成在线+设计模式+面试题汇总+性能调优/架构设计+源码
程序员小海绵【vincewm】·2023-12-02 08:50

用 CloudCanal 快速验证阿里云 EMR for StarRocks 和 Doris

不过正儿八经使用这两款流行数仓的全功能，搭建调优也并不简单，为了规避这个问题，我们将阿里云EMRforStarRocks/Do
ClouGence·2023-12-02 08:47

KNN实战-图像识别

数据说明是在循环0-9的数字一直循环500次所得到的数据，然后以手写照片的形式存在识别的步骤加载数据构建目标值构建模型参数调优可视化展示加载数据importnumpyasnpimportmatplotlib.pyplotasplt
阿龙的代码在报错·2023-12-02 06:29

KNN回归-GridSearchCV模型调优（波士顿房价）

数据集简介数据介绍波士顿房价数据集(BostonHousingDataset)是一个经典的用于回归分析的数据集。它包含了波士顿地区506个街区的房价信息以及与房价相关的13个特征。这个数据集的目标是根据这些特征来预测波士顿地区房屋的中位数价格(以千美元为单位)数据说明DataSetCharacteristics::NumberofInstances:506:NumberofAttributes:1
阿龙的代码在报错·2023-12-02 06:59
上一页 49 50 51 52 53 54 55 56 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他