Flink调优

HCIA-Big Data华为认证大数据工程师 习题册 含答案

大数据发展趋势与鲲鹏大数据2.HDFS分布式文件管理系统和ZooKeeper3.Hive分布式数据仓库4.HBase技术原理5.MapReduce和Yarn技术原理6.Spark基于内存的分布式计算7.Flink
k Chivalrous man·2023-11-29 08:16

Flink流批一体计算（21）：Flink SQL之Flink DDL

目录执行CREATE语句Python脚本Java代码SQL语句列定义物理/常规列元数据列计算列WATERMARKPRIMARYKEYPARTITIONEDBYASselect_statementFlinkSQL
victory0508·2023-11-29 07:50

Apache Flink（一）：Apache Flink是什么？

博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.Flink的定义2.Flink前身Stratosphere3.Flink发展时间线及重大变更在当前数据量激增的时代
IT贫道·2023-11-29 07:47

Flink Flink中的合流

一、Flink中的基本合流操作在实际应用中，我们经常会遇到来源不同的多条流，需要将它们的数据进行联合处理。所以Flink中合流的操作会更加普遍，对应的API也更加丰富。
文文鑫·2023-11-29 06:11

Flink-执行拓扑图与作业调度

算子与作业提交一、Flink执行模式1.流执行模式2.批执行模式二、Flink拓扑图1.基本概念2.拓扑图生成过程三、拓扑生成和优化1.应用程序2.逻辑视图3.算子链4.TaskSlots四、作业调度1
临江蓑笠翁·2023-11-29 06:38

Flink流批一体计算（22）：Flink SQL之单流kafka写入mysql

1.准备工作什么是Kafka源表Kafka是分布式、高吞吐、可扩展的消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域。docker部署zookeeperdockerpullwurstmeister/zookeeperdockerrun-d--restart=always\--log-driverjson-file\--log-optmax-size=100m\
victory0508·2023-11-29 06:08

常见性能优化实践总结

二：数据库数据库的调优，总的来说分为以下三部分：SQL调优这是最常用、每一个技术人员都应该掌握基本的SQL调优手段（包括方法、
一只阿木木·2023-11-29 06:39

修炼k8s+flink+hdfs+dlink（七：flinkcdc）

一：flinkcdc官网链接。
宇智波云·2023-11-29 05:34

阿里P7/P8学习路线图——技术封神之路

栈、方法区、直接内存、堆和栈区别Java内存模型内存可见性、重排序、顺序一致性、volatile、锁、final垃圾回收内存分配策略、垃圾收集器（G1）、GC算法、GC参数、对象存活的判定JVM参数及调优
未来无所不能·2023-11-29 05:25

Flink二阶段提交方式写入MySQL

项目中需要使用Flink消费Kafka中的数据，然后使用事务的方式写入到MySQL里面。
淡定一生2333·2023-11-29 04:28

Flink 之 mysql二阶段提交简述

1.2PC简介两阶段提交（two-phasecommit,2PC）是最基础的分布式一致性协议，应用广泛。在分布式系统中，为了让每个节点都能够感知到其他节点的事务执行状况，需要引入一个中心节点来统一处理所有节点的执行逻辑，这个中心节点叫做协调者（coordinator），被中心节点调度的其他业务节点叫做参与者（participant）。2PC。顾名思义，2PC将分布式事务分成了两个阶段，两个阶段分别
程序猿郭鹏飞神奇经历·2023-11-29 04:58

使用Kafka、Flink、Druid构建实时数据系统架构

但开源领域有一个解决方案：Kafka、Flink和Druid一起使用时，可以创建一个实时数据架构，减少这些等待时间。在这篇文章中，我们将探讨如何利用Kafka、Flink、Druid实现
guohuang·2023-11-28 23:51

关于设置Linux线程调度策略的实践

在Linux下运行应用方案，在某些场景下，为了调试和调优，可能会有调整任务的优先级的需求，它的基本流程是这样的：#include#include#include#include#include#include
papaofdoudou·2023-11-28 23:45

Flink 配置详解及如何配置高可用？

在讲解7.2节中如何部署Flink作业之前，希望能够再细讲下Flink中的配置，虽然在2.2节中简单讲解过。
zhisheng_blog·2023-11-28 23:56

怎么给数据库某个字段建立一个前缀索引

说明：SQL调优中重要的一个环节是建立索引，其中有一条是字段值过长字段应该建立前缀索引，即根据字段值的前几位建立索引，像数据库中的密码字段、UUID字段。
何中应·2023-11-28 22:14

深入理解Java高级特性：反射（三）之：反射性能慢的原因及调优

1：反射性能为什么慢查找确定真正的函数入口（可能是接口方法什么的）1：判断权限比较慢（static，出入栈）。2：拆箱装箱也是个问题3：执行入口、访问权限、所属类和代码执行地址4：遍历Method方法表得到ArtMethod指针（ArtMethod结构体：包含了Java方法的所有信息，包括执行入口、访问权限、所属类和代码执行地址），然后根据ArtMethod指针来得到方法的执行入口，当我们调用某一
FishAnd_Yu·2023-11-28 22:09

stream分页+排序：Java实际开发中list.sort()集合排序详解之多条件排序、分页、空值null的最常用解决方案（JAVA8用lamda表达式和增强版Comparator进行排序）

Java实际开发中list.sort集合排序详解之多条件排序、分页、空值null的最常用解决方案前言一、单条件排序二、多条件排序三、分页处理四、空值处理❤️作者主页：温文尔雅的清欢渡❤️近期学习方向：性能调优
爱喝皮蛋瘦肉粥的小饶·2023-11-28 20:17

ElasticSearch第二讲 ES配置环境参数/调优参数讲解

ES配置参数cluster.name:elasticsearch配置的集群名称，默认是elasticsearch，es服务会通过广播方式自动连接在同一网段下的es服务，通过多播方式进行通信，同一网段下可以有多个集群，通过集群名称这个属性来区分不同的集群。node.name:node-01当前配置所在机器的节点名，你不设置就默认随机指定一个name列表中名字，该name列表在es的jar包中conf
程序员路同学·2023-11-28 15:08

生成式深度学习(第二版)-译文-第三章-变分自编码器

我们将看到GAN训练、调优的方式，以及它如何
Garry1248·2023-11-28 15:25

flink集群搭建TaskManagerRunner启动失败

但是就是启动失败并且启动时没有TaskManagerRunner节点启信息：下图为正常启动：有工作节点的启动信息，但是我启动时就遇到这个问题，没有工作节点的启动信息提示问题原因：scp拷贝到其余工作节点的flink
dogplays·2023-11-28 14:03

flink sql 知其所以然（十四）：维表 join 的性能优化之路（上）附源码

1.序篇废话不多说，咱们先直接上本文的目录和结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助：背景及应用场景介绍：博主期望你能了解到，flinksql提供了轻松访问外部存储的lookupjoin
程序员的隐秘角落·2023-11-28 14:08

终于拿到了阿里2023年度九大Java技术文档——面试题+文档+白皮书

2023年阿里巴巴面试参考指南（泰山版）阿里巴巴1000道Java工程师面试题（2023版）阿里巴巴2023版JDK源码笔记（2月第三版）阿里巴巴Java开发手册1.4.0阿里巴巴Java性能调优实战（
隔壁老王的代码·2023-11-28 12:06

Java中的jvm——面试题+答案（JVM的一些高级概念、调优技巧、垃圾回收算法等）——第13期

当涉及到Java虚拟机（JVM）时，面试官可能涉及更深入的问题，涵盖性能调优、垃圾回收算法、类加载机制等方面。什么是类加载机制？请解释类加载的过程。
Keep forward upup·2023-11-28 12:31

StarRocks从入门到精通系列六：使用EXPORT、Spark、Flink从StarRocks中导出数据

StarRocks从入门到精通系列六：使用EXPORT、Spark、Flink从StarRocks中导出数据一、使用EXPORT导出数据1.背景信息2.导出流程3.基本原理4.相关配置5.基本操作6.最佳实践二
最笨的羊羊·2023-11-28 11:38

Nginx性能调优策略

以下是一些常见的Nginx性能调优策略：一、调整worker_processes和worker_connections在Nginx配置文件中，可以通过worker_processes和worker_connections
Y2000104·2023-11-28 10:34

京东：Flink SQL 优化实战

主要内容为：背景FlinkSQL的优化总结Tips：点击「阅读原文」报名参加8.7ApacheFlinkMeetup～GitHub地址欢迎大家给Flink点赞送star~一、背景目前，京东搜索推荐的数据处理流程如上图所示
Apache Flink·2023-11-28 09:00

Flink读取Kafka数据写入Hive

前言本文针对数据库CDC(changedatacapture)场景设计，探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性，下面为本地IDEA程序案例可供参考。
另存為·2023-11-28 07:15

Apache Doris 整合 FLINK 、 Hudi 构建湖仓一体的联邦查询入门

1.概览多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。在之前的Doris版本中，用户数据只有两个层级：Database和Table。当我们需要连接一个外部数据目录时，我们只能在Database或Table层级进行对接。比如通过createexternaltable的方式创建一个外部数据目录中的表的映射，或通过crea
hf200012·2023-11-28 07:59

【MySQL高级篇：07-索引及调优篇】第07章_InnoDB数据存储结构

目录1数据库的存储结构：页1.1磁盘与内存交互基本单位：页1.2页结构概述1.3页的大小1.4页的上层结构2页的内部结构2.1第1部分：FileHeader（文件头部）和FileTrailer（文件尾部）2.1.1FileHeader（文件头部）2.1.2FileTtailer（文件尾部）2.2第2部分：UserRecords（用户记录）、最大最小记录、FreeSpace（空闲空间）2.3第3部分
开五档的蒙奇·2023-11-28 03:48

Zabbix 性能优化(学习笔记十八)

1、性能调优思路.不要使用默认的模板，应该自己定制模板.数据库调优.架构优化，如果使用分布式，各服务器功能独立.Items、trigger调优.更换更好的硬件2、性能调优参数zabbix_server.confStartPollers
SkTj·2023-11-28 00:17

JVM内存模型及调优

本文将为大家详细介绍JVM内存模型及如何对JVM内存进行调优。
漠然&&·2023-11-27 22:16

Flink入门（一）——Apache Flink介绍

fileApacheFlink是什么？在当代数据量激增的时代，各种业务场景都有大量的业务数据产生，对于这些不断产生的数据应该如何进行有效的处理，成为当下大多数公司所面临的问题。
大数据流动·2023-11-27 20:03

flink on yarn集群环境(生产环境使用)

flinkonyarn集群环境(生产环境使用)在一个企业中，为了最大化的利用集群资源，一般都会在一个集群中同时运行多种类型的Workload。
huahailing1024·2023-11-27 20:30

Hive 常见的数据倾斜及调优技巧

Hive在执行MapReduce任务时经常会碰到数据倾斜的问题，表现为一个或者几个reduce节点运行很慢，延长了整个任务完成的时间，这是由于某些key的条数比其他key多很多，这些Key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行不完。那么经常有哪些情况会产生数据倾斜呢，又该如何解决，这里梳理了几种最常见的数据倾斜场景。小表与大表JOIN小表与大表Join时
大数据技术架构·2023-11-27 19:44

阿里巴巴java性能调优实战：ArrayList还是LinkedList？使用不当性能差千倍

ArrayList还是LinkedList？使用不当性能差千倍集合作为一种存储数据的容器，是我们日常开发中使用最频繁的对象类型之一。JDK为开发者提供了一系列的集合类型，这些集合类型使用不同的数据结构来实现。因此，不同的集合类型，使用场景也不同。很多同学在面试的时候，经常会被问到集合的相关问题，比较常见的有ArrayList和LinkedList的区别。相信大部分同学都能回答上：“ArrayLis
Charles__LUO·2023-11-27 19:34

资深测试老鸟整理，性能测试-常见调优详细，卷起来...

Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结（尾部小惊喜）前言常见的一些性能缺陷表现及如何进行定位分析并且调优
百里测试开发·2023-11-27 19:42

史上最全，性能测试-性能分析调优详细讲解，全网独一份...

目录：导读前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结（尾部小惊喜）前言性能分析前提：性能分析的前提除了需要丰富的性能测试监控（如PTS自身的客户侧监控、基础类监控-阿里云监控、应用类监控-ARMS监控等），还需要具备相关的技术知识（包括但不
百里测试开发·2023-11-27 19:10

JVM下篇：性能监控与调优篇

1.概述篇1.1.大厂面试题支付宝：支付宝三面：JVM性能调优都做了什么？小米：有做过JVM内存优化吗？
chenfl0808·2023-11-27 19:08

Nginx安全优化与性能调优

目录Nginx基本安全优化隐藏Nginx软件版本号信息更改源码隐藏Nginx软件名及版本号修改Nginx服务的默认用户修改参数优化Nginx服务性能优化Nginx服务的worker进程数1.优化NGINX进程对应的配置2.优化Nginx进程个数的策略3.查看Web服务器CPU硬件资源信息4.修改服务器Nginx配置绑定不同的Nginx进程到不同的CPU上Nginx事件处理模型优化调整Nginx单进
java领域·2023-11-27 17:42

Flink实时流计算入门系列（一）

阿里巴巴双11大屏在峰值期间可以承担每秒超过4.72亿次的访问，这是多高的访问量……为什么学习Flink？
晨冉1688·2023-11-27 17:17

Spark性能调优05-Shuffle调优

1.SparkShuffle概述在Spark的源码中，负责shuffle过程的执行、计算和处理的组件主要就是ShuffleManager，也即shuffle管理器。而随着Spark的版本的发展，ShuffleManager也在不断迭代，变得越来越先进。在Spark1.2以前，默认的shuffle计算引擎是HashShuffleManager。该ShuffleManager而HashShuffleM
CoderJed·2023-11-27 16:00

全流程攻略：如何构建人工智能产品？

从挖掘行业属性到模型的建立与调优，作者对每个阶段需要注意的问题进行了分析说明，供大家一起参考学习。在人工智能产品构建过程分为很多阶段，从最顶层的商业思考到下层的模型研发都有着不同的思考方式。
喜欢打酱油的老鸟·2023-11-27 16:18

JVM运行参数介绍 -Xms -Xmx -Xmn -Xss

文章目录CharGPT问答Java运行参数“-Xmx2048m-Xms1024m-Xmn512m-Xss256k”如何调优jvm的运行参数JVM相关介绍Java虚拟机底层原理知识总结CharGPT问答Java
秦时明月之君临天下·2023-11-27 15:14

机器学习中四种调参方法总结

超参数调优的越好，得到
小小杨树·2023-11-27 15:44

【nlp】4.1 fasttext工具介绍（文本分类、训练词向量、词向量迁移）

2fasttext文本分类2.1文本分类概念2.2文本分类种类2.3文本分类的过程2.4文本分类代码实现2.4.1获取数据2.4.2训练集与验证集的划分2.4.3训练模型2.4.4使用模型进行预测评估2.4.5模型调优
lys_828·2023-11-27 14:15

window性能提升100倍！怎么做到的？

1.背景在时序数据库的业务使用场景中，经常有统计每天的平均值、最大值等需求，我们参照Flink设计在FalconTSDB里引入了Window概念来满足业务需求。
TargetLiu·2023-11-27 12:21

jvm调优-hprof 文件打开

当服务器出现内存溢出的情况，要下载分析dump内存文件“dump当前进程的内存信息:通过命令jsp获取java进程pid:jsp:生成dump文件：jmap-dump:format=b,file=dump.hprofpid在当前目录xiazaihprof文件到本地。如何打开hprof后缀格式的文件呢？可以利用我们安装的jdk内置的工具：1.打开cmd命令，windows+R2.输入：jvisual
初夏0811·2023-11-27 10:57

Java程序员说：世界上有三个伟大的发明【火、轮子、kafka】

在流式计算中，Kafka一般用来缓存数据，例如Flink通过消费Kafka的数据进行计算。关于Kafka，我们最先需要了解的是以下四点：imageApacheKafka是一个开源「消息」系统，由Sc
Java李太白·2023-11-27 08:07

Flink系列（一）数据集类型和数据运算模型

流式：只要数据一直在生产，计算就持续地运行批处理：在预先定义的时间内运行计算，当完成时候释放计算机资源Flink它可以处理有界的数据集，也可以处理无界的数据集，它可以流式的处理数据，也可以批量的处理数据
香山上的麻雀·2023-11-27 08:25

《十堂课学习 Flink SQL》第三章：Flink SQL 环境搭建

本章内容包括安装和配置Flink环境；Flink官方示例代码解读；使用FlinkSQLCLI进行基本查询以及FlinkSQL连接外部数据源。
smile-yan·2023-11-27 07:57
上一页 52 53 54 55 56 57 58 59 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他