Flink调优

物流实时数仓：采集通道搭建

hbase安装1.上传并解压2.配置环境变量3.拷贝jar包4.编写配置文件5.分发配置文件3.Redis安装1.安装需要的编译环境2.上传并解压文件3.编译安装4.后台访问4.ClickHouse安装5.Flink
超哥--·2023-12-15 06:34

探索AIGC未来：CPU源码优化、多GPU编程与中国算力瓶颈与发展

；边缘计算；大模型显存占用；5G;深度学习；A100；H100；A800；H800；L40s；Intel；英伟达；算力近年来，AIGC的技术取得了长足的进步，其中最为重要的技术之一是基于源代码的CPU调优
高性能服务器·2023-12-15 04:30

Flink核心概念

在Flink执行过程中，每一个算子（operator）可以包含一个或多个子任务（operatorsubtask），这些子任务在不同的线程、不同的物理机或不同的容
Stephen6Yang·2023-12-15 03:06

Flink基本转换算子map/filter/flatmap

mapmap是大家非常熟悉的大数据操作算子，主要用于将数据流中的数据进行转换，形成新的数据流。简单来说，就是一个“一一映射”，消费一个元素就产出一个元素。我们只需要基于DataStream调用map()方法就可以进行转换处理。方法需要传入的参数是接口MapFunction的实现；返回值类型还是DataStream，不过泛型（流中的元素类型）可能改变。publicclassTransMap{publ
Stephen6Yang·2023-12-15 03:01

2023五岳杯量子计算挑战赛数学建模思路+代码+模型+论文

目录计算力网络（CPN）是一种新型的信息基础设施，完整论文代码见文末问题描述2.1问题12.2问题22.3问题3问题1的解答过程：问题3的解答过程：决策优化应用场景：人工智能模型超参数调优背景信息：研究方法
C灿灿数模·2023-12-15 03:52

【Flink系列七】TableAPI和FlinkSQL初体验

ApacheFlink有两种关系型API来做流批统一处理：TableAPI和SQLTableAPI是用于Scala和Java语言的查询API，它可以用一种非常直观的方式来组合使用选取、过滤、join等关系型算子
周润发的弟弟·2023-12-15 03:48

【Flink系列六】Flink里面的状态一致性

状态一致性有状态的流处理，内部每个算子任务都可以有自己的状态，对于流处理器内部来说，所谓的状态一致性，其实就是我们所说的计算结果要保证准确。一条数据不应该丢失，也不应该重复计算。再遇到有故障时可以恢复状态，恢复以后的重新计算，结果应该也是可以完全正确的。状态一致性的分类AT-MOST-ONCE（最多一次）当任务故障时，最简单的做法是什么都不干，既不恢复丢失的状态，也不重复丢失的数据。At-most
周润发的弟弟·2023-12-15 03:18

【Flink名称解释一】什么是cataLog

Catalog提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。数据处理最关键的方面之一是管理元数据。元数据可以是临时的，例如临时表、或者通过TableEnvironment注册的UDF。元数据也可以是持久化的，例如HiveMetastore中的元数据。Catalog提供了一个统一的API，用于管理元数据，并使其可以从TableAPI和SQL查询语句中来访问。
周润发的弟弟·2023-12-15 03:18

【Flink系列四】Window及Watermark

3.1、window在Flink中Window可以将无限流切分成有限流，是处理有限流的核心组件，现在Flink中Window可以是时间驱动的（TimeWindow），也可以是数据驱动的（CountWindow
周润发的弟弟·2023-12-15 03:18

Flink Window中典型的增量聚合函数(ReduceFunction / AggregateFunction)

一、什么是增量聚合函数在FlinkWindow中定义了窗口分配器，我们只是知道了数据属于哪个窗口，可以将数据收集起来了；至于收集起来到底要做什么，其实还完全没有头绪，这也就是窗口函数所需要做的事情。
文文鑫·2023-12-15 03:45

kyuubi整合flink yarn application model

目录概述配置flink配置kyuubi配置kyuubi-defaults.confkyuubi-env.shhive验证启动kyuubibeeline连接使用hivecatalogsql测试结束概述flink
流月up·2023-12-15 03:14

【Flink系列五】Checkpoint及Barrier原理

保存点Savepoint状态后端（statebackend）本文先设置一个前提，流处理的数据都是可回放的（可以理解成消费的kafka的数据）一致性检查点（checkpoints）图1checkpoint是Flink
周润发的弟弟·2023-12-15 02:11

PyTorch 模型训练性能大揭秘：从基础到高级技巧一网打尽！

《PyTorch模型训练性能调优宝典》是解决PyTorch训练性能和效率问题的首选宝典。适用对象包括：AI/ML平台工程师、数据平台工程师、后端软件工程师、MLOps工
Python算法实战·2023-12-15 02:58

浅谈web性能测试

性能测试，简而言之就是模仿用户对一个系统进行大批量的操作，得出系统各项性能指标和性能瓶颈，并从中发现存在的问题，通过多方协助调优的过程。
测试界柠檬·2023-12-15 00:17

Gateway全局异常处理及请求响应监控

前言我们在上一篇文章基于压测进行Feign调优完成的服务间调用的性能调优，此时我们也关注到一个问题，如果我们统一从网关调用服务，但是网关因为某些原因报错或者没有找到服务怎么办呢？
shark-chili·2023-12-14 21:07

JVM 命令行监控及诊断工具

（字节跳动）JVM诊断调优工具用过哪些？(京东)怎么获取Java程序使用的内存？堆使用的百分比？（国美）几种常用的内存调试工具你知道哪些？（搜狐）JVM诊断调优工具用过哪些？
Please Sit Down·2023-12-14 20:40

Ceph Cookbook 中文版

1、ceph介绍、ceph块存储、ceph对象存储、ceph文件系统、用Calamari监控Ceph、操作和管理ceph集群、深入ceph、ceph生产计划和性能调优、ceph虚拟存储管理器、ceph扩展
SkTj·2023-12-14 20:41

Java性能调优实战》笔记（二）JVM优化、设计模式优化

文章目录一、JVM优化1.1即时编译器JIT  类编译加载执行过程：  初始化完成后，类在调用执行过程中，执行引擎会把字节码转为机器码，然后在操作系统中才能执行。在字节码转换为机器码的过程中，虚拟机中还存在着一道编译，那就是即时编译。  最初，虚拟机中的字节码是由解释器（Interpreter）完成编译的，当虚拟机发现某个方法或代码块的运行特别频繁的时候，就会把这些代码认定为“热点代码”。  为了
马小瑄·2023-12-14 20:52

【Java面试——JVM和调优】

JVM虚拟机和调优相关。5.1类加载机制类加载的生命周期？其中类加载的过程包括了加载、验证、准备、解析、初始化五个阶段。
奥耶可乐冰·2023-12-14 20:25

【毕业设计】大数据淘宝用户行为数据分析与可视化 - flink

文章目录0前言1、环境准备1.1flink下载相关jar包1.2生成kafka数据1.3开发前的三个小tip2、flink-sql客户端编写运行sql2.1创建kafka数据源表2.2指标统计：每小时成交量
caxiou·2023-12-14 19:08

Kafka集群调优+能力探底

一、前言我们需要对4个规格的kafka能力进行探底，即其可以承载的最大吞吐；4个规格对应的单节点的配置如下：标准版：2C4G铂金版：4C8G专业版：8C16G企业版：16C32G另外，一般来讲，在同配置下，kafka的读性能是要优于写性能的，写操作时，数据要从网卡拷贝至堆内存，然后进行一堆数据校验、解析后，会将数据拷贝至堆外内存，然后再拷贝至操作系统的pagecache，最后操作系统异步刷盘至设备
快乐非自愿·2023-12-14 19:44

做好APP广告联调测试，不断提升广告变现收益

APP广告联调测试的作用：变现冷启动阶段，帮助制定广告变现策略；广告变现开始后，验证实际效果；帮助分析诊断变现问题原因；调优既定运营策略与优化；持续优化变现策略形
AdSet聚合广告平台·2023-12-14 19:01

贝叶斯参数调优Grouping遗传算法求解带时间窗和异质车队的多车场取送货问题

贝叶斯优化：贝叶斯优化（BayesianOptimization）是一种用于参数调优的算法。在元启发式算法中，参数设置对算法的性能有很大影响，而确定最佳参数配置需要大量的目标函数评估，非常耗时。
Zzzzzzz_s·2023-12-14 18:09

【Python百宝箱】从平凡到卓越：如何通过评估和调优提升机器学习模型质量

提升机器学习模型性能的终极指南：评估和调优工具大揭秘前言在机器学习领域，评估和调优是提升模型性能的关键步骤。
friklogff·2023-12-14 18:22

长话短说stacking集成学习算法，保证你能看得懂（2)

第一步，进行初级学习，生成次级学习器的训练集(X_train_new,y_train)和测试集(X_test_new,y_test)（篇幅所限，我们在此假设每个基模型都是经过参数调优处理的优良模型，具体如何进行参数优化请参见相关文献
interbigdata·2023-12-14 18:44

flink源码分析之功能组件(六)-心跳组件

简介本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics
中间件XL·2023-12-14 16:10

Flink-源算子-读取数据的几种方式

Flink可以从各种来源获取数据，然后构建DataStream进行转换处理。一般将数据的输入来源称为数据源（datasource），而读取数据的算子就是源算子（sourceoperator）。
Stephen6Yang·2023-12-14 16:04

Flink之流的转换

ProcessFuncion处理函数功能拥有富函数功能-生命周期方法-状态编程对元素的处理功能processElement,在不同的处理函数中，该方法的名字略有区别定时器编程TimeService:定时服务,可以用于注册定时器，删除定时器ontimer():定时器触发后会自动调用该方法，我们将需要完成的工作写到该方法中侧输出流分类processFunction:普通流DataStream调用key
十七✧ᐦ̤·2023-12-14 16:34

Flink之状态编程

状态的分类托管状态：由Flink统一管理的，状态的存储访问、故障恢复和重组等一系列问题都由Flink实现。算子状态：状态由算子内所
十七✧ᐦ̤·2023-12-14 16:34

Flink之keyby状态

KeyedState值状态：维护一个具体的值ValueState继承自StateTvalue():从状态中获取维护的数据update():更新状态列表状态：可以当成List使用，维护多个值add():添加一个状态addAll()：添加多个状态，不会覆盖原有的状态get()：获取状态update()：将指定集合的数据直接更新到状态中，会覆盖原有的状态clear()：清空状态Map状态：维护一个Map
十七✧ᐦ̤·2023-12-14 16:34

【自定义Source、Sink】Flink自定义Source、Sink对ClickHouse进行读和批量写操作

ClickHouse官网文档Flink读取ClickHouse数据两种驱动ClickHouse官方提供ClickhouseJDBC.
不进大厂不改名二号·2023-12-14 16:03

Flink 项目系列

Flink项目系列1-项目介绍-墨天轮Flink实时电商实战项目:基于尚硅谷开源项目的Flink电商实战项目（全流程）大数据Flink电商数仓实战项目流程全解（一）_尚硅谷flinksql大数据项目实战
清风明月一壶酒·2023-12-14 16:22

【Table/SQL Api】Flink Table/SQL Api表转流读取MySQL

引入依赖jdbc依赖flink-connector-jdbc+mysql-jdbc-driver操作mysql数据库org.apache.flinkflink-connector-jdbc_${scala.binary.version
不进大厂不改名二号·2023-12-14 16:44

Flink的容错机制

容错机制容错：指出错后不影响数据的继续处理，并且恢复到出错前的状态。检查点：用存档读档的方式，将之前的某个时间点的所有状态保存下来，故障恢复继续处理的结果应该和发送故障前完全一致，这就是所谓的检查点。检查点的控制节点：jobManager里面的检查点协调器，向source节点的数据插入barrier标记。检查点的保存：-周期性触发保存-保存的时间点：所有算子恰好处理完一个相同的输入数据时(使用Ba
十七✧ᐦ̤·2023-12-14 16:44

Java 线程池的学习总结

线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一的分配，调优和监控。二、线程池的创建1、线程池的7个参数：①corePoolSize：核心线程数。
Double丶11·2023-12-14 14:53

【源码解析】flink sql执行源码概述：flink sql执行过程中有哪些阶段，这些阶段的源码大概位置在哪里

文章目录一.sql执行流程源码分析1.Sql语句解析成语法树阶段（SQL->SqlNode）2.SqlNode验证（SqlNode–>Operation）3.语义分析（Operation->RelNode）4.优化阶段（RelNode->optimize->Transformation）5.生成ExecutionPlan并执行二.源码分析小结`sqlnode->relnode->优化->pipel
roman_日积跬步-终至千里·2023-12-14 12:20

Flink之DataStream API的转换算子

简单转换算子函数的实现方式自定义类,实现函数接口:编码麻烦，使用灵活匿名内部类:编码简单Lambda:编码简洁publicclassFlink02_FunctionImplement{publicstaticvoidmain
十七✧ᐦ̤·2023-12-07 00:13

Flink基础之DataStream API

合并的两条流的数据类型可以不一致connec后，得到的是ConnectedStreams合并后需要根据数据流是否经过keyby分区coConnect:将两条数据流合并为同一数据类型keyedConnectpublicclassFlink09
十七✧ᐦ̤·2023-12-07 00:11

ElasticSearch部署架构和容量规划

一、前言前面介绍了ElasticSearch原理和使用相关的内容，在生产环境如何比较科学的进行容量规划、部署、调优、排查问题呢，业界和官方也对相关的问题进行总结，我这边也结合自己的经验对这些使用ElasticSearch
IT巅峰技术·2023-12-06 21:23

Spark面试题汇总

问题汇总SparkSQL调优：场景是怎样的？怎么发现的？怎么定位的？怎么解决的？达到了一个怎样的效果？引申下还有哪些更好的优化方案？UDF怎么管理的，如何避免重复的UDF的提交？
话数Science·2023-12-06 21:04

Tomcat 的工作原理

刚入社会的时候，我还是通过Tomcat手动部署JavaWeb项目，还经常对Tomcat进行性能调优。除此之外，还需要自己理清楚各Jar之间的关系，以避免Jar丢失和各版本
公子小白123·2023-12-06 20:45

flink运行报Exception in thread “main“ java.lang.IllegalStateException

问题描述运行flink程序时报异常，异常信息如下：Exceptioninthread"main"java.lang.IllegalStateException:NoExecutorFactoryfoundtoexecutetheapplication.atorg.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutor
大数据魔法师·2023-12-06 20:20

flink安装与配置-脚本一键安装（超简单）

文章目录前言使用shell脚本一键安装1.复制脚本2.增加执行权限3.执行脚本4.加载用户环境变量5.浏览器访问总结前言本文介绍了使用shell脚本一键安装和配置ApacheFlink单机版的方法。
大数据魔法师·2023-12-06 20:48

JVM常用调优参数

针对Java虚拟机（JVM）的性能调优，有一些常见的调优参数可以用来提高应用程序的性能和稳定性。
一个搬砖的农民工·2023-12-06 17:34

flink报错：akka.pattern.AskTimeoutException: is that the recipient actor didn‘t send a reply

通讯超时akka.pattern.AskTimeoutException:Asktimedouton[Actor[akka://...]]after[10000ms]Akka超时导致，一般有两种原因：一是集群负载比较大或者网络比较拥塞，二是业务逻辑同步调用耗时的外部服务。如果负载或网络问题无法彻底缓解，需考虑调大akka.ask.timeout参数的值（默认只有10秒）；另外，调用外部服务时尽量异
青云游子·2023-12-06 17:47

Hive的使用技巧

一.Hive常用交互命令[zhangflink@flinkv1hive]$bin/hive-help1.在Hive命令行里创建一个表student，并插入1条数据2.
Appreciate(欣赏)·2023-12-06 16:10

社区投稿 | 常见的slave延迟场景分析

作者介绍：杨奇龙，网名“北在南方”，7年DBA老兵，目前任职于杭州有赞科技DBA，主要负责数据库架构设计和运维平台开发工作，擅长数据库性能调优、故障诊断。
爱可生开源社区·2023-12-06 13:04

线程池原理初探

线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一的分配，调优和监控。但是要做到合理的利用线程池，必须对其原理了如指掌。2.线程池的使用
.守心.·2023-12-06 12:11

Temporal table join requires an equality condition on fields of table

报错信息org.apache.flink.table.api.TableException:Temporaltablejoinrequiresanequalityconditiononfieldsoftable
Direction_Wind·2023-12-06 12:34

为什么要做ERP集成？ERP系统如何与其他业务应用程序集成

ETL集成能够将这些功能模块与其他业务系统（如客户关系管理系统、物流系统、电子商务平台等）进行连接，实现不同系统间的信息共享以及业务流程的协调优化
ETLCloud数据集成社区·2023-12-06 12:00
上一页 46 47 48 49 50 51 52 53 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他