Flink调优

Apache Flink连载（二十）：Flink On Yarn运行 - Yarn Per-Job模式（弃用）

博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.任务提交命令2.任务提交流程Per-Job模式目前只有yarn支持，Per-job模式从Flink1.15版本开始已经被弃用
IT贫道·2023-12-30 15:02

Apache Flink连载（二十一）：Flink On Yarn运行原理-Yarn Application模式

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.任务提交命令
IT贫道·2023-12-30 15:30

【用户增长】引言：浅析游戏运营用户增长概念

包含不同品类核心打法及长线运营思路l海外运营：海外市场分析、区域用户理解、发行流程介绍、发行案例复盘二、本地化l产品引入：产品筛选标准、产品引入流程及指导、产品分析及拆解、谈判及沟通技巧(合研/自研)l产品调优
数字化转型2025·2023-12-30 15:27

PTS 3.0：可观测加持的下一代性能测试服务

提到性能测试大家并不陌生，性能测试已成为评估系统能力、识别系统弱点、进行系统调优，验证系统稳定性等的重要手段。
阿里云云原生·2023-12-30 13:20

Flink实时电商数仓（九）

用户注册汇总表需求分析统计各窗口的注册用户数，写入Doris思路分析读取kafka用户注册主题数据转换数据结构string->JSONObject->javaBean使用user_info表中的数据代表用户注册设置水位线开窗聚合写入Doris具体实现创建用户注册统计类继承BaseApp,设置端口，并行度，kafka消费者组，kafka主题（Topic_user_register）启动zookeep
十七✧ᐦ̤·2023-12-30 11:16

数据分析流程

数据分析的流程可以分为以下几个步骤：问题定义--数据挖掘--数据准备--模型化--数据认证--实施跟踪模型部分：探索--建立--评估--调优--应用理解业务问题：首先明确数据分析的目标和业务问题，确定需要解决的具体问题
Oo_Amy_oO·2023-12-30 09:12

Flink版本更新汇总（1.14-1.18）

0、汇总========1.14.0========1.有界流支持Checkpoint；2.批执行模式支持DataStream和Table/SQL混合应用；3.新增HybridSource功能；4.新增缓冲区去膨胀功能；5.新增细粒度资源管理功能；6.新增DataStream的Pulsar连接器；========1.15.0========1.支持增量的Savepoint；2.保证作业级别的指标在
猫猫爱吃小鱼粮·2023-12-30 09:55

Flink实时电商数仓（八）

用户域登录各窗口汇总表主要任务：从kafka页面日志主题读取数据，统计七日回流用户：之前活跃的用户，有一段时间不活跃了，之后又开始活跃，称为回流用户当日独立用户数：同一个用户当天重复登录，只算作一个独立用户。思路分析读取kafka页面主题数据转换数据结构：String->JSONObject过滤数据，uid不为null登录的两种情况用户打开应用后自动登录用户打印应用后没有登录，浏览后跳转到登录页面
十七✧ᐦ̤·2023-12-30 09:55

Flink DataStream 编程模型

本文是我的第一篇付费文章，这是个开篇纵览，后面会深入讲解Flink理论与开发，不限于Flink这一个组件，后面也会有Spark、Clickhouse等等，代码也会配套同步到Gitee上面（Gitee地址见文末
大数据技术派·2023-12-30 09:54

Flink Shuffle、Spark Shuffle、Mr Shuffle 对比

总结：1、FlinkShufflePipelinedShuffle：上游Subtask所在TaskManager直接通过网络推给下游Subtask的TaskManager；BlockingShuffle
猫猫爱吃小鱼粮·2023-12-30 09:53

搭建flink集群 —— 筑梦之路

ApacheFlink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。
筑梦之路·2023-12-30 09:04

想要学会JVM调优，先掌握JVM内存模型和JVM运行原理

1、前言今天将和你一起探讨Java虚拟机（JVM）的性能调优。JVM算是面试中的高频问题了，通常情况下总会有人问到：请你讲解下JVM的内存模型，JVM的性能调优做过？
cxzm_1024·2023-12-30 08:56

Flink 输出至 Elasticsearch

【1】引入pom.xml依赖org.apache.flinkflink-connector-elasticsearch6_2.121.10.0【2】ES6Scala代码，自动导入的scala包需要修改为
程序猿进阶·2023-12-30 06:27

elasticsearch 索引数据多了怎么办，如何调优，部署

当Elasticsearch索引的数据量增加时，可能会遇到性能瓶颈，需要进行调优。
爱编程的小白L·2023-12-30 06:52

Flink cdc 2.3.0 日前发布，支持众多新特性

连接器增量快照迎来新的连接器成员2.3.0版本MongoDBCDC，OracleCDC两大连接器均支持了增量快照，实现无锁读取+并发读取+断点续传优化2.3.0版本MySQLCDC连接器性能和稳定性大幅提升Flink
青涩的芒果汁·2023-12-30 06:00

mysql cdc 整库迁移 (mysql to mysql)

技术思想利用mysqlcatalog，mysqlcdc，flinkjdbc等技术实现mysql整库迁移至下游数据库，这里是示范mysqltomysql，其他sink组件可自行扩展实现。
青涩的芒果汁·2023-12-30 06:00

flink 消费Kafka 空指针问题

flink消费Kafka空指针问题error：2021-12-0210:51:55,644WARNorg.apache.flink.runtime.taskmanager.Task[]-Source:CustomSource
青涩的芒果汁·2023-12-30 06:30

基于Rsyslog+Kafka+Flink+Clickhouse的高性能日志采集、分析、汇聚存储方法

在上一篇博文中介绍了简单的实用负载均衡与实时监控方案（tengine+rsyslog+goaccess），功能上是满足日常需要的。但是用户的需求是没有止境的，更何况我们做技术的都有一颗追求极致的心。在实际场景中客户需要了解平台整体UV、PV，各功能模块PV、UV，区域PV、UV，各手机型号、应用版本的使用情况，平台使用的趋势分析，功能模块的热度分析等指标。用户端精确埋点和基于Haddop的大数据采
IT 行者·2023-12-30 05:02

JVM+GC解析（前提知识串联）

前提准备JVMGC垃圾回收JVM虚拟机监控调优和故障处理Tomcat和微服务优化1、前提复习1.1、JVM内存结构1.1.1、JVM体系结构概览图中灰色部分为线程私有，几乎不存在垃圾回收橙色部分线程共有
张轶渤·2023-12-30 03:41

性能测试之Mysql数据库调优

一、前言性能调优前提：无监控不调优，对于mysql性能的监控前几天有文章提到过，有兴趣的朋友可以去看一下二、Mysql性能指标及问题分析和定位1、我们在监控图表中关注的性能指标大概有这么几个：CPU、内存
测试老哥·2023-12-30 03:01

PiflowX组件-WriteToKafka

计算引擎flink有界性StreamingAppendMode组件分组kafka端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子kafka_hostKAFKA_HOST
暗影八度·2023-12-29 23:14

PiflowX组件-DataGen

具体可以查看Flink官方DataGenconnector。计算引擎flink有界性字段的数据全部生成完成后，source就结束了。因此，有界性取决于字段的有界性。
暗影八度·2023-12-29 23:14

flink generic log-based incremental checkpoints 设计

背景flink在1.15版本后开始提供genericlog-basedincrementalcheckpoints的检查点方案，目的在于减少checkpoint的耗时，尽量缩短端到端的数据处理延迟，本文就来看下这种新类型的
lixia0417mul2·2023-12-29 23:43

PiflowX大数据流水线系统

支持分布式计算引擎flink和spark。以所见即所得的方式，实现大数据采集、处理、存储与分析流程化配置、运行与智能监控。
暗影八度·2023-12-29 23:43

PiflowX组件-ReadFromKafka

计算引擎flink有界性Unbounded组件分组kafka端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子kafka_hostKAFKA_HOST“”
暗影八度·2023-12-29 23:13

flink中值得监控的几个指标

背景为了维持flink的正常运行，对flink的日常监控就变得很重要，本文我们就来看一下flink中要监控的几个重要的指标重要的监控指标1.算子的处理速度的指标：numRecordsInPerSecond
lixia0417mul2·2023-12-29 23:12

大数据HelloWorld-Flink实现WordCount

MR，Spark，Flink以来开篇第一个程序都是WordCount。那么今天Flink开始目标就是在本地调试出WordCount。[图片上传失败...
指尖数虫·2023-12-29 22:38

性能测试之Mysql数据库调优

一、前言性能调优前提：无监控不调优，对于mysql性能的监控前几天有文章提到过，有兴趣的朋友可以去看一下二、Mysql性能指标及问题分析和定位1、我们在监控图表中关注的性能指标大概有这么几个：CPU、内存
软件测试果冻·2023-12-29 21:29

给linux(centos)操作系统设置主机名的几种方式

镜像下载、域名解析、时间同步请点击阿里云开源镜像站一、前言就是我们需要集群部署hadoop,Flink时，写ip地址太长了，然后大家想的就是能不能用比如：node1,node2,node3去代替IP地址
萌褚·2023-12-29 21:13

AI训练师常用的ChatGPT通用提示词模板

模型调优：如何优化模型的性能？模型部署：如何将训练好的模型部署到实际应用中？模型监控与维护：如何监控和维护模型的性能和稳定性？模型更新与升级：如何
BTCKing·2023-12-29 18:26

350道java面试题收集整理，包含了上百家企业近年的人才计划！

目录展示一、性能优化面试专栏1、tomcat性能优化整理1.1、你怎样给tomcat调优？1.2、如何加大comc
Java阿七·2023-12-29 18:41

Flink实时电商数仓之DWS层

org.apache.dorisflink-doris-connector-1.17com.janeluoikanalyzer测试代码如下：publicclassIkUtil{publicsta
十七✧ᐦ̤·2023-12-29 17:19

【flink番外篇】9、Flink Table API 支持的操作示例（5）- 表的列操作

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-29 17:18

【flink番外篇】9、Flink Table API 支持的操作示例（4）- Table API 对表的查询、过滤操作

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-29 17:17

【flink番外篇】9、Flink Table API 支持的操作示例（1）-通过Table API和SQL创建表

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-29 17:47

【flink番外篇】9、Flink Table API 支持的操作示例（3）- 通过API查询表和使用窗口函数的查询

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-29 17:47

【flink番外篇】9、Flink Table API 支持的操作示例（2）- 通过Table API 和 SQL 创建视图

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-29 17:15

Flink Forward Asia 2023 主会场精彩回顾

2023年12月8日-9日，FlinkForwardAsia（FFA）峰会成功举行。FlinkForwardAsia是由Apache软件基金会官方授权、由阿里云承办的技术峰会。
Apache Flink·2023-12-29 12:05

flink的三个state backend的选择

flink的三个状态MemoryStateBackend默认，小状态，本地调试使用FsStateBackend大状态，长窗口，高可用场景RocksDBStateBackend超大状态，长窗口，高可用场景
gegeyanxin·2023-12-29 09:12

Flink消费pubsub问题

我看网上flink消费pubsub的资料并不多，最近跑通了，大家有问题的可以给我留言。
gegeyanxin·2023-12-29 09:41

ElasticSearch 实现分词全文检索 - SpringBoot 完整实现 Demo

suggest)分词全文搜索所用的技术如下：ElasticSearchKibana管理界面IKAnalysis分词器SpringBoot实现流程可以通过Canal对MySQLbinlog进行数据同步，或者flink
手把手教你学Java·2023-12-29 08:18

FlinkSQL窗口实例分析

WindowingTVFsWindowingtable-valuedfunctions(WindowingTVFs)，即窗口表值函数注意：窗口函数不可以单独使用，需要聚合函数，按照window_start、window_end分区，即存在：groupbywindow_start,window_endTUMBLE函数采用三个必需参数，一个可选参数：TUMBLE(TABLEdata,DESCRIPTO
PONY LEE·2023-12-29 06:42

Flink项目系列1-项目介绍

一.电商的用户行为  电商平台中的用户行为频繁且较复杂，系统上线运行一段时间后，可以收集到大量的用户行为数据，进而利用大数据技术进行深入挖掘和分析，得到感兴趣的商业指标并增强对风险的控制。  电商用户行为数据多样，整体可以分为用户行为习惯数据和业务行为数据两大类。用户的行为习惯数据包括了用户的登录方式、上线的时间点及时长、点击和浏览页面、页面停留时间以及页面跳转等等，我们可以从中进行流量统计和热门
只是甲·2023-12-29 05:37

机器学习库Scikit-learn

3.2Scikit-learn概述3.3Scikit-learn主要用法3.3.1基本建模流程3.3.2数据预处理3.3.3监督学习算法3.3.4无监督学习算法3.3.5评价指标3.3.6交叉验证及超参数调优
风度78·2023-12-29 04:48

2022-02-24-Spark-44(性能调优通用调优)

1.应用开发的原则原则一：坐享其成我们应该尽可能地充分利用Spark为我们提供的“性能红利”，如钨丝计划、AQE、SQLfunctions等等。AQE可以让Spark在运行时的不同阶段，结合实时的运行时状态，周期性地动态调整前面的逻辑计划，然后根据再优化的逻辑计划，重新选定最优的物理计划，从而调整运行时后续阶段的执行方式。AQE功能默认是关闭的，如果我们想要充分利用自动分区合并、自动数据倾斜处理和
冰菓_lam·2023-12-29 03:14

Hbase - 自定义Rowkey规则

>在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制`TableInputFormat`来实现我们的需求了，我们还可以采用Flink的`DataSet
kikiki5·2023-12-29 01:49

Java基础-JVM调优-参数调优

Java工程师知识树/Java基础JVM参数配置如JAVA_OPTS="JAVA_OPTS-Xmx512m-Xms512m-Xmn170m-Xss128k-XX:NewRatio=4-XX:SurvivorRatio=4"例子讲解：1）-Xmx512m：设置Java虚拟机的堆最大可用内存大小，单位：兆；整个堆大小=年轻代+年老代+持久代。持久代一般固定65m。2）-Xms512m：设置Java虚拟
HughJin·2023-12-29 00:23

【转】idea设置JVM运行参数

对JVM运行参数进行修改是JVM性能调优的重要手段，下面介绍在应用程序开发过程中JVM参数设置的几种方式。
全栈测试笔记·2023-12-28 23:56

系列十四、SpringBoot + JVM参数配置实战调优

一、SpringBoot+JVM参数配置实战调优1.1、概述前面的系列文章大篇幅的讲述了JVM的内存结构以及各种参数，今天就使用SpringBoot项目实战演示一下，如何进行JVM参数调优，如果没有阅读过前面系列文章的朋友
YYAugenstern·2023-12-28 23:20

【已解决】TypeError: __init__() got an unexpected keyword argument ‘min_impurity_split‘

在此不加调优的指定随机森林的相关超参数防止过拟合：参数n_estimators：指定随机森林中决策树的数量为100；参数max_depth：指定决策树的最大深度为5；参数min_samples_leaf
ZERWW·2023-12-28 21:14
上一页 34 35 36 37 38 39 40 41 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他