Flink调优

Flink和Kafka连接时的精确一次保证

端到端的精确一次性保证既然是端到端的exactly-once，我们可以从三个组件的角度来进行分析：（1）Flink内部Flink内部可以通过检查点机制保证状态和处理结果的exactly-once语义。
Stephen6Yang·2023-12-20 11:09

flink kafka

Mac下Kafka安装与启动https://www.jianshu.com/p/a581372f07b4https://github.com/wangzhiwubigdata/God-Of-BigData
夏天_edbf·2023-12-20 11:15

Flink实时电商数仓（二）

初始推送后完全保护”设置.gitignore文件，项目配置文件等其他非通用代码无需提交安装gitlabproject2020插件点击shareprojectongitlab即可将项目上传到gitlab中Flink
十七✧ᐦ̤·2023-12-20 08:50

Flink-状态后端

Flink中提供了两类不同的状态后端，一种是“哈希表状态后端”（HashMapStateBackend），另一种是“内嵌RocksDB状态后端”（EmbeddedRocksDBStateBackend）
Stephen6Yang·2023-12-20 08:20

掌握实时数据流：使用Apache Flink消费Kafka数据

导读：使用Flink实时消费Kafka数据的案例是探索实时数据处理领域的绝佳方式。不仅非常实用，而且对于理解现代数据架构和流处理技术具有重要意义。
昊昊该干饭了·2023-12-20 08:14

hive企业级调优策略之数据倾斜

测试所用到的数据参考：原文链接：https://blog.csdn.net/m0_52606060/article/details/135080511本教程的计算环境为HiveonMR。计算资源的调整主要包括Yarn和MR。数据倾斜概述数据倾斜问题，通常是指参与计算的数据分布不均，即某个key或者某些key的数据量远超其他key，导致在shuffle阶段，大量相同key的数据被发往同一个Reduc
Appreciate(欣赏)·2023-12-20 06:05

hive企业级调优策略之小文件合并

测试所用到的数据参考：原文链接：https://blog.csdn.net/m0_52606060/article/details/135080511本教程的计算环境为HiveonMR。计算资源的调整主要包括Yarn和MR。优化说明小文件合并优化，分为两个方面，分别是Map端输入的小文件合并，和Reduce端输出的小文件合并。Map端输入文件合并合并Map端输入的小文件，是指将多个小文件划分到一个
Appreciate(欣赏)·2023-12-20 06:05

hive企业级调优策略之分组聚合优化

测试用表准备hive企业级调优策略测试数据(阿里网盘下载链接)：https://www.alipan.com/s/xsqK6971Mrs订单表(2000w条数据)表结构建表语句droptableifexistsorder_detail
Appreciate(欣赏)·2023-12-20 06:35

Flink CEP SQL案例

描述：现在的任务是找出一个单一股票价格不断下降的时期。一、Maven项目pom.xml二、测试数据输入：+----+--------------------------------+-------------------------+----------------------+----------------------+|op|symbol|rt|price|tax|+----+-------
Anthons·2023-12-20 06:17

hive企业级调优策略之Join优化

测试所用到的数据参考：原文链接：https://blog.csdn.net/m0_52606060/article/details/135080511本教程的计算环境为HiveonMR。计算资源的调整主要包括Yarn和MR。Join算法概述Hive拥有多种join算法，包括CommonJoin，MapJoin，BucketMapJoin，SortMergeBucktMapJoin等，下面对每种jo
Appreciate(欣赏)·2023-12-20 06:00

2018-11-09

leetcode876.MiddleoftheLinkedListGivenanon-empty,singlylinkedlistwithheadnodehead,returnamiddlenodeoflinkedlist.Iftherearetwomiddlenodes
pythonpy·2023-12-20 06:18

FFA 2023｜字节跳动 7 项议题入选

FlinkForward是由Apache官方授权的ApacheFlink社区官方技术大会，作为最受ApacheFlink社区开发者期盼的年度峰会之一，FFA2023将持续集结行业最佳实践以及Flink最新技术动态
字节跳动云原生计算·2023-12-20 06:09

基于 Flink 构建实时数据湖的实践

本文整理自火山引擎云原生计算研发工程师王正和闵中元在本次CommunityOverCodeAsia2023数据湖专场中的《基于Flink构建实时数据湖的实践》主题演讲。
字节跳动云原生计算·2023-12-20 06:39

Flink系列之：Over聚合

Flink系列之：Over聚合一、Over聚合二、ORDERBY三、PARTITIONBY四、范围（RANGE）定义五、RANGE间隔六、ROW间隔适用于流、批一、Over聚合OVER聚合通过排序后的范围数据为每行输入计算出聚合值
最笨的羊羊·2023-12-20 06:39

性能测试流程

流程性能测试需求分析性能测试计划性能测试用例测试脚本编写测试场景设计测试场景运行场景运行监控运行结果分析系统性能调优性能测试报告总结1性能测试需求分析需求分析就是把真正需求搞清楚例如：1).公司需要对所有的功能都进行性能测试
仲夏那片海·2023-12-20 05:01

【大数据面试】Flink面试题附答案

目录Flink架构Flink的窗口了解哪些，都有什么区别，有哪几种?如何定义?
话数Science·2023-12-20 05:12

Flink系列之：Table API Connectors之Debezium

Flink系列之：TableAPIConnectors之Debezium一、Debezium二、依赖三、使用DebeziumFormat四、可用元数据五、Format参数六、重复的变更事件七、消费DebeziumPostgresConnector
最笨的羊羊·2023-12-20 02:41

Flink系列之：Print SQL连接器

Flink系列之：PrintSQL连接器一、PrintSQL连接器二、创建一张基于Print的表三、连接器参数一、PrintSQL连接器Print连接器允许将每一行写入标准输出流或者标准错误流。
最笨的羊羊·2023-12-20 02:41

Flink系列之：窗口聚合

Flink系列之：窗口聚合一、窗口表值函数（TVF）聚合二、窗口表值函数TVF三、分组集四、ROLLUP五、CUBE六、选择组窗口开始和结束时间戳七、多级窗口聚合八、分组窗口聚合九、时间属性十、选取分组窗口开始和结束时间戳一
最笨的羊羊·2023-12-20 02:10

《十堂课学习 Flink》第五章：Table API 以及 Flink SQL 入门

第四章中介绍了DataStreamAPI以及DataSetAPI的入门案例，本章开始介绍TableAPI以及基于此的高层应用FlinkSQL的基础。
smile-yan·2023-12-20 02:58

【Flink】Flink中的时间和窗口

水位线生成水位线概括代码中生成水位线水位线的传递窗口窗口的概念窗口类型窗口API窗口函数增量聚合函数全窗口函数两种窗口函数结合其他函数3层保护，保证数据不丢失时间语义涉及的3个时间：1.事件真正发生的时间2.进入Flink
ScriptGirl·2023-12-19 23:14

Flink 中的时间和窗口（时间语义、水位线）

目录1.时间语义1.1Flink中的时间语义1.2哪种时间语义更重要2.水位线（Watermark）2.1事件时间和窗口2.2什么是水位线2.3如何生成水位线2.4水位线的传递我们已经了解了基本API的用法
芝士雪豹.·2023-12-19 23:13

⑦Flink窗口、时间和水印

我们在之前的课时中反复提到过窗口和时间的概念，Flink框架中支持事件时间、摄入时间和处理时间三种。
for your wish·2023-12-19 23:43

Flink中的时间和窗口

一.窗口（Window）1.1窗口的概念Flink是一种流式计算引擎，主要是来处理无界数据流的，数据源
- Hola -·2023-12-19 23:13

Flink中的窗口

一窗口的概述  如下图所示，在Flink中，窗口可以把流切割成有限大小的多个“存储桶”（bucket）；每个数据都会分发到对应的桶中，当到达窗口结束时间时，就对每个桶中收集的数据进行计算处理。  
欢乐海豚·2023-12-19 23:13

FLink时间与窗口详解

大家好，我是小寒~从今天开始，我们开始分享FLink系列相关的文章。如果喜欢，记得关注一波。
程序员学长·2023-12-19 23:13

Flink窗口时间与触发和Watermaker之间的关系

前几天有个同事一直说Flink在计算窗口中的数据时老有问题然后问我，甚至把CSDN或者B站上某些北京的培训机构所讲的视频给我看，让我看了实践后帮助他辨别一下，是他理解有误还是某些培训机构的老师压根就是误人子弟呢
木楚·2023-12-19 23:43

大数据时代必备技能：Flink实时处理框架，学习网站助你一臂之力！

介绍：ApacheFlink是一个开源的流处理和批处理框架，其设计目标是用于无边界和有ApacheFlink是一个开源的流处理和批处理框架，其设计目标是用于无边界和有边界的数据流进行有状态的计算。
知识分享小能手·2023-12-19 22:26

大数据技术14：FlinkCDC数据变更捕获

前言：FlinkCDC是Flink社区开发的flink-cdc-connectors组件，这是⼀个可以直接从MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的source组件。
Java架构何哥·2023-12-19 19:42

Flink 数据类型 & TypeInformation信息

Flink流应用程序处理的是以数据对象表示的事件流。所以在Flink内部，我么需要能够处理这些对象。它们需要被序列化和反序列化，以便通过网络传送它们；或者从状态后端、检查点和保存点读取它们。
程序猿进阶·2023-12-19 16:54

性能测试需要关注的指标

性能测试就是为了验证系统的性能是否达到用户的要求，并通过大量的持续性的并发找到系统性能的极限，从而对系统性能进行调优。
测试小张z·2023-12-19 15:04

服务器raid1做系统,服务器raid1系统安装

需要准备OpenStack调优
weixin_39766867·2023-12-19 13:49

Apache Flink（十五）：Flink任务提交模式

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-12-19 12:17

Apache Flink（十四）：Flink 本地模式开启WebUI

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-12-19 12:15

Wireshark在网络性能调优中的应用

第一章：Wireshark基础及捕获技巧1.1Wireshark基础知识回顾1.2高级捕获技巧：过滤器和捕获选项1.3Wireshark与其他抓包工具的比较第二章：网络协议分析2.1网络协议分析：TCP、UDP、ICMP等2.2高级协议分析：HTTP、DNS、SSH等2.3高级协议分析：VoIP、视频流嗅探等第三章：Wireshark插件开发3.1使用Lua编写自定义插件3.2使用Python编写
Kali与编程～·2023-12-19 12:08

FFA 2023 明日开幕，Flink 智能诊断、小红书流批一体实践精彩来袭

Flink是一款高吞吐量、低延迟的流处理引擎，具备统一接口、高性能、低延迟、容错性和可扩展性等优势，使其成为流批一体场景下的首选。
小红书技术REDtech·2023-12-19 11:31

flink时间系统系列之时间系统概述介绍

熟悉flink的同学(说明次系列篇幅不适合没有flink基础同学)都知道flink优于其他实时计算引擎的一个很重要的特点就是提供了EventTime这样一个概念，也就是我们所说的事件时间，能够让用户按照事件
Flink实战剖析·2023-12-19 11:49

大数据入门二（YARN部署）

1.入门HDFS存储MapReduce计算SparkFlinkYarn资源作业调度伪分布式部署要求环境配置文件参数文件ssh无密码启动jps命令[hadoop@hadoop002~]$jps28288NameNodeNN27120Jps28410DataNodeDN28575SecondaryNameNodeSNN1
倾白首·2023-12-19 10:04

SpringBoot+内置Tomcat配置，参数调优，最大并发量，最大连接数

遇见一篇个人觉得讲tomcat参数配置讲得很好的文章，转载保留以备后面使用SpringBoot开发最大的好处是简化配置，内置了Tomcat,在SpringBoot2.0.x版本中内置Tomcat版本是8.5.x，SpringBoot内置Tomcat的默认设置中，Tomcat的等待队列长度默认是100，Tomcat的最小工作线程数默认分配10，Tomcat的最大线程数是200，最大连接数是10000
milo.qu·2023-12-19 08:20

Nginx性能调优

1.为什么是nginx而不是apache?2.nginx是如何做到高性能和高可扩展的？--with-http_stub_status_modele用于输出nginx基本状态信息模块--with-openssl=/usr/local/openssl-1.0.2I指定openssl--with-gzip_static_modulengx_http_gzip_static_module允许发送以“.gz
milo.qu·2023-12-19 08:19

JVM调优:参数（学习笔记）

一、jvm的运行参数标准参数-help、-version、-D参数jvm的标准参数，一般都是很稳定的，在未来的JVM版本中不会改变，可以使用java-help检索出所有的标准参数。通过以下命令查看：命令：java-help可以看到我们经常会用到的-sever，-version等参数。实战1：查看JVM版本命令：java-versionjvm版本是1.8.0_202，而且是64位，server，混合
milo.qu·2023-12-19 08:45

Flink 源码解析 —— 深度解析 Flink 序列化机制

Flink序列化机制https://t.zsxq.com/JaQfeMf博客1、Flink从0到1学习——ApacheFlink介绍2、Flink从0到1学习——Mac上搭建Flink1.6.0环境并构建运行简单程序入门
zhisheng_blog·2023-12-19 08:42

Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动

JobManager启动https://t.zsxq.com/AurR3rN博客1、Flink从0到1学习——ApacheFlink介绍2、Flink从0到1学习——Mac上搭建Flink1.6.0环境并构建运行简单程序入门
zhisheng_blog·2023-12-19 08:42

Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Task Manager 启动

TaskManager启动https://t.zsxq.com/qjEUFau博客1、Flink从0到1学习——ApacheFlink介绍2、Flink从0到1学习——Mac上搭建Flink1.6.0环境并构建运行简单程序入门
zhisheng_blog·2023-12-19 08:42

Flink Metrics 源码解析

FlinkMetrics有如下模块：FlinkMetrics源码解析——Flink-metrics-coreFlinkMetrics源码解析——Flink-metrics-datadogFlinkMetrics
zhisheng_blog·2023-12-19 08:42

Flink 源码解析 —— 源码编译运行

前言之前自己本地clone了Flink的源码，编译过，然后share到了GitHub上去了，自己也写了一些源码的中文注释，并且push到了GitHub上去了。
zhisheng_blog·2023-12-19 08:12

Flink：异步IO关联HBase维表数据

一、使用异步IO关联HBase维表数据优点为避免在流计算环境中频繁的以同步方式查询外部维表，Flink官方提供使用异步IO与外部系统并发的交互方式，这样可以减轻因为网络交互引起的系统吞吐和延迟问题。
GScallion·2023-12-19 08:11

Flink 从 0 到 1 学习 —— Flink 配置文件详解

前面文章我们已经知道Flink是什么东西了，安装好Flink后，我们再来看下安装路径下的配置文件吧。
zhisheng_blog·2023-12-19 08:11

Flink源码分析 - 剖析一个简单的Flink程序

在这之前已经介绍了如何在本地搭建Flink环境和如何创建Flink应用和如何构建Flink源码，这篇文章用官方提供的SocketWindowWordCount例子来解析一下一个常规Flink程序的每一个基本步骤
chaojianok·2023-12-19 08:10

Flink源码分析 | 读取HBase配置

1、前言上面文章中总结了Flink获取HBase配置的逻辑和优先级，但是并没有对源码进行分析，本文主要是补充这一部分的源码分析。
董可伦·2023-12-19 08:40
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他