流式计算第5页

Flink 流批一体在字节跳动的探索与实践

付振雄背景字节跳动旗下拥有今日头条、抖音等多款产品，每天服务着数亿用户，由此产生的数据量和计算量也是很大的：EB级别海量的存储空间每天平均70PB数据的增量每秒钟百万次数的实时推荐请求超过400万核的流式计算资源

字节跳动云原生计算·2023-06-20 22:06

Flink TableAPI Window and Watermarket

等等有很多疑问.我还是觉得直接使用流计算的API更好.流批一体API最终也是转换成流式计算,最主要的是使用sql来设置算子或者窗口,并不直观.本身就是转换流操作,我们可以知接使用流.另外,在1.12版本说的是流批一体并不成熟

cuiyaonan2000·2023-06-17 15:23

JUC并发编程初学

JUC进程和线程回顾Lock锁生产者和消费者8锁的线程集合类不安全CallableCountDownLatch、CyclicBarrier、Semaphore读写锁阻塞队列线程池四大函数式接口Stream流式计算分支合并异步回调

Surpass余sheng军·2023-06-17 07:37

直播回顾 | 领取你的代码转写攻略！

4月27日晚七点半，我们围绕高频因子计算，以快照、逐笔成交等Level2行情因子为例，为大家介绍了DolphinDB与Python的脚本差异，并展示了如何在DolphinDB中实现高频因子流式计算，从数据分析层面总结了一套

DolphinDB智臾科技·2023-06-16 16:03

Java8 CompletableFuture（异步非阻塞）

前言CompletableFuture是java.util.concurrent库在java8中新增的主要工具同传统的Future相比：1、支持流式计算、函数式编程、完成通知、自定义异常处理等新特性。

大能嘚吧嘚·2023-06-12 14:16

分布式系统面试连环炮

，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统hadoophdfs、分布式计算系统hadoopmapreduce/spark、分布式流式计算系统

kevin0016·2023-06-12 08:14

大数据流式计算

目录流式计算简介流式计算常⻅的离线和流式计算框架StormV.S.SparkStreamingV.S.Flink如何选择⼀款合适的流式处理框架流式计算简介流式计算如何去理解流式计算，最形象的例⼦，就是⼩

CyAuroras·2023-06-11 06:14

大数据入门：Flink状态编程与容错机制

流式计算，通常分为有状态和无状态两种情况：无状态：无状态的计算观察每个独立事件，并根据最后一个事件输出结果。有状态：有状态的计算则会基于多个事件输出结果。Flink流计算理

加米谷大数据张老师·2023-06-09 14:11

喜讯！字节跳动基础架构计算团队两篇论文入选数据库顶会 VLDB

字节跳动基础架构-实时引擎、流式计算团队研究成果分别被VLDB2023接收，并受邀进行现场报告。

字节跳动云原生计算·2023-06-09 07:22

java的流式计算

好的，下面我来举一些例子来说明Java8中的流式计算API：1.过滤（filter）：```Listnames=Arrays.asList("Tom","Jerry","Lucy","Lily","Jim

R-sz·2023-06-07 14:41

Kafka学习笔记

1Kafka简介(1)经典组合：Flume+Kafka+Strom+HDFS/HBase在流式计算中，Flume做分布式采集数据，Kafka是分布式队列系统，对采集数据做分布式缓存，Storm通过消费kafka

学不下了·2023-06-06 22:56

MySQL Flink实时流处理的核心技术之窗口机制

目录1.为什么要学窗口2.Flink中的窗口3.滚动窗口（Tumble）3.1概念3.2案例SQL1.为什么要学窗口流式计算，一般有两种场景：无限制的流式计算，比如：wordcount案例，它没有任何外部的限制条件

·2023-06-06 21:51

数据分析架构对比

Hadoop/Spark进行分析将Hadoop/Spark的结果导入RDBMS中提供数据分析将结果保存到容量更大的NoSQL数据库中，解决数据分析的存储瓶颈，例如：HBase将数据源进行流式处理，对接流式计算框架

鸿语zlx·2023-04-21 06:49

Flink基础【博学谷学习记录】

*实时监控网站的异常情况*实时监测道路的拥堵情况*双十一、618实时监控成交额情况*实时监测全国疫情爆发情况流式计算生活中的流式场景非常多，比如水流、车流、行人、电流等都是生

奔跑如风·2023-04-20 15:03

MapReduce

MapReduce特点–易于编程–良好的扩展性–高容错性–适合PB级以上海量数据的离线处理MapReduce的限制•不适合实时计算–要求毫秒级或者秒级内返回结果•不适合流式计算–MapReduce的输入数据集是静态的

ᥴꪮꪑρⱤꪮꪑłડꫀ·2023-04-15 15:47

Flink1.14知识点总结

运行时环境2基本算子介绍3扩展sink算子4多流操作5并行度相关概念6时间语义、WaterMark、窗口7Flink状态8CheckPoint机制9容错机制10Flink分布式部署0初识Flink批计算vs流式计算

bone_ds·2023-04-15 15:43

[ hadoop] MapReduce架构

1.2特点优点:易于编程良好的扩展性高容错性适合PB级以上海量数据的离线处理缺点:不擅长实时计算(MySQL)不擅长流式计算:输

bone_ds·2023-04-15 15:39

面经：百度视觉技术部--视觉架构及终端研发工程师

末一哟·2023-04-15 03:58

day14_数据迁移

的特点能够熟悉数据迁移中的数据包装和转换能够完成文章数据的全量和增量迁移能够完成热点文章数据的迁移1为什么需要自动同步因为我们Mysql保存着我们爬取的以及自建的数据，对于爬取的数据，数据量比较大，使用mysql存储会影响mysql的性能，并且我们需要对数据进行流式计算

啊噗、·2023-04-14 14:09

流式计算之kafka Stream

流式计算之kafkaStream概念一般流式计算会与批量计算相比较。在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去做计算。

以梦为马_wangle·2023-04-14 10:28

flink 实现端到端的exactly-once语义

文章目录1.三种语义介绍2.Exactly-Once实现的三个地方3.具体实现过程3.1source阶段3.2operator阶段3.3sink阶段4.两段式提交的具体实现1.三种语义介绍通常情况下，流式计算系统都会为用户提供数据处理的可靠模式功能

我是方小磊·2023-04-13 10:27

Flink Exactly-once 实现原理解析

Flink的容错机制checkpoint1、什么时候产生Barrier2、Barrier工作流程两阶段提交Exactly-once并不是代表数据只计算一次，而是数据只影响计算结果一次背景通常情况下，流式计算系统都会为用户提供指定数据处理的可靠模式功能

逆水行舟如何·2023-04-13 10:57

干货：流式计算、数据处理及相关技术

在工业界，当我们提到实时数据机器学习时，常常可以听到如下讨论：他们希望有一个模型，这个模型利用最近历史信息来进行预测分析。举一个天气的例子，如果最近几天都是晴天，那么未来几天极小概率会出现雨雪和低温天气这个模型还需要是可更新的。当数据流经系统时，模型是可以随之进化升级。举个例子，随着业务规模的扩大，我们希望零售销售模型仍然保持准确。实时机器学习应用是人工智能真正落地服务化的关键一步，因为工业界大部

数据分析v·2023-04-11 11:34

Flink 从 0 到 1 学习 —— Apache Flink 介绍以及安装

[TOC]来源于http://www.54tianzhisheng.cn/2018/10/13/flink-introduction/Flink是一种流式计算框架，为什么我会接触到Flink呢？

tracy_668·2023-04-09 10:16

第3.4章：StarRocks数据导入--Flink Connector与CDC秒级数据同步

Flink作为当前流行的流式计算框架，在对接StarRocks时，若直接使用JDBC的方式“流式”写入数据，对StarRocks是不友好的，StarRocks作为一款MVCC的数据库，其导入的核心思想还是

流木随风·2023-04-08 06:44

新手入门大数据，认识大数据学习路线

一、数据采集与预处理FlumeNGNDCLogstashSqoop流式计算Zookeeper二、数据存储HBasePhoenixYarnMesosRedisAtlasKudu三、数据清洗OozieAzkaban

金光闪闪耶·2023-04-07 13:48

Kafka使用总结

目录准备工作Zookeeper和Kafka启动服务创建和查看消息主题Java示例步骤一：引入POM依赖步骤二：生产者步骤三：消费者Kafka流式计算注意：本文参考二十分钟快速上手Kafka开发（Java

xushiyu1996818·2023-04-07 11:58

Flink State状态机制

1-1.Flink状态State是什么在流式计算中有些操作一次处理一个独立的事件(比如解析一个事件)，有些操作

王亭_666·2023-04-05 18:54

【面试专栏】Java8 - CompletableFuture，增强版Future

1.简介 CompletableFuture是Java8的新特性，在Future基础上，增加流式计算、函数式编程、完成通知、自定义异常、多个Future组合处理等能力，使得在多线程协同处理时更加顺利。

C3Stones·2023-04-05 15:19

延迟调度总结

流式计算的调度复杂性在于需要考虑公平性和数据本地化。FIFO调度FIFO是一个简单的调度策略，适合用于作业并发少，或者无作业并发，且作业的map任务数量大，最好是大于等于集群的slot数量。

IWBS·2023-04-03 22:57

第一章 Flink简介

知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正Flink简介Flink是一种流式计算框架,Flink其中一半是java语言开发的,另一半是

shangbaishuyao·2023-04-03 16:03

TDengine

[1]提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。TDengine官方文档一.TDengin安装1.拉取TDen

时尚灬IT男·2023-04-03 15:10

Java8新特性：流式计算

1.什么是流式计算大数据的计算模式主要分为：批量计算(batchcomputing)流式计算(streamcomputing)交互计算(interactivecomputing)图计算(graphcomputing

要学就学灰太狼·2023-04-03 01:51

日志中台不重不丢实现浅谈

数据产生到最终业务应用中各个环节的稳定性建设，包括：数据上报时效性优化、接入持久化的思考、数据流式计算过程中的不重不丢建设等。全文4047字，预计阅读时间12分钟

百度Geek说·2023-04-02 19:17

2023大数据开发就业前景怎么样？

大数据开发工程师主要负责公司大数据平台的开发和维护、相关工具平台的架构设计与产品开发、网络日志大数据分析、实时计算和流式计算以及数据可视化等技术的研发和网络安全业务主题建模等工作。

泰迪智能科技·2023-04-01 10:45

Flink笔记

reducescal第一天-Flink—流式计算框架课程安排：Flink的介绍（特点，整合），FLink的环境安装（standAlone,yarn）,FlinkdataSet(批处理)flink的介绍特点高吞吐

UU砖头·2023-04-01 04:53

Flink 基于Log 的增量Checkpoint

Flink，作为流式计算的标杆，其端到端延迟包括容错的快慢主要取决于检查点机制（Checkpointing），所以如何将Checkpoint做得高效稳定是Flink流计算的首要任务。

pucheung·2023-03-31 00:14

一文了解Flink数据-有界数据与无界数据

但是现在也越来越的出现流式计算的场景，对于某些时刻产生的数据能够进行实时性的分析。例如天猫双十一实时大屏，实时异常行为检测等。

收数佬·2023-03-31 00:13

Flink 1.15 新功能架构解析：高效稳定的通用增量 Checkpoint

Flink，作为流式计算的标杆，其端到端延迟包括容错的快慢主要取决于检查点机制（Checkpointing），所以如何将Checkpoint做得高效稳定是Flink流计算的首要任务。

Apache Flink·2023-03-30 23:50

1、业务团队使用Flink简要梳理

目录1、Flink流式计算框架使用背景2、Flink基础概念&原理3、那么我们为什么选择FlinkFlink是一个分布式、高性能、高可用、实时性的流式处理框架，支持实时的流处理和批处理；它统一了批处理和流处理

a little daily·2023-03-30 19:24

【Kafka】（十五）流式计算 Kafka Streams 架构深入

KafkaStreams背景KafkaStreams是什么KafkaStreams是ApacheKafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。KafkaStreams的特点如下：KafkaStreams提供了一个非常简单而轻量的Library，它可以非常方便地嵌入任意Java应用中，也可以任意方式打包和部署除了Kafka外，无任何

云祁·2023-03-30 13:32

Flink笔记--深度全面总结

1.Flink基础1.1.Flink特性流式计算是大数据计算的痛点，第1代实时计算引擎Storm对ExactlyOnce语义和窗口支持较弱，使用的场景有限且无法支持高吞吐计算；SparkStreaming

☞空白页·2023-03-29 19:54

数据体系的四个层次：数据采集、数据计算、数据服务和数据应用

高性能的数据传输：既包括数据库的增量数据传输，也包括日志数据的传输；既支持实时流式计算，也支持各种时间窗口的批量计算。同步中心：同步工具DataX，直连

知了小巷·2023-03-29 17:22

大厂都在用的Hive优化

作者|TMH_ITBOY原文|https://blog.csdn.net/LLJJYY001/article/details/113994130前言Hive作为大数据分析领域常用的仓库工具，即使是现在流式计算如火如荼背景下

大数据老哥·2023-03-26 21:00

都说大数据就业好，为什么数据分析这么难就业？