流式计算Heron

Day71_Spark-streaming(一）

SparkStreaming基础架构课程大纲课程内容学习效果掌握目标SparkStreaming简介流式计算了解SparkStreaming简介SparkStreamingAPI整合Kafka掌握整合HDFS
dogedong·2021-10-26 08:57

云原生不只是微服务

云原生还有很多别的领域可以拓展，比如AI、比如大数据、比如流式计算。
·2021-09-08 11:32

第五章 实时数据

5.2流式技术架构数据采集流式计算处理的数据可大致分为2种：1.业务数据库产生的变更日志，如果mysql的bin-log日志、hbase的h-log日志、oracle的变更日志等2.用户访问网站的埋点日志
发呆的熊猫·2021-08-12 14:10

Java常用函数式接口总结

四大函数式接口新时代的程序员：lambda表达式，链式编程，函数式接口，Stream流式计算函数式接口：只有一个方法的接口@FunctionalInterfacepublicinterfaceRunnable
·2021-07-29 13:41

Flink 开篇之环境搭建

简介：Flink作为目前最火的流式计算平台，近年来发展迅速，吸引了开发者的青睐，接下来我和大家一起了解其中的奥秘。俗话说万事开头难，咱们就从搭建环境开始入手吧！环境配置。
Coder小咚·2021-07-12 20:27

分布式流式计算框架vortex使用介绍

vortex是一款轻量级的分布式流式计算框架。vortex中文意为旋涡，代表着数据流不断地流入这个旋涡然后被平稳地输出。vortex属于内存计算型的流式框架，适用于高可用，高并发，实时计算的业务场景。
·2021-06-25 05:45

分布式时序计算框架vortex metrics使用介绍

vortexmetrics依赖分布式流式计算框架vortex,它是vortex关于时序计算场景的一个具体应用，vortex更像是一套API,运用这套API可以演绎和解决各种业务场景，而vortexmetrics
·2021-06-25 05:45

分布式时序计算框架vortex metrics使用介绍

vortexmetrics依赖分布式流式计算框架vortex,它是vortex关于时序计算场景的一个具体应用，vortex更像是一套API,运用这套API可以演绎和解决各种业务场景，而vortexmetrics
·2021-06-25 04:11

Kafka集群部署与shell命令行操作

1、kafka简介在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。
weare_b646·2021-06-24 06:41

java jdk1.8新特性之Stream流

jdk8提供的Stream流能够方便操作集合、数组java.util.stream包即是Stream流式计算的核心Stream流的特点Stream自己不会存储元素Stream不会改变源对象，相反，他们会返回一个持有结果的新
尹楷楷·2021-06-23 23:35

基于Kafka+Flink+Redis的电商大屏实时计算案例

由于Flink的“真·流式计算”这一特点，它比SparkStreaming要更适合大屏应用。本文从笔者的实际工作经验抽象出简单的模型，并简要叙述计算流程（当然大部分都是源码）
王知无·2021-06-23 04:43

【大厂技术内幕】字节跳动原来是这么做数据迁移的!

的特点能够熟悉数据迁移中的数据包装和转换能够完成文章数据的全量和增量迁移能够完成热点文章数据的迁移1为什么需要自动同步因为MySQL保存着我们爬取的以及自建的数据，对于爬取的数据，数据量比较大，使用mysql存储会影响mysql的性能，并且我们需要对数据进行流式计算
JavaEdge.·2021-06-22 15:41

EMQ X 规则引擎系列（九）- 消息写入到 TDEngine

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。
EMQ·2021-06-22 09:01

分布式流式计算框架vortex使用介绍

vortex是一款轻量级的分布式流式计算框架。vortex中文意为旋涡，代表着数据流不断地流入这个旋涡然后被平稳地输出。vortex属于内存计算型的流式框架，适用于高可用，高并发，实时计算的业务场景。
·2021-06-21 00:54

Spark计算引擎

Reduce两种语义操作•处理效率低，耗费时间长•不适合处理迭代计算、交互式处理、实时流处理等•更多的应用于大规模批处理场景➢计算处理框架种类多，选型复杂•批处理:MapReduce、Hive、Pig•流式计算
01_小小鱼_01·2021-06-19 01:51

Flink系列（三）Data Source 介绍

Flink做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink就能够一直计算下去
香山上的麻雀·2021-06-14 19:40

大数据框架对比

一、流式计算对比image.pngexactlyonce（精确一次的理解）->effectivelyonce(有效一次)：https://ververica.cn/developers/exactly-once
大唐雷恋·2021-06-14 15:01

java四大函数式接口（重点，简单）

四大函数式接口新时代的程序员：lambda表达式，链式编程，函数式接口，Stream流式计算函数式接口：只有一个方法的接口@FunctionalInterfacepublicinterfaceRunnable
偶像java练习生·2021-06-14 13:17

你都毕业3年了，怎么还只会增删改查，连kafka都没有听过？

在流式计算中，Kafka一般用来缓存数据，例如Flink通过消费Kafka的数据进行计算。
Java萨曼莎·2021-06-12 20:34

【内推】【社招/校招】字节跳动 大数据和分布式计算的同学看过来~

发送简历到[email protected]如果是校招，直接访问投递链接:https://job.toutiao.com/s/JRDhfEv，校招内推码:XEVN9QZ如果是希望投递大数据或者流式计算方向的同学
廖嘉逸·2021-06-11 12:15

182、Spark 2.0新特性之智能化Structured Streaming介绍

StructuredStreaming介绍SparkStreaming应该说是将离线计算操作和流式计算操作统一起来的大数据计算框架之一。
ZFH__ZJ·2021-06-10 08:59

Spark 2.0 Structured Streaming 分析

前言Spark2.0将流式计算也统一到DataFrame里去了，提出了StructuredStreaming的概念，将数据源映射为一张无线长度的表，同时将流式计算的结果映射为另外一张表，完全以结构化的方式去操作流式数据
祝威廉·2021-06-08 14:05

PySpark 核心概念和操作(词频统计)

它的优势有三个方面：通用计算引擎能够运行MapReduce、数据挖掘、图运算、流式计算、SQL等多种框架基于内存数据可缓存在内存中，特别适用于需要迭代多次运算的场景与Hadoop集成能够直接读写HDFS
Zake_Wang·2021-06-08 09:30

流式计算框架

一、FacebookPuma贡献者：Facebook简介：实时数据流分析二、TwitterRainbird贡献者：Twitter简介：Rainbird一款基于Zookeeper,Cassandra,Scribe,Thrift的分布式实时统计系统，这些基础组件的基本功能如下：❶Zookeeper，Hadoop子项目中的一款分布式协调系统，用于控制分布式系统中各个组件中的一致性。❷Cassandra，
大数据领域架构师·2021-06-06 19:48

音视频技术开发周刊 | 198

小提示：链接跳转仅支持公众号相关链接可编程的流式计算框架：YoMo音视频领域的新技术应用非常多，但是在工业和IoT领域，新技术的应用却鲜有耳闻。
LiveVideoStack_·2021-06-06 11:00

Spark Streaming入门

概述Hadoop的MapReduce及SparkSQL等只能进行离线计算，无法满足实时性要求较高的业务需求，例如实时推荐，实时网站性能分析等，流式计算可以解决这些问题，sparkStreaming就是现在常用的流式计算框架
董二弯·2021-06-04 20:03

Kafka0.8集群部署与shell命令行操作

1、kafka简介在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。
weare_b646·2021-06-04 09:33

分布式计算框架MapReduce

MapReduce优点：海量数据离线处理&易开发（相对于自己开发分布式框架来说的，现在的Spark和Flink要比MapReduce更简单）&易运行（可以本地开发本地测试）MapReduce缺点：实时流式计算
一杯敬朝阳一杯敬月光·2021-05-26 21:27

消息队列一点点总结

订阅系统实现一个微服务级系统间的观察者模式用户活动的追踪用户在web或者App的活动行为，通过消费kafka的topic做分析或者存储；限流、削峰填谷对激增场景限流；电商商城、订单、支付；流式处理连接计算任务和数据、流式计算框架
keeeepcodeing·2021-05-25 16:12

流式计算与计算抽象化------《Designing Data-Intensive Applications》读书笔记15

所以本篇我们将继续探索分布式计算优化的相关细节，并且分析MapReduce与批处理的局限性，看看流式计算是否能给我们在分布式计算层面提供一个更好的解决方案。
LeeHappen·2021-05-20 22:08

Structured Streaming概述

您可以以静态数据表示批量计算的方式来表达流式计算。SparkSQL引擎将随着流数据持续到达而增量地持续地运行，并更新最终结果。
盗梦者_56f2·2021-05-07 22:28

MapReduce入门（一）—— MapReduce概述 + WordCount案例实操

1.1MapReduce定义1.2MapReduce优缺点1.2.1优点1）MapReduce易于编程2）良好的扩展性3）高容错性4）适合PB级以上海量数据的离线处理1.2.2缺点1）不擅长实时计算2）不擅长流式计算
Leokadia Rothschild·2021-05-05 22:49

StreamingPro 支持Spark Structured Streaming

StructuredStreaming采用dataframeAPI,并且对流式计算重新进行了抽象，个人认为Sp
祝威廉·2021-04-30 04:14

Storm核心组件、编程模型

Storm简介storm是用来做实时计算的框架，所以介绍storm之前需要知道什么是流式计算。
piziyang12138·2021-04-27 06:05

Spark大数据技术与应用

通用可以用Spark进行sql查询、流式计算、机器学习、图计算。
HackerLZH·2021-04-24 18:37

Spark学习_01_概述

通过sparkSQL，用户可以使用SQL或者apacheHive版本的HQL来查询数据·sparkstreaming是spark平台上针对实时数据进行流式计算的组件，提供
?CaMKII·2021-04-23 19:28

2018-07-20

同时支持高吞吐量的流式计算和面向任务的低吞吐量工作负载。不仅支持内存数据存储，还支持持久化磁盘存储。运行时发现服务为消费者发现生产者。支持TLS协议加密传输数据结构无关部署简
玉米的世界·2021-04-22 23:30

Flink Job重启与Task恢复策略简介

前言流式计算对稳定性敏感，所以我们在编写作业时一定会做好防御性编程，如各种判空、边界条件、安全的类型转换、格式判断、异常捕获等。
LittleMagic·2021-04-21 20:25

Flink 从 0 到 1 学习 —— Data Source 介绍

Flink做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink就能够一直计算下去
tracy_668·2021-04-20 23:04

统一数据采集平台DBus-0.6.1安装部署

组件版本备注Zookeeperv3.4.6+用于构建整个系统和提供配置通知等，推荐版本：v3.4.8Kafkav0.10用于存储相关数据和消息，提供订阅和发布的能力Stormv1.0.2用于提供DBus流式计算
CoderJed·2021-04-20 17:16

【Flink 精选】如何分析及处理反压?

概念反压（backpressure）是流式计算中十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。
熊本极客·2021-04-19 15:29

性能提升约7倍！Apache Flink 与 Apache Hive 的集成

导读：随着Flink在流式计算的应用场景逐渐成熟和流行，如果Flink能同时把批量计算的应用场景处理好，就能减少用户在使用Flink时开发和维护的成本,并且能够丰富Flink的生态。
阿里云云栖号·2021-04-18 03:29

性能提升约7倍！Apache Flink 与 Apache Hive 的集成

导读：随着Flink在流式计算的应用场景逐渐成熟和流行，如果Flink能同时把批量计算的应用场景处理好，就能减少用户在使用Flink时开发和维护的成本,并且能够丰富Flink的生态。
阿里云技术·2021-04-17 15:58

Flink 面试通关手册

Flink因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。
Alonzo_20·2021-04-15 00:03

大数据入门：Flink状态编程与容错机制

流式计算，通常分为有状态和无状态两种情况：无状态：无状态的计算观察每个独立事件，并根据最后一个事件输出结果。有状态：有状态的计算则会基于多个事件输出结果。Flink流计算理
成都加米谷大数据·2021-04-13 11:02

如何处理分析Flink作业反压的问题？

反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。
·2021-03-31 15:21

Flink海量数据去重方案

除了统计UV等传统用法之外，去重的意义更在于消除不可靠数据源产生的脏数据——即重复上报数据或重复投递数据的影响，使流式计算产生的结果更加准确。
·2021-03-22 19:29

Kuiper 1.1.2 正式发布 - 超轻量 IoT 边缘流处理

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，Apach
·2021-03-19 05:29

Flink海量数据去重方案

除了统计UV等传统用法之外，去重的意义更在于消除不可靠数据源产生的脏数据——即重复上报数据或重复投递数据的影响，使流式计算产生的结果更加准确。
·2021-03-15 19:16

流式处理框架storm浅析

前言前一段时间参与哨兵流式监控功能设计，调研了两个可以做流式计算的框架：storm和sparkstreaming，我负责storm的调研工作。
Java大生·2021-03-10 16:07
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他