流式计算第10页

Storm教程（一）

流式计算？离线计算：批量获取数据、传输数据、周期性批量计算数据代表：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据流式计算：数

辛聪明·2020-09-14 15:09

Kafka | 基本概念

Kafka简介在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。1）ApacheKafka是一个开源消息系统，由Scala写成。

路飞DD·2020-09-14 05:53

Flink 基本架构与组件

API&Libraries层Flink提供了支持流式计算和批计算的接口，通过在此基础之上抽象出不同应用类型的组件库，比如：基于流式处理的CEP（复杂

Nice_N·2020-09-13 22:53

现代流式计算的基石：Google DataFlow

0.引言今天这篇继续讲流式计算。毫无疑问，ApacheFlink和ApacheSpark（StructuredStreaming）现在是实时流计算领域的两个最火热的话题了。

cpongo1·2020-09-13 21:52

一个demo快速入门Storm

简单地说：storm是一个分布式实时大数据处理系统，主要用于做实时流式计算。

我的兔子丢了·2020-09-13 20:38

基于zookeeper和storm的车载流式计算框架

【下载地址】https://yunpan.cn/cukC2fSufAXDF访问密码4eed图1图2图3----------------------------------------------------------------------1）更多、更精彩信息尽在：http://www.hellojob.org2）热烈欢迎互联网从业者、求职者及HR加入~！大家共同探讨技术、内部招聘推荐、分享趣事

hellojob001·2020-09-13 18:42

Zookeeper+Kafka+Storm+HDFS实践

Hadoop一般用在离线的分析计算中，而storm区别于hadoop，用在实时的流式计算中，被广泛用来进行实时日志处理、实时统计、实时风控等场景，当然也可以用在对数据进行实时初步的加工，存储到分布式数据库中如

diaorong5437·2020-09-13 18:43

大数据学习笔记之Storm（一）：Storm

离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据1.2流式计算是什么流式计算

Leesin Dong·2020-09-13 18:38

大数据处理框架之:Storm + Kafka + zookeeper 集群

Stormkafkazookeeper集群我们知道storm的作用主要是进行流式计算，对于源源不断的均匀数据流流入处理是非常有效的，而现实生活中大部分场景并不是均匀的数据流，而是时而多时而少的数据流入，

李大瑞瑞儿·2020-09-13 17:19

java中RunTime类的用途

最近公司准备使用spark做流式计算，把原来做过的东西拿出来整理一下，有以下内容1、通过java调用shell脚本启动spark2、在虚拟机退出时执行特定的方法即注册一个回调函数对于Runtime类的测试

lyzx_in_csdn·2020-09-12 16:47

Maven对重复依赖的解决方案

转载自：http://qifuguang.me/2015/12/11/Maven对重复依赖的解决方案/#more概述这几天在学习spark-streaming做流式计算，一开始写了一个比较简单的测试程序能够顺利运行

weizaishouex2010·2020-09-11 18:20

Blockly 可视化编程谷歌流式计算可配置化

让用户来配置对采集的数据进行处理.Blockly是一套开源的产品,方便写sql.更强大的是带有流程控制.也有更多的函数.貌似没有groupby下的字符串拼接.数据采集,数据可视化,大数据.stromsql的学习,将用户和流式计算结合起来

个人渣记录仅为自己搜索用·2020-09-11 14:17

本地windows跑Python程序调用Spark

应用场景spark是用scala写的一种极其强悍的计算工具，spark内存计算，提供了图计算，流式计算，机器学习，即时查询等十分方便的工具，当然我们也可以通过python代码，来调用实现spark计算，

weixin_33743703·2020-09-11 10:20

实时计算入门篇-了解storm

相信大家在了解实时计算的时候肯定对离线计算有一定的了解了，比如Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、任务调度等技术（azkaban），这些都是离线计算流式计算流

uniquewdl·2020-09-11 04:35

流式计算-low watermark机制

UKey_·2020-09-10 11:13

大三总结+感想

都有段时间没怎么更新博客了，主要是实习之前需要了解的东西涉及到流式计算那些，还要重新学起，看文档和论文，自己都还不是很理解，不太适合写出来。

UKey_·2020-09-10 11:13

Spark基础概念（1）

但是对于其他类型的计算，比如交互式计算和流式计算，他不适合。统一大数据处理框架Spark，提出了RDD概念（一种新的抽象的弹性数据集），某种程度是MapReduce的一种拓展。

MingYueZh·2020-09-10 11:37

透过窗口看无限数据流——Flink的Window全面解析

窗口是流式计算中非常常用的算子之一，通过窗口可以将无限流切分成有限流，然后在每个窗口之上使用计算函数，可以实现非常灵活的操作。

大数据技术与数仓·2020-09-07 19:26

java简单实现strom流式计算

随机生成的东西加入，系统也是有包的，不过这边自己写了publicclassRandomSpoutextendsBaseRichSpout{String[]phones={"iphone","huawei","xiaomi","xiaolajiao","meizu"};privateSpoutOutputCollectorcollector;publicvoidopen(Mapmap,Topolog

Lord_zang·2020-08-25 02:05

如何构建高效的storm计算模型

计算机制简介Storm采用流式计算的模型，和shell类似让数据在一个个“管道”中进行处理。Spout负责从数据源拉取数据，相当于整个系统的生产者。

z_l_l_m·2020-08-25 01:50

流式计算、实时计算和离线计算

流式计算和批处理计算实时计算和离线计算以水为例，Hadoop可以看作是纯净水，一桶桶地搬；而Storm是用水管，预先接好（Topology），然后打开水龙头，水就源源不断地流出来了。

风雅车手·2020-08-24 20:44

SparkStreaming（1）入门

23660243/article/details/514814071、Hadoop的MapReduce及SparkSQL等只能进行离线计算，无法满足实时性要求较高的业务需求，例如实时推荐，实时网站性能分析等，流式计算可以解决这些问题

joli_1034498274·2020-08-24 17:37

Kuiper v0.2.1 正式发布 - 超轻量IoT边缘流处理

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考了

EMQX·2020-08-24 16:49

发布说明 - Kuiper 0.1

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考了上述云端流

EMQX·2020-08-24 16:22

storm流式计算的应用案例

Storm集群部署及单词计数目标：通过本次能够掌握Strom集群搭建、Storm配置文件、Storm源码管理、Storm编程模型。课程大纲：集群部署的基本流程集群部署的基础环境准备Storm集群部署Storm集群的常用操作命令Storm集群的进程及日志熟悉Storm源码下载及目录熟悉Storm单词计数案列内容集群部署的基本流程集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集

大数据专家·2020-08-24 15:40

spark streaming

SparkStreaming课程目标掌握SparkStreaming的原理熟练使用SparkStreaming完成流式计算任务SparkStreaming介绍SparkStreaming概述什么是SparkStreamingSparkStreaming

大数据专家·2020-08-24 15:39

storm流式计算

Storm是什么目标：通过本次的学习能够了解离线计算与流式计算的区别、掌握Storm框架的基础知识、了解流式计算的一般架构图。课程大纲：离线计算是什么？流式计算是什么？流式计算与离线计算的区别？

大数据专家·2020-08-24 15:39

kafka 应用详解

个人备忘概述：在流式计算中，kafka一般用来缓存数据，Strom通过消费kafka的数据进行计算。1)ApacheKafka是一个开源消息系统，由Scala写成。

我的架构师之路·2020-08-24 15:19

Spark sql 自定义读取数据源

通常在一个流式计算的主流程里，会用到很多映射数据，比较常见的是Text文档，但是文档读进来之后还要匹配相应的schema，本文通过自定义TextSource数据源，自动读取默认的Schema。

muyingmiao·2020-08-24 15:48

响应式web（三）：服务当中的三种耦合，流式计算，RXJava2，Flux，Mono

响应式Web第三节服务调用中的三种耦合响应式流规范与接口响应式流中的流量控制Web中的响应式与请求/响应式的区别流式处理中的Source/Sink模型RXJava2观察者模式同步与异步实现ProjectReactor中的Flux、MonoFlux、Mono同步静态创建与异步动态创建WebFlux服务当中的耦合在调用服务的时候，总会有耦合，基于rmi的1、技术耦合：dubbo，典型的基于rpc的远程

寒泉Hq·2020-08-23 19:20

Springboot自定义Kafka序列化与Flink自定义kafka反序列化

Flink+Kafka的流式计算组合中，Kafka的默认序列化与反序列化都是采用的String，也就是说，Ka

wFitting·2020-08-23 09:01

jdk8新特性-4、Stream流式计算

一、概述：java8的流式处理极大的简化了对于集合的操作，实际上不光是集合，包括数组、文件等，只要是可以转换成流，我们都可以借助流式处理，类似于我们写SQL语句一样对其进行操作。java8通过内部迭代来实现对流的处理，一个流式处理可以分为三个部分：转换成流、中间操作、终端操作。如下图：/***@Authorzongx*@Date2020/7/3014:23*@Version1.0*/publicc

阿萨德执行·2020-08-23 07:47

Flink SQL之Retraction(撤回流)

什么是retraction（撤回）通俗讲retract就是传统数据里面的更新操作，也就是说retract是流式计算场景下对数据更新的处理方式。首先来看下流场景下的一个词频统计列子。

JasonLee'blog·2020-08-23 04:07

谨以此文，献给昨晚为志玲姐姐通宵奋战的广大程序猿兄弟们！

个人公众号：石杉的架构笔记（ID:shishan100）目录（1）为什么要用缓存集群（2）20万用户同时访问一个热点缓存（3）基于流式计算的缓存热点自动发现（4）热点缓存自动加载为JVM本地缓存（5）限流熔断保护

weixin_33869377·2020-08-23 03:33

Flink SQL 功能解密系列 —— 流计算“撤回(Retraction)”案例分析

2019独角兽企业重金招聘Python工程师标准>>>摘要：通俗讲retract就是传统数据里面的更新操作，也就是说retract是流式计算场景下对数据更新的处理方式。

weixin_33690963·2020-08-23 03:51

解析SparkStreaming和Kafka集成的两种方式

sparkstreaming是基于微批处理的流式计算引擎，通常是利用sparkcore或者sparkcore与sparksql一起来处理数据。

菲橙·2020-08-23 03:32

Apache-Flink深度解析-DataStream-Connectors之Kafk

Kafka不但是分布式消息系统而且也支持流式计算，所以在介绍Kafka在ApacheFlink中的应用之前，先以

ruiyiin·2020-08-23 02:15

【Flink流式计算框架】State(KeyedState/OperatorState)和StateBackend及配置

011-FlinkStatestate概述State类型KeyedState案例OperatorState案例（unKeyedState）StatebackendMemoryStateBackendFsStateBackendRocksDBStateBackendStateBackend配置方式State：一般指一个具体的task/operator的状态。KeyedState（keyBy）：托管状

Aponson·2020-08-23 02:38

Spark（五）--Structured Streaming（六） - 有状态算子

目录6.有状态算子6.1状态6.2常规算子6.2.1案例6.2.2总结6.3分组算子6.3.1案例6.3.2总结6.有状态算子目标了解常见的StructuredStreaming算子,能够完成常见的流式计算需求步骤常规算子分组算子输出模式

HelloWorld闯天涯·2020-08-23 02:05

flink入门简介-新手入门使用心得-flink安装配置

由于最近公司需要进行流式计算方面的研究，派给我研究flink框架的任务，由于之前完全没有接触过流式计算的相关内容，在接到任务后还是有点捉急的，下面将我自己在入门使用的一些心得体会记录下，以便如果有需要的新同学共同的学习

mikey2016·2020-08-23 01:19

超越Storm，SparkStreaming——Flink如何实现有状态的计算

流式计算分为无状态和有状态两种情况。无状态计算观察每个独立的事件，Storm就是无状态的计算框架，每一条消息来了以后和前后都没有关系，一条是一条。

chenuo1957·2020-08-23 01:36

Spark Streaming 1.6 流式状态管理分析

关于状态管理在流式计算中，数据是持续不断来的，有时候我们要对一些数据做跨周期(Duration)的统计，这个时候就不得不维护状态了。

祝威廉·2020-08-23 01:24

Flink源码分析(二): 广播状态流实现规格更新或字段参数变更

欢迎同行加入大数据技术群QQ：427560730版本号：Flink1.10.0在使用Flink流式计算时，代码功能实现重要的同时，后期的可维护性一样很重要。作者在开发过程中就遇见过这样一个场

XuTengRui·2020-08-23 00:16

Flink介绍、特点及和与其他大数据框架对比

文章目录Flink是什么Flink定义有界流和无界流有状态的计算架构为什么要用Flink应用场景特点和优势流式计算框架对比Flink是什么在数据量激增的时代，各种业务场景都有大量的业务数据产生，对于这些不断产生的数据应该如何进行有效的处理

zhangxm_qz·2020-08-22 20:56

基于Apache Storm Trident实时计算开发上

1.概述ApacheStorm是一个经典的分布式流式计算编程框架，但编写程序比较麻烦。

我是楠楠·2020-08-22 18:45

Kafka最佳实践

kakfa是大数据系统架构中不可或缺的一部分，因其高效的性能、高可靠的数据与服务、提供准确一次的语义、优秀的在线水平扩展等特性，常用作为流式计算系统的数据源来

xiaohei.info·2020-08-22 17:10

Flink最佳实践（一）流式计算系统概述

无论是看起来像是过渡期产物的批流混合，还是感觉像是「终结者」的纯流式计算，都离不开最核