流式计算

Spark2.0 StructuredStreaming

流式计算的现状大多数的流式计算引擎（比如storm、sparkstreaming等）都仅仅关注流数据的计算方面：比如使用一个map函数对一个流中每条数据都进行转换，或者是用reduce函数对一批数据进行聚合
chixushuchu·2018-12-29 14:29

Spark Streaming & Structured Streaming分析

SparkStreaming是老牌的Spark流式计算引擎，底层基于RDD计算引擎。
chixushuchu·2018-12-27 10:48

一共81个，开源大数据处理工具汇总

4874114.html查询引擎一、Phoenix二、Stinger三、Presto四、Shark五、Pig六、ClouderaImpala七、ApacheDrill八、ApacheTajo九、Hive流式计算一
hdyrz·2018-12-26 10:42

Flink的window机制

Window在流式计算中很重要，因为”流”是一个无终点的持续输入，所以通过window机制来分块，进行聚合等各种处理KeyedvsNon-KeyedWindowsNon-keywindow是在整个流上进行分块
flywind800·2018-12-26 09:51

探寻流式计算

一、静态数据和流数据静态数据：为了支持决策分析而构建的数据仓库系统，其中存放的大量历史数据就是静态数据。流数据：以大量、快速、时变的流形式持续到达的数据。（例如：实时产生的日志、用户实时交易信息）流数据具有以下特点：(1)、数据快速持续到达，潜在大小也许是无穷无尽的。(2)、数据来源众多，格式复杂。(3)、数据量大，但是不十分关注存储，一旦经过处理，要么被丢弃，要么被归档存储(存储于数据仓库)。(
宜信技术学院·2018-12-20 00:00

实时计算——聊一聊我所经历的计算框架

我们首先来简单看一下计算任务的大致流程：首先先说下批量计算和流式计算：图中显示了一个计算的基本流程，receiver处负责从数据源接收数据，并发送给下游的task，数据由task处理后由sink端输出。
首席数据师·2018-12-19 20:16

实时计算——聊一聊我所经历的计算框架

我们首先来简单看一下计算任务的大致流程：首先先说下批量计算和流式计算：图中显示了一个计算的基本流程，receiver处负责从数据源接收数据，并发送给下游的task，数据由task处理后由sink端输出。
chigubiao4837·2018-12-19 20:00

离线计算

1.hivesql2.调度平台3.Hadoop集群运维4.数据清洗（脚本语言）5.元数据管理6.数据稽查7.数据仓库模型架构2.流式计算是什么？
小飞猪小肥猪·2018-12-17 19:37

离线计算与实时计算

数据展示代表技术：sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、hive批量计算数据hivesql调度平台hadoop集群运维数据清洗（脚本语言）元数据管理数据稽查数据仓库模型架构流式计算
小东升职记·2018-12-17 19:09

分布式消息中间件之Kafka（含一键启动，关闭Kafka集群）

了解了什么叫做消息中间件之后，我们再来看下Kafka：一Kafka概述1.1Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm或者Spark通过消费K
Forever_ck·2018-12-01 19:36

Spark学习笔记——1

一、Spark简介1、Spark：完全基于Hadoop的一种计算框架2、计算框架——》适用场景：SparkRDD——》离线批处理SparkCore——》流式计算SparkSQL——》交互式查询（基于Hive
Mr_Effiya·2018-11-21 10:24

让天下没有难用的搜索：阿里搜索如何成长为贴心“暖男”？

可以看到，十年双11的考验后，搜索智能化体系逐渐打造成型，已经成为电商平台稳定健康发展的核动力，主要分为四个阶段：自主研发的流式计算引擎Pora初
weixin_34355881·2018-11-19 10:24

让天下没有难用的搜索：阿里搜索如何成长为贴心“暖男”？

可以看到，十年双11的考验后，搜索智能化体系逐渐打造成型，已经成为电商平台稳定健康发展的核动力，主要分为四个阶段：自主研发的流式计算引擎Pora初
阿里云云栖社区·2018-11-19 00:00

大数据之路——阿里巴巴大数据实践（小白笔记）

Aplus.JS是web端日志采集技术方案；UserTrack是APP端日志采集方案数据传输：TimeTunnel（TT）体系进行数据传输，既包括数据库的增量数据传输，也包括日志数据的传输，既支持实时流式计算
cainiao22222·2018-11-12 17:23

《从0到1学习Flink》—— Data Source 介绍

Flink做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink就能够一直计算下去
zhisheng·2018-11-08 00:00

《从0到1学习Flink》—— Apache Flink 介绍

image前言Flink是一种流式计算框架，为什么我会接触到Flink呢？
zhisheng_blog·2018-11-07 23:47

《从0到1学习Flink》—— Apache Flink 介绍

前言Flink是一种流式计算框架，为什么我会接触到Flink呢？
zhisheng·2018-11-05 00:00

《从0到1学习Flink》—— Apache Flink 介绍

前言Flink是一种流式计算框架，为什么我会接触到Flink呢？
zhisheng_blog·2018-11-04 00:00

Hadoop、Storm和Spark 三者的区别、比较

为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识
goldfishe·2018-11-01 22:01

Apache 流框架 Flink，Spark Streaming，Storm对比分析（2）

SparkStreaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark，也就是把SparkStreaming的输入数据按照batchsize（如1秒）分成一段一段的数
H_MZ·2018-10-31 05:59

数据挖掘工具---流式处理---storm 教程

的分布式流式计算平台MapReduce范式的第一个开源实现吞吐量
diggerTT·2018-10-25 11:35

spark streaming 排错--JVM方法栈溢出

在流式计算过程中，会遇到格式各样的问题。最常见的就是内存溢出，内存溢出又分为两类：堆溢出，栈溢出。
sunkl_·2018-10-24 02:41

开源工具之kafka

一个分布式的消息系统（消息队列），在流式计算中，一般用来缓存数据。kafka作为一个集群运行中在一个或多个服务器上。
Z_J_T·2018-10-21 20:59

阿里巴巴为什么选择Apache Flink？

合抱之木，生于毫末随着人工智能时代的降临，数据量的爆发，在典型的大数据的业务场景下数据业务最通用的做法是：选用批处理的技术处理全量数据，采用流式计算处理实时增量数据。
阿里云云栖社区·2018-10-17 00:00

新一代流式计算框架在金融行业的应用

大数据的计算模式主要分为批量计算(batchcomputing)、流式计算(streamcomputing)等，分别适用于不同的大数据应用场景。
dingxiangtech·2018-10-12 10:10

分布式计算框架MapReduce总结

源自于Google的MapReduce论文，克隆复制发展而来优点：海量数据离线处理＆易开发＆易运行(与Spark比较还是弱很多)缺点:难以满足实时流式计算在跑MapReduce时，前面我的几篇博客说的HDFS
29DCH·2018-10-03 17:03

分布式计算框架MapReduce总结

源自于Google的MapReduce论文，克隆复制发展而来优点：海量数据离线处理＆易开发＆易运行(与Spark比较还是弱很多)缺点:难以满足实时流式计算在跑MapReduce时，前面我的几篇博客说的HDFS
29DCH·2018-10-03 17:03

Apache 流框架 Flink，Spark Streaming，Storm对比分析 （二）

SparkStreaming是将流式计算分解成一系列短小的批处理作业。
生活的探路者·2018-09-30 13:35

《Flink基础教程》阅读小记

Lambda架构需要对同样的业务逻辑进行两次编程，一次是批量计算，一次是流式计算。Flink将批处理视作一种特殊的流处理。我们需要观察和分析连续事件产生的数据，
幺零小柒·2018-09-18 00:00

阿里、Uber都在用的Flink你了解多少？

流式计算处理的业务特点是数据的价值随着时间的流逝而降低，所以提高数据的处理速度及实时性是极其重要的。
博文视点·2018-09-13 00:00

spark原理：概念与架构、工作机制

Spark特点：运行速度快，使用DAG执行引擎以支持循环数据流与内存计算，2、容易使用：多种语言编程，通过sparkshell进行交互式编程3、通用性：提供了完整而强大的技术栈，包括sQL查询、流式计算
black_hnu·2018-09-03 11:37

Spark Cache的几点思考

SparkCache的几点思考Spark涵盖了大数据领域内的离线批处理、流式计算、机器学习和图计算等不同的场景，已经成为大数据计算领域首选的计算框架。
竞涛·2018-09-02 21:26

Structured Streaming：Apache Spark中处理实时数据的声明式API

引言随着实时数据的日渐普及，企业需要流式计算系统满足可扩展、易用以及易整合进业务系统。StructuredStreaming是一个高度抽象的API基于SparkStreaming的经验。
阿猫阿狗Hakuna·2018-08-30 14:32

storm消息可靠机制(ack)的原理和使用

关于storm的基础,参照我这篇文章:流式计算storm关于并发和并行,参照我这篇文章:并发和并行关于storm的并行度解释,参照我这篇文章:storm的并行度解释关于storm的流分组策略,参照我这篇文章
zhangSir134·2018-08-28 22:40

storm的并行度的解释--- ( 看完就能理解 )

关于storm的基础,参照我这篇文章:流式计算storm关于并发和并行,参照我这篇文章:并发和并行关于storm的并行度解释,参照我这篇文章:storm的并行度解释关于storm的流分组策略,参照我这篇文章
zhangSir134·2018-08-28 09:23

kafka 入门

1kafka是什么Apachekafkaisadistributedstreamingplatform，即官方定义kafka是一个分布式流式计算平台。
迷茫的老人·2018-08-26 22:50

Structured Streaming-编程模型

我们可以在静态表上将流式计算表示为标准的batch-like查询，而Spark会在无界输入表上作为增量查询来运行它。一基本概念将输入数据流视为“输入表”，到达流的每个数据项都像追加到输入表的新的一行。
Anbang713·2018-08-26 12:00

Structured Streaming-快速入门

一概览StructuredStreaming是一种可伸缩的、容错的、基于SparkSQL引擎的流式计算引擎。我们可以使用与针对静态数据的批处理计算操作一样的方式来编写流式计算操作。
Anbang713·2018-08-26 11:16

hadoop（十三）storm流式计算（实时处理）

storm介绍说明+安装文档Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。被称作“实时的hadoop”。Storm有很多使用场景：如实时分析，在线机器学习，持续计算，分布式RPC，ETL等等。Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快（在一个小集群中，每个结点每秒可以处理数以百万计的消息）。Storm的部署和运维都很便捷，而且更为
cat a.zip >> b.jpg·2018-08-25 09:20

学习 - 网址

zookeeper和storm的Linux集群搭建基本视频https://www.imooc.com/video/17150storm大数据流式计算基础https://www.imooc.com/learn
搬砖小农·2018-08-23 16:41

【Spark-Streaming系列】业务背景、概述

时流处理概述：实时计算；流式计算；实时流式计算；离线计算与实时计算对比：1.数据来源离线：HDFS历史数据数据量比较大实时：消息队列（Kafka），实时新增、修改记录过来的某一笔数据2.处理过程离线：MapReduce
Harvay·2018-08-14 13:19

Spark修炼之道（进阶篇）——Spark入门到精通：第十节 Spark Streaming（一)

本节主要内容本节部分内容来自官方文档：http://spark.apache.org/docs/latest/streaming-programming-guide.html#mllib-operationsSpark流式计算简介
痞子锐·2018-08-13 08:56

大数据技术学习路线

目录学习规划技术说明大数据技术基础离线计算Hadoop流式计算Storm内存计算Spark机器学习算法学习规划总共分为五大部分，分别是：大数据技术基础离线计算Hadoop流式计算Storm内存计算Spark
哎呦、不错哦·2018-08-11 23:34

一家初创公司如何将企业绩效管理带入新高度

一家初创的软件公司，不仅依靠自身的产品和服务实现了盈利，更搞定了内存计算、并行计算、流式计算、数据仓库这些看似不可能的任务。这家名为F-One的企业到底拥有怎样的背景?
foneplatform·2018-07-24 10:09

Flume跨服务器采集数据

在大数据的采集中，我们常用Flume来进行数据的采集，一般的我们会从WebServer服务器中收集数据，将数据存储在另一台服务器的hdfs文件系统做离线分析或者sink到另一台服务器的kafka消息队列中做实时流式计算
不清不慎·2018-07-20 10:06

Apache Flink 概览 - 有状态的流式计算

阅读更多Flink的主要特性如下：一、所有的流式使用用例事件驱动的应用流式&批量分析数据Pipelines&ETL二、保证正确性严格一次（Exactly-once）状态一致性基于消息时间（Event-time）的处理复杂的后期数据处理（Sophisticatedlatedatahandling）三、分层的API基于流和批量数据的SQLDataStreamAPI和DataSetAPI基于时间和状态的
商人shang·2018-07-03 15:00

实时分析 流式计算(mysql到hdfs到redis到hbase)

此文章是关于另外三篇文章的一个整合1:log4j结合flume完成日志收集并保存到hdfs上2:将hdfs上的多个文件内容定量缓存到redis3:storm处理来自redis当中的数据,将处理完的结果保存到hbase当中首先利用第一篇文章当中的log4j和flume将从mysql当中查询出来的结果收集并保存到hdfs上,我是将每1000条数据保存为一个文件存到hdfs上的/flume/目录下,然后
csdn_Hzx·2018-06-29 10:55

Spark Streaming概述

1、SparkStreaming用于处理流式计算问题。能够和Spark的其他模块无缝集成。2、SparkStreaming是一个粗粒度的框架【也就是只能对一批数据指定处理方法】，核心是采用微批次架构。
liangzelei·2018-06-12 10:27

大数据基础知识学习-----Storm学习笔记

Storm概述离线计算是什么离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据流式计算是什么流式计算
Waldeinsamkeit4·2018-06-08 13:38

JAVA大数据学习路线

学习规划总共分为五大部分，分别是：大数据技术基础离线计算Hadoop流式计算Storm内存计算Spark机器
贱贱的剑剑·2018-06-06 20:40
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他