流式计算Heron

Apache 流框架 Flink，Spark Streaming，Storm对比分析（2）

SparkStreaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark，也就是把SparkStreaming的输入数据按照batchsize（如1秒）分成一段一段的数
H_MZ·2018-10-31 05:59

数据挖掘工具---流式处理---storm 教程

的分布式流式计算平台MapReduce范式的第一个开源实现吞吐量
diggerTT·2018-10-25 11:35

spark streaming 排错--JVM方法栈溢出

在流式计算过程中，会遇到格式各样的问题。最常见的就是内存溢出，内存溢出又分为两类：堆溢出，栈溢出。
sunkl_·2018-10-24 02:41

开源工具之kafka

一个分布式的消息系统（消息队列），在流式计算中，一般用来缓存数据。kafka作为一个集群运行中在一个或多个服务器上。
Z_J_T·2018-10-21 20:59

阿里巴巴为什么选择Apache Flink？

合抱之木，生于毫末随着人工智能时代的降临，数据量的爆发，在典型的大数据的业务场景下数据业务最通用的做法是：选用批处理的技术处理全量数据，采用流式计算处理实时增量数据。
阿里云云栖社区·2018-10-17 00:00

新一代流式计算框架在金融行业的应用

大数据的计算模式主要分为批量计算(batchcomputing)、流式计算(streamcomputing)等，分别适用于不同的大数据应用场景。
dingxiangtech·2018-10-12 10:10

分布式计算框架MapReduce总结

源自于Google的MapReduce论文，克隆复制发展而来优点：海量数据离线处理＆易开发＆易运行(与Spark比较还是弱很多)缺点:难以满足实时流式计算在跑MapReduce时，前面我的几篇博客说的HDFS
29DCH·2018-10-03 17:03

分布式计算框架MapReduce总结

源自于Google的MapReduce论文，克隆复制发展而来优点：海量数据离线处理＆易开发＆易运行(与Spark比较还是弱很多)缺点:难以满足实时流式计算在跑MapReduce时，前面我的几篇博客说的HDFS
29DCH·2018-10-03 17:03

Apache 流框架 Flink，Spark Streaming，Storm对比分析 （二）

SparkStreaming是将流式计算分解成一系列短小的批处理作业。
生活的探路者·2018-09-30 13:35

《Flink基础教程》阅读小记

Lambda架构需要对同样的业务逻辑进行两次编程，一次是批量计算，一次是流式计算。Flink将批处理视作一种特殊的流处理。我们需要观察和分析连续事件产生的数据，
幺零小柒·2018-09-18 00:00

阿里、Uber都在用的Flink你了解多少？

流式计算处理的业务特点是数据的价值随着时间的流逝而降低，所以提高数据的处理速度及实时性是极其重要的。
博文视点·2018-09-13 00:00

spark原理：概念与架构、工作机制

Spark特点：运行速度快，使用DAG执行引擎以支持循环数据流与内存计算，2、容易使用：多种语言编程，通过sparkshell进行交互式编程3、通用性：提供了完整而强大的技术栈，包括sQL查询、流式计算
black_hnu·2018-09-03 11:37

Spark Cache的几点思考

SparkCache的几点思考Spark涵盖了大数据领域内的离线批处理、流式计算、机器学习和图计算等不同的场景，已经成为大数据计算领域首选的计算框架。
竞涛·2018-09-02 21:26

Structured Streaming：Apache Spark中处理实时数据的声明式API

引言随着实时数据的日渐普及，企业需要流式计算系统满足可扩展、易用以及易整合进业务系统。StructuredStreaming是一个高度抽象的API基于SparkStreaming的经验。
阿猫阿狗Hakuna·2018-08-30 14:32

storm消息可靠机制(ack)的原理和使用

关于storm的基础,参照我这篇文章:流式计算storm关于并发和并行,参照我这篇文章:并发和并行关于storm的并行度解释,参照我这篇文章:storm的并行度解释关于storm的流分组策略,参照我这篇文章
zhangSir134·2018-08-28 22:40

storm的并行度的解释--- ( 看完就能理解 )

关于storm的基础,参照我这篇文章:流式计算storm关于并发和并行,参照我这篇文章:并发和并行关于storm的并行度解释,参照我这篇文章:storm的并行度解释关于storm的流分组策略,参照我这篇文章
zhangSir134·2018-08-28 09:23

kafka 入门

1kafka是什么Apachekafkaisadistributedstreamingplatform，即官方定义kafka是一个分布式流式计算平台。
迷茫的老人·2018-08-26 22:50

Structured Streaming-编程模型

我们可以在静态表上将流式计算表示为标准的batch-like查询，而Spark会在无界输入表上作为增量查询来运行它。一基本概念将输入数据流视为“输入表”，到达流的每个数据项都像追加到输入表的新的一行。
Anbang713·2018-08-26 12:00

Structured Streaming-快速入门

一概览StructuredStreaming是一种可伸缩的、容错的、基于SparkSQL引擎的流式计算引擎。我们可以使用与针对静态数据的批处理计算操作一样的方式来编写流式计算操作。
Anbang713·2018-08-26 11:16

hadoop（十三）storm流式计算（实时处理）

storm介绍说明+安装文档Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。被称作“实时的hadoop”。Storm有很多使用场景：如实时分析，在线机器学习，持续计算，分布式RPC，ETL等等。Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快（在一个小集群中，每个结点每秒可以处理数以百万计的消息）。Storm的部署和运维都很便捷，而且更为
cat a.zip >> b.jpg·2018-08-25 09:20

学习 - 网址

zookeeper和storm的Linux集群搭建基本视频https://www.imooc.com/video/17150storm大数据流式计算基础https://www.imooc.com/learn
搬砖小农·2018-08-23 16:41

【Spark-Streaming系列】业务背景、概述

时流处理概述：实时计算；流式计算；实时流式计算；离线计算与实时计算对比：1.数据来源离线：HDFS历史数据数据量比较大实时：消息队列（Kafka），实时新增、修改记录过来的某一笔数据2.处理过程离线：MapReduce
Harvay·2018-08-14 13:19

Spark修炼之道（进阶篇）——Spark入门到精通：第十节 Spark Streaming（一)

本节主要内容本节部分内容来自官方文档：http://spark.apache.org/docs/latest/streaming-programming-guide.html#mllib-operationsSpark流式计算简介
痞子锐·2018-08-13 08:56

大数据技术学习路线

目录学习规划技术说明大数据技术基础离线计算Hadoop流式计算Storm内存计算Spark机器学习算法学习规划总共分为五大部分，分别是：大数据技术基础离线计算Hadoop流式计算Storm内存计算Spark
哎呦、不错哦·2018-08-11 23:34

一家初创公司如何将企业绩效管理带入新高度

一家初创的软件公司，不仅依靠自身的产品和服务实现了盈利，更搞定了内存计算、并行计算、流式计算、数据仓库这些看似不可能的任务。这家名为F-One的企业到底拥有怎样的背景?
foneplatform·2018-07-24 10:09

Flume跨服务器采集数据

在大数据的采集中，我们常用Flume来进行数据的采集，一般的我们会从WebServer服务器中收集数据，将数据存储在另一台服务器的hdfs文件系统做离线分析或者sink到另一台服务器的kafka消息队列中做实时流式计算
不清不慎·2018-07-20 10:06

Apache Flink 概览 - 有状态的流式计算

阅读更多Flink的主要特性如下：一、所有的流式使用用例事件驱动的应用流式&批量分析数据Pipelines&ETL二、保证正确性严格一次（Exactly-once）状态一致性基于消息时间（Event-time）的处理复杂的后期数据处理（Sophisticatedlatedatahandling）三、分层的API基于流和批量数据的SQLDataStreamAPI和DataSetAPI基于时间和状态的
商人shang·2018-07-03 15:00

实时分析 流式计算(mysql到hdfs到redis到hbase)

此文章是关于另外三篇文章的一个整合1:log4j结合flume完成日志收集并保存到hdfs上2:将hdfs上的多个文件内容定量缓存到redis3:storm处理来自redis当中的数据,将处理完的结果保存到hbase当中首先利用第一篇文章当中的log4j和flume将从mysql当中查询出来的结果收集并保存到hdfs上,我是将每1000条数据保存为一个文件存到hdfs上的/flume/目录下,然后
csdn_Hzx·2018-06-29 10:55

Spark Streaming概述

1、SparkStreaming用于处理流式计算问题。能够和Spark的其他模块无缝集成。2、SparkStreaming是一个粗粒度的框架【也就是只能对一批数据指定处理方法】，核心是采用微批次架构。
liangzelei·2018-06-12 10:27

大数据基础知识学习-----Storm学习笔记

Storm概述离线计算是什么离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据流式计算是什么流式计算
Waldeinsamkeit4·2018-06-08 13:38

JAVA大数据学习路线

学习规划总共分为五大部分，分别是：大数据技术基础离线计算Hadoop流式计算Storm内存计算Spark机器
贱贱的剑剑·2018-06-06 20:40

大数据基础知识学习-----Storm学习笔记（一）概述

Storm概述离线计算是什么离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据流式计算是什么流式计算
四川码匠·2018-06-05 14:01

大数据笔记（六）：Spark

执行引擎以支持循环数据流与内存计算•容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过SparkShell进行交互式编程•通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算
Ding_xiaofei·2018-05-30 23:16

Flume学习总结

-Flume定义Flume是分布式，高可用，基于流式计算的，用于收集、聚合、移动大量日志数据的框架。
666呀·2018-05-30 23:08

spark大数据架构初学入门基础详解

Spark是什么a)是一种通用的大数据计算框架b)SparkCore离线计算SparkSQL交互式查询SparkStreaming实时流式计算SparkMLlib机器学习SparkGraphX图计算c)
假的鱼·2018-05-28 17:44

关于DTCC数据库技术大会

专场较多，有选择地主要听了大数据实践跟流式计算这块。网易跟滴滴的分享比较不错。了解到了现在大家是用sparkstreaming/Flink来进行流式计算的比较多。
姚毛毛·2018-05-13 10:00

职场反思及感悟(不断更新中)

背景1：今天领导问我以前做的流式计算项目，结果回答的很不好。反思：以后遇到这种问题，从以下几个方面讲解：1.项目背景。大概讲解下项目要做什么，实现什么功能，需要解决什么问题；2.具体做法。
飞魔006·2018-05-12 14:31

Spark Streaming初步使用以及工作原理详解

一、流式计算1.什么是流？Streaming：是一种数
不清不慎·2018-05-12 13:35

实时计算、离线计算、流式计算、批量计算 之间的关系

流式计算的上游算子处理完一条数据后，会立马发送给下游算子，所以一条数据从进入流式系统到输出结果的时间间隔较短（当然有的流式系统为了保证吞吐，也会对数据做buffer）。这样的结果就是：批量计算往往得
运猫·2018-04-30 22:04

Apache 流框架 Flink，Spark Streaming，Storm对比分析（二）

SparkStreaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark，也就是把SparkStreaming的输入数据按照batchsi
weixin_34320159·2018-04-27 06:26

“淘宝京东”构建流式计算卖家日志系统架构的应用实践

阅读更多引言本文给大家讲述的是我们如何去构建一个日志系统，用到了那些技术，为什么用这些技术，并且讲述了遇到的问题及优化的过程，希望给大家在实践中能够提供一些参考。最近在维护一个有关于日志的项目，这个项目是负责收集、处理、存储、查询京东卖家相关操作的日志，我们这里就叫它“卖家日志”。在日常的开发过程中，可能我们对日志这个词并不陌生，例如我们常接触到的log4j、slf4j等等，这些日志工具通常被我们
高级架构师·2018-04-26 17:00

AI芯片开发了解

FPGA能效比高，可编程逻辑，计算效率高，更接近底层IO，通过冗余晶体管和连线实现逻辑可编程，适合图计算、流式计算。ASIC能效比高，晶体管根据算法定制，不
Dream_yz·2018-04-13 22:00

storm 流式计算框架

一：storm简介二：storm的原理与架构三：storm的安装配置四：storm的启动脚本一：storm的简介：1.1storm是什么：1.Storm是Twitter开源的分布式实时大数据处理框架，被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等，大数据实时处理解决方案（流计算）的应
flyfish225·2018-04-12 16:10

来，我教你spark

spark是All-in-one，集成了流式计算（sparkStreaming），即席查询（sparkSQL）,机器学习（MLlib),图处理（GraphX）于一身？
一个程序员的自我修炼·2018-04-12 13:10

分布式计算框架Mapreduce

缺点：实时流式计算MapReduce编程模型之执行步骤：输入一个大文件，通过Split之后，将其分为多个片每个文件分片由单独的机器去处理，这就是map方法将各个机器计算的结果进行汇总并得到最终的结果，这就是
慧有未来·2018-03-31 15:49

Storm流式计算入门

流式计算实时获取数据，实时数据储存，实时数据计算，实时结果缓存，持久化存储（mysql）代表技术：Flume：实时获取数据Kafka：实时数据存储Storm/jstorm：实时数据计算Redis：实时结果缓存总结
不是分针·2018-03-29 21:41

流式计算--Kafka详解

理解storm、sparkstreamming等流式计算的数据来源、理解JMS规范、理解Kafka核心组件、掌握Kakfa生产者API、掌握Kafka消费者API。
贫僧洗头爱飘柔·2018-03-24 16:02

Spark Streaming高级特性在NDCG计算实践

从storm到sparkstreaming，再到flink，流式计算得到长足发展，依托于spark平台的sparkstreaming走出了一条自己的路，其借鉴了spark批处理架构，通过批处理方式实现了实时处理框架
蓝色de叶子·2018-03-21 20:04

Apache Flink介绍

因为Flink是一个纯流式计算引擎，而类似于Spark这种微批的引擎，只是Flink流式引擎的一个特例。其他的不同点之后会陆续谈到。
myjbase·2018-03-19 15:22

Storm详解

2、流式计算是什么？3、流式计算与离线计算的区别？4、Storm是什么？5、Storm与Hadoop的区别？
贫僧洗头爱飘柔·2018-03-18 22:11
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他