E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kinesis
流式计算的系统设计和实现
阅读更多阿里云数据事业部强琦为大家带来题为“流式计算的系统设计与实现”的演讲,本文主要从增量计算和流式计算开始谈起,然后讲解了与批量计算的区别,重点对典型系统技术概要进行了分析,包括Storm、
Kinesis
liangyan9966
·
2017-06-06 14:00
搜索引擎
百度
算法
spark 基础知识整理(四)- spark streaming专题
SparkStreaming可以接收各种数据源传递来的数据,比如Kafka,Flume,
Kinesis
或者TCP等,对接收到的数据还可以使用一些用高阶函数(比如map,reduce,join及window
Graceleeman
·
2017-04-10 10:43
Spark-Streaming 文档之基本概念
它支持多种数据源作为数据,比如Kafka,Flume,
Kinesis
或者TCPsockets,并且可以使用RDD高等函数,比如map,reduce,join和window,来实现复杂的数据处理算法。
bb6b382a3536
·
2017-01-09 11:50
Spark Streaming原理介绍
支持从多种数据源获取数据,包括Kafk、Flume、Twitter、ZeroMQ、
Kinesis
以及TCPsockets,从数据源获取数据之后,可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理
llllqb
·
2017-01-05 19:27
Spark Streaming编程指南
SparkStreaming可以接收各种数据源传递来的数据,比如Kafka,Flume,
Kinesis
或者TCP等,对接收到的数据还可以使用一些用高阶函数(
dabokele
·
2016-10-13 22:00
spark
Streaming
SparkStreaming之基本数据源输入
(2)高级源(Advancedsources):这些源包括Kafka,Flume,
Kinesis
,Twitter等等。1、基本数据源输入源码SparkStre
legotime
·
2016-07-06 07:00
源码
spark
SparkStreaming
【总结】Amazon
Kinesis
实时数据分析最佳实践分享
的服务全部采用SOA架构可以需要时相互调用关于大数据的实时流处理,AWS提供了传统方案和完全host方案传统方案是EC2上面部署flume(采集)、kafka(数据转存)、storam(流处理)完全host方案是
Kinesis
QXK2001
·
2016-06-07 16:00
数据分析
大数据
AWS
数据流处理
Kinesis
Amazon发布
Kinesis
服务更新
Amazon最近公布了旗下AmazonKinesisService的更新。在此次更新中,AmazonKinesisStreams和AmazonKinesisFirehose服务增加了三个新功能,包括支持ElasticsearchServiceIntegration(Elasticsearch服务集成)、Shard-LevelMetrics(Shard级度量指标),以及Time-BasedItera
Kent Weare
·
2016-05-30 00:00
Spark Streaming 客户端接收器
SparkStreaming能够接收任意的数据流,不仅仅局限于Flume,Kafka,
Kinesis
,文件系统,套接字等。这需要开发者来实现一个接收者来接收相关的数据源。
u013676711
·
2016-05-09 23:00
Spark Streaming 开发指南
提供了多种数据接入,如Kafka,Flume,Twitter,ZeroMQ,
Kinesis
,TCPsockets。
TinyKing86
·
2016-04-12 14:09
自定义Spark Streaming的Receivers
SparkStreaming除了可以使用内置的接收器(Receivers,比如Flume、Kafka、
Kinesis
、files和sockets等)来接收流数据,还可以自定义接收器来从任意的流中接收数据
LW_GHY
·
2016-03-20 21:00
spark
Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Stre
支持从多种数据源获取数据,包括Kafk、Flume、Twitter、ZeroMQ、
Kinesis
以及TCPsockets,从数据源获取数据之后,可以使用诸如map、reduce、join和window
莫问viva
·
2016-02-03 14:00
Spark入门实战系列--7.Spark Streaming(上)
支持从多种数据源获取数据,包括Kafk、Flume、Twitter、ZeroMQ、
Kinesis
以及TCPsockets,从数据源获取数据之后,可以使用诸如map、reduce、join和window
莫问viva
·
2016-01-29 16:00
spark streaming 1.5.2 编程指南
SparkStreaming可以从kafka、flume、Twitter、ZeroMQ、
Kinesis
、TCP套接字等数据源获取数据,同时可以用由high-level函数(如map、reduce、join
Kevin.Yang
·
2015-12-29 20:06
Spark
AWS IoT发布GA版
依赖于多样化的AWS服务,用户可以对于来自于不同设备的数据进行采集、存储和分析操作,用户也可以控制使用这些AWS服务:AWSLambda,APIGateway,
Kinesis
,S3,Redshift,MachineLearning
Abel Avram
·
2015-12-24 00:00
AWS IoT发布GA版
依赖于多样化的AWS服务,用户可以对于来自于不同设备的数据进行采集、存储和分析操作,用户也可以控制使用这些AWS服务:AWSLambda,APIGateway,
Kinesis
,S3,Redshift,MachineLearning
Abel Avram
·
2015-12-24 00:00
亚马逊发布
Kinesis
Firehose
KinesisFireHose是亚马逊2年前发布的
Kinesis
服务的后继服务。为了避免产生歧义,旧的
Kinesis
服务已经被重命名为亚马逊
Kinesis
流。
Kent Weare
·
2015-11-11 00:00
DynamoDB update stream简介
从今年开始DynamoDB又提供了一个新的功能,updatestream,它背后是用
Kinesis
来实现的。什么是updatestream呢?
hongchangfirst
·
2015-10-28 17:00
Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming介绍
支持从多种数据源获取数据,包括Kafk、Flume、Twitter、ZeroMQ、
Kinesis
以及TCPsockets,从数据源获取数据之后,可以使用
yirenboy
·
2015-09-10 09:00
hadoop
spark
大数据
Streaming
Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming原理介绍
支持从多种数据源获取数据,包括Kafk、Flume、Twitter、ZeroMQ、
Kinesis
以及TCPsockets,从数据源获取数据之后,可
shishanyuan
·
2015-09-01 06:00
spark中stream编程指导(一)
数据可以来自不同的数据源,例如Kafka,Flume,Twitter,ZeroMQ,
Kinesis
,orTCPsockets,一些具有高级功能的复杂的算法,例如map,reduce,joinandwindow
wangxiaotongfan
·
2015-07-17 19:00
流中巨蟒——利用 Python 供养 Amazon
Kinesis
Stream
如今物联网的席卷之势正愈演愈烈,而个中原因其实不难说清:物联网的出现帮助企业通过将所有机械与设备接入网络而带来新的商业价值。不过新的挑战也由此产生,这就是实时数据处理与分析。云计算正是开启物联网财富大门的金钥匙,因为其具备显著的灵活性、可扩展能力以及弹性优势。在今天的博文中,我们将了解如何开始自己的AmazonKinesis之旅——这是一项基于云的全面托管服务,用于以实时方式处理并分发数据流,而且
Markus Schmidberger
·
2015-07-03 00:00
Spark流编程指引(一)---------------------概述
数据的涞源有很多,可以来自Kafka,Flume,Twitter,ZeroMQ,
Kinesis
或者TCPsockets。
happyAnger6
·
2015-06-24 23:00
算法
hadoop
spark
spark
大数据
分布式
机器学习
Spark Streaming 初步学习(一)
数据来源多样,例如:Kafka、Flume、Twitter、ZeroMQ、
Kinesis
或者TCPSockets。
相濡慧慧
·
2015-05-27 22:00
Amazon AWS亚马逊云服务新服务简介(DynamoDB, Redshift,
Kinesis
)
距离上一次写关于AmazonAWS的文章超过一年了,最近一年一直在用AWS的东西,却没有时间把心得记一下。简单的讲讲这两年的变化吧~SimpleDBSimpleDB基本上被AWS抛弃了,在官网已经没有链接可以访问得到。作为一个可用性极高的云上非关系型数据库,我个人觉得SimpleDB是在那个历史时期非常不错的进步。我觉得主要问题出在每个domain10G和2500万对象的限制上,扩展性相当不好。我
cloudcraft
·
2014-03-03 18:07
云计算
no-sql
Amazon AWS亚马逊云服务新服务简介(DynamoDB, Redshift,
Kinesis
)
距离上一次写关于AmazonAWS的文章超过一年了,最近一年一直在用AWS的东西,却没有时间把心得记一下。简单的讲讲这两年的变化吧~SimpleDBSimpleDB基本上被AWS抛弃了,在官网已经没有链接可以访问得到。作为一个可用性极高的云上非关系型数据库,我个人觉得SimpleDB是在那个历史时期非常不错的进步。我觉得主要问题出在每个domain10G和2500万对象的限制上,扩展性相当不好。我
CloudCraft
·
2014-03-03 18:00
hive
AWS
亚马逊
dynamodb
Redshift
使用亚马逊
Kinesis
处理大批量数据
亚马逊近期公布了一项名为
Kinesis
的服务,它支持开发者从不同来源传输大量的数据并进行处理。该服务目前处于有限预览阶段。
Kinesis
到底是什么?它与SQS有什么不同?
Roopesh Shenoy
·
2013-11-27 00:00
使用亚马逊
Kinesis
处理大批量数据
亚马逊近期公布了一项名为
Kinesis
的服务,它支持开发者从不同来源传输大量的数据并进行处理。该服务目前处于有限预览阶段。
Kinesis
到底是什么?它与SQS有什么不同?
Roopesh Shenoy
·
2013-11-27 00:00
上一页
1
2
3
4
5
6
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他