流计算

Spark 实战, 第 2 部分:使用 Kafka 和 Spark Streaming 构建实时数据处理系统

流计算的出现，就是为了更好地解决这类数据在处理过程中遇到的问题。与传统架构不同，流计算模型在数据流动的
·2017-09-28 16:00

Logtail技术分享(一) : Polling + Inotify 组合下的日志保序采集方案

日志数据采集提到数据分析，大部分人首先想到的都是Hadoop，流计算，API等数据加工的方式。如果从整个过程来看，数据分析其实包含了4个过程：采集，存储，计算和理解四个步骤。
hanningxue·2017-09-14 14:15

Storm学习笔记

Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。
阿瑞斯王·2017-09-11 23:51

第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码

本节课基于案例试图通过一节课贯通SparkStreaming流计算框架的运行源码，这节课建立在之前4节课的基础之上，本节内容分成2部分：1，在线动态计算分类最热门商品案例回顾与演示2，基于案例贯通SparkStreaming
段智华·2017-09-06 06:05

Storm入门与实践（1）入门介绍

Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。
铁猴·2017-08-10 18:21

Spark Streaming 实现数据实时统计案例

今天讲解一下spark的流计算，其实它也不完全是实时的流计算，算是一种准实时的流计算。
ChinaUnicom110·2017-08-02 16:35

云端流计算、在线业务、实时分析 闭环设计 - 阿里云RDS、HybridDB for PostgreSQL最佳实践

《从人类河流文明洞察数据流动的重要性》以某淘系业务案例展开，看看用户如何利用阿里云RDSPostgreSQL，HybridDBforPostgreSQL，海量对象存储OSS，打造一个从流计算到在线业务，
骑猪逛街666·2017-07-31 10:00

10分钟精通Nginx访问日志分析统计

利用流计算、或离线统计分析nginx的accesslog，从日志中挖掘有用信息。两种方式各有优缺点：CNZZ使用起来比较简单，各种指标定义清楚。
爱哭的小魔女·2017-07-19 17:00

Flink流计算编程--Flink扩容、程序升级前后的思考

对于持续生成新数据的场景，采用流计算显然是有利的。数据源源不断的产生，流计算系统理论上就要不间断的提供数据计算（可以停机维护的场景不在本文的讨论范围）。
lmalds李麦迪·2017-06-23 18:20

Storm集群中的组件介绍

介绍Storm作为最流行的的实时流计算框架，提供了可容错的分布式计算所要求的基本源语和保障机制Storm的简单的工作机制spout先从外部获取数据，然后简单的封装成一个个的tuple发送到Bolt，Bolt
qq_21050291·2017-06-16 15:00

通过实时日志分析_进行访问日志的快速统计

利用流计算、或离线统计分析nginx的accesslog，从日志中挖掘有用信息。两种方式各有优缺点：CNZZ使用起来比较简单，各种指标定义清楚。
小万君·2017-06-13 11:37

流式计算的系统设计和实现

增量计算和流式计算流式计算流计算对于时效性要求比较严格，实时计算就是对计算的时效性要求比较强。流计算
liangyan9966·2017-06-06 14:00

流式计算的系统设计和实现

增量计算和流式计算流式计算流计算对于时效性要求比较严格，实时计算就是对计算的时效性要求比较强。流计算
liangyan9966·2017-06-06 14:00

各种大数据工具架构

流计算系统能够处理实时的数据流，实时分析系统主要采用传统的MPP技术从海量数据中实时提取有价值的汇总信息::
ChenVast·2017-06-05 14:09

各种大数据工具架构

流计算系统能够处理实时的数据流，实时分析系统主要采用传统的MPP技术从海量数据中实时提取有价值的汇总信息::
ChenVast·2017-06-05 14:09

七、Web服务器Apache的配置和管理

Apache是一种开源的HTTP服务器软件，可以在包括UNIX、Linux以及Windows在内的大多数主流计算机操作系统中运行。
少年不在了·2017-06-02 15:26

第一章、问答环节

3、程序的可移植性：绝大多数的Python程序不做任何改变即可在所有主流计算机平台上运行。4、标准库的支持：Python内置了众多预编译并可移植的功能模块，这
Apocalipsis·2017-05-04 15:41

Apache RocketMQ4.0.0

阿里rocketmq，有广泛的应用场景，订单，交易，充值，流计算，消息推送，日志流式处理，binglog分发等多个业务领域。
NullPointerExcept·2017-04-17 15:51

spark的生态圈

其核心框架是sparkcore，同时涵盖支持结构化数据SQL查询与分析的查询引擎SparkSQL和shark，提供机器学习功能的系统MLbase及底层的分布式机器学习库MLlib，并行图计算框架GraphX、流计算框架
蜗牛0·2017-04-11 19:08

Flink流计算编程--看看别人怎么用Session Window

1、简介流处理在实际生产中体现的价值越来越大，ApacheFlink这个纯流式计算框架也正在被越来越多的公司所关注并尝试使用其流上的功能。在2017年波兰华沙大数据峰会上，有一家叫做GetInData的公司，分享了一个关于他们内部如何使用Flink的sessionwindow的例子，并因此获评最佳演讲。PPT：STREAMINGANALYTICSBETTERTHANCLASSICBATCH–WHE
lmalds李麦迪·2017-04-05 18:54

禾连健康CDO沈金：谈云时代的大数据平台架构

原文链接：http://click.aliyun.com/m/13864/11+大数据行业应用实践请见https://yq.aliyun.com/activity/156，同时这里还有流计算、机器学习、
云栖技术·2017-03-16 18:04

美甲帮：玩转指甲上的大数据平台

原文链接：http://click.aliyun.com/m/13867/11+大数据行业应用实践请见https://yq.aliyun.com/activity/156，同时这里还有流计算、机器学习、
云栖技术·2017-03-16 18:41

数加平台如何通过Serverless 架构实现普惠大数据

大数据业务本来就是最典型的计算业务，从计算的场景上来说，涵盖了离线批量计算、实时流计算、在线实时计算等，在很多情况下还需要把这些计算能力组合起来才能满足需求。
云栖技术·2017-03-14 18:56

怎么用matlab对示波器波形进行傅里叶分析

1、首先是在建立一个simulink文件，一个输入和一个示波器，还有一个powergui模块，powergui模块是进行电学分析的一个很重要的模块，里面可以进行潮流计算，RLC分析，傅里叶分析等
Ocean_Ele·2017-03-14 00:00

PostgreSQL的一个流式计算数据库

//流计算风云再起-PostgreSQL携PipelineDB力挺IoT__Pipelinedb是基于PostgreSQL的一个流式计算数据库，纯C代码，效率极高(32c机器,单机日处理流水达到了250.56
葡萄喃喃呓语·2017-03-06 16:12

Spark streaming vs JStorm

所以，明确这两个最主流的流计算框架的应用场景至关重要，下面我说下经验之谈，避免更多的人走弯路。SparkStream
里冲·2017-02-26 11:59

Spark streaming vs JStorm

所以，明确这两个最主流的流计算框架的应用场景至关重要，下面我说下经验之谈，避免更多的人走弯路。SparkStream
里冲·2017-02-26 11:59

流计算

1.计算模式：批处理模型：--一次处理全部数据（MapReduce、Spark）--数据量太大存不下全部数据、数据到来太快来不及批处理流计算模型：--数据不断以增量的方式流入系统并处理，改变系统状态并输出结果
Largehadron·2017-02-25 00:00

Flink流计算编程--Flink中allowedLateness详细介绍及思考

1、简介Flink中借助watermark以及window和trigger来处理基于eventtime的乱序问题，那么如何处理“lateelement”呢？也许有人会问，out-of-orderelement与lateelement有什么区别？不都是一回事么？答案是一回事，都是为了处理乱序问题而产生的概念。要说区别，可以总结如下：1、通过watermark机制来处理out-of-order的问题，
lmalds李麦迪·2017-02-17 11:39

回顾2016--Apache Flink流处理在生产中的实践

上周，我们的Flink流计算程序终于上线了。也算是在实时流计算方面的一个成果。下面，我将简要介绍下公司如何使用Flink进行流处理的开发。
lmalds李麦迪·2017-01-12 18:05

杂七杂八

ipv4-hostsApache五大主流流计算框架详细对比https://www.oschina.net/question/tag/dubbohttp://developer.51cto.com/art
oleryu·2016-12-20 15:12

目标检测光流法（三）：opencv下光流Farneback法

calcOpticalFlowPyrLK光流算法，可以看到它实际上是一种稀疏特征点的光流算法，也就是说我们先找到那些（特征）点需要进行处理，然后再处理，该节介绍下一个全局性的密集光流算法，也就是对每一个点都进行光流计算
ASKLW·2016-12-20 11:59

基于Spark机器学习和实时流计算的智能推荐系统

原文链接：http://blog.csdn.net/qq1010885678/article/details/46675501概要：随着电子商务的高速发展和普及应用，个性化推荐的推荐系统已成为一个重要研究领域。个性化推荐算法是推荐系统中最核心的技术，在很大程度上决定了电子商务推荐系统性能的优劣，决定着是否能够推荐用户真正感兴趣的信息，而面对用户的不断提升的需求，推荐系统不仅需要正确的推荐，还要实时
u013063153·2016-12-20 10:17

Spark入门实战系列--7.Spark Streaming（上）--实时流计算Spark Streaming原理介绍

Spark入门实战系列--7.SparkStreaming（上）--实时流计算SparkStreaming原理介绍-shishanyuan-博客园http://www.cnblogs.com/shishanyuan
葡萄喃喃呓语·2016-12-13 11:03

面试高级算法梳理笔记

1.2目录原文首发于个人博客Jennica.Space，按算法难度划分为初中高三个级别，详细目录及链接如下：初级篇穷竭搜索贪心动态规划数据结构图论数论中级篇二分搜索常用技巧数据结构（二）动态规划（二）网络流计算几何高级篇数论
尤汐_Jennica·2016-12-02 14:18

面试高级算法梳理笔记

1.2目录原文首发于个人博客Jennica.Space，按算法难度划分为初中高三个级别，详细目录及链接如下：初级篇穷竭搜索贪心动态规划数据结构图论数论中级篇二分搜索常用技巧数据结构（二）动态规划（二）网络流计算几何高级篇数论
尤汐_Jennica·2016-12-02 14:18

流计算浅谈

流计算浅谈        流计算是什么？这个概念是和普通的计算区分的。
liuwei063608·2016-11-30 17:11

Flink流计算与时序数据库Influxdb+grafana

1、简介关于Influxdb和grafana，可以参考：介绍或者influxdb官方文档，grafana官方文档。这里默认已经将influxdb和grafana安装完成。2、FlinksinktoInfluxdbinfluxdb不属于Flink内置的第三方connector，因此需要自定义addSink()方法：txStream.addSink(newInfluxDBSink("transacti
lmalds李麦迪·2016-11-30 11:18

实时收集Storm日志到ELK集群

####背景我们的storm实时流计算项目已经上线几个月了，由于各种原因迟迟没有进行监控，每次出现问题都要登录好几台机器，然后使用sed，shell，awk，vi等各种命令来查询原因，效率非常低下，而且有些统计是没法做的
qindongliang1922·2016-11-22 19:00

Storm介绍之概念

什么是实时流计算？
Bloo_m·2016-11-13 23:38

使用 Kafka 和 Spark Streaming 构建实时数据处理系统

流计算的出现，
追梦不止,静心致远·2016-10-31 14:31

使用 Kafka 和 Spark Streaming 构建实时数据处理系统

流计算的出现，
BD_Jiang·2016-10-31 14:00

Flink流计算编程--watermark（水位线）简介

1、watermark的概念watermark是一种衡量EventTime进展的机制，它是数据本身的一个隐藏属性。通常基于EventTime的数据，自身都包含一个timestamp，例如1472693399700（2016-09-0109:29:59.700），而这条数据的watermark时间则可能是：watermark(1472693399700)=1472693396700(2016-09-
lmalds李麦迪·2016-09-30 12:44

Flink流计算编程--Session Window实战

1、sessionwindow简介Flink从1.1开始支持Sessionwindow，它是属于基于时间的窗口。这里以EventTime为例，基于时间的窗口，可以分为3种：TumblingEventTimeWindows，SlidingEventTimeWindows和EventTimeSessionWindows。对于Tumbling与Sliding窗口，其窗口的时间大小是固定的，例如10秒钟一
lmalds李麦迪·2016-09-28 00:00

Flink流计算编程--流处理引擎的选型

1、需求决定引擎选型根据马斯洛需求层次理论，可以将流处理引擎的需求分为以下几种层次：1、持续性的流处理2、低延迟的计算结果，亚秒级别的延迟3、高效可扩展性，每秒百万级的吞吐量4、容错性，即失败时的可恢复性5、精确的可重复性6、可查询性流处理就是在延迟、吞吐量和正确性之间做一个平衡。2、当前的流处理引擎包含哪些1、SparkStreaming2、Storm3、Flink4、samza。。。。3、根据
lmalds李麦迪·2016-09-14 17:53

Flink流计算编程--Flink sink to Oracle

1、Flinkconnectors关于Flinkconnectors，Flink1.1提供了许多内置的第三方连接器，这些connectors包括：ApacheKafka(sink/source)Elasticsearch(sink)Elasticsearch2x(sink)HadoopFileSystem(sink)RabbitMQ(sink/source)AmazonKinesisStreams
lmalds李麦迪·2016-09-01 17:18

Storm部署

Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。
大兔齐齐·2016-08-26 13:17

《Kafka Stream》调研：一种轻量级流计算模式

对于流计算，已经有Storm、Spark，Samza，包括最近新起的Flink，Kafka为什么再自己做一套流计算呢？KafkaStream与这些框架比有什么优势？
羲遥·2016-08-17 00:00

ProtoBuf 与 gRPC 你需要知道的知识

gRPC是Google开源的RPC框架和库，已支持主流计算机语言。底层通信采用gR
yeasy·2016-08-12 11:27

JStorm2.1.1集群的安装和使用

JStorm2.1.1集群的安装和使用Storm是一个免费开源、分布式、高容错的实时计算系统，而JStorm是阿里巴巴开源的基于Storm采用Java重写的一套分布式实时流计算框架，在性能和支持的集群规模上做了较大优化
wosyingjun·2016-08-12 09:00
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他