流计算

Spark定制班第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码

本期内容：1在线动态计算分类最热门商品案例回顾与演示2基于案例贯通SparkStreaming的运行源码1 在线动态计算分类最热门商品案例回顾与演示我们用Spark Streaming+Spark SQL来实现分类最热门商品的在线动态计算。代码如下：package com.dt.spark.streamingimport org.apache.spark.SparkConfimport org.a
andyshar·2016-05-07 20:00

基于案例一节课贯通Spark Streaming流计算框架的运行源码

案例代码：OnlineTheTop3ItemForEachCategory2DB.scalapackagecom.dt.spark.sparkstreaming importorg.apache.spark.SparkConf importorg.apache.spark.sql.Row importorg.apache.spark.sql.hive.HiveContext importorg.
hanburgud·2016-05-07 19:00

spark 版本定制 第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码2

先贴下案例源码import org.apache.spark.SparkConf import org.apache.spark.streaming.{Durations, StreamingContext} /**   * 感谢王家林老师的知识分享   * 王家林老师名片：   * 中国Spark第一人   * 感谢王家林老师的知识分享   * 新浪微博：http://weibo.com/ilo
柯里昂·2016-05-07 16:00

spark 版本定制 第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码1

今天直入主题import org.apache.spark.SparkConf import org.apache.spark.streaming.{Durations, StreamingContext} /**   * 感谢王家林老师的知识分享   * 王家林老师名片：   * 中国Spark第一人   * 感谢王家林老师的知识分享   * 新浪微博：http://weibo.com/ilov
柯里昂·2016-05-07 15:00

第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码

SparkStreaming的Job到底是如何运行的，我们下面以一个例子来解析一下：package com.dt.spark.streaming import com.dt.spark.common.ConnectPool import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, Streaming
lqding1980·2016-05-07 15:05

第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码

SparkStreaming的Job到底是如何运行的，我们下面以一个例子来解析一下：package com.dt.spark.streamingimport com.dt.spark.common.ConnectPoolimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingCont
lqding1980·2016-05-07 15:05

Multisim软件的使用及实例 6复杂电路的电流计算与电流探针的使用

慈心积善，法门无量誓愿学。以身作则，为有缘人做大证明。/////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////
yushaopu·2016-05-07 13:00

第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码

本期内容：1，在线动态计算分类最热门商品案例回顾与演示  代码如下packagecom.dt.spark.streaming_scalaimportorg.apache.spark.SparkConfimportorg.apache.spark.sql.Rowimportorg.apache.spark.sql.hive.HiveContextimportorg.apache.spark.sql.
葛晨鑫·2016-05-06 22:00

组成原理复习笔记之(01)概论

设备(进和出各算一部分)2二进制表示指令和数据.3将将指令和数据先放入存储器;然后再启动计算机工作.弱点:存储器的访问会成为瓶颈.目前出现了一些突破存储程序控制的计算机:—-即非冯计算机.数据驱动的数据流计算机需求驱动的归约计算机模式匹配驱动的智能计算机等
hamiton·2016-05-02 14:00

Spark组件之Spark Streaming学习4--HdfsWordCount 学习

如果有新增加的文件，则进行流计算 valssc=newStreamingContext(sparkConf,Seconds(2))处理跟前面差不多2.运行：输入：hado
bob601450868·2016-04-26 21:00

Samza状态管理分析

Samza是依赖Kafka作为通信层的流计算框架。本文主要分析其state的管理。概述增量存储粒度：增量。
lzljs3620320·2016-04-24 12:00

学习 Spark Streaming 的重要性

Spark来了，SparkStreaming主导的流计算时代已经初露端倪。Flink还没成熟就遇到了SparkStreaming，真是生不逢时。Storm能完全实时，能毫秒级的相应。
andyshar·2016-04-17 21:00

Spark简介

该平台可以快速、多计算范式、可靠地处理海量数据，除了基本批处理型外，还支持流计算、图计算、SQL分析和机器学习。 
MyArrow·2016-04-15 08:00

Flink：下一代流计算平台？

简介Flink是一个基于流计算的分布式引擎，以前的名字叫stratosphere，从2010年开始在德国一所大学里发起，也是有好几年的历史了，2014年来借鉴了社区其它一些项目的理念，快速发展并且进入了
JasonLeeLz·2016-04-11 21:37

Flink：下一代流计算平台？

简介Flink是一个基于流计算的分布式引擎，以前的名字叫stratosphere，从2010年开始在德国一所大学里发起，也是有好几年的历史了，2014年来借鉴了社区其它一些项目的理念，快速发展并且进入了
lzljs3620320·2016-04-11 21:00

Trident-storm

原文链接：http://www.bubuko.com/infodetail-467560.html一、概要1.1Storm(简介)Storm是一个实时的可靠地分布式流计算框架。
JXCypress·2016-04-11 18:00

Storm使用到的相关技术总结

/www.cnblogs.com/panfeng412/archive/2012/12/16/storm-related-technique-summary.htmlStorm作为一个开源的分布式实时流计算框架
xiaqian0917·2016-03-22 11:00

Apache流计算框架详细对比

www.cakesolutions.net/teamblogs/introduction-into-distributed-real-time-stream-processing)目前对于这种日渐增加的分布式流计算的需求的原因
王下邀月熊_Chevalier·2016-03-13 00:00

Kakfa集群搭建

LinkedIn开发并开源的一个分布式消息系统，因其分布式和高吞吐率被广泛应用，现在已经在Hadoop和Spark等大数据的生态系统中成为一个必不可少的生态组件，可与各种计算模型，如离线计算，实时计算，流计算对接数据
qindongliang1922·2016-02-26 08:53

Kakfa集群搭建

LinkedIn开发并开源的一个分布式消息系统，因其分布式和高吞吐率被广泛应用，现在已经在Hadoop和Spark等大数据的生态系统中成为一个必不可少的生态组件，可与各种计算模型，如离线计算，实时计算，流计算对接数据
qindongliang1922·2016-02-23 15:00

Kakfa集群搭建

LinkedIn开发并开源的一个分布式消息系统，因其分布式和高吞吐率被广泛应用，现在已经在Hadoop和Spark等大数据的生态系统中成为一个必不可少的生态组件，可与各种计算模型，如离线计算，实时计算，流计算对接数据
qindongliang1922·2016-02-23 15:00

Kafka 0.9.0 文档翻译-1、Getting Started

kafka目前应用比较广泛，中小规模的公司都把kafka当做大数据平台的数据总线，成为很多流计算系统的输入源，比如storm，flink，spark-streaming等。
tracymkgld·2016-02-21 17:00

如何简单地测算系统吞吐量

在流计算、数据传输之类的系统中，有时候需要统计、压测下一下系统的吞吐能力，这里写了一段简单实现记录一下，方便以后使用，构造参数有两个，一个是name，用于区分，一个是采样周期。
tracymkgld·2016-02-19 16:00

【走过的弯路】 半波阻容电路输出电流计算

1.电路2.计算方法根据需要输出的电流来加大到CBB电容，如1.5uf改成2.5uf;3.声明此分享来自于QQ：78276169
zhuangjitongxue·2016-02-16 20:00

阿里巴巴中间件团队出品的开源软件以及商业云服务

https://github.com/alibaba/RocketMQ  Corbar 基于Mysql的数据库服务中间件https://github.com/alibaba/cobar  JStorm 流计算框架
sinxsoft·2016-02-14 13:00

Spark入门实战系列--7.Spark Streaming（上）--实时流计算Spark Stre

1、SparkStreaming简介1.1 概述SparkStreaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCPsockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后
莫问viva·2016-02-03 14:00

STORM 拓扑构建

的分布式流计算平台HadoopApache批处理MapReduce范式的第一个开源实现SparkUCBerkeleyAMPLab批处理/流处理支持内存中数据集和恢复能力的最新分析平台DiscoNokia
yangyangmyself·2016-01-31 12:22

Storm流计算从入门到精通视频教程下载（技术篇+项目篇）

Storm流计算从入门到精通之技术篇下载地址：http://pan.baidu.com/s/1skaCz1b密码：29zhStorm流计算之项目篇下载地址：http://pan.baidu.com/s/
新城业主·2016-01-19 09:03

storm视频教程下载

Storm流计算从入门到精通之技术篇下载地址：http://pan.baidu.com/s/1skaCz1b密码：29zhStorm流计算之项目篇下载地址：http://pan.baidu.com/s/
80后的童年2·2016-01-19 09:00

光流算法：Brox光流的OpenCV源码解析

我前面的博客提到“光流计算框架”的问题，这个框架是我参见多个光流算法源码及其对光流认识后总结出来的，几乎所有光流算法都可以写进我这个框
dzyBK·2016-01-07 23:00

光流算法：光流算法框架

发现几乎所有的光流算法都可以包含以下过程：(1)多尺度计算：即建立图像金字塔，并在每层金字塔上计算光流，上一层计算的光流除以降采样因子(建高斯金字塔时的降采样因子)作为下一层光流计算时的初始光流。
dzyBK·2016-01-03 18:00

spark streaming -- （视频笔记）

batch计算实时流计算sparkstreaming交互式查询sparksql，impala，tez-------------------------------------
逸新·2016-01-02 22:00

Scalding入门——很Spark的MapReduce流计算框架

Scalding是对Cascading框架的Scala封装，或者更确切地说是一种函数式封装。看到Cascading的时候你可能会觉得这么麻烦的东西有必要学吗？但是再看看Scalding就会发现，这好像跟写一般的Scala代码也没什么区别……小小的封装带来巨大的改变。MapReduce/Spark这一遍玩下来最大的体会就是——用命令式语言表达函数式的东西真是太费劲了(map/reduce是函数式语言
du00·2015-12-23 20:38

解析Spark大数据分析框架的核心部件

Spark大数据分析框架的核心部件包含RDD内存数据结构、Streaming流计算框架、GraphX图计算与网状数据挖掘、MLlib机器学习支持框架、SparkSQL数据检索语言、Tachyon文件系统
勿忘初心321·2015-12-23 13:00

Storm：最火的流式处理框架

Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。
zc02051126·2015-11-26 23:00

实时计算，流数据处理系统简介与简单分析

大数据实时计算流计算摘要：实时计算一般都是针对海量数据进行的，一般要求为秒级。实时计算主要分为两块:数据的实时入库、数据的实时计算。今天这篇文章详细介绍了实时计算，流数据处理系统简介与简单分析。
w_j_w2010·2015-11-26 11:12

storm详解：第一章 storm分布式单词计数

通过本章的学习，你将了解到设计一个复杂流计算系统所学需要的多种结构，技术和模式。我们将首先介绍Storm的数据结构，接下来实现一个完全成熟的Storm
五柳-先生·2015-11-18 11:13

流量合成计算软件

v1.1 开发：张端虎时间：2012年2月 一、功能特点 当有两江或两江以上河流汇入时，下游河口的流量资料需要使用上游各个控制站流量合成，以便生成带有水位、流量等要素的洪水要素摘录表，用于水文预报、径流计算
·2015-11-13 20:29

微软宣布IE9正式版发布日期

IE9采用全新的“Chakra JavaScript引擎”，能充分利用当下主流计算机配置的多核
·2015-11-13 16:44

安徽.NET俱乐部启动公告

我们可以尽情交流计算机技术上的资源和心得，相信会有很大的收获哦！ 由于得到了合肥微软技术中心的大力支持，我可以相当肯定地说，从四月份开始，我们每个月都将会有一次活动。
·2015-11-12 11:07

使用Python的yield实现流计算模式

首先先提一下上一篇《如何猜出Y combinator》中用的方法太复杂了。其实在Lambda演算中实现递归的思想很简单，就是函数把自己作为第一个参数传入函数，然后后面就是简单的Lambda变换提取出Y combinator了。好，接下来是本篇的正文： -------------------------------------------------------------------------
·2015-11-11 16:06

NLB是如何做负载分流计算的

[转]http://blog.csdn.net/ghj1976/article/details/4003370 网络负载平衡采用一种完全分布式的算法，根据传入客户端的 IP 地址和端口，以统计方式将其映射到群集主机。此进程的发生不需要主机间进行任何通信。当发现到达的数据包时，所有主机同时执行这种映射，以快速确定哪个主机应当处理这个程序包。这种映射一直保持不变，直到群集主机数发生更改时为止。与集中
·2015-11-11 07:32

微软宣布IE9正式版发布日期

IE9采用全新的“Chakra JavaScript引擎”，能充分利用当下主流计算机配置的多核
·2015-11-10 23:42

02_flink 流处理

Streaming高性能&低延迟Flink的流计算实现，仅需要很低的配置，就能实现高吞吐量和低延迟的流数据处理。下面的图表显示了一个分布式流数据的计数任务，的性能和cpu核数的比值。
codemosi·2015-11-09 22:50

Spark Streaming 订单关联案例剖析

SparkStreaming订单关联案例剖析本文将详细介绍如何使用SparkStreaming流计算框架并结合Kafka、Flume等实时处理搜索词、订单以及订单搜索词来关联系统的设计。
javastart·2015-11-04 09:59

Spark Streaming 订单关联案例剖析

SparkStreaming订单关联案例剖析本文将详细介绍如何使用SparkStreaming流计算框架并结合Kafka、Flume等实时处理搜索词、订单以及订单搜索词来关联系统的设计。
javastart·2015-11-04 09:00

Spark为啥比hadoop速度快？

1.统一的RDD抽象和操作，基于该抽象一个栈就可以轻松的处理实时流计算，SQL交互式查询，机器学习和图计算等。基于统一的技术堆栈，使得Spark称为大数据通用计算平台。
snail_gesture·2015-11-02 22:00

水利水电工程施工导截流方案辅助设计系统DivClose软件特色

    本程序涵盖了水利水电工程设计中的单独泄水建筑物泄流计算、施工截流水力计算、不同泄水建筑物的联合泄流计算、施工调洪演算等水力设计，是目前水利水电工程设
·2015-11-02 17:51

poj2516

这题我们可以把k种物品分开计算，每次对一种物品进行最小费用最大流计算。如果不分开算会超时。对于每种物品，从源到供应商连接，容量为供应商的储存量，费用为0。采购商到汇连边，
·2015-11-02 10:23

[zz]Storm源码浅析之topology的提交

    最近一直在读twitter开源的这个分布式流计算框架——storm的源
·2015-10-30 11:34
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他