流计算

JStorm2.1.1集群的安装和使用

阅读更多JStorm2.1.1集群的安装和使用Storm是一个免费开源、分布式、高容错的实时计算系统，而JStorm是阿里巴巴开源的基于Storm采用Java重写的一套分布式实时流计算框架，在性能和支持的集群规模上做了较大优化
wosyingjun·2016-08-12 09:00

JStorm2.1.1集群的安装和使用

阅读更多JStorm2.1.1集群的安装和使用Storm是一个免费开源、分布式、高容错的实时计算系统，而JStorm是阿里巴巴开源的基于Storm采用Java重写的一套分布式实时流计算框架，在性能和支持的集群规模上做了较大优化
wosyingjun·2016-08-12 09:00

spark-stream 访问 Redis

最近在spark-stream上写了一些流计算处理程序，程序架构如下程序运行在Spark-stream上，我的目标是kafka、Redis的参数都支持在启动时指定。
梦见山·2016-08-12 00:00

Flink流计算编程：双流中实现Inner Join、Left Join与Right Join

一：简介之前文章中提到JoinedStream与CoGroupedStream，例如下列代码：dataStream.join(otherStream).where(0).equalTo(1).window(TumblingEventTimeWindows.of(Time.seconds(3))).apply{...}由于joinedStream与coGroupedStream来自于一个特定的win
lmalds李麦迪·2016-08-01 15:12

storm概述

一、实时流计算互联网从诞生的第一时间起，对世界的最大的改变就是让信息能够实时交互，从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求，软件行业除了个人操作系统之外，数
tanggao1314·2016-07-23 14:00

Flink流计算编程--状态与检查点

1、Exactly_once简介Exactly_once语义是Flink的特性之一，那么Flink到底提供了什么层次的Excactly_once？有人说是是每个算子保证只处理一次，有人说是每条数据保证只处理一次。其实理解这个语义并不难，直接在官方文档中就可以看出：从图中可以看出：Exactly_once是为有状态的计算准备的！换句话说，没有状态的算子操作（operator），Flink无法也无需保
lmalds李麦迪·2016-07-21 18:53

Flink流计算编程--Kafka+Flink整合demo

1、简介1.1、KafkaConsumer提供了2种API：highlevel与lowlevel（SimpleConsumer）。（1）highlevelconsumer的API较为简单，不需要关心offset、partition、broker等信息，kafka会自动读取zookeeper中该consumergroup的lastoffset。（2）lowlevelconsumer也叫SimpleC
lmalds李麦迪·2016-06-29 11:13

Flink流计算编程--在双流中体会joinedStream与coGroupedStream

一、joinedStream与coGroupedStream简介在实际的流计算中，我们经常会遇到多个流进行join的情况，Flink提供了2个Transformations来实现。
lmalds李麦迪·2016-06-23 15:46

Flink流计算编程--在WindowedStream中体会EventTime与ProcessingTime

一、Flink流处理简介Flink流处理的API叫做DataStream，可以在保证Exactly-Once的前提下提供高吞吐、低延时的实时流处理。用Flink作为流处理框架成功的案例可参考Flink母公司–DataArtisans官方blog中的2篇文章：HowweselectedApacheFlinkasourStreamProcessingFrameworkattheOttoGroupBus
lmalds李麦迪·2016-06-17 14:41

Spark Streaming源码解析

透彻理解之一通过案例对SparkStreaming透彻理解之sparkstreaming运行机制与架构SparkStreaming的Exactly-One的事务处理基于案例一节课贯通SparkStreaming流计算框架的运行源码
海纳百川_spark·2016-06-09 21:45

Spark实时流计算Java案例

现在，网上基于spark的代码基本上都是Scala，很多书上也都是基于Scala，没办法，谁叫spark是Scala写出来的了，但是我现在还没系统的学习Scala，所以只能用java写spark程序了，spark支持java，而且Scala也基于JVM,不说了，直接上代码这是官网上给出的例子，大数据学习中经典案例单词计数在linux下一个终端输入$nc-lk9999然后运行下面的代码package
tanggao1314·2016-06-07 21:00

java-jstorm

jstorm是阿里巴巴开源的基于storm采用Java重写的一套分布式实时流计算框架，使用简单，特点如下：开发非常迅速:接口简单，容易上手，只要遵守Topology，Spout，Bolt的编程规范即可开发出一个扩展性极好的应用
youdianjinjin·2016-05-31 23:00

推荐 | 电信业网络质量实时分析模型解决方案

要想实现大规模流数据的实时分析，传统的IT系统已经无法支撑，因此，我们需要引入流计算平台，如IBMStreams。
chenjunji123456·2016-05-31 11:00

大数据与机器学习周报 第10期：Twitter Heron正式开源

业界新闻《重磅|TwitterHeron正式开源》：去年，Twitter对外宣布了新的分布式流计算系统Heron，随后消息称Twitter已经用Heron替换了Storm。
丁涛·2016-05-31 00:00

基于Flink的标准SQL操作支持

原文地址：stream-sql我的Flink系列实战文章地址：GithubRepo近年来，开源的分布式流计算系统层出不穷，引起了广泛的关注与讨论。
王下邀月熊_Chevalier·2016-05-30 00:00

spark简介

并且提供了用于机器学习(MLlib),流计算（Streaming）,图计算(GraphX)等子模块，1.4.0版本更是提供了与R语言的集成，这使得Spark几乎成为了多领域通吃的全能技术。
gongpulin·2016-05-29 23:00

spark streaming源码解读之基于贯通Spark Streaming流计算框架的运行源码

1在线动态计算分类最热门商品案例回顾与演示我们用SparkStreaming+SparkSQL来实现分类最热门商品的在线动态计算。代码如下：packagecom.dt.spark.streamingimportorg.apache.spark.SparkConfimportorg.apache.spark.sql.Rowimportorg.apache.spark.sql.hive.HiveCon
阳光男孩spark·2016-05-24 14:26

Spark 定制版：006~Spark Streaming源码解读之Job动态生成和深度思考

上节回顾上节课，主要是从SparkStreaming+SparkSQL来实现分类最热门商品的在线动态计算的事例代码开始，并通过Spark源代码给大家贯通SparkStreaming流计算框架的运行。并
zisheng_wang_DATA·2016-05-23 00:00

第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码

第一部分：在线动态计算分类最热门商品案例代码packagecom.dt.spark.sparkstreaming importcom.robinspark.utils.ConnectionPool importorg.apache.spark.SparkConf importorg.apache.spark.sql.Row importorg.apache.spark.sql.hive.HiveC
MichaelLi916·2016-05-21 17:00

DT大数据梦工厂Spark 定制班笔记(002)

除了流计算，其他的框架大多都是在SparkCor
ry076·2016-05-21 14:22

GPU工作原理，可编程渲染管线,图形流水线和GPU架构

人们很容易看到这种体系结构如何类似于中描述的流计算模型上一节。这种类型的固定结构的是，直到最近，计算机图形卡制造商的标准可循。虽然类似流计算模式，它提供了很少或没有编程的用户，因此，它是不
Leoysq·2016-05-19 22:06

流计算概述(一)

何为流计算？批计算是已经存在一堆数据，需要用一次计算把这堆数据处理完。而流计算是有一个源源不断的源头，是一个为了无止境的数据集设计的计算框架。
JasonLeeLz·2016-05-14 10:58

5.Spark Streaming流计算框架的运行流程源码分析

1sparkstreaming程序代码实例代码如下：object OnlineTheTop3ItemForEachCategory2DB {    def main(args: Array[String]){      val conf = new SparkConf() //创建SparkConf对象      //设置应用程序的名称，在程序运行的监控界面可以看到名称      conf.set
zhou_yuefei·2016-05-14 09:55

spark 版本定制 第5课：基于案例一节课贯通Spark Streaming流计算框架运行源码12

上文提到Job已经创建完成。先贴案例import org.apache.spark.SparkConf import org.apache.spark.streaming.{Durations, StreamingContext} /**   * 感谢王家林老师的知识分享   * 王家林老师名片：   * 中国Spark第一人   * 新浪微博：http://weibo.com/ilovepain
柯里昂·2016-05-12 15:00

5.Spark Streaming流计算框架的运行流程源码分析

阅读更多1sparkstreaming程序代码实例代码如下：objectOnlineTheTop3ItemForEachCategory2DB{defmain(args:Array[String]){valconf=newSparkConf()//创建SparkConf对象//设置应用程序的名称，在程序运行的监控界面可以看到名称conf.setAppName("OnlineTheTop3ItemF
zhou_yuefei·2016-05-11 14:00

5.Spark Streaming流计算框架的运行流程源码分析

阅读更多1sparkstreaming程序代码实例代码如下：objectOnlineTheTop3ItemForEachCategory2DB{defmain(args:Array[String]){valconf=newSparkConf()//创建SparkConf对象//设置应用程序的名称，在程序运行的监控界面可以看到名称conf.setAppName("OnlineTheTop3ItemF
zhou_yuefei·2016-05-11 14:00

第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码

本篇博文将从如下几点组织文章：一：案例演示二：源码分析一：案例演示这里只是贴出源码，后续会对改代码的实战和实验演示都会详细的补充。packagecom.dt.spark.sparkstreaming importorg.apache.spark.SparkConf importorg.apache.spark.sql.Row importorg.apache.spark.sql.hive.Hive
snail_gesture·2016-05-10 22:00

spark 版本定制 第5课：基于案例一节课贯通Spark Streaming流计算框架运行源码11

上文已经从源码分析了Receiver接收的数据交由BlockManager管理，整个数据接收流都已经运转起来了，那么让我们回到分析JobScheduler的博客中。 //JobScheduler.scalaline62 defstart():Unit=synchronized{ if(eventLoop!=null)return//schedulerhasalreadybeenstarted l
柯里昂·2016-05-10 18:00

spark 版本定制 第5课：基于案例一节课贯通Spark Streaming流计算框架运行源码10

上文从源码分析到 ReceiverSupervisorImpl已经实例化完成。关联下代码上下文 // ReceiverTracker.scala line 573     val supervisor = new ReceiverSupervisorImpl(       receiver, SparkEnv.get, serializableHadoopConf.value, checkpoin
柯里昂·2016-05-10 12:00

第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码（Spark streaming源代码导入IDEA）

 第5课：基于案例一节课贯通SparkStreaming流计算框架的运行源码1、在线动态计算分类最热门商品案例回顾演示2、基于案例贯通SparkStreaming的运行源代码 第一步，从IDEA中关联SparkStreaming
duan_zhihua·2016-05-10 10:00

spark 版本定制 第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码9

上文已经从源码分析到Receiver在Worker上的Executor运行，具体是通过ReceiverSupervisor来实现的。先回顾下在Executor执行的具体的方法实例化ReceiverSupervisorImplstart之后等待awaitTermination // ReceiverTracker.scala line 564 val startReceiverFunc: Itera
柯里昂·2016-05-10 06:00

第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码

今天早上的课是源码级别的，基于这4天的概念基础上，看看源码里是怎么运行我們寫程序的時候會有這兩句標準語句valconf=newSparkConf().setMaster("spark://HadoopM:7077").setAppName("WordCountOnline")valssc=newStreamingContext(conf,Seconds(5))然後去看看StreamingConte
IMF-无情JC·2016-05-09 21:00

第2课:通过案例对 spark streaming 透彻理解三板斧之二：spark streaming运行机制

本期内容：1.SparkStreaming架构2.SparkStreaming运行机制Spark大数据分析框架的核心部件：sparkCore、sparkStreaming流计算、GraphX图计算、MLlib
kaden·2016-05-09 20:12

spark 版本定制 第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码8

先贴下案例源码import org.apache.spark.SparkConf import org.apache.spark.streaming.{Durations, StreamingContext} /**   * 感谢王家林老师的知识分享   * 王家林老师名片：   * 中国Spark第一人   * 感谢王家林老师的知识分享   * 新浪微博：http://weibo.com/ilo
柯里昂·2016-05-09 19:00

spark 版本定制 第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码7

先贴下案例源码import org.apache.spark.SparkConf import org.apache.spark.streaming.{Durations, StreamingContext} /**   * 感谢王家林老师的知识分享   * 王家林老师名片：   * 中国Spark第一人   * 感谢王家林老师的知识分享   * 新浪微博：http://weibo.com/ilo
柯里昂·2016-05-09 13:00

spark 版本定制 第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码6

先贴下案例源码 import org.apache.spark.SparkConf import org.apache.spark.streaming.{Durations, StreamingContext} /**   * 感谢王家林老师的知识分享   * 王家林老师名片：   * 中国Spark第一人   * 感谢王家林老师的知识分享   * 新浪微博：http://weibo.com/il
柯里昂·2016-05-09 11:00

Spark 定制版：005~贯通Spark Streaming流计算框架的运行源码

本讲内容：a.在线动态计算分类最热门商品案例回顾与演示b.基于案例贯通SparkStreaming的运行源码注：本讲内容基于Spark1.6.1版本（在2016年5月来说是Spark最新版本）讲解。上节回顾上节课主要从事务视角为大家探索SparkStreaming架构机制；SparkStreaming程序分成而部分，一部分是Driver，另外一部分是Executor。通过对Driver和Execu
zisheng_wang_DATA·2016-05-09 01:00

spark 学习总结

一站解决所有问题热查询(Hive)批处理(MapReduce)实时流计算(Storm)回顾MapReduce的Shuffle过程见图hadoop慢DISKIO输入输出DISKIO，Shuffle阶段也是
杨仁召·2016-05-08 21:00

spark 版本定制 第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码5

先贴下案例源码 import org.apache.spark.SparkConf import org.apache.spark.streaming.{Durations, StreamingContext} /**   * 感谢王家林老师的知识分享   * 王家林老师名片：   * 中国Spark第一人   * 感谢王家林老师的知识分享   * 新浪微博：http://weibo.com/il
柯里昂·2016-05-08 15:00

基于案例一节课贯通Spark Streaming流计算框架的运行源码

在线动态计算分类最热门商品案例回顾与演示基于案例贯通SparkStreaming的运行源码使用SparkStreaming+SparkSQL来在线动态计算电商中不同类别中最热门的商品排名，例如手机这个类别下面最热门的三款手机。是用mysql数据库作为元数据库，使用Hive作为存储引擎，使用SparkSQL作为查询引擎。其中链接数据库代码如下： packagecom.dt.spark.com.d
cary_1991·2016-05-08 15:00

(版本定制)第5课：基于案例分析Spark Streaming流计算框架的运行源码

本期内容：1、在线动态计算分类最热门商品案例回顾与演示2、基于案例分析SparkStreaming的运行源码第一部分案例：package com.dt.spark.sparkstreamingimport com.robinspark.utils.ConnectionPoolimport org.apache.spark.SparkConfimport org.apache.spark.sql.R
18610086859·2016-05-08 15:01

第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码

通过以下案例切入对SparkStreaming流计算框架的运行源码的解读：package com.dt.spark.cores import org.apache.spark.SparkConf import
龚湄燕·2016-05-08 14:28

第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码

本期内容：1在线动态计算分类最热门商品案例回顾与演示2基于案例贯通SparkStreaming的运行源码一、案例代码在线动态计算电商中不同类别中最热门的商品排名，例如:手机类别中最热门的三种手机、电视类别中最热门的三种电视等packagecom.dt.spark.sparkstreamingimportorg.apache.spark.SparkConfimportorg.apache.spark
chinsun_1·2016-05-08 14:51

第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码

本期内容：1 在线动态计算分类最热门商品案例回顾与演示2 基于案例贯通SparkStreaming的运行源码一、案例代码在线动态计算电商中不同类别中最热门的商品排名，例如:手机类别中最热门的三种手机、电视类别中最热门的三种电视等packagecom.dt.spark.sparkstreaming importorg.apache.spark.SparkConf importorg.apache.s
chinsun_1·2016-05-08 14:00

spark 版本定制 第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码4

先贴下案例源码import org.apache.spark.SparkConf import org.apache.spark.streaming.{Durations, StreamingContext} /**   * 感谢王家林老师的知识分享   * 王家林老师名片：   * 中国Spark第一人   * 感谢王家林老师的知识分享   * 新浪微博：http://weibo.com/ilo
柯里昂·2016-05-08 13:00

贯通Spark Streaming流计算框架的运行源码(第五篇)

本期内容：基于简单案例贯通SparkStreaming的运行源码我们下面是依然一个单词计数的简单案例，来开启逐步揭秘SparkStreaming的运行源码之旅//新浪微博：http://weibo.com/ilovepains/ SparkConfconf=newSparkConf().setMaster("spark://Master:7077").setAppName("WordCountO
xiaojun220·2016-05-08 13:00

spark 版本定制 第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码3

先贴下案例源码 import org.apache.spark.SparkConf import org.apache.spark.streaming.{Durations, StreamingContext} /**   * 感谢王家林老师的知识分享   * 王家林老师名片：   * 中国Spark第一人   * 新浪微博：http://weibo.com/ilovepains   * 微信公众
柯里昂·2016-05-08 09:00

第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码

感谢DT大数据梦工厂支持提供以下内容，DT大数据梦工厂专注于Spark发行版定制。详细信息请查看联系邮箱[email protected]电话：18610086859QQ:1740415547微信号：18610086859
freshghost1·2016-05-08 09:00

版本定制第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码

本期内容：1、在线动态计算分类最热门商品案例回顾与演示2、基于案例贯通SparkStreaming的运行源码第一部分案例：package com.dt.spark.sparkstreamingimport com.robinspark.utils.ConnectionPoolimport org.apache.spark.SparkConfimport org.apache.spark.sql.R
lhui798·2016-05-07 23:00

第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码

packagecom.dt.spark.streaming_scalaimportorg.apache.spark.SparkConfimportorg.apache.spark.sql.Rowimportorg.apache.spark.sql.hive.HiveContextimportorg.apache.spark.sql.types.{IntegerType,StringType,Str
love205088·2016-05-07 21:51
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他