storm记录

实时计算开发-Storm从入门到精通

课程目标：【学习本课程可以掌握哪些技能】1、storm基本概念和组件介绍2、storm分组策略3、storm安装4、Storm记录级容错原理5、Storm配置详解6、storm基本api介绍7、StormTopology
liulang1957·2020-07-04 22:20

Storm记录级容错原理

Storm记录级容错的基本原理:首先来看一下什么叫做记录级容错？
Bloo_m·2020-02-25 11:16

Storm记录--12- Storm Transaction 原理+实战

Storm guarantees data processing by providing an at least once processing guarantee. The most common question asked about Storm is "Given that tuples can be replayed, how do you do things like countin
gl_windhome·2016-04-08 10:31

Storm记录--10- Storm消息机制

这章讨论Storm's reliability capabilities, 如何保证从spout emit出来的所有tuple都被正确的执行(fully processed)?What does it mean for a message to be "fully processed"?首先的问题是, 什么叫tuple或message被fully processed? 因为tuple被emit出去
gl_windhome·2016-04-08 10:43

Storm记录09- Storm Topology的并发度

StormTopology的并发度UnderstandingtheparallelismofaStormtopologyhttps://github.com/nathanmarz/storm/wiki/Understanding-the-parallelism-of-a-Storm-topology概念一个Topology可以包含一个或多个worker(并行的跑在不同的machine上),所以wo
gl_windhome·2016-04-08 10:54

Storm记录08--Storm基本API

Streams, 流流作为storm的核心概念, 定义为无限的tuple序列.   什么是tuple?       命名的value序列, 可以理解成Key/value序列, 每个value可以是任何类型, 动态类型不需要事先声明.       Tuple在传输中需要序列化和反序列化, storm集成了普通类型的序列化模块, 用户可以自定义特殊类型的序列化逻辑       A tuple is a
gl_windhome·2016-04-08 10:33

Storm记录01-- 实时计算系统

实时计算系统实时计算场景：伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨天在淘宝上买了一双袜
gl_windhome·2016-04-08 09:51

storm记录--12- Storm Transaction 原理+实战

Storm guarantees data processing by providing an at least once processing guarantee. The most common question asked about Storm is "Given that tuples can be replayed, how do you do things like countin
zlfwmm·2015-09-08 10:50

storm记录--11- Storm DRPC实战

DRPC ,Distributed Remote Procedure Call      RPC本身是个成熟和古老的概念, Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算DRPC, 只是storm应用的一个场景, 并且storm提供相应的编程框架, 以方便程序员提供DRPC server的实现, 并提供对DRPC场景经行封装的Topology 
zlfwmm·2015-09-02 10:57

storm记录--10- Storm消息机制

这章讨论Storm's reliability capabilities, 如何保证从spout emit出来的所有tuple都被正确的执行(fully processed)?What does it mean for a message to be "fully processed"?首先的问题是, 什么叫tuple或message被fully processed? 因为tuple被emit出去
zlfwmm·2015-08-26 10:34

storm记录--9- Storm Topology的并发度

StormTopology的并发度UnderstandingtheparallelismofaStormtopologyhttps://github.com/nathanmarz/storm/wiki/Understanding-the-parallelism-of-a-Storm-topology概念一个Topology可以包含一个或多个worker(并行的跑在不同的machine上),所以wo
zlfwmm·2015-08-26 10:23

storm记录--8-- Storm基本API

Streams, 流流作为storm的核心概念, 定义为无限的tuple序列.   什么是tuple?       命名的value序列, 可以理解成Key/value序列, 每个value可以是任何类型, 动态类型不需要事先声明.       Tuple在传输中需要序列化和反序列化, storm集成了普通类型的序列化模块, 用户可以自定义特殊类型的序列化逻辑       A tuple is a
zlfwmm·2015-08-12 15:37

storm记录--7-- Maven安装使用

Maven安装使用环境准备：JDK1.6Maven3.0.4mveclipse8.6.1（集成mveclipse）安装Maven之前要求先确定JDK已经安装配置完成，Maven是Apache下的一个项目。官网下载Mavenhttp://www.apache.org/dyn/closer.cgi/maven/binaries/apache-maven-3.0.4-bin.tar.gz下载完成后解压或
zlfwmm·2015-08-12 14:51

storm记录--6-- Storm的HelloWorld

Storm学习的HelloWorld1、下载Storm-start(https://github.com/nathanmarz/storm-starter/archive/master.zip)2、进入下载目录，对zip文件解压3、进入解压后的文件目录，修改m2-pom.xml（将twitter4j-core和twitter4j-stream替换为下面的部分）    org.twitter4j  
zlfwmm·2015-08-11 18:26

storm记录--5-- Storm集群安装

以下是依次需要完成的安装步骤一、安装JDK1.6二、安装Zookeeper三、安装zeromq-2.1.7四、安装jzmq五、安装Python-2.7.2六、安装unzip七、安装Storm一、下载并安装JDK1.6并设置环境变量，如：exportJAVA_HOME=/opt/java6exportPATH=$PATH:$JAVA_HOME/bin运行java、javac命令，测试java正常安装
zlfwmm·2015-08-11 13:07

storm记录--5-- Storm集群安装

以下是依次需要完成的安装步骤一、安装JDK1.6二、安装Zookeeper三、安装zeromq-2.1.7四、安装jzmq五、安装Python-2.7.2六、安装unzip七、安装Storm一、下载并安装JDK1.6并设置环境变量，如：exportJAVA_HOME=/opt/java6exportPATH=$PATH:$JAVA_HOME/bin运行java、javac命令，测试java正常安装
zlfwmm·2015-08-11 13:07

storm记录--4-- Storm适用场景

Storm适用场景流聚合：流聚合就是把两个或多个数据流聚合成一个数据流--基于一些共同的tuple字段。builder.setBolt(5,newMyJoiner(),parallelism) .fieldsGrouping(1,newFields("joinfield1","joinfield2")) .fieldsGrouping(2,newFields("joinfield1","joinf
zlfwmm·2015-08-10 17:37

storm记录--3--Storm的基本概念

首先我们通过一个storm和hadoop的对比来了解storm中的基本概念。HadoopStorm系统角色JobTrackerNimbusTaskTrackerSupervisorChildWorker应用名称JobTopology组件接口Mapper/ReducerSpout/Bolt接下来我们再来具体看一下这些概念。a、Nimbus：负责资源分配和任务调度。b、Supervisor：负责接受n
zlfwmm·2015-08-10 15:01

storm记录--2-- Storm是什么

Storm是什么：如果只用一句话来描述storm的话，可能会是这样：分布式实时计算系统。按照storm作者的说法，storm对于实时计算的意义类似于hadoop对于批处理的意义。我们都知道，根据googlemapreduce来实现的hadoop为我们提供了map,reduce原语，使我们的批处理程序变得非常地简单和优美。对比Hadoop的批处理，Storm是个实时的、分布式以及具备高容错的计算系统
zlfwmm·2015-08-10 15:23

storm记录--1-- 实时计算系统

实时计算系统实时计算场景：伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨天在淘宝上买了一双袜
zlfwmm·2015-08-10 14:20

storm记录--1-- 实时计算系统

实时计算系统实时计算场景：伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨天在淘宝上买了一双袜
zlfwmm·2015-08-10 14:20
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他