E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
JStorm
大数据
Java高级(虚拟机、并发)Linux基本操作Hadoop(HDFS+MapReduce+Yarn)HBase(JavaAPI操作+Phoenix)Hive(Hql基本操作和原理理解)KafkaStorm/
JStorm
ScalaPythonSpark
物流大师
·
2020-08-18 10:57
机器学习
大数据基础-Storm基础(一)
1、流式计算是什么流式计算:数据实时产生、数据实时传输、数据实时计算、实时展示代表技术:Flume实时获取数据、Kafka/metaq实时数据存储、Storm/
JStorm
实时数据计算、Redis实时结果缓存
weixin_40657079
·
2020-08-16 03:48
java
大数据
Storm
JStorm
与Storm源码分析(七)--BasicBoltExecutor与装饰模式
在Storm中IBasicBolt的主要作用是为用户提供一种更为简单的Bolt编写方式,更为简单体现在Storm框架本身帮你处理了所发出消息的Ack、Fail和Anchor操作,而这部分操作是由执行器BasicBoltExecutor实现的。下面我们看一下BasicBoltExecutor的源码:/***BasicBoltExecutor实现了IRichBolt接口*在该类中持有一个IBasicB
脑机接口社区
·
2020-08-14 02:32
storm源码阅读
JStorm源码分析
设计模式之旅
阿里巴巴java开发手册详解-工程结构 - (二) 二方库依赖
正例:com.taobao.
jstorm
或com.alibaba.dubbo.register2)ArtifactID格式:产品线名-模块名。语义不重复不
释然狗
·
2020-08-10 03:55
java基础
阿里巴巴开发手册
java
jstorm
使用demo
结合fieldsGrouping分组模式的一个
jstorm
使用实例,指定分组模式可以保证被指定的字段,如果相同值则tuple会分配给同个task处理。
洪流中的一介码农
·
2020-08-03 17:20
jstorm
Flink之如何处理反压问题
目前主流的流处理系统Storm/
JStorm
/SparkStreaming/Fli
未完待续z
·
2020-08-02 23:00
jstorm
概念
topology一个
JStorm
任务spoutspout代表输入的数据源,这个数据源可以是任意的,比如说kafka,DB,HBase,甚至是HDFS等,
JStorm
从这个数据源中不断地读取数据,然后发送到下游的
HanLaotwo
·
2020-08-01 10:24
笔记
Flink成为字节跳动流处理唯一标准
来源:字节跳动技术团队作者:张光辉·字节跳动By暴走大数据场景描述:本文将为大家展示字节跳动公司将
Jstorm
任务迁移到ApacheFlink上的整个过程以及后续计划。
run_bigdata
·
2020-07-31 23:15
Jstorm
初探
http://www.
jstorm
.io/https://github.com/alibaba/应用场景==》日志分析,从日志中分析出特定的数据,并将分析的结果存入外部存储器如数据库。
lmem
·
2020-07-28 00:21
jstorm
数据流分流和合并
参考:https://github.com/alibaba/
jstorm
/wiki/%E6%95%B0%E6%8D%AE%E6%B5%81%E5%88%86%E6%B5%81%E5%92%8C%E5%90%
21989939
·
2020-07-16 05:49
大数据(十五) -
JStorm
JStorm
是一个分布式实时计算引擎,是淘宝开源的随着Storm的规模越来越大,发现原有的很多Storm设计,只能适合小集群中运行,当集群规模超过100台时,均会出现一些或这或那的问题。
IT十年
·
2020-07-16 03:00
大数据
大数据江湖之即席查询与分析(中篇)--即席查询与分析的典型场景
(Batch),即席查询与分析(Ad-hoc),流计算(Stream);对于批处理和流计算,虽然小弟也略知一二,早在Hive还没出来之前,也是从一字一句的写MapReduce代码走过来的,还有后来作为
JStorm
vv8086
·
2020-07-15 02:18
即席查询与分析
JStorm
/Storm的调试:本地运行模式
最近正在学习使用
JStorm
,写了一个Topology,将程序打成jar包,提交到
JStorm
集群运行,但是并没有输出结果,反复检查代码,还是查不出错误,而且每次改正代码之后,都要重新打成jar,上传到集群
Jerry_Fu24
·
2020-07-15 00:20
Jstorm
大数据基础知识学习-----Storm学习笔记
批量存储数据、MapReduce批量计算数据、Hive批量计算数据流式计算是什么流式计算:数据实时产生、数据实时传输、数据实时计算、实时展示代表技术:Flume实时获取数据、Kafka实时数据存储、Storm/
JStorm
四川码匠
·
2020-07-14 17:16
大数据
Storm学习笔记总结
web项目技术选型
服务器:阿里云ecs+rdscentos6nginxjava1.7tomcat7(支持servlet3.1)(tomcat8对
jstorm
支持不好)mysqlspringspringMVCmybatisjqueryvelocityjackson
IT十年
·
2020-07-14 15:47
技术选型
web编程
初识
Jstorm
多个bolt应用
最近接到任务说要使用
jstorm
处理业务,之前没接触过,只能硬着头皮来,接下来谈谈我这两天的收获1,怎么了解
jstorm
,这个答案没什么固定的,但是我个人比较喜欢去看官方的文档,如果官方的文档实在找不到了
fox_mt
·
2020-07-11 06:22
jstorm
JStorm
Supervisor启动失败
某天线上
JStorm
集群某台supervisor物理故障重启之后,进入/home/admin/
jstorm
/bin执行.
Kevin.Yang
·
2020-07-09 21:22
Storm
Storm核心组件、编程模型
流式计算:数据实时产生、数据实时传输、数据实时计算、实时展示代表技术:Flume实时获取数据、Kafka/metaq实时数据存储、Storm/
JStorm
实时数据计算、Redis实时结果缓存、持久化存储
小猪Harry
·
2020-07-05 00:56
开源夏令营之
JStorm
Trident接口性能优化——开篇
1碎碎念首先我实在太幸运了,被选中参与这次开源夏令营,看来名字像男生还是有一定好处的,以后生孩子一定要起一个可男可女的名字!然后在调研提案的过程中,才发现自己的导师是个多么牛气冲天的大神,一定要好好做项目,不辜负导师也对得起自己。下面进入正题,若有错误,求批评指正,感激不尽。2前期调研2.1Storm初识Storm:一个开源的处理海量数据的分布式实时计算系统。说到海量数据处理,很多人就会想到Had
cxz0593
·
2020-07-01 21:38
开源夏令营
Jstorm
ACK 机制
https://github.com/alibaba/
jstorm
/wiki/Ack-%E6%9C%BA%E5%88%B6Storm也支持ACK机制(1)应用场景通过Ack机制,spout发送出去的每一条消息
lmem
·
2020-07-01 15:39
storm知识点
storm知识点关于Storm与
JStorm
的调度算法的讨论Storm性能优化例子图书Storm技术内幕与大数据实践192页Storm:大数据流式计算及应用实践storm1.0.0性能提升Storm1.0.0
Jason__Zhou
·
2020-07-01 14:44
storm
Storm核心组件、编程模型
流式计算:数据实时产生、数据实时传输、数据实时计算、实时展示代表技术:Flume实时获取数据、Kafka/metaq实时数据存储、Storm/
JStorm
实时数据计算、Redis实时结果缓存、持久化存储
数据萌新
·
2020-07-01 00:42
JAVA 面试题总结——微服务
阿里巴巴近几年对开源社区的贡献不论在国内还是国外都是引人注目的,比如:
JStorm
捐赠给Apache并加入Apache基金会等,为中国互联网人争足了面子,使得阿里巴巴在国人眼里已经从电商升级为一家科技公司了
狄狄呀
·
2020-06-29 02:23
面试造火箭
jstorm
2.4.0部署
zookeeper部署1)下载zookeepercd/datawgethttps://archive.apache.org/dist/zookeeper/stable/zookeeper-3.4.10.tar.gztar-xvfzookeeper-3.4.10.tar.gzln-szookeeper-3.4.10zookeepercdzookeepermvconf/zoo_sample.cfgco
曰十西言
·
2020-06-28 16:07
Docker 调试技巧
『重用』容器名但我们在编写/调试Dockerfile的时候我们经常会重复之前的command,比如这种dockerrun--name
jstorm
-zookeeperzookeeper:3.4,然后就容器名就冲突了
weixin_34244102
·
2020-06-28 14:21
[storm]内为什么选择clojure,而类似的
jstorm
的性能也不输它?
流式数据实时处理storm内为什么选择clojure,而类似的
jstorm
的性能也不输它?
葡萄喃喃呓语
·
2020-06-27 18:27
JStorm
:任务调度
转载自个人博客前一篇文章
JStorm
:概念与编程模型介绍了
JStorm
的基本概念以及编程模型方面的知识,本篇主要介绍自己对
JStorm
的任务调度方面的认识,主要从三个方面介绍:调度角色调度方法自定义调度
峰巢
·
2020-06-26 12:04
Storm解读之路(一、整体架构篇)
其实本来是打算这方面去研究
JStorm
的,听说更加优秀,而且是用Java写的,能看源码,但是工作为重。所以说,最近忙忙的,这系列写的也肯定快不了。
Diego_wztao
·
2020-06-26 11:37
Storm
日志监控告警系统的设计与实现
log4j---->error,info,debug应用程序程序的日志error级别TimeOutException角标越界IndexXXXException......Errorcom.alibaba.
jstorm
.daemon.worker.WorkerData
朱培
·
2020-06-26 07:15
大数据云计算
资深阿里程序猿深入讲解微服务架构在阿里的演化,越深入,越开心
像
JStorm
、Dubbo、Rocketmq等等一系列的开源产品,无论在GitHub还是Apache这些顶级项目上,都是非常火的项目。服务化缘起在2007年的时候,阿里技术研发
qq_41587754
·
2020-06-25 20:20
zookeeper安装以及使用
1、zookeeper简介zookeeper(以下简称ZK)是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop、Hbase、Kafka、
Jstorm
燕少༒江湖
·
2020-06-25 05:57
zookeeper
Storm/
JStorm
Acker机制
acker概述
JStorm
的acker机制,能够保证消息至少被处理一次(atleastonce)。也就是说,能够保证不丢消息。这里就详细解析一下acker的实现原理。
远o_O
·
2020-06-24 06:08
最火爆的开源流式系统Storm vs 新星Samza
data-flow主要是以数据块为数据源来处理数据,代表有:MR、Spark等,我称作它们为大数据,而streaming主要是处理单位内得到的数据,这种方式,更注重于实时性,主要包括Strom、
JStorm
hljlzc2007
·
2020-06-23 14:27
storm
Hadoop
厉害了Word哥!阿里巴巴73款开源产品最全总结全景图
Jstrom:"
JStorm
是参考storm的实时流式计算框架,在网络IO、线程模型、资源调度、可
emprere
·
2020-06-23 06:22
JStorm
ProcessLauncher进程不退出的问题
ps-elf|grepLauncher|wc-l发现有很多ProcessLauncher没有退出。检查supervisor的线程数jstack-l44493|grepwaitForProcessExit|wc-l发现supervisor中也存在非常多的线程处于等待进程退出的状态。数量和ProcessLauncher的数量一致。使用jstack工具,观察程序卡死位置。"main"#1prio=5os
define_us
·
2020-06-23 03:48
故障排查
java
大数据技术栈,主要有哪些
挨个技术去研究对比归类,大概总结出以下的技术点:文件存储:HadoopHDFS、GFS、KFS、Tachyon离线计算:HadoopMapReduce、Spark流式、实时计算:flink、Storm、
JStorm
非洲羚羊
·
2020-06-15 11:00
Storm核心组件、编程模型
流式计算:数据实时产生、数据实时传输、数据实时计算、实时展示代表技术:Flume实时获取数据、Kafka/metaq实时数据存储、Storm/
JStorm
实时数据计算、Redis实时结果缓存、持久化存储
weare_b646
·
2020-05-29 12:50
来自阿里的流处理框架:
JStorm
(转载)
关于流处理框架,在先前的文章汇总已经介绍过Strom,今天学习的是来自阿里的的流处理框架
JStorm
。
海宝_OceanBaby
·
2020-04-10 11:57
大数据学习技术指南
一、大数据通用处理平台1、Spark2、Flink3、Hadoop二、流式计算1、Storm/
JStorm
2、SparkStreaming3、Flink三、分布式存储1、HDFS四、资源调度1、Yarn2
lmem
·
2020-04-02 15:05
Jstorm
事务,实现Storm事务思想
https://github.com/alibaba/
jstorm
/wiki/%E4%BA%8B%E5%8A%A1storm的事务主要用于对数据准确性要求非常高的环境中,尤其是在计算交易金额或笔数,数据库同步的场景中
Albert陈凯
·
2020-03-31 10:52
jstorm
发布topology报地址被占用错误解决
报错信息如下:[INFO2017-03-3120:27:01b.s.m.TransportFactory:61main]TransportFactorymakeContextdone...[INFO2017-03-3120:27:01c.a.j.d.w.WorkerData:307main]Disruptorusesleep:true,limitedsize:true[INFO2017-03-31
topwqp
·
2020-03-30 14:21
JStorm
—实时流式计算框架入门介绍
JStorm
介绍
JStorm
是参考storm基于Java语言重写的实时流式计算系统框架,做了很多改进。如解决了之前的Stormnimbus节点的单点问题。
Andya_net
·
2020-03-20 16:00
JStorm
运行依赖storm-core的任务:依赖冲突与解决
JStorm
虽然用Java语言重新实现了storm,但是对于storm的external部分并未实现。
峰巢
·
2020-03-19 00:49
JStorm
:单词计数-开发示例
JStorm
:1、概念与编程模型
JStorm
:2、任务调度转载自个人博客示例功能说明:统计单词出现的次数,spout将持续输入的一句句话作为输入流,bolt将一句话分割成单词,最后统计每个单词出现的次数
峰巢
·
2020-03-14 18:05
jstorm
api
Mapconf=newHashMp();//topology所有自定义的配置均放入这个MapTopologyBuilderbuilder=newTopologyBuilder();//创建topology的生成器intspoutParal=get("spout.parallel",1);//获取spout的并发设置SpoutDeclarerspout=builder.setSpout(Sequen
lmem
·
2020-03-01 20:57
实时数据流式分析改变商业游戏规则
近些年,大数据流式处理的讨论热了起来,就在去年,阿里巴巴向apache基金会贡献了java语言版的
Jstorm
,国内的厂商或个人,随着技术的积累,正在逐步的加入这场世界变革当中。
Markwei
·
2020-02-25 07:16
JStorm
学习笔记 - 基本概念
JStorm
是一个分布式实时计算引擎。
FX_SKY
·
2020-02-23 05:53
jstorm
启动supervior进程获取主机为localhost报错
错误内容如下:截图如下:saging.netty.socket.backlog=500,worker.metric.report.frequency.secs=60,topology.alimonitor.metrics.post=false,supervisor.worker.shutdown.sleep.secs=1,process.launcher.sleep.seconds=20}[INF
topwqp
·
2020-02-11 06:44
分享|阿里官方Java代码规范标准《阿里巴巴Java开发手册》
阿里Java技术团队一手打造出Dubbo、
JStorm
、Fastjson等诸多流行开源框架,部分已成为Apache基金会孵化项目;阿里在Java后端领域支撑起全球访问量最大的服务器集群;Java代码构建的阿里双
OSET我要编程
·
2020-02-08 03:51
Java程序监控---Metrics
例如Hadoop,Kafka,Spark,
JStorm
中。有一些优点:提供了对Ehcache、ApacheHttpClien
李建明180
·
2020-02-04 12:00
上一页
1
2
3
4
5
6
7
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他