JStorm

JStorm源码分析-5.Supervisor

1.启动Supervisor启动Supervisor时，只需要输入jstormsupervisorjstorm.py脚本会将supervisor子命令解析为如下命令：java-server-Djstorm.home
史圣杰·2024-02-20 17:52

微服务 - 微服务哪些框架

阿里巴巴近几年对开源社区的贡献不论在国内还是国外都是引人注目的，比如：JStorm捐赠给Apache并加入Apache基金会等，为中国互联网人争足了面子，使得阿里巴巴在国人眼里已经从电商升级为一家科技公司了
撸帝·2024-02-11 08:29

JStorm源码分析-6.Worker

1.程序分析1.1入口JStorm源码分析-5.Supervisor中的最后，我们已经知道了Worker由com.alibaba.jstorm.daemon.worker.Worker启动。
史圣杰·2024-01-18 01:44

用python抓取yarn和jstorm界面资源信息在grafana展示

背景：大数据系统分布式计算和存储强大功能推动了科技的进步，而在大数据运维过程中计算资源是时刻要关注的指标。为了能够快速了解集群资源使用率，写了个python脚本将数据入到MySQL，再通过grafana在界面进行展示，当然可以把数据落到时序数据库：tdengine或opntsdb上。本文只用于交流和学习。#！/usr/bin/envpython3#-*-coding:UTF-8-*-#抓取yarn
运维仙人·2024-01-04 07:29

Flink CDC 1.0至3.0回忆录

FlinkCDC2.0：成长突破4.1DBlog无锁算法4.2FLIP-27架构实现4.3整体流程五、FlinkCDC3.0：应运而生六、FlinkCDC的影响和价值七、结语一、引言回想起2020下半年，刚从Storm/JStorm
乙真仙人·2023-12-25 15:01

大数据-Storm流式框架（四）---storm容错机制

可以搭建HAjStorm搭建nimbus的HAnimbus的信息存储到zookeeper中，只要下游没问题（进程退出）nimbus退出就不会有问题，如果在nimbus宕机，也不能提交作业。
30岁老阿姨·2023-10-26 15:35

JStorm源码分析-7.Ack机制的实现

1.Ack的使用通过Ack机制，spout发送出去的每一条消息，都可以确定是被成功处理或失败处理。，从而可以让开发者采取动作。比如成功被处理，即可更新偏移量，当失败时，重复发送数据。spout发送的每一条消息：在规定的时间内，spout收到Acker的ack响应，即认为该tuple被后续bolt成功处理在规定的时间内，spout没有收到Acker的ack响应tuple，就触发fail动作，即认为该
史圣杰·2023-10-23 15:20

Flink如何处理反压问题

目前主流的流处理系统Storm/JStorm/SparkStreaming/Fli
灵境旅行家·2023-09-02 06:13

Jstorm到Flink 在今日头条的迁移实践 转

然后在使用Jstorm的过程中，增加了一层模板主要应用于storm的计算模型，使用的语言是python。所以说中间相对抽象了一个schema，跑在最下面一层Jstorm计算引擎的上面。
生活的探路者·2023-08-16 00:34

Blink学习（一）：运行状态管理

Blink是一个非常优秀的流处理任务开发框架，相对于之前的jstorm开发框架，它最显著的特点是具备非常完备的状态管理体系，解决了流处理任务中让人非常头疼的“保证EXACTLYONCE的错误断点恢复”问题
WanderingScorpion·2023-07-21 20:16

JStorm基础问题

com.alibaba.jstorm.task.TaskpublicTask(WorkerDataworkerData,inttaskId)throwsException
w黄杨w·2023-04-14 08:16

Flink 笔记01：安装部署与快速入门

/Flink笔记01：安装部署与快速入门一、课程回安排与内容提纲大数据技术框架转折点：2017年，天猫双十一大屏展示，由以前JStorm框架变为Blink（Flink）。
章鱼哥TuNan&Z·2023-04-03 03:55

JStorm学习

2基本概念2.1StreamJStorm包含抽象的概念流，流是一个连续的无界Tupl
MechelleWang·2023-03-15 19:27

阿里超大规模 Flink 集群运维体系介绍

大家熟悉的Jstorm
·2022-04-21 10:44

Storm核心组件、编程模型

流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储
__豆约翰__·2021-12-03 13:33

jstorm QA

1、topology和nimbus以及worker的关系，如何进行通信，nimbus如何高HA2、Worker，Excutor以及task之间的关系3、Acker如何工作？使用zookeeper时，建议使用curator，但不要使用过高的curator版本.Curator是Netflix开源的一套ZooKeeper客户端框架.Netflix在使用ZooKeeper的过程中发现ZooKeeper自带
topwqp·2021-06-25 07:28

JStorm使用问题

基本执行流程以SequenceTopology为例，其加载流程为：用户提交拓扑的时候，会先将自己的代码打成jar包，通过nimbus提交拓扑到集群nimbus执行jar时调用StormSubmitter.submitTopology，通过TopologyBuilder来创建拓扑的基本结构(即为spout和bolt创建了对象实例)，并设置一些相关的conf接着将创建出来的拓扑对象进行序列化，通过ni
w黄杨w·2021-06-04 09:25

《编程狂人》第一零一期，程序员必看的技术周刊

业界新闻数据可视化平台Plotly开源强大的JS图表库GitLab宣布支持Git大文件存储(GitLFS)封仲淹：Storm2.0将会基于JStorm，阿里巴巴全程参与Flutter：Google工程师开发的针对
推酷·2021-05-11 23:50

Storm核心组件、编程模型

流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储
piziyang12138·2021-04-27 06:05

Flink 原理与实现：如何处理反压问题

目前主流的流处理系统Storm/JStorm/SparkStreaming/Fli
尼小摩·2021-04-17 23:30

【中间件2】在虚拟机搭建JStrom

安装包2.1.2解压zookeeper安装包2.1.3设置环境变量2.1.4配置zoo.cfg2.1.5启动zookeeper3.3.2例子3.3.3在提交jar的节点上执行3.4在tomcat服务器安装JStormWebUI
Wu_Being·2020-09-15 20:39

基于Docker Swarm的JStorm集群实践

现在是9102年,虽然JStorm已经过时了,DockerSwarm也是明日黄花,但是这一点也不妨碍我写下这篇文章?
timestatic·2020-09-15 08:11

浅谈代码如何进行分层设计

产生背景业务复杂、需求不断、人员变更快、问题多等诸多原因导致项目分层混乱，服务技术是基于PaaS开发的服务定义JstormTopo的一个分布式服务。
飘叶入海·2020-09-14 12:31

大数据学习笔记之Storm（一）：Storm

MapReduce批量计算数据、Hive批量计算数据1.2流式计算是什么流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka实时数据存储、Storm/JStorm
Leesin Dong·2020-09-13 18:38

实战SparkStream+Kafka+Redis实时计算商品销售额

天猫这个大屏后面的技术应该是使用流计算，阿里使用Java将Storm重写了，叫JStrom(https://github.com/alibaba/jstorm)，最近学习SparkStream和Kafka
赵侠客·2020-08-26 09:44

实战SparkStream+Kafka+Redis实时计算商品销售额

天猫这个大屏后面的技术应该是使用流计算，阿里使用Java将Storm重写了，叫JStrom(https://github.com/alibaba/jstorm)，最近学习SparkStream和Kafka
小小的_我·2020-08-26 09:21

流式计算、实时计算和离线计算

1、流式计算流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存
风雅车手·2020-08-24 20:44

org.apache.storm.zookeeper.KeeperException.SystemErrorException

java.lang.NoClassDefFoundError:org/apache/storm/zookeeper/KeeperException$SystemErrorException原因，该类在storm中定义，平台为jstorm
feng348·2020-08-24 00:23

Flink 原理与实现：如何处理反压问题

目前主流的流处理系统Storm/JStorm/SparkStreaming/Fli
weixin_33725239·2020-08-23 03:55

天池阿里中间件性能挑战赛

一、这次用到的技术是阿里的开源几个框架，JStorm-2.1.1，RocketMQ-3.2.6，Tair-2.3.5；考察点：（1）只要满足功能要求即可，让选手自己学会如何使用RocketMQ／JStorm
jiji87432·2020-08-22 21:52

Spark Streaming基础

与SparkStreaming相反把离散的数据，当成流式数据来处理4、JStorm一
weixin_34061555·2020-08-21 06:02

Flink简介及使用

一、Flink概述官网：https://flink.apache.org/mapreduce-->maxcomputeHBase-->部门quickBIDataVHive-->高德地图Storm-->Jstorm
weixin_30378623·2020-08-21 06:26

Flink如何取代JStorm，成为字节跳动流处理唯一标准？

AI前线导读：本文将为大家展示字节跳动公司将Jstorm任务迁移到ApacheFlink上的整个过程以及后续计划。
cpongo4'"\?;@·2020-08-21 03:11

java中list的add与addall方法区别

在做项目时我遇到过这样的问题，java.lang.ClassCastException:java.util.ArrayListcannotbecasttocom.alibaba.getter.jstorm.biz.domain.Page
千丈·2020-08-19 18:22

shell脚本监控Jstorm主从节点进程，无进程自动重启

二、配置思路通过监测服务进程查看服务是否运行，当服务进程不存在进行自重启配置Jstorm主节点配置jstorm从节点supervisor进行重启三、配置方法1.配置jstorm主节点主节点涉及到两个进程
暖暖miss·2020-08-18 14:23

JStorm

一、定义JStorm是一个分布式实时计算引擎，是一套基于流水线的消息处理机制。
ziyanglitao·2020-08-18 13:42

Jstorm + kafka 运用demo

首先jstorm得概念请参考官网：点击打开链接，官网实例：点击打开链接运行Jstorm可分为本地调试和分布式环境1.先说分布式环境，首先搭建zookeeper集群点击打开链接2.搭建kafka集群点击打开链接
zhucegemingzizheng·2020-08-18 13:09

Jstorm基础架构

JstormZK路径/-{storm.zookeeper.root}--Jstorm在zookeeper上的根目录,需要在jstorm中配置~/.jstorm/storm.yaml|||-/nimbus_master
glowd·2020-08-18 12:28

Jstorm 基本概念

本质基于消息的流水线处理模型是一套类似MapReduce一样的编程模型内核是一套调度系统适合的业务高并发的计算任务数据流之间相互无依赖编程模型Topology：即一个数据流的拓扑结构，包含多个Spout和BoltSpout：从外部获取数据，包含DB，Hbase，Kafka等Bolt：计算单元，系统内计算流转数据角色Nimbus：资源调度角色，可主备Supervisor：接受nimubs任务安排，启
glowd·2020-08-18 12:57

JStorm介绍

一、简介Storm是开源的分布式容错实时计算系统，目前被托管在GitHub上，遵循EclipsePublicLicense1.0。最初由BackType开发，现在已被Twitter收入麾下。Storm最新版本是Storm0.9，核心采用Clojure实现。Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息；Storm也可被用于“连续计算”（continuouscom
cache007·2020-08-18 12:07

Jstorm到Flink 在今日头条的迁移实践

本文将为大家展示字节跳动公司怎么把Storm从Jstorm迁移到Flink的整个过程以及后续的计划。你可以借此了解字节跳动公司引入Flink的背景以及Flink集群的构建过程。
赵慧@Flink China·2020-08-18 12:25

Storm集群的搭建和使用入门

2013年前后，阿里巴巴基于storm框架，使用java语言开发了类似的流式计算框架佳作，Jstorm。
微信用户_43167990·2020-08-18 12:52

storm中fieldsGrouping的分配策略实质

在storm和jstorm中，fieldsGrouping是按指定字段进行分组，相同的指定字段的值都会分到同一个组里面，那么不同的值是怎么分组的？分配策略的实质是什么？
技术少有新鲜事·2020-08-18 11:58

Jstorm源码分析--kill、rebanlance、activate、deactivate方法流程

这几个kill、rebanlance、activate、deactivate方法放在一起分析，是因为他们都依赖于nimbus定义的通用的状态转移方法：transitionName********************************************这里只具体分析kill方法*********************************一：初始化LocalCluster同拓扑提
元气-monica·2020-08-18 11:52

JStorm－介绍-阿云栖社区

摘要：1.概述JStorm是一个类似于Hadoop的MapReduce的计算系统，它是由Alibaba开源的实时计算模型，它使用Java重写了原生的Storm模型（Clojure和Java混合编写的），
liutong123987·2020-08-18 11:43

大数据流处理框架对比

大数据流处理框架对比流处理框架FlinkSparkStreamingStormKafkaStreams交付保障数据一致性故障容错状态管理流处理的两种类型Native流小批量/微批处理microbatch延迟vs吞吐量Stormjstorm
lilenglya·2020-08-18 11:06

JStorm源代码阅读-bolt/spout的执行

无论是bolt还是spout，线程使用Runnable对象都是AsyncLoopRunnablepublicclassAsyncLoopRunnableimplementsRunnable{privateRunnableCallbackfn;//RunnableCallbackimplementsRunnable,Callback,Shutdownable，实际执行的executor类。priva
define_us·2020-08-18 11:40

Jstorm最佳实践

在拓扑提交过程中，不能实例化没有实现序列化接口的对象。可以通过传递参数的方式，在bolt的prepare中实例化推荐一个worker运行2个task减少拓扑层数，随着拓扑层数的增加，系统吞吐率下降，同时CPU利用率一直在上升，网络带宽未达到极限；最好设置topology.max.spout.pending，这样可以避免长时间的响应，以及抖动。设置topology.max.spout.pending
glowd·2020-08-18 10:13

JStorm学习笔记-基于Kafka、ElasticSearch、HBase简单实例

相关依赖如下：2.7.21.2.30.10.0.02.2.15.3.0org.apache.hbasehbase-common${hbase.version}org.slf4jslf4j-log4j12org.apache.hbasehbase-server${hbase.version}org.slf4jslf4j-log4j12io.nettynetty-allorg.apache.hbase
人生偌只如初见·2020-08-18 10:39

storm1.x支持主节点nimbus高可用 多master集群部署

（阿里在很早的时候就对storm进程了重写，提供了jstorm，后期jstorm也加入到apachestorm负责使用java对sto
奔跑-起点·2020-08-18 10:40
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他