Strom

想转行大数据，开始学习 Hadoop？

这里给大家普及一下学习路线：hadoop生态圈——Strom——Spark——算法。
大数据森林·2019-07-14 23:00

Flink消费Kafka

Flink是由Apache开源的分布式流处理框架，常用来处理实时性的任务，与SparkStreaming和Strom功能上类似，具体选择需要根据业务场景来进行选择。
雷禄辉·2019-06-18 14:45

JDK1.8新增的Stream的使用及原理

ApacheFlink的时候，经常遇到算子运算，其实这就是一种最常用的Stream流编程运算，今天就来研究一下Java的JDK1.8提供的Stream流式编程，以便对后续学习Flink和Spark还有Strom
leehsiao·2019-06-10 17:34

Strom完整攻略（一）

前言Strom特点进程常驻内存，数据不经过磁盘，在内存中处理，速度非常快，可以达到毫秒（秒）级别Storm数据传输采用Netty，基于NIO，更加高效，早期采用ZMQ,但是ZMQ和Strom的license
叫我不矜持·2019-06-03 10:00

storm安装

下载安装包前往官网下载安装包apache-storm-1.2.2.tar.gzhttp://storm.apache.org/启动Zookeeper配置strom.yaml可以根据官网的默认yaml文件配置
神秘的W·2019-06-01 13:06

学习hadoop遇到的问题（关于hive动态分区问题，当strom自动往hive表对应的文件下写数据时，在hive中查询不到数据，得修复一下）

分区表分区表实际就是对应hdfs文件系统上的的独立的文件夹，该文件是夹下是该分区所有数据文件。分区可以理解为分类，通过分类把不同类型的数据放到不同的目录下。分类的标准就是分区字段，可以一个，也可以多个。分区表的意义在于优化查询。查询时尽量利用分区字段。如果不使用分区字段，就会全部扫描。在查询是通过where子句查询来指定所需的分区。样例createexternaltableifnotexistse
小马的学习笔记·2019-04-24 11:50

Strom

StromStrom简介（官网http://storm.apache.org/）Strom计算模型StromAPISpout继承BaseRichSpout重写其方法:Bolt继承BaseRichBolt
qq_21244099·2019-04-19 08:07

kafka基本概念

2，消息持久化，可以达到0（1）的访问速度，因为支持预读和后写功能3，kafka目标成为队列平台，strom则是流式计算框架4，kafka包含一些组件：Broker:每一台机器叫一个brokerProducer
000000_cy·2019-04-10 10:17

PG-Strom学习总结

PG-Strom学习总结PG-Strom是一个PostgreSQL的扩展模块，是连接PostgreSQL和GPU的桥梁，利用GPU来加速SQL上的操作。
Han_L·2019-03-26 10:09

storm的基本概念安装测试

strom简介官方网址：http://storm.apache.org/是一个免费，开源的分布式实时计算系统，使用它可以轻松实现数据流的实时处理，Strom很简单，可以用任何编程语言storm用例：实时在线分析机器学习
马吉辉·2019-02-21 16:56

大数据常用技术介绍-Sqoop、Flume、Kafka、MapReduce、Hive、Spark、Strom、Beam等

数据采集传输主要技术分为两类，一类是离线批处理、另一类是实时数据采集和传输离线批处理最有名的是Sqoop、实时数据采集和传输最为常用的是Flume和KafkaSqoop：一款开源的离线数据传输工具，主要用于Hadoop（Hive）与传统数据库（Mysql、Oracle）之间数据传递。Flume：实时日志采集平台，一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Kafka：通常来说Flu
凹谷·2019-02-20 15:27

Lambda 架构详解-2

可参见：2.架构之组成2.1batchlayer如图可知，优选是Hive和Pig，次选是Spark、Hadoop；2.2speedlayer如图可知，优选是SparkStreaming和Strom，次选是
似梦似意境·2019-01-17 18:09

基于Hadoop大数据分析应用场景与实战

目前主流的三大分布式计算系统分别为:Hadoop、Spark和Strom：Hadoop当前大数据管理标准之一，运用在当前很多商业应用系统。可以轻松地集成结构化、半结构化甚至非结构化数据集。
沙漏半杯·2018-12-30 12:18

Storm框架：Storm整合springboot

那么如何在Strom框架中集成Springboot使得我们能够在Storm开发中运用Spring的Ioc容器及其他如SpringJpa等功能呢？
哦哦002·2018-11-25 20:22

分布式storm-1.2.2

那么还需要配置#strom.zookeeper.port）storm.zookeeper.servers:     -"master"     
林与夕·2018-11-01 22:00

高性能的序列化与反序列化：kryo的简单使用

前言：kryo是个高效的java序列化/反序列化库，目前Twitter、yahoo、Apache、strom等等在使用该技术，比如Apache的spark、hive等大数据领域用的较多。
eguid·2018-09-18 09:00

strom基础

strom经典图谱：strom基础TopologiesStreamsSpoutsBoltsStreamgroupingsReliabilityTasksWorkersConfiguration1、Topologies
rockytsaidream·2018-09-13 22:02

大数据的 "虚火" ：浅析国内外分布式计算现状

分布式计算系统在国外已经有了很多成熟的开源系统，比如比较有名的Hadoop，Spark，Strom等。
dreamcode·2018-09-04 23:06

Storm+Hbase广告实时统计

本文主要讲述使用Kafka+Strom+Hbase搭建的一套广告实时计算系统。
阿坤的博客·2018-08-10 17:21

Strom的描述和安装

一，Strom的特点1，架构：1.1，Nimbus1.2，Supervisor1.3，Worker2.2，编程模型：2.1，DAG2.2，Spout2.3，Bolt3，数据传输：3.1，ZmqZmq也是开源的消息传递的框架
IT影风·2018-07-23 23:01

kafka整合strom代码实例讲解

strom整合kafka关键就是以strom中的spout当作kafka的消费者来接收生产者传入的数据。画一个简单的图：好了，接下来我们直接上代码！
wanghuichen·2018-07-10 15:41

学习笔记-Storm

Strom特点：时效性高，低延迟逐条处理数据没持久化层，支持多语言本地模式，可模拟集群所有功能使用原语（spout和bolts）类似于MapReduce中的Map和ReduceStorm启动就没有结束，
Jameslvt·2018-07-05 14:31

Hadoop大数据分析应用场景

目前主流的三大分布式计算系统分别为:Hadoop、Spark和Strom：Hadoo
假的鱼·2018-06-02 19:10

【Strom篇】Flume+Kafaka+Strom整合完成信息记录

第一部分：流程分析由flume收集客户端发送的信息，经过kafka集群消费者收集，然后给storm集群数据处理（数据清洗），最后再发给kafka集群收集。第二部分：集群搭建flume+kafka一、配合flume修改flume-env.sh里的JAVA_HOME的位置，（flume仅修改此处）（若查看flume的版本通过：./binflume-ngversion）二、创建fk.conf（flume
塵世星空·2018-05-06 18:56

Storm笔记整理（二）：Storm本地开发案例—总和计算与单词统计

[TOC]概述在Strom的API中提供了LocalCluster对象，这样在不用搭建Storm环境或者Storm集群的情况下也能够开发Storm的程序，非常方便。
xpleaf·2018-04-12 21:52

kafka Streams学习

kafkaStreams学习牢记KafkaStreams是一个Java类库，不是一个流处理框架，这点和Strom等流处理框架有明显的不同什么是流？无边界（源源不断）数据集的抽象表示。
ruitu-ruiyou·2018-03-12 11:00

高性能的序列化与反序列化：kryo的简单使用

前言：kryo是个高效的java序列化/反序列化库，目前Twitter、yahoo、Apache、strom等等在使用该技术，比如Apache的spark、hive等大数据领域用的较多。
本博客已停止维护！-eguid·2018-02-12 14:49

Spring boot集成Kafka+Storm的示例代码

前言由于业务需求需要把Strom与kafka整合到springboot项目里,实现其他服务输出日志至kafka订阅话题,storm实时处理该话题完成数据监控及其他数据统计,但是网上教程较少,今天想写的就是如何整合
LeeZer·2017-12-31 10:33

Spring boot 集成 kafka及storm

转载请注明作者及出处前言由于业务需求需要把Strom与kafka整合到springboot项目里,实现其他服务输出日志至kafka订阅话题,storm实时处理该话题完成数据监控及其他数据统计,但是网上教程较少
LeeZerrr·2017-12-30 17:55

Storm的并行度详解 Strom Topology执行分析：worker数，Bolt实例数，executor数，task数

那strom是如何提高并行度的呢？Strom程序的执行是由多个supervisor共同执行的。
首席撩妹指导官·2017-12-13 21:01

滴滴第一期技术沙龙

了解到现在的Hadoop社区主要包括如下工具：HDFS(hdaoop文件系统)、MapReduce（一次性的任务计算框架）、Hive、Hbase（相当于数据库）、Spark（时间段内的实时处理）、strom
湘江北去2016·2017-11-19 15:06

Storm 核心概念及工作原理

Strom简介ApacheStorm（http://storm.apache.org）是由Twitter开源的分布式实时计算系统，Storm可以非常容易并且可靠的处理无线的数据流，对比Hadoop的批处理
C_FuL·2017-11-10 10:28

vscode+sftp 开发模式环境的同步

背景项目用到连接远程测试服务器进行开发联调；需要借用FTP/SFTP工具；在strom编辑器能够快速的配置起来；但是在vscode下；需要安装SFTP/FTP的扩展插件才能同步代码实现首先vscode中安装插件
songxianling1992·2017-11-03 00:00

基于Hadoop大数据分析应用场景与实战

目前主流的三大分布式计算系统分别为Hadoop、Spark和Strom：Hadoop
csdn郭芮·2017-09-29 16:57

基于Hadoop大数据分析应用场景与实战

目前主流的三大分布式计算系统分别为:Hadoop、Spark和Strom
Mc顽固份子·2017-09-28 14:05

CentOS安装strom、zeroMQ

strom安装需要：ZooKeeper，用于协调集群，不用于消息传递。ZeroMQ：C++实现的消息队列。
奔跑的龙二·2017-09-22 17:23

流式计算storm，spark文章

http://www.csdn.net/article/2012-12-24/2813117-storm-realtime-big-data-analysis主要讲strom组件。
Beeman_xia·2017-06-15 23:58

Storm学习笔记（一）

二、Strom结构
HaigLee·2017-05-08 02:26

storm笔记：storm基本概念

本文主要介绍storm中的基本概念，从基础上了解strom的体系结构，便于后续编程过程中作为基础指导。
看山灬·2017-04-12 15:32

storm笔记：storm集群

Strom集群结构是有一个主节点（nimbus）和多个工作节点（supervisor）组成的主从结构，主节点通过配置静态指定（还有一种主从结构是在运行时动态选举，比如zookeeper）。
看山灬·2017-04-12 15:53

Apache ranger 简介、原理、安装部署

二、Ranger支持服务或组件Ranger支持的服务有HDFS、Hbase、Hive、Yarn、Strom、Kafka、Knox、So
河南骏·2017-03-30 15:40

自我介绍

在本科前两年敲过很多C、C++、java、shell等语言的代码，后来由于巧合开始研究数据库，并已经获取OCP认证，对OCM的绝大部分课程也有所研究；到了大四的时候也是无意之间接触到了hadoop、strom
kencao123121212·2016-12-25 16:57

Strom部署安装

Strom部署安装[root@python~]#ifconfigeth0Linkencap:EthernetHWaddr00:0C:29:1D:C6:CCinetaddr:10.0.0.9Bcast:10.0.0.255Mask
ywb89757·2016-11-01 00:38

Storm平台遇到的那些坑

平台建设过程中总会遇到很多挑战，目前我在Strom平台这些方面踩过坑，简单总结一下。
woodding2008·2016-10-02 02:00

Storm的wordcount实战示例

阅读更多有关strom的具体介绍，本文不再过多叙述，不了解的朋友可参考之前的文章http://qindongliang.iteye.com/category/361820本文主要以一个简单的wordcount
qindongliang1922·2016-09-18 17:00

Storm的wordcount实战示例

有关strom的具体介绍，本文不再过多叙述，不了解的朋友可参考之前的文章http://qindongliang.iteye.com/category/361820本文主要以一个简单的wordcount例子
qindongliang1922·2016-09-18 17:00

Storm的wordcount实战示例

阅读更多有关strom的具体介绍，本文不再过多叙述，不了解的朋友可参考之前的文章http://qindongliang.iteye.com/category/361820本文主要以一个简单的wordcount
qindongliang1922·2016-09-18 17:00

Strom最火的流式处理

实现一个实时计算系统全量数据处理使用的大多是鼎鼎大名的hadoop或者hive，作为一个批处理系统，hadoop以其吞吐量大、自动容错等优点，在海量数据处理上得到了广泛的使用。但是，hadoop不擅长实时计算，因为它天然就是为批处理而生的，这也是业界一致的共识。否则最近这两年也不会有s4,storm,puma这些实时计算系统如雨后春笋般冒出来啦。先抛开s4,storm,puma这些系统不谈，我们首
张润森的博客·2016-08-30 16:34

Strom学习（二）----Storm计算模型

阅读更多Storm计算模型是一个DAG的计算模型，而且Storm是把DAG和流式计算结合起来。在Storm的DAG模型里面，最关键的点是Topology，Topology是Storm计算模型DAG的一个体现，也是Storm里面DAG的实现。DAG是一个有向无环图结构。一个Topology和一个job相似，是一个app的打包运行实例，Topology会被提交到Storm平台上去运行，Storm上跑的
雨落千木·2016-08-28 22:00

strom之Worker、executor、task详解

Storm在集群上运行一个Topology时，主要通过以下3个实体来完成Topology的执行工作：1.Worker（进程）2.Executor（线程）3.Task下图简要描述了这3者之间的关系：上图和下面这张图一样看看官网的对这部分的讲解ExampleofarunningtopologyThefollowingillustrationshowshowasimpletopologywouldloo
tanggao1314·2016-08-19 15:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他