流式计算

大数据基础知识学习-----Storm学习笔记（一）概述

Storm概述离线计算是什么离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据流式计算是什么流式计算
四川码匠·2018-06-05 14:01

大数据笔记（六）：Spark

执行引擎以支持循环数据流与内存计算•容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过SparkShell进行交互式编程•通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算
Ding_xiaofei·2018-05-30 23:16

Flume学习总结

-Flume定义Flume是分布式，高可用，基于流式计算的，用于收集、聚合、移动大量日志数据的框架。
666呀·2018-05-30 23:08

spark大数据架构初学入门基础详解

Spark是什么a)是一种通用的大数据计算框架b)SparkCore离线计算SparkSQL交互式查询SparkStreaming实时流式计算SparkMLlib机器学习SparkGraphX图计算c)
假的鱼·2018-05-28 17:44

关于DTCC数据库技术大会

专场较多，有选择地主要听了大数据实践跟流式计算这块。网易跟滴滴的分享比较不错。了解到了现在大家是用sparkstreaming/Flink来进行流式计算的比较多。
姚毛毛·2018-05-13 10:00

职场反思及感悟(不断更新中)

背景1：今天领导问我以前做的流式计算项目，结果回答的很不好。反思：以后遇到这种问题，从以下几个方面讲解：1.项目背景。大概讲解下项目要做什么，实现什么功能，需要解决什么问题；2.具体做法。
飞魔006·2018-05-12 14:31

Spark Streaming初步使用以及工作原理详解

一、流式计算1.什么是流？Streaming：是一种数
不清不慎·2018-05-12 13:35

实时计算、离线计算、流式计算、批量计算 之间的关系

流式计算的上游算子处理完一条数据后，会立马发送给下游算子，所以一条数据从进入流式系统到输出结果的时间间隔较短（当然有的流式系统为了保证吞吐，也会对数据做buffer）。这样的结果就是：批量计算往往得
运猫·2018-04-30 22:04

Apache 流框架 Flink，Spark Streaming，Storm对比分析（二）

SparkStreaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark，也就是把SparkStreaming的输入数据按照batchsi
weixin_34320159·2018-04-27 06:26

“淘宝京东”构建流式计算卖家日志系统架构的应用实践

阅读更多引言本文给大家讲述的是我们如何去构建一个日志系统，用到了那些技术，为什么用这些技术，并且讲述了遇到的问题及优化的过程，希望给大家在实践中能够提供一些参考。最近在维护一个有关于日志的项目，这个项目是负责收集、处理、存储、查询京东卖家相关操作的日志，我们这里就叫它“卖家日志”。在日常的开发过程中，可能我们对日志这个词并不陌生，例如我们常接触到的log4j、slf4j等等，这些日志工具通常被我们
高级架构师·2018-04-26 17:00

AI芯片开发了解

FPGA能效比高，可编程逻辑，计算效率高，更接近底层IO，通过冗余晶体管和连线实现逻辑可编程，适合图计算、流式计算。ASIC能效比高，晶体管根据算法定制，不
Dream_yz·2018-04-13 22:00

storm 流式计算框架

一：storm简介二：storm的原理与架构三：storm的安装配置四：storm的启动脚本一：storm的简介：1.1storm是什么：1.Storm是Twitter开源的分布式实时大数据处理框架，被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等，大数据实时处理解决方案（流计算）的应
flyfish225·2018-04-12 16:10

来，我教你spark

spark是All-in-one，集成了流式计算（sparkStreaming），即席查询（sparkSQL）,机器学习（MLlib),图处理（GraphX）于一身？
一个程序员的自我修炼·2018-04-12 13:10

分布式计算框架Mapreduce

缺点：实时流式计算MapReduce编程模型之执行步骤：输入一个大文件，通过Split之后，将其分为多个片每个文件分片由单独的机器去处理，这就是map方法将各个机器计算的结果进行汇总并得到最终的结果，这就是
慧有未来·2018-03-31 15:49

Storm流式计算入门

流式计算实时获取数据，实时数据储存，实时数据计算，实时结果缓存，持久化存储（mysql）代表技术：Flume：实时获取数据Kafka：实时数据存储Storm/jstorm：实时数据计算Redis：实时结果缓存总结
不是分针·2018-03-29 21:41

流式计算--Kafka详解

理解storm、sparkstreamming等流式计算的数据来源、理解JMS规范、理解Kafka核心组件、掌握Kakfa生产者API、掌握Kafka消费者API。
贫僧洗头爱飘柔·2018-03-24 16:02

Spark Streaming高级特性在NDCG计算实践

从storm到sparkstreaming，再到flink，流式计算得到长足发展，依托于spark平台的sparkstreaming走出了一条自己的路，其借鉴了spark批处理架构，通过批处理方式实现了实时处理框架
蓝色de叶子·2018-03-21 20:04

Apache Flink介绍

因为Flink是一个纯流式计算引擎，而类似于Spark这种微批的引擎，只是Flink流式引擎的一个特例。其他的不同点之后会陆续谈到。
myjbase·2018-03-19 15:22

Storm详解

2、流式计算是什么？3、流式计算与离线计算的区别？4、Storm是什么？5、Storm与Hadoop的区别？
贫僧洗头爱飘柔·2018-03-18 22:11

分布式计算框架MapReduce

MapReduce设计理念是移动计算而不是移动数据,就是把分析计算的程序,分别拷贝一份到不同的机器上,而不是移动数据.2、计算框架有很多,不是谁替换谁的问题,是谁更适合的问题.mr离线计算框架适合离线计算;storm流式计算框架适合实时计算
johnmay--Blog·2018-03-14 17:39

JStorm kafka集成解析

这篇文章主要聊聊集成kafka的实现细节、开发时要注意的一些坑及优化方面的一些思考实时流式计算框架一般从消息队列实时拉取数据，而kafka是很多公司首选的分布式消息发布订阅系统，jstorm也提供了消费
data之道·2018-03-09 11:00

spark大数据架构初学入门基础详解

Spark是什么a)是一种通用的大数据计算框架b)SparkCore离线计算SparkSQL交互式查询SparkStreaming实时流式计算SparkMLlib机器学习SparkGraphX图计算c)
三万_chenbing·2018-01-16 14:05

JavaSpark-Spark Streaming

它允许用户使用一套和批处理非常接近的API来编写流式计算
M99的羽子·2018-01-03 22:52

Kafka是什么？

在流式计算中。Kafka一般用来缓存数据，storm通过消费kafka的数据进行计算。1）ApacheKafka是一个开源消息系统，由Scala写成。
GCH6969·2018-01-03 21:50

Hadoop、Storm和Spark 三者的区别、比较

为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识
gamedevv·2017-12-21 22:05

数据倾斜问题和滑动窗口uv统计问题

2.最开始我们使用的是一个流式计算平
ddxu·2017-12-14 12:48

流式处理界的新贵 Kafka Stream - Kafka设计解析（七）

本文转发自技术世界，原文链接http://www.jasongj.com/kafka/kafka_stream/KafkaStream背景1KafkaStream是什么2什么是流式计算3为什么要有KafkaStreamKafkaStream
郭俊JasonGuo·2017-11-27 09:12

Spark Streaming 1.6 流式状态管理分析 - 简书

关于状态管理在流式计算中，数据是持续不断来的，有时候我们要对一些数据做跨周期(Duration)的统计，这个时候就不得不维护状态了。
·2017-11-26 09:00

The Dataflow Model

流式计算引擎：Storm,SparkStreaming,MillWheel。批处理引擎：MapReduce,Spark,FlumeJava。
data4·2017-11-25 13:43

Kafka集群部署与shell命令行操作

1、kafka简介在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。
成都往右·2017-11-21 20:27

服务监控（技术框架Flume、Kafka、Storm、Hadoop基础）小结

主要涉及到的技术框架：flume（日志收集及传输）、kafka（消息队列）、storm（流式计算）、hadoop（离线分析），这几项技术也是大数据方面较为成熟和常用的技术方案。
虾_米_·2017-11-14 15:21

Spark2.x学习笔记：18、Spark Streaming程序解读

《Spark2.x学习笔记》18、SparkStreaming程序解读18.1SparkStreaming原理SparkStreaming将流式计算转化为一批批很小的、确定的批处理作业（micro-batch
程裕强·2017-11-07 23:25

摩拜

1.数据挖掘工程师-数据团队工作职责：1、负责Mobike数据平台的研发工作工作；2、负责OLAP引擎、实时数据仓库系统架构、流式计算系统、调度系统等一项或多项业务研发工作3、支持BI团队、算法团队构建一流的数据系统架构
TonyLan·2017-11-06 21:07

基于日志的同步数据一致性和实时抽取

宜信技术研发中心架构师目前就职于宜信技术研发中心，任架构师，负责流式计算和大数据业务产品解决方案。
LinuxProbe2016·2017-10-29 18:45

你所熟悉的Kafka

在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算Kafka是一个分布式消息队列:生产者,消费者的功能;它提供了类似于JMS的特性,但是在设计实现上完全不同我只是小小的知识点
长胖的wo一定特美·2017-10-27 19:22

（六）MapReduce特点

MapReduce特点适合数据复杂度运算不适合算法复杂度的运算不适合实时计算、流式计算、DAG有向图计算综上，要求算法足够简单，数据可以足够大！
TimliangL·2017-10-16 15:52

基于Go语言构建的万亿级流量大数据平台架构

于2016年加入七牛云，主要负责流式计算与离线计算服务pipeline的架构和开发工作。目前pipeline承载公司每天超过千亿、超过百TB的数据处理。
七牛云·2017-09-21 17:41

Flink编程模型

Flink抽象的层次Flink为流式计算和批处理计算编程提供了不同层次的抽象。最底层的抽象仅仅提供有状态的流处理，通过ProcessFunction嵌入到DataStreamAPI中。
CodeHerder·2017-08-27 00:40

Flink编程模型

Flink抽象的层次Flink为流式计算和批处理计算编程提供了不同层次的抽象。最底层的抽象仅仅提供有状态的流处理，通过ProcessFunction嵌入到DataStreamAPI中。
CodeHerder·2017-08-27 00:40

大数据Spark企业级实战版【学习笔记】-----Spark Streaming 的构架

1.3.2.1SparkStreaming的构架计算流程：SparkStreaming是将流式计算分解成一系列短小的批处理作业。
坏蛋是我·2017-08-25 16:56

Kafka设计解析（七）- Kafka Stream

本文转发自技术世界，原文链接http://www.jasongj.com/kafka/kafka_stream/简介本文介绍了KafkaStream的背景，如KafkaStream是什么，什么是流式计算
小小少年Boy·2017-08-16 11:32

storm集成kafka实例

storm是流式计算框架，而kafka是一个消息队列，在生产环境中两者经常配合使用，kafka缓存消息，storm可以从kafka中读取消息。
ghz_blog·2017-08-13 21:49

年薪30万-50万，站在风口上的大数据面临150万的人才紧缺

众多发展方向总有一个适合你需要掌握的编程语言——Java——Python——R——Scala等需要掌握的数据能力——数据获取：日志收集Sqoop、Flume、Kafka和爬虫等；——数据计算：实时数据计算流式计算的
jp_666·2017-08-11 13:56

Storm入门与实践（1）入门介绍

Storm的部署管理非常简单，而且，在同类的流式计算工具，Storm的性能也是非常出众的。Storm核心概念Storm主要分为两种组件Nimbus和Supervi
铁猴·2017-08-10 18:21

谷歌DataFlow编程模型以及Spark/Flink/StreamCQL的相关实现

流式计算框架编程接口的标准化，傻瓜化，SQL化，自打谷歌发表Dataflow编程模型的Paper起，就有走上台面的趋势。各家计算框架都开始认真考虑相关的问题，俨然成为大家竞争的热点方向。
彩色蚂蚁·2017-07-11 11:09

Spark Streaming 实战案例（一)

本节主要内容本节部分内容来自官方文档：http://spark.apache.org/docs/latest/streaming-programming-guide.html#mllib-operationsSpark流式计算简介
Soyoger·2017-06-28 18:53

流式计算storm，spark文章

使用Storm实现实时大数据分析！http://www.csdn.net/article/2012-12-24/2813117-storm-realtime-big-data-analysis主要讲strom组件。strom集群安装http://www.jianshu.com/p/0f6cbb4042ad?utm_campaign=hugo&utm_medium=reader_share&utm_
Beeman_xia·2017-06-15 23:58

流式计算的系统设计和实现

阅读更多阿里云数据事业部强琦为大家带来题为“流式计算的系统设计与实现”的演讲，本文主要从增量计算和流式计算开始谈起，然后讲解了与批量计算的区别，重点对典型系统技术概要进行了分析，包括Storm、Kinesis
liangyan9966·2017-06-06 14:00

流式计算的系统设计和实现

阅读更多阿里云数据事业部强琦为大家带来题为“流式计算的系统设计与实现”的演讲，本文主要从增量计算和流式计算开始谈起，然后讲解了与批量计算的区别，重点对典型系统技术概要进行了分析，包括Storm、Kinesis
liangyan9966·2017-06-06 14:00

大数据生态体系介绍

离线和在线通吃Hivesql基于Hadoop的数据仓库工具，使用方式类似sqlZookeeper分布式系统的集群协调服务Sqoop是Hadoop和传统关系型数据库之间数据互导Flume数据采集框架Storm实时流式计算框架
haiboyu·2017-06-01 15:58
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他