流式计算

利用 Spark DataSource API 实现Rest数据源

通常在一个流式计算的主流程里，会用到很多映射数据，譬如某某对照关系，而这些映射数据通常是通过HT
祝威廉·2020-07-09 13:06

阿里云StreamCompute流计算架构

数据采集用户可以使用流式数据采集工具将数据流式且实时地采集并传输到大数据Pub/Sub系统，该系统将为下游流计算提供源源不断的事件源去触发流式计算作业的运行。
^果然好^·2020-07-09 13:05

一、storm 介绍及部署

storm介绍概念：storm是一种实时的分布式的流式计算框架。
鑫火·2020-07-08 21:27

读书笔记：大数据平台-流处理架构

简介流式计算需要各子系统间相互依赖形成一条处理链路，子系统作如下划分数据采集数据源一般来自于各个业务的日志服务器，这些日志被实时采集到消息间件中，被下游实时订阅数据处理数据被采集到中间件后，下游服务订阅数据
随时出发·2020-07-08 18:58

Eclipse中带有第三方依赖的Maven项目打包方式

Eclipse中带有第三方依赖的Maven项目打包方式最近正在学习流式计算系统，测试阶段在跑本地模式时需要将Flume、Kafka以、Storm以及Redis整合到一个Java项目中，于是乎在Eclipse
Leon1895·2020-07-08 01:21

大数据(四) - MapReduce

MapReduce适合PB级以上海量数据的离线处理MapReduce不擅长什么实时计算像MySQL一样，在毫秒级或者秒级内返回结果流式计算MapReduce的输入数据集是静态的，不能动态变化MapReduce
爱学习的小肥猪·2020-07-07 09:18

大数据知识复习汇总

阶段5：流式计算stormstorm:实时数据计算框架hadoop包含两个框架：hdfs和mapreducestorm和hadoop的区别在于storm只负责计算不负责存储storm框架如何获取数据：spout
asd1456732891·2020-07-07 03:31

Storm与Spark、Hadoop三种框架对比

1.Storm是最佳的流式计算框架，Storm由Java和Clojure写成，Storm的优点是全内存计算，所以它的定位是分布式实时计算系统，按照Storm作者的说法，Sto
隨意的風·2020-07-07 01:09

《从0到1学习Flink》—— Data Source 介绍 转自微信公众号：zhisheng

Flink做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink就能够一直计算下去
生活的探路者·2020-07-06 07:31

在Ubuntu上安装TDengine数据库

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的工作量。
王大阳_·2020-07-06 05:21

2017云栖大会·杭州峰会：《在线用户行为分析：基于流式计算的数据处理及应用》之《流数据处理：通过StreamSQL分析视频日志》篇...

实验背景介绍了解更多2017云栖大会·杭州峰会TechInsight&Workshop.本手册为云栖大会·杭州峰会Workshop之《在线用户行为分析：基于流式计算的数据处理及应用》场的《流数据处理：通过
weixin_33812433·2020-07-05 23:19

【TDengine】TDengine初探

全栈时序数据处理引擎将数据库、消息队列、缓存、流式计算等功能融合一起，应用无需再集成Kafka/Redis/HBase/Spark等软件，大幅降低应用开发和维护成本。
weixin_30553065·2020-07-05 21:40

Hadoop、Storm、Spark这三个大数据平台有啥区别，各有啥应用场景？

Storm是最佳的流式计算框架，Storm由Java和Clojure写成，Storm的优点是全内存计算，所以它的定位是分布式实时计算系统，按照Storm作者的说法，Storm对于实时计算的意义类似于Hadoop
斗者_2013·2020-07-05 19:02

记一次spark streaming+kafka 运行时间不稳定调优历程

sparkstreaming+kafka运行batchprocesstime不稳定问题梳理问题现象排障调优历程解决方案问题现象题主在去年8月份首次使用sparkstreaming进行流式计算的时候遇到的一个问题
张老七没脾气·2020-07-05 18:59

链式编程+流式计算 一个小题目

packagemain.test;importjava.util.Arrays;importjava.util.List;/***@Auther:wdq*@Date:2020/4/2115:44*@Description:筛选出编号偶数并且年龄大于25的人，要求把名字大写并逆序输出第一个人。*/classUser{privateStringname;privateintid;privateinta
imagination_wdq·2020-07-05 09:19

Mysql数据实时同步实践

（文末有福利）往期文章回顾：Flink流式计算在节省资源方面的简单分析背景MySQL由于自身简单、高效、可靠的特点，成为小米内部使用最广泛的数据库，但是当数据量达到千万/亿级别的时候，MySQL的相关操作会变的非常迟缓
pengzhouzhou·2020-07-05 01:56

Storm核心组件、编程模型

Storm简介storm是用来做实时计算的框架，所以介绍storm之前需要知道什么是流式计算。
小猪Harry·2020-07-05 00:56

关于java使用TDengine数据库以及单体springboot同时搭载mysql和TDengine俩个数据源（下）

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。具体的陶思大数据简介可以观看TDengine文档：https://www.taosda
liushaojava·2020-07-04 22:04

关于java使用TDengine数据库以及单体springboot同时搭载mysql和TDengine俩个数据源（上）

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。具体的陶思大数据简介可以观看TDengine文档：https://ww
liushaojava·2020-07-04 22:04

TDengine 32位版本挖坑

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。
低配天才·2020-07-04 16:07

Kuiper 0.5.0 正式发布 - 超轻量 IoT 边缘流处理

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考了上述
EMQX·2020-07-04 15:32

【流式计算系列day3】Flink的Status是怎么实现的？

实际问题在流计算场景中，数据会源源不断的流入ApacheFlink系统，每条数据进入ApacheFlink系统都会触发计算。如果我们想进行一个Count聚合计算，那么每次触发计算是将历史上所有流入的数据重新新计算一次，还是每次计算都是在上一次计算结果之上进行增量计算呢？答案是肯定的，ApacheFlink是基于上一次的计算结果进行增量计算的。那么问题来了:"上一次的计算结果保存在哪里，保存在内存可
软件真理与光·2020-07-04 08:17

【流式计算系列day4】Streaming流式架构101—它是什么？

the-world-beyond-batch-streaming-101https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-102其中对流式计算的设计理念做了非常透彻的介绍
软件真理与光·2020-07-04 08:17

关于java8中的流式计算

集合的流式操作流有串行和并行两种，串行流上的操作是在一个线程中依次完成，而并行流则是在多个线程上同时执行。并行与串行的流可以相互切换：通过stream.sequential()返回串行的流，通过stream.parallel()返回并行的流。相比较串行的流，并行的流可以很大程度上提高程序的执行效率Stream和Collection集合的区别：Collection是一种静态的数据结构，而Stream
SevenLitile·2020-07-04 08:16

点开看看，教你轻松搭起flink流计算框架

Flink做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可
Dyman_·2020-07-04 05:10

为什么物联网大数据平台，使用TDengine，可不要redis, kafka, spark等软件？

但TDengine的核心功能是时序数据库，而大数据处理平台往往还需要有消息队列、缓存、流式计算等功能，怎么能不要Redis,Kafak,Spark这些软件
星河子_YumWisdom·2020-07-04 04:19

[spark streaming] DStream 和 DStreamGraph 解析

前言SparkStreaming是基于SparkCore将流式计算分解成一系列的小批处理任务来执行。
BIGUFO·2020-07-02 17:01

Flink最佳实践（二）Flink流式计算系统

前言在Flink最佳实践（一）流式计算系统概述中，我们详细讨论了流式计算系统中时域、窗口、时间推理与正确性工具等概念。
xiaohei.info·2020-07-02 15:21

Flink入门：StreamingFileSink相关特性及代码实战

问题或建议，请公众号留言;如果您觉得“大数据开发运维架构”对你有帮助，欢迎转发朋友圈从微信公众号拷贝过来，格式有些错乱，建议直接去公众号阅读一、概述Flink流式计算的核心概念，就是将数据从Source
陆继森·2020-07-02 10:59

Flink程序经过reduce聚合后不输出sink的问题

Flink程序经过reduce聚合后不输出sink的问题一、最近提交的一版flink流式计算程序，经过EventTimeSessionWindows后进行了reduce聚合，完成计算完成后迟迟不sink
Meyaoo·2020-07-02 10:56

实时流计算、Spark Streaming、Kafka、Redis、Exactly-once、实时去重

http://lxw1234.com/archives/2018/02/901.htm在实时流式计算中，最重要的是在任何情况下，消息不重复、不丢失，即Exactly-once。
lin502·2020-07-02 08:40

Flink 流式计算框架（学习一）

开源流计算引擎，兼顾性能和可靠性。Flink数据集类型有边数据集：最终不再发生改变无边数据集：不断产生数据Flink的两种执行模型a.流计算数据不断产生，一直处于计算状态b.批处理完成一定时间段的计算任务后，释放资源Flink的特性a.开源，分布式b.结果精准，即使是无序数据或者延迟数据c.有状态以及容错。维护精准一次的应用状态(保持每次计算的结果，向后传递，实现累加。容错：replace，计算错
ljj234567·2020-07-02 06:46

三十三期百度技术沙龙笔记整理

陈天健的主要话题是百度推荐引擎计算平台架构中的流式计算架构。中间有一种因为几个短信有点错过，等视频出来再听一遍，这个笔记基本没啥整理，主要是个备档，感兴趣的同学可以直接去InfoQ看视频。
_朝晖_·2020-07-01 22:12

storm知识点

storm知识点关于Storm与JStorm的调度算法的讨论Storm性能优化例子图书Storm技术内幕与大数据实践192页Storm：大数据流式计算及应用实践storm1.0.0性能提升Storm1.0.0
Jason__Zhou·2020-07-01 14:44

高性能高并发系统的稳定性保障

作者：肖飞，于2011年8月份加入京东，曾亲身参与到京东的应用性能监控、统一日志、流式计算、内存缓存、四层防攻击等一些基础技术平台的研发和搭建工作，经历了京东的技术系统从简单粗放向复杂精细化的演变过程。
天府云创·2020-07-01 09:26

Spark每日半小时（33）——结构化流式编程：流式查询的启动、管理、监控以及Checkpointing

启动流式查询一旦定义了最终结果DataFrame/Dataset，剩下的的就是开始流式计算。为此，我们必须使用Dataset.writeStream()方法返回的的DataStreamWriter。
DK_ing·2020-07-01 08:29

字节跳动李本超：一年成为 Committer，我与 Flink 社区的故事

首先简单做个自我介绍，我是李本超，是字节跳动基础架构流式计算方向的工程师，主要负责FlinkSQL方向。最近非常有幸受邀成为ApacheFlinkCommitter。
Ververica·2020-07-01 06:50

大数据架构变迁

大数据1.0时代，Lambda架构比较流行，首先有个数据总线，通常是Kafka，后面对接批处理计算和流式计算。见过几个企业的架构，数据采集后，直接进入Kafka，然后线上经常不稳定。
clive0x·2020-07-01 04:13

阿里巴巴的26款超神Java开源项目！

1.分布式应用服务开发的一站式解决方案SpringCloudAlibaba2.JDBC连接池、监控组件Druid3.Java的JSON处理器fastjson4.服务框架Dubbo5.企业级流式计算
Python编程社区·2020-07-01 04:47

flink延时监控

流式计算中处理延迟是一个非常重要的监控metricflink中通过开启配置metrics.latency.interval来开启latency后就可以在metric中看到askManagerJobMetricGroup
hyy1568786·2020-07-01 02:08

Storm核心组件、编程模型

Storm简介storm是用来做实时计算的框架，所以介绍storm之前需要知道什么是流式计算。
数据萌新·2020-07-01 00:42

mapreduce杂谈

下面对近期所学的一些mapreduce的相关知识稍稍进行一个总结【1】常见的计算框架mapreduce离线计算框架storm流式计算框架（进行实时计算）spark内存计算框架（进行快速计算）【2】mapreduce
先生_吕·2020-06-30 21:35

什么是实时流式计算？

实时流式计算，也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,这里我们说的是大数据领域的实时流式计算。
美帝程序员·2020-06-30 18:43

小米流式平台架构演进与实践

小米业务线众多，从信息流，电商，广告到金融等覆盖了众多领域，小米流式平台为小米集团各业务提供一体化的流式数据解决方案，主要包括数据采集，数据集成和流式计算三个模块。
zhaowei121·2020-06-30 15:40

Strom、SparkStreaming以及Flink三种流式框架了解

本文主要是想了解下Storm、Flink、SparkStreaming这三种流式计算框架的区别以及它们适合的应用场景。
淡定一生2333·2020-06-30 12:38

【图文教程】五分钟内搞一个双十一数据大屏_实时看到自己的业务访问情况

说起实时大屏，都会想到最典型的流式计算架构：数据采集：将来自各源头数据实时采集中间存储：利用类KafkaQueue进行生产系统和消费系统解耦实时计算：环节中最重要环节，订阅实时数据，通过计算规则对窗口中数据进行运算结果存储
云栖精选·2020-06-30 10:31

java实现spark streaming与kafka集成进行流式计算

java实现sparkstreaming与kafka集成进行流式计算2017/6/26补充：接手了搜索系统，这半年有了很多新的心得，懒改这篇粗鄙之文，大家看综合看这篇新博文来理解下面的粗鄙代码吧，http
_吴天德·2020-06-30 10:34

Java大数据学习

学习规划总共分为五大部分，分别是：大数据技术基础离线计算Hadoop流式计算Storm内存计算Spark机器
WizradMyL·2020-06-30 04:23

Storm简介及计算模型

Storm概述Storm是一个开源的分布式实时流式计算系统特点：-分布式：水平扩展，自动容错-实时：低延迟(毫秒级)-流式:数据不间断流入、流出-DAG：SpoutBolt组成DAG计算模型-易用：像写单机程序一样简单
行者无疆_super·2020-06-29 20:23

分布式处理框架MapReduce

MapReduce概述MapReduce源自于谷歌的论文，是谷歌MapReduce的克隆版优点：海量数据离线处理；易开发（容错性、扩展性）；易运行缺点：实时流式计算MapReduce编程模型wordcount
Aimerwhy·2020-06-29 17:43
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他