Storm+–+流计算

实时计算 Flink SQL 核心功能解密

实时计算FlinkSQL核心功能解密FlinkSQL是于2017年7月开始面向集团开放流计算服务的。
阿里云云栖号·2020-08-24 07:34

Kafka VS RocketMQ VS RabbitMQ

例如：订单，交易，充值，流计算，消息推送，日志流式处理，binglog分发等可靠消息传输。和RocketMQ类似。
小飞哥wzf·2020-08-24 04:37

MATLAB/Simulink电力系统与仿真，第七章0°接线方向阻抗继电器建模经验

MATLAB/Simulink电力系统与仿真，第七章0°接线方向阻抗继电器建模经验本人在学习simulink时参考此书，按照书中教程和参数搭建潮流计算模型，但是书中并未详细给出所以的设置参数，对元件应用描述还没有很细
belongz·2020-08-24 04:45

目标检测光流法（三）：opencv下光流Farneback法

calcOpticalFlowPyrLK光流算法，可以看到它实际上是一种稀疏特征点的光流算法，也就是说我们先找到那些（特征）点需要进行处理，然后再处理，该节介绍下一个全局性的密集光流算法，也就是对每一个点都进行光流计算
on2way·2020-08-24 01:16

关于项目中使用Structure Streaming的一点记录

公司的流计算的主要的任务分为日志清洗和清洗后的数据统计，在做这项任务的时候，在技术选型阶段，我们当时有Flink和Spark两个考虑。
隔壁寝室老吴·2020-08-23 18:10

Spark Streaming 简介

流计算简介数据分为：静态数据和流数据对应两种计算模式：批量计算和实时计算批量计算以“静态数据”为对象，可以在很充裕的时间内对海量数据进行批量处理Hadoop就是典型的批处理模型，由HDFS和HBase存放大量的静态数据
博弈史密斯·2020-08-23 15:51

2019年度计划：1年掌握22本国外最经典计算机类巨著

教材的作者均为美国一流计算机科学家，要么是图灵奖获得者，要么是美国科学院院士。每本教材的难度系数均为同领域课程最难或最深入级别。每本教材的
彪悍的人生不需要解释哈·2020-08-23 08:33

一起来看「暴风雨」

storm：暴风雨免费开源实时流计算系统storm是一个分布式的，可靠的，容错的数据流处理系统。暴风雨的世界应用实例：计算数字之和，1+2+3+....
小小小海文·2020-08-23 06:35

Spark的基本概念

它基于一个内核模块衍生出机器学习，实时流计算，OLAP，和图数据处理等模块，如图1-1-1所示。本书主要介绍Spark内核模块的实现原理。
一 铭·2020-08-23 04:31

Flink SQL 功能解密系列 —— 流计算“撤回(Retraction)”案例分析

2019独角兽企业重金招聘Python工程师标准>>>摘要：通俗讲retract就是传统数据里面的更新操作，也就是说retract是流式计算场景下对数据更新的处理方式。什么是retraction（撤回）通俗讲retract就是传统数据里面的更新操作，也就是说retract是流式计算场景下对数据更新的处理方式。首先来看下流场景下的一个词频统计列子。没有retract会导致最终结果不正确↑：retra
weixin_33690963·2020-08-23 03:51

Kafka 生产者API，消费者API，拦截器，流计算

pom文件如下：org.apache.kafkakafka-clients2.0.0org.apache.kafkakafka-streams2.0.0一、Kafka生产者APIpackagecom.qjl.kafka.producer;importjava.util.Properties;importorg.apache.kafka.clients.producer.KafkaProducer;
曲健磊·2020-08-23 01:41

vue动态绑定背景图片

onlineShopping",data(){return{goalList:[{id:1,title:'行业数据透视',text:'汇聚用户购物能力、日常行为和区域经济等数据，进行数据处理分析，实现大数据计算、流计算
AIU哎呀·2020-08-23 00:39

大数据的应用场景(大数据能干啥?)

一日志事件分析(流计算)二原有数据存储不下,查询性能性能太差,(大数据存储与交互式查询SQL)三寻找数据的价值大数据分析与挖掘,可视化四大数据搜索(弹性搜索)五
maple5218·2020-08-22 22:06

Spark Streaming 流计算优化记录(2)-不同时间片数据流的Join

1.不同时间片数据流的Join初体验之后,看了一下SparkWebUi的日志,发现由于SparkStreaming需要每秒跑一次,以实时计算数据,所以程序不得不每秒都读一次HDFS去获取数据进行innerjoin.本来SparkStreaming会对其进行处理的数据进行缓存,以减少IO和提高计算速度的,但由于现在我们的场景是要把每秒都有新数据的数据流与大约2周才更新一次HDFS数据进行innerj
小狼_百度·2020-08-22 20:33

Spark Streaming 流计算优化记录(1)-背景介绍

1.背景概述业务上有一定的需求,希望能实时地对从中间件进来的数据已经已有的维度表进行innerjoin,以便后续的统计.维表十分巨大,有近3千万记录,约3G数据,而集群的资源也较紧张,因此希望尽可能压榨SparkStreaming的性能和吞吐量.技术架构大致上如下述:数据从Kafka流入,SparkStreaming会从HDFS中拿到维度表的数据,与流入的消息进行计算,最后进行innerjoin,
小狼_百度·2020-08-22 20:33

Flink最佳实践（一）流式计算系统概述

为了适应逐渐变得「实时」的年代，大数据系统架构也由简单的批处理转向批流混合的Lambda架构，最后可能会逐渐演变成只有流计算的高精准高时效的Kappa架构。
xiaohei.info·2020-08-22 17:10

Flink学习--管理大型状态之增量 Checkpoint 详解

文章转载自：https://ververica.cn/develope...作者：邱从贤（山智）ApacheFlink是一个有状态的流计算框架，状态是作业算子中已经处理过的内存状态，供后续处理时使用。
小明的数据脚印·2020-08-22 16:49

Tablestore + Blink实战：交易数据的实时统计

Tablestore作为在线的结构化数据库，提供了毫秒级的访问延时和丰富的查询方式，能高效的支撑交易数据的存储和查询，同时Tablestore已经原生支持阿里云的流计算框架Flink
阿里云云栖号·2020-08-22 12:01

【读书笔记】计算广告（第3部分）

第9章计算广告技术概览9.1个性化系统框架日志->数据高速公路->流计算->在线特征->投放引擎；日志->数据高速公路->分布式计算->离
LogM·2020-08-22 11:12

利用blink CEP实现流计算中的超时统计问题

案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总一.背景介绍如一文中所描述的场景，我们将其简化为以下案例：实时流的数据源结构如下：物流订单号支付时间仓接单时间仓出库时间LP12018-08-0108:00LP12018-08-0108:002018-08-0109:00LP22018-08-0109:10LP22018-08-0109:102018-08-0109:50LP22018-0
阿里云云栖号·2020-08-22 11:34

利用blink+MQ实现流计算中的超时统计问题

原因在于：流计算是基于消息触发计算的，若没有消息到达到则
阿里云云栖号·2020-08-22 11:34

Storm环境搭建

作为流计算的开篇，笔者首先给出storm的安装和部署，storm的第二篇，笔者将详细的介绍storm的工作原理。下边直接上干货，跟笔者的步伐一块儿安装storm。
大数据技术宅·2020-08-22 10:58

计算视觉——图像分割

为了下文表示上的方便，将容量、最大流都给出一个形式化的定义：最大流计算方法：通路：从图起点（S）到达图结束点（T）的路径，由一系列顶点组成；通路流量：该通路上所能达到的最大单位流量；饱和边：容量等于通路流量的有向边
yf_0707·2020-08-22 09:42

深度解读 Flink 1.11：流批一体 Hive 数仓

Flink1.11中流计算结合Hive批处理数仓，给离线数仓带来Flink流处理实时且Exactly-once的能力。另外，Flink1.11完善
Ververica·2020-08-21 06:48

Apache Flink 第二章教案

程序部署本地执行//1.创建流计算执行环境valenv=StreamExecutionEnvironment.createLocalEnvironment(3)//2.创建DataStream-细化valtext
麦田里的守望者··2020-08-21 06:13

spark和hive storm mapreduce的比较

SparkStreaming与Storm都可以用于进行实时流计算。但是他们两者的区别是非常大的。
weixin_34049948·2020-08-21 06:30

Flink 初探：为什么选择 Flink（flink/storm/spark对比浅析）

storm是基于流计算的,但是也可以模拟批处理,sparkstr
TinlokLee·2020-08-21 05:35

kafka Streaming

KafkaStreams流计算定义一般流式计算会与批量计算相比较。在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去做计算。
婲落ヽ紅顏誶·2020-08-21 05:02

阿里巴巴大数据实践—实时技术

在大数据业界中，流计算技术的研究是近年来非常热门的课题。业务诉求是希望能在第一时间拿到经过加工后的数据，以便实时监控当前业务状态并做出运营决策，引导业务往好
阿里云云栖号·2020-08-21 04:47

Flink学习--管理大型状态之增量 Checkpoint 详解

文章转载自：https://ververica.cn/develope...作者：邱从贤（山智）ApacheFlink是一个有状态的流计算框架，状态是作业算子中已经处理过的内存状态，供后续处理时使用。
小明的数据脚印·2020-08-21 03:16

一个小微企业心中的流计算

摘要：本文由墨芷技术团队唐铎老师分享，主要讲述其技术团队内部引入流计算的整个过程，包括最初的决策、期间的取舍以及最终落地，一路走来他们的思考、感悟以及经验分享。
ApacheFlink·2020-08-21 02:32

从Storm到Flink：大数据处理的开源系统及编程模型（文末福利）

开源系统及编程模型基于流计算的基本模型，当前已有各式各样的分布式流处理系统
AI科技大本营·2020-08-21 02:37

日志服务（SLS）集成 Spark 流计算实战

同时为了便于用户对日志进行处理，提供了各种支持流式消费的SDK，如各种语言的消费组，与Spark，Flink，Storm等各种流计算技术无缝对接的Connecto
阿里云云栖号·2020-08-20 23:06

日志服务（SLS）集成 Spark 流计算实战

同时为了便于用户对日志进行处理，提供了各种支持流式消费的SDK，如各种语言的消费组，与Spark，Flink，Storm等各种流计算技术无缝对接的Connecto
阿里云云栖号·2020-08-20 23:06

Spark Streaming vs. Structured Streaming

提供了基于RDDs的DstreamAPI，每个时间间隔内的数据为一个RDD，源源不断对RDD进行处理来实现流计算StructuredStreamingSpark2.X出来的流框架，采用了无界表的概念，流数据相当于往一个表上不断追加行
upupfeng·2020-08-20 23:09

Spark Streaming vs. Structured Streaming

提供了基于RDDs的DstreamAPI，每个时间间隔内的数据为一个RDD，源源不断对RDD进行处理来实现流计算StructuredStreamingSpark2.X出来的流框架，采用了无界表的概念，流数据相当于往一个表上不断追加行
upupfeng·2020-08-20 23:09

这一年多来，阿里Blink测试体系如何从0走向成熟？

2017年，阿里整合了所有流计算产品，决定以Blink引擎为基础，打造一款全球领先的实时计算引擎。
阿里云云栖号·2020-08-20 21:17

这一年多来，阿里Blink测试体系如何从0走向成熟？

2017年，阿里整合了所有流计算产品，决定以Blink引擎为基础，打造一款全球领先的实时计算引擎。
阿里云云栖号·2020-08-20 21:17

Kafka+Flink 实现准实时异常检测系统

根据业务要求的不同，流计算在其中扮演着不同的角色：既可以做在线的欺诈检测，也可以做决策后近实时的结果分析、全局预警与规则调整等。本文先介绍一种准实时的异常检测系统。
阿里云云栖号·2020-08-20 21:00

Kafka+Flink 实现准实时异常检测系统

根据业务要求的不同，流计算在其中扮演着不同的角色：既可以做在线的欺诈检测，也可以做决策后近实时的结果分析、全局预警与规则调整等。本文先介绍一种准实时的异常检测系统。
阿里云云栖号·2020-08-20 21:00

Apache RocketMQ Meetup深圳首秀 引开源爱好者追捧

当天现场和线上共计1500名开源技术爱好者，一起与活动现场的Committer及Contributor就RocketMQ的核心特性、最佳实践、大数据及流计算生
weixin_33857679·2020-08-20 19:47

阿里巴巴大数据实践—实时技术

在大数据业界中，流计算技术的研究是近年来非常热门的课题。业务诉求是希望能在第一时间拿到经过加工后的数据，以便实时监控当前业务状态并做出运营决策，引导业务往好
阿里云云栖号·2020-08-20 17:48

阿里巴巴大数据实践—实时技术

在大数据业界中，流计算技术的研究是近年来非常热门的课题。业务诉求是希望能在第一时间拿到经过加工后的数据，以便实时监控当前业务状态并做出运营决策，引导业务往好
阿里云云栖号·2020-08-20 17:48

用Spark进行实时流计算

提供了基于RDDs的DstreamAPI，每个时间间隔内的数据为一个RDD，源源不断对RDD进行处理来实现流计算ApacheSpark在2016年的时候启动了StructuredStreaming项目，
实时计算·2020-08-20 17:15

用Spark进行实时流计算

提供了基于RDDs的DstreamAPI，每个时间间隔内的数据为一个RDD，源源不断对RDD进行处理来实现流计算ApacheSpark在2016年的时候启动了StructuredStreaming项目，
实时计算·2020-08-20 17:15

以高斯塞德尔法和牛顿拉夫逊法为思想的基于Matlab的电力系统潮流计算

电力系统的潮流计算常见的方法有两种，一个是高斯赛德尔法，另一个是牛顿拉夫逊法，前者速度慢一些，但最终可以稳定的算出结果，而后者，虽然计算速度很快，但能否算出结果和初值有关。
ESCracker·2020-08-20 17:48

高级语言内的单指令多数据流计算(SIMD)

tag:单指令多数据流计算,SIMD摘要:很多年来,x86体系的CPU增加的新指令集大多都是SIMD指令(和相应的寄存器);然而很容易忽视的是,我们在高级语言内也能进行很多SIMD类计算!
kyopeng123·2020-08-19 10:46

目前流行使用的 J2EE开发架构分析

当主流计算机应用软件开始迁移到客户/服务器体系结构时，程序员们开始寻找方法以简化使用类似技术并且在结构也类似的工程的开发。这就为现代软件开发框架打好了基础。
liyanqing1981·2020-08-19 02:13

infoQ 百度技术沙龙第25期回顾：海量数据处理技术解析

&开发主题HBase,MySQL,大数据,数据库设计,关系型数据库,云计算,Hadoop,数据库,百度分享到在4月7日由@百度主办、@InfoQ策划组织和实施的第25期百度技术沙龙活动上，来自百度数据流计算系统
zcmssd·2020-08-18 18:55

Kafka Stream 微服务领域流处理

流计算定义一般流计算会与批量计算相比较。在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去计算。同时，计算结果是持续输出的，也即计算结果在时间上也是无界的。
久七年·2020-08-18 13:45
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他