hadoopflink流计算

flink kafka自定义反序列化

flinkkafka实时流计算时，通常会有将多个topic数据接入计算，而这时通常需要区分消息属于哪个topic进行针对处理。
kevin_wf·2020-09-16 00:19

S4:分布式流计算平台

Home关于我们招聘淘宝JAVA中间件团队博客致力于成为中国最强大的JAVA技术团队RSSFeedS4:分布式流计算平台Postedbylinxuanon2011-02-101comment前段时间考虑监控统计面临的两个问题
xgbjmxn·2020-09-15 18:30

基于MATLAB的电力系统潮流计算

本文提出了利用ＭＡＴＬＡＢ语言来进行电力系统潮流计算的方法。
dijituo5097·2020-09-15 17:09

节点电压用直角坐标表示时的牛顿拉夫逊法潮流计算（电力系统分析华中科技大学出版社）...

题目描述：在图所示的电力系统中，网络各元件参数的标幺值如下.......试用牛顿法计算潮流分布。程序代码clc%清空commandwindowsclearall%清空workspaceN=4;NPQ=2;NPV=1;K=1;Kmax=1000;s=10^(-5);G=[1.042093-0.5882350-0.453858;-0.5882351.0690050-0.480769;0000;-0.4
dijituo5097·2020-09-15 17:09

HTAP数据库系列 | 实时流计算场景下如何选择数据库？

随着大数据的快速发展，业务场景变得越来越复杂，以往以离线式的批处理框架MapReduce已经不能满足业务需要，大量的场景需要实时的数据处理结果来进行统计、分析、决策，结果大都以报表或者数据可视化系统来呈现，期望能够快速的分析数据的价值，数据实时处理能提供更快的响应速度，从数据中挖掘有价值的信息。通常在一个典型的实时计算框架中包含三大部分，由输入流、实时计算引擎、输出存储组成，在计算框架的选择上，各
天云数据·2020-09-15 14:02

Cloudopt Extensions v1.2.0发布！

挖矿脚本拦截5.云安全中心全面升级，引入流计算技术并改进了信誉评估算法，评估速度提升20%，准确度提升30%。6.为了
黑衣剑士·2020-09-15 05:41

Flink初入门-应用场景

-Flink执行模型：1.流计算：数据不断产生，一致处于计算状态2.批处理：完成一定时间段的计算任务官网给的有中文网站链接，github上面也有很多开源的翻译~https://flink.apache.org
xiaoxin1024·2020-09-15 03:43

Storm 入门的Demo教程

随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等，大数据实时处理解决方案（流计算）的应用日趋广泛，目前已是分布式技术领域最新爆发点
weixin_34116110·2020-09-14 16:07

JAVA：Print汉字乱码问题

前言：Java语言是目前的主流计算机语言之一，作为一个小白程序员一定要从最基础的学起，但是问题总是接二连三的到来，今天就给大家分享一下Print中文出现乱码的问题。
Adam`·2020-09-14 14:02

flink1.9 table API

TableEnvironment支持功能对比TaableEnvironment使用场景一：用户使用Oldplanner，进行流计算的Table程序（使用TableAPI或SQL进行开发的程序）的开发。
weixin_43315211·2020-09-14 09:57

阿里新一代计算引擎Blink与SQL和机器学习的二三事

近年来业界一直在探索实时流计算引擎和API，比如这几年火爆的SparkStreaming、KafkaStreaming、Beam和Flink。
乐投网·2020-09-14 02:38

pulsar+flink组合流测试

但是实时计算采用什么技术呢，之前楼主一直使用的是spark，但是偶然的机会发现了flink（阿里开源的blink就是基于此做的，预计会在1.9版本将blink糅合到flink中），因为最近需要将流计算的东西整理一下
河漏风·2020-09-13 23:52

流计算精品翻译: The Dataflow Model

TheDataflowModel:APracticalApproachtoBalancingCorrectness,Latency,andCostinMassiveScale,Unbounded,OutofOrderDataProcessingDataflow模型：一种能平衡准确性，延迟程度，处理成本的大规模无边界乱序数据处理实践方法TylerAkidau,RobertBradshaw,Craig
weixin_34246551·2020-09-13 23:28

The Dataflow Model论文学习笔记

因为是被誉为流计算基石的论文，所以决定花时间学习一下。这篇论文在开篇总结了流计算的应用场景主要是说现在对数据处理的语义越来越复杂，对延时性的要求越来越苛刻。。
周英俊520·2020-09-13 22:24

现代流式计算的基石：Google DataFlow

毫无疑问，ApacheFlink和ApacheSpark（StructuredStreaming）现在是实时流计算领域的两个最火热的话题了。那么为什么要介绍GoogleDataflow呢？
cpongo1·2020-09-13 21:52

【笔记】现代流计算的基石：Google DataFlow

流计算精品翻译:TheDataflowModel假设我们永远无法知道数据流是否终结，何时数据会变完整。新的数据会源源不断而来，老的数据可能会被撤销或更新。
thompsonGuo1·2020-09-13 21:31

重绘和回流（重排）的区别和关系？

因为浏览器需要通过回流计算最新值回流必将引起重绘，而重绘不一定会引起回流如何最小化重
假装很6·2020-09-13 19:38

大数据实操篇 No.9-Flink Standalone模式部署及使用

章简介在前面的文章中把离线计算的整套流程和框架基本介绍了一遍，接下来的章节章我们将开始介绍实时计算的框架和使用，重点以Flink为例，ApacheFlink是一个分布式数据处理引擎，用于无限流数据和有限流数据进行有状态的流计算
pezynd·2020-09-13 17:01

大数据技术原理与应用—第11讲 流计算（林子雨老师）课后习题

以下是慕课上林子雨老师，大数据原理及应用的第十一讲习题答案。仅供大家学习参考。多翻一下PPT，答案在PPT里面都可以找到。各位加油！
努力搬砖头·2020-09-13 17:04

Spark Streaming(二) Structed Streaming

StructedStreaming概述StructedStreaming有两个关键思想：以处理批量计算的方式对待流计算和与存储系统的事务集
the_conquer_zzy·2020-09-13 13:43

流计算框架 Flink 与 Storm 的性能对比

流计算框架Flink与Storm的性能对比1.背景ApacheFlink和ApacheStorm是当前业界广泛使用的两个分布式实时计算框架。
Applied Sciences·2020-09-12 22:36

【水文模型】01 三水源新安江模型

目录一、概述1.1流域概况1.2产流方式论证1.3设计基本任务1.4设计原始资料二、新安江模型2.1流域划分2.2产汇流计算2.2.1蒸散发计算2.2.2产流计算2.2.3水源划分2.2.4汇流计算2.3
赖亦无·2020-09-12 21:14

jvm serializer 功能&性能基准测试

通过测试报告可以清晰的看出Kryo无疑是大赢家，无论是序列化大小，还是速度上都更胜一筹，这也就不难理解为什么Spark,Storm等流计算框架会
Von_Gosling·2020-09-12 05:50

腾讯云发布全链路数据开发平台WeData，大数据开发迈入新时代

9月11日，在腾讯全球数字生态大会大数据专场上，腾讯云重磅发布了全链路数据开发平台WeData，同时发布和升级了流计算服务、云数据仓库、ES、企业画像等6款核心产品，进一步优化和提升了腾讯云大数据的全托管能力
CSDN 程序人生·2020-09-12 05:13

Storm介绍及与Spark Streaming对比

1Storm介绍Storm是由Twitter开源的分布式、高容错的实时处理系统，它的出现令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。
WF_事难懂·2020-09-11 22:46

面对海量数据，如何才能查得更快?

所以一般的做法是，用流计算或者是批计算，把原始数据再进行一次或者多次的过滤、汇聚和计算，把计算结果落到另外
Java____superman·2020-09-11 19:07

【第18期】未来的计算世界里，将会是“万物皆流”？

在第250期项目中，笔者有关实时流计算技术的一些问题与读者进行了互动。在一问一答的过程中，笔者发现大家对“流”这种计算模式还是非常感兴趣的。因此，笔者想再将这些问题的核心知识点做些归纳总结。
hzbooks·2020-09-11 12:44

腾讯云发布全链路数据开发平台WeData，企业数据开发门槛降低60%

9月11日，在腾讯全球数字生态大会大数据专场上，腾讯云重磅发布了全链路数据开发平台WeData，同时发布和升级了流计算服务、云数据仓库、ES、企业画像等6款核心产品，进一步优化和提升了腾讯云大数据的全托管能力
CSDN 程序人生·2020-09-11 12:52

position的值， relative和absolute分别是相对于谁进行定位的

没有定位，元素出现在正常的流中sticky生成粘性定位的元素，容器的位置根据正常文档流计算得出
angybaby97·2020-09-11 08:09

position的值，relative和absolute分别相对于什么定位

没有定位，元素出现在正常的流中sticky：生成粘性定位的元素，容器的位置根据正常文档流计算得出
古兮!怪哉·2020-09-11 07:22

Spark Streaming基础简介

批量计算和流计算首先什么是静态数据和流数据？很多企业为了支持决策分析而构建的数据仓库系统，其中存放的大量历史数据就是静态数据。而流数据即数据以大量、快速、时变的流形式持续到达。
zxc123e·2020-09-11 06:31

Spark Streaming 流计算优化记录(6)-GC优化与shuffle service

11.Spark应用的GC调优说到GC,可能很多人都倾向于使用新潮的G1垃圾收集器,特别是intel的那几个兄弟在databrick发表了篇用G1调优Spark应用的博文后,就更多人热衷于尝试G1了.但其实我们再去年就对G1和老牌的CMS+NewPar进行过对比测试,发现G1根本没有比CMS好,有时候还会导致更多的FullGC,而实际上连Oracle官方都觉得G1还没有productionread
小狼_百度·2020-09-11 06:01

flink总结

flink简介什么是flinkflink是一个分布式计算引擎，支持流计算和批计算（本质是实时流计算，以流做批）。
樱花庄青山七海·2020-09-11 05:06

Flink学习笔记

由于该款框架出现的较晚2014.12月发布，通常被人们认为是第3代流计算框架。
骚白~·2020-09-11 03:39

Apache Flink（三）：Flink对接DataSource

DataSourceDataSource指定了流计算的输入，用户可以通过flink运行环境streamExecutionEnvironment的addSource()方法添加数据源,Flink已经预先实现了一些
静水流深3721·2020-09-11 03:39

Flink 窗口计算

Flink窗口计算一、概述窗⼝计算是流计算的核⼼，窗⼝将流数据切分成有限⼤⼩的“buckets”，我们可以对这个“buckets”中的有限数据做运算。
纯净天空7·2020-09-10 23:01

Flink的基本DataSource与自定义DataSource

DataSourceDataSource指定了流计算的输入，用户可以通过StreamExecutionEnvironment.addSource(sourceFunction),Flink已经预先实现了一些
人间小鲸鱼·2020-09-10 23:15

Flink 数据源 DataSource是这个样子的？

而在Flink这个优秀的流计算框
javageektech·2020-09-10 22:43

关于高并发

Nginx负载均衡，vanish+共享存储实现动静分离，Nginx后挂载N台服务器集群，服务器集群后挂载微服务化、微服务后挂载数据库分库分表+消息队列+任务调度，最后端挂载数据集群负责数据的统一归档+流计算
weixin_34380948·2020-09-10 20:44

实战SparkStream+Kafka+Redis实时计算商品销售额

天猫这个大屏后面的技术应该是使用流计算，阿里使用Java将Storm重写了，叫JStrom(https://github.com/alibaba/jstorm)，最近学习SparkStream和Kafka
赵侠客·2020-08-26 09:44

实战SparkStream+Kafka+Redis实时计算商品销售额

天猫这个大屏后面的技术应该是使用流计算，阿里使用Java将Storm重写了，叫JStrom(https://github.com/alibaba/jstorm)，最近学习SparkStream和Kafka
小小的_我·2020-08-26 09:21

Hadoop YARN：调度性能优化实践

实时业务主要运行SparkStreaming，Flink为主的实时流计算作业。机器学习业务主要运行TensorFl
美团技术团队·2020-08-26 08:20

阿里巴巴大数据实践—实时技术

在大数据业界中，流计算技术的研究是近年来非常热门的课题。业务诉求是希望能在第一时间拿到经过加工后的数据，以便实时监控当前业务状态并做出运营决策，引导业务往好
阿里云云栖号·2020-08-25 16:20

算法的并行优化

（4）任务并行：每个控制流计算一件事或者多个并行任务的一个子任务（5）任务并行任务并行的通信通常比较少，故易于实现，但是负载不均衡的可能性非常大。数据并行指一
Zz鱼丸·2020-08-25 15:53

备考日记2

期间确定、系数间关系、期数系数加1减1、混合现金流计算、内插法...课件反反复复听，例题、基础公式反反复复推导练习验证，差不多花了一下午时间才给弄懂（奔溃脸o(╥﹏╥)o）。
麦乐地·2020-08-24 18:59

sparkStreaming：实时流计算Java案例

现在，网上基于spark的代码基本上都是Scala，很多书上也都是基于Scala，没办法，谁叫spark是Scala写出来的了，但是我现在还没系统的学习Scala，所以只能用java写spark程序了，spark支持java，而且Scala也基于JVM,不说了，直接上代码这是官网上给出的例子，大数据学习中经典案例单词计数在linux下一个终端输入$nc-lk9999然后运行下面的代码package
花和尚也有春天·2020-08-24 17:31

Spark系列4- Spark Streaming

1流计算静态数据和流数据静态数据类似存储在水库中的水，是相对静止不动的，如数据仓库中储存的数据、关系型数据库中存储的数据等。
georgeguo·2020-08-24 15:23

Streaming 101: The world beyond batch

如今，有充分的理由，流数据处理在大数据中已占很大的比重:企业渴望更及时的数据，而应用流计算是实现较低延迟的好方法使用为此类永无止境的数据设计的系统，可以更轻松地驯服在现代业务中越来越普遍的海量的无界数据集
dataliu·2020-08-24 15:31

Apache流计算框架详细对比

www.cakesolutions.net/teamblogs/introduction-into-distributed-real-time-stream-processing)目前对于这种日渐增加的分布式流计算的需求的原因
王下邀月熊_Chevalier·2020-08-24 13:18

Sparkstream小结

Sparkstream与storm的区别storm实时流计算框架是一条一条数据处理，sparkstream准实时流式框架，微批处理，延迟比storm高；两者都支持动态调整资源；sparkstream支持复杂的业务逻辑
花掏尽·2020-08-24 12:04
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他