流计算

阿里内部的 Flink 分支 Blink 要开源了

今年，实时流计算技术开始步入主流，各大厂都在不遗余力地试用新的流计算框架，实时流计算引擎和API诸如SparkStreaming、KafkaStreaming、Beam和Flink持续火爆。
不贰过先生·2020-08-05 20:32

用Spark进行实时流计算

提供了基于RDDs的DstreamAPI，每个时间间隔内的数据为一个RDD，源源不断对RDD进行处理来实现流计算ApacheSpark在2016年的时候启动了StructuredStreaming项目，
实时计算·2020-08-05 02:05

[C#] 计算大文件的MD5的两种方式(直接调用方法计算，流计算-适用于大文件)

通过.NET中的默认类实现，但是采用不同类，针对不同的情况：具体如下：类：//////文件MD5操作类///publicclassMD5Checker{//////通过MD5CryptoServiceProvider类中的ComputeHash方法直接传入一个FileStream类实现计算MD5///操作简单，代码少，调用即可//////文件地址///MD5Hashpublicstaticstri
Qiujuer·2020-08-04 16:23

电容和电感充放电公式总结

都是大学电路教材上的基本物理公式，毕业久了都被老师回收差不多了,总结一下以备用时查询电容充电放电时间和充电电流计算公式设V0为电容上的初始电压值V1为电容最终可充到或放到的电压值Vt为t时刻电容上的电压值则
荷兰风车·2020-08-04 11:38

使用Spark进行实时流计算的方法

提供了基于RDDs的DstreamAPI，每个时间间隔内的数据为一个RDD，源源不断对RDD进行处理来实现流计算ApacheSpark在2016年的时候启动了StructuredStreaming项目，
·2020-08-04 09:43

用Spark进行实时流计算

提供了基于RDDs的DstreamAPI，每个时间间隔内的数据为一个RDD，源源不断对RDD进行处理来实现流计算ApacheSpark在2016年的时候启动了StructuredStreaming项目，
品途旅游·2020-08-04 09:27

用Spark进行实时流计算

提供了基于RDDs的DstreamAPI，每个时间间隔内的数据为一个RDD，源源不断对RDD进行处理来实现流计算ApacheSpark在2016年的时候启动了StructuredStreaming项目，
独孤风·2020-08-04 08:00

用Spark进行实时流计算

提供了基于RDDs的DstreamAPI，每个时间间隔内的数据为一个RDD，源源不断对RDD进行处理来实现流计算ApacheSpark在2016年的时候启动了StructuredStreaming项目，
实时流式计算·2020-08-04 08:00

黑马程序员——基础知识——字符流

Day2121.01字符流FileReaderReader和Writer是字符流的抽象基类ReaderInputStreamReaderFileReader方法都来自父类1、字符流是什么字符流是可以直接读写字符的IO流计算机存储的是字节字符流读取字符
pan1564335·2020-08-03 20:47

flink本地集群搭建运行

前一阵子用到了阿里的blink处理流计算，对一些流计算的api也算是较熟悉了，大家都知道blink在今年3月份已被阿里开源，贡献到了开源的flink中，blink的优势在这里不在多描述了像支持sql编程等
小小枫叶y叶·2020-08-03 14:25

Spark流计算期末复习资料----助力高绩点

Spark集群搭建Spark基于standalone集群搭建，standalone是主从结构，分master,worker;app作业Application：带有自己需要的mem和cpu资源量，会在master里排队，最后被分发到worker上执行。app的启动是去各个worker遍历，获取可用的cpu，然后去各个workerlaunchexecutor。Worker：每台slave起一个(也可以
zhiyeegao·2020-08-03 09:21

Flink 中 timeWindow 滚动窗口边界和数据延迟问题调研

其次最好先阅读Flink流计算编程–watermark（水位线）简介这篇文章。本文是在阅读这篇CSDN文章后，有的
宇毅·2020-08-03 08:39

潮流计算的matlab程序实现方法

2019/01/05添加word文档潮流计算课程设计。2018/07/06说明：由于本人变压器建模与PSASP不同，本人使用模型如下图，参数输入时请按该模型计算。20
是波也是粒子·2020-08-03 07:03

初识Spark2.0之Spark SQL

内存计算平台spark在今年6月份的时候正式发布了spark2.0，相比上一版本的spark1.6版本，在内存优化，数据组织，流计算等方面都做出了较大的改变，同时更加注重基于DataFrame数据组织的
weixin_30512043·2020-08-03 06:25

Flink流式计算里的时间和watermark机制

一流计算对“批计算”的优势：“流计算”是相对于“批计算”来的，MapReduce，Spark底层的计算方式是目前主流的“批计算”实现方式，很多公司在使用这种方式做大数据处理。
flywind800·2020-08-03 00:34

Spark入门实战系列--7.Spark Streaming（上）--实时流计算Spark Streaming原理介绍

1、SparkStreaming简介1.1概述SparkStreaming是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis以及TCPsockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以
下雨天uu·2020-08-02 21:43

Flink 实战：如何解决生产环境中的技术难题？

ApacheFlink作为业界公认为最好的流计算引擎，不仅仅局限于做流处理，而是一套兼具流、批、机器学习等多种计算功能的大数据引擎，以其高吞吐低延时的优异实时计算能力、支持海量数据的亚秒级快速响应帮助企业和开发者实现数据算力升级
Ververica·2020-08-02 14:37

Spark 生态系统组件

摘要：随着大数据技术的发展，实时流计算、机器学习、图计算等领域成为较热的研究方向，而Spark作为大数据处理的“利器”有着较为成熟的生态圈，能够一站式解决类似场景的问题。
congsi9417·2020-08-02 12:24

flink 维表关联多种方式

这种方式可以保证数据是最新的，但是当我们流计算数据过大，会对外部系统带来巨大的访问压力，比如：连接失败，连接池满等情况，就会导致线程阻塞。task等待数据返回.核心就是通过Ma
刘狗·2020-08-02 12:51

GAMS在电力系统及综合能源系统中的应用

3，GAMS在电力系统中的应用3.1计算潮流（最优潮流），一个编程框架解决任意规模电力系统的最优潮流计算问题3.2机组组合3.3PMU安装4.GAMS在综合能源系统的应用4.1单能源枢纽优化运行4.2多个能量枢纽的协调优化运
qq_34194377·2020-08-01 14:48

快速起步的Apache Flink，远比我们看到的更强大，难怪阿里会选择它

目前开源大数据计算引擎有很多选择，流计算如Storm,Flink,KafkaStream等，批处理如Spark,Hive,Pig,Flink等。
爱开发V·2020-08-01 09:12

AI驱动智能化日志分析 : 通过决策树给日志做聚类分析

通常分析日志，可以借助于流计算系统来做实时计算、或者借助elasticsearch做搜索。日志服务，提供了一整套完
weixin_33920401·2020-08-01 04:38

一文带你了解阿里 、滴滴、字节跳动、美团、携程的Flink核心技术

前言ApacheFlink已经被业界公认是最好的流计算引擎。然而Flink其实并不是一个仅仅局限于做流处理的引擎。ApacheFlink的定位是一套兼具流、批、机器学习等多种计算功能的大数据引擎。
互联网全栈工程师·2020-07-31 21:54

spark简介

并且提供了用于机器学习(MLlib),流计算（Streaming）,图计算(GraphX)等子模块，1.4.0版本更是提供了与R语言的集成，这使得Spark几乎成为了多领域通吃的全能技术。
gongpulin·2020-07-31 17:15

IE9：九个不得不说的秘密

1、新JavaScript引擎IE9全新内置的“ChakraJavaScript引擎”充分利用当下主流计算机配置的多核心CPU，优化协同运算能力，编译、执行速度更快。
dantengle·2020-07-31 16:36

排除Full GC影响时间流计算的技巧

在日常Java开发中，异步线程处理相关业务是司空见惯的事，在异步线程处理监控中又经常会对其执行时间进行监控分析，比如运行时间是否超时等。这种方法在正常运行的时间是没有问题的，比如发起一个socket请求，服务端在10s内无应答则判断为超时，这样的逻辑是没有问题的；但这种机制忽略了一个FullGC机制，就是在极端情况下，当获取startTime开始时间后，此时发生了FullGC，触发了STW所有线程
拾荒路上的开拓者·2020-07-31 14:54

解读 2018：13 家开源框架谁能统一流计算？

本文是实时流计算2018年终盘点，作者对实时流计算技术的发展现状进行了深入剖析，并对当前大火的各个主流实时流计算框架做了全面、客观的对比，同时对未来流计算可能的发展方向进行预测和展望。
首席数据师·2020-07-31 13:25

Spark Streaming（下）

转自：https://www.cnblogs.com/shishanyuan/p/4747749.htmlSpark入门实战系列--7.SparkStreaming（下）--实时流计算SparkStreaming
sunshingheavy·2020-07-31 10:20

对单片机中rom 、ram、flash 的认识

电度表在工作过程中，是要运算数据的，要采集电压和电流，并根据电压和电流计算出电度来。电压和电流时一个适时的数据，用户不关心，它只是用来计算电度用，计算完后该次采集的数据
summer_fhb·2020-07-30 22:44

单片机ROM,RAM和FLASH的作用

电度表在工作过程中，是要运算数据的，要采集电压和电流，并根据电压和电流计算出电度来。电压和电流时一个适时的数据，用户不关心，它只是用来计算电度用，计算完后
魔都一棵葱·2020-07-30 22:43

Flink大数据计算的机遇与挑战

本文内容如下：流计算核心技术Flink是德国dataArtisans创造的，早期Flink主要是做偏批计算的，但是Spark在批处理上已经有一定优势，正面竞争没
weixin_33935505·2020-07-30 20:56

spark-stream 访问 Redis

最近在spark-stream上写了一些流计算处理程序，程序架构如下程序运行在Spark-stream上，我的目标是kafka、Redis的参数都支持在启动时指定。
weixin_33842304·2020-07-30 17:45

Spark Structured Streaming多流multiple streams)多查询(multiple queryies)问题

StructuredStreaming作为Spark新一代的流计算编程模型，针对流计算提供了很多新的的高级的API进行支持，这使得它比DStr
bluishglc·2020-07-30 14:55

java文件操作

1.字节流1.1什么是字节流计算机中都是二进制数据,一个字节是8个2进制位.字节可以表示所有的数据,比如文本,音频,视频.图片,都是作为字节存在的.也就是说字节流处理的数据非常多。
喝水的宝宝·2020-07-30 11:31

专题导读：面向大数据处理的数据流计算技术

点击上方蓝字关注我们专题导读：面向大数据处理的数据流计算技术数据流（dataflow）是麻省理工学院（MIT）的JackB.Dennis教授在20世纪70年代提出的一种计算机体系架构，这在当时是很大胆的想法
唐名威·2020-07-30 10:46

关于我：济南大学_陈辉武

如果您想和我交流计算机视觉的知识，也欢迎！关于成绩英语：大学英语4册都在80分左右，四级、六级都是一次考过。虽然分数不高，但我觉得是对于一门语
vselfdom·2020-07-30 02:34

Spark Streaming 流计算优化记录(3)-控制流量与join的地点

4.流量控制好像之前说过”一下子从Kafka拉取几十万条消息进行处理”的事情,其实酱紫是不对滴,饭要一口一口吃,一下子吃太多,会导致还没吃成胖子就已经被撑死的.所以我们要对为了做压力测试而早已在Kafka中囤积多时的几十万条消息分批次进行处理,毕竟实际跑起的时候每秒拥入我们知道,SparkStreaming进行流处理的原理是microbatch,即把每秒或每几秒这个时间窗口内流入的数据切分成几个b
立喆·2020-07-29 20:35

解读2018：13家开源框架谁能统一流计算？

本文是实时流计算2018年终盘点，作者对实时流计算技术的发展现状进行了深入剖析，并对当前大火的各个主流实时流计算框架做了全面、客观的对比，同时对未来流计算可能的发展方向进行预测和展望。
cpongo4'"\?;@·2020-07-29 18:59

Flink:Flink-SQL开发

自2015年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于Flink打造新一代计算引擎，针对Flink存在的不足进行优化和改进，并且在2019年初将最终代码开源，也就是我们熟知的Blink。
真情流露哦呦·2020-07-29 07:57

Flink Sql教程（3）

为什么Flink中需要维表以流计算为例，一般情况下，消费的消息中间件中的消息，是事实表中的数据，我们
Flink-狄杰·2020-07-28 23:17

Flink流计算编程--watermark（水位线）简介

【本文转自Flink流计算编程--watermark（水位线）简介】1、watermark的概念watermark是一种衡量EventTime进展的机制，它是数据本身的一个隐藏属性。
内蒙刘德华·2020-07-28 20:16

spark性能优化----缓存清除

spark是一款优秀的框架，计算性能相当优异，已经发展成大数据主流计算引擎，在spark开发过程中有很多优化的点。其中去除重复计算是非常重要的。
sunkl_·2020-07-28 13:23

大数据四十二条

2019年，大数据的“大”已不再是核心问题，核心是如何更快，比如流计算。数据大了价值不一定就高，价值更可能被大噪音淹没掉。主张让大数据放弃追求因果关系，就是要让我们回退到巫术时代。
秦岭熊猫·2020-07-28 12:07

Twitter发布新的大数据实时分析系统Heron

目前，我们主要的分析平台是开源的分布式流计算系统Storm。但是随着Twitter数据规模变大和多样化，我们的需求已经发生了改变。
钱曙光·2020-07-28 05:42

通信机制 Storm vs. Flink

Storm通信机制Storm和Flink都是流计算系统中比较成熟的开源实现，在一些流计算平台选型的文章中，两者也常常被拿来重点比较,但是两个平台都在持续更新，一些选型比较和压测结果文章都可能已经过时。
余楚倩·2020-07-28 00:53

日志收集组件—Flume、Logstash、Filebeat对比(建议收藏)

提到数据分析，大部分人首先想到的都是Hadoop、流计算、机器学习等数据加工的方式。从整个过程来看，数据分析其实包含了4个过程：采集，存储，计算，展示。
无精疯·2020-07-27 18:14

基于Greenplum+Kafka的实时数据处理

Greenplum研发团队在开源Greenplum的基础上，提供了新的高速流数据引擎GPKafka，从而将Greenplum强大的SQL处理能力引入到流计算领域。
Greenplum·2020-07-27 17:38

RocketMQ 核心成员最具实力的技术分享

从最初的日志传输领域到后来阿里集团全维度在线业务的支撑，RocketMQ被广泛用于交易、数据同步、缓存同步、IM通讯、流计算、IoT等场景。
技术杂谈哈哈哈·2020-07-27 15:04

第四章 flink特性 - 流计算乱序延迟数据问题（Watermark）

应用场景需求：需要按小时统计用户在某个网页上的浏览次数，观察一天内网站活跃度分布情况。编程思路：利用flink来计算这个问题的话，可以采用聚合窗口，将每条采集到的用户浏览日志累加起来，每隔1小时生成一个窗口输出就可以了。可能存在的问题：正常情况下采集到的日志是按照顺序来的，但是如果遇上数据采集传输时候网络抖动、或者flink程序资源处理数据过慢产生反压，特别是使用Kafka的时候，多个分区之间的数
0人间四月天O·2020-07-22 15:41

Flink流计算项目搭建【SBT、Maven】

一.构建工具可以使用不同的构建工具来构建Flink项目。为了快速入门，Flink为以下构建工具提供了项目模板：SBTMaven这些模板将帮助建立项目的框架并创建初始化的构建文件。二.SBT1.创建项目使用SBT模板：sbtnewtillrohrmann/flink-project.g8这里将提示输入几个参数(项目名称，Flink版本…)然后从Flink项目模版创建一个Flink项目。你的sbt版本
神之凝视·2020-07-16 05:00
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他