hadoopflink流计算

大数据技术学习笔记

大数据计算模式及代表产品大数据计算模式|解决的问题|代表产品批处理计算|针对大规模数据的批量处理|MapReduce、Spark流计算|针对流数据的实时计算|Storm、S4、Streams图计算|针对大规模图
weixin_33947521·2019-06-04 09:00

hex2bin / bin2hex / pack / unpack 的理解及应用

文本文件/二进制文件/二进制bit流计算机在存储或传输数据时都是以bit流的形式（二进制），文本文件和二进制文件的主要区别就是在于文本文件是有字符集的，ascii/utf8/utf16等，读取时会将二进制流解码成对应的字符集字符
big_cat·2019-06-04 00:00

谈谈流计算中的『Exactly Once』特性

作者：宝牛本文翻译自streaml.io网站上的一篇博文：“ExactlyonceisNOTexactlythesame”，分析了流计算系统中常说的『ExactlyOnce』特性，主要观点是：『精确一次
Ververica·2019-05-31 17:37

流计算框架 Flink 与 Storm 的性能对比

作者：孙梦瑶概述:将分布式实时计算框架Flink与Storm进行性能对比，为实时计算平台和业务提供数据参考。1.背景ApacheFlink和ApacheStorm是当前业界广泛使用的两个分布式实时计算框架。其中ApacheStorm（以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用（可参考Storm的可靠性保证测试），有管理平台、常用API和相应的文档，大量实时作业基于Storm
Ververica·2019-05-31 13:42

谈谈流计算中的『Exactly Once』特性

作者：宝牛本文翻译自streaml.io网站上的一篇博文：“ExactlyonceisNOTexactlythesame”，分析了流计算系统中常说的『ExactlyOnce』特性，主要观点是：『精确一次
ApacheFlink·2019-05-31 00:00

原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

Flink应用程序端到端的Exactly-Once语义示例Flink应用程序启动预提交阶段在Flink中实现两阶段提交Operator总结ApacheFlink自2017年12月发布的1.4.0版本开始，为流计算引入了一个重要的里程碑特性
ApacheFlink·2019-05-29 00:00

如何从小白进化成 Apache Flink 技术专家？9节基础课程免费公开！

随着数据量的爆发，AI走上风口，典型的大数据业务场景下数据业务最通用的做法是：选用批计算的技术处理全量数据，采用流计算的技术处理实时增量数据。
阿里技术_·2019-05-29 00:00

Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

应用程序端到端的Exactly-Once语义3.示例Flink应用程序启动预提交阶段4.在Flink中实现两阶段提交Operator5.总结ApacheFlink自2017年12月发布的1.4.0版本开始，为流计算引入了一个重要的里程碑特性
兴趣e族·2019-05-28 14:01

OGG For Bigdata 12按操作类型同步Oracle数据到kafka不同topic

OGGforBigdata将Oracle数据库数据实时增量同步至hadoop平台（kafka，hdfs等）进行消费，笔者搭建这个环境的目的是将Oracle数据库表通过OGG同步到kafka来提供给flink做流计算
赵延东的一亩三分地·2019-05-21 16:09

python问答。。

可移植性强：绝大多数python程序可以不做改变在所有主流计算机平台运行。标准库的支持：内置许多预编译并可移植的功能模块（称作：标准库），
lxm_001·2019-05-21 00:00

基于flink的流数据统计

一、统计流程 image.png所有流计算统计的流程都是：1、接入数据源2、进行多次数据转换操作(过滤、拆分、聚合计算等)3、计算结果的存储其中数据源可以是多个、数据转换的节点处理完数据可以发送到一个和多个下一个节点继续处理数据
aa1215018028·2019-05-20 00:00

手把手教你满速下载百度网盘文件

百度网盘，曾用名百度云（BaiduCloud），是百度推出的一项个人云存储服务，覆盖中国大陆各大主流计算机和手机操作系统，包含Web版、Windows版、Mac版、Android版和iPhone版。
pangtong·2019-05-18 12:33

实时数据库：一夜之间，我感受到了时序数据库的威胁

牵头流计算、时序数据库等多项行业标准及研究报告的编写工作。
�Horde�·2019-05-10 10:54

实时数据库：一夜之间，我感受到了时序数据库的威胁

牵头流计算、时序数据库等多项行业标准及研究报告的编写工作。
�Horde�·2019-05-10 10:54

深度剖析阿里巴巴对Apache Flink的优化与改进

在流计算领域，近年来也不断有流表二象性、流是表的C
ApacheFlink·2019-04-30 00:00

流计算框架 Flink 与 Storm 的性能对比

（备注：原文链接https://mp.weixin.qq.com/s/b8...）作者：孙梦瑶概述:将分布式实时计算框架Flink与Storm进行性能对比，为实时计算平台和业务提供数据参考。1.背景ApacheFlink和ApacheStorm是当前业界广泛使用的两个分布式实时计算框架。其中ApacheStorm（以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用（可参考Storm
ApacheFlink·2019-04-29 00:00

【4.分布式计算】flink

flink有批处理和流处理的计算功能，其中批处理是用流计算来模拟，更多数据处理见：https://segmentfault.com/a/11...
梦想家·2019-04-29 00:00

上：Spark VS Flink – 下一代大数据计算引擎之争，谁主沉浮？

导读：做大数据绝对躲不过的一个热门话题就是实时流计算，而提到实时流计算，就不得不提Spark和Flink。Spark从2014年左右开始迅速流行，刚推出时除了在某些场景比Ha
ApacheFlink·2019-04-28 00:00

Flink大数据计算的机遇与挑战

本文内容如下：流计算核心技术Flink是德国dataArtisans创造的，早期Flink主要是做偏批计算的，但是Spark在批处理上已经有一定优势，正面竞争没
ApacheFlink·2019-04-25 00:00

Apache Storm（Low Level）

作者：jiangzz电话：15652034180微信：jiangzz_wx微信公众账号：jiangzz_wy百知教育背景介绍流计算:将大规模流动数据在不断变化的运动过程中实现数据的实时分析，捕捉到可能有用的信息
麦田里的守望者_e392·2019-04-17 16:02

Apache Flink 介绍

流计算在介绍Flink之前首先说一下流计算的概念，流计算是针对流式数据的实时计算。流式数据
chaojianok·2019-04-12 13:00

Flink学习笔记：异步I/O访问外部数据

场景：流计算系统中经常需
大数据研习社·2019-04-10 15:00

Flink生成Hfile

提出需求：团队为了统一技术栈，一致同意用Flink来进行对批和流计算统一处理。问题来了：Flink似乎相对spark来说还是很不完善，spark分分钟搞定的事情，在Flink里就需要动动脑子了。
风远陌·2019-04-08 17:37

storm实时分布式流计算系统——介绍

介绍storm是一款实时分布式流计算开源框架，在一个多节点集群上，每秒可以轻松处理上百万条消息。扩展性好，容错性好，稳定性好，可以支持很多编程语言。
讲不出 再见·2019-03-28 15:02

Flink watermark+window 处理数据乱序、迟到问题

在流计算中，我们一般会选择Storm、Spark、Flink等计算框架，而对消息队列的选则一般是Rabbitmq、Kafka等，本片文章我们主要介绍Kafka+Flink框架在流计算中所遇到的问题及解决方案
Seniscz·2019-03-20 20:28

开源的Blink和Spark3.0，谁将称霸大数据领域？

2018和2019年是大数据领域蓬勃发展的两年，自2019年伊始，实时流计算技术开始步入普通开发者视线，各大公司都在不遗余力地试用新的流计算框架，实时流计算引擎SparkStreaming、KafkaStreami
AI科技大本营·2019-03-14 20:23

大数据舞台中的Flink

大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习CSDN官网课程：Flink大数据项目实战：http://t.cn/ExrHPl92014年Flink作为主攻流计算的大数据引擎开始在开源大数据行业内崭露头角
大数据研习社·2019-03-13 15:36

Flink 原理与实现：Aysnc I/O

流计算系统中经常需要与外部系统进行交互，比如需要查询外部数据库以关联上用户的额外信息。通常，我们的实现方式是向数据库发送用户a
Lynn_Yuan·2019-03-12 09:35

Flink 原理与实现：Table & SQL API

wuchong.me/blog/2017/03/30/flink-internals-table-and-sql-api/Flink已经拥有了强大的DataStream/DataSetAPI，可以基本满足流计算和批计算中的所有需求
Lynn_Yuan·2019-03-12 09:10

flink简单应用: scala编写wordcount

api1,flink:DataStreamapplicationsa，配置pom.xmlorg.apache.flinkflink-streaming-scala_2.111.7.2b，调用flink流计算
根哥的博客·2019-03-11 16:20

利用blink+MQ实现流计算中的超时统计问题

原因在于：流计算是基于消息触发计算的，若没有消息到达到则
阿里云云栖社区·2019-03-06 00:00

利用blink CEP实现流计算中的超时统计问题

案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总一.背景介绍如一文中所描述的场景，我们将其简化为以下案例：实时流的数据源结构如下：物流订单号支付时间仓接单时间仓出库时间LP12018-08-0108:00LP12018-08-0108:002018-08-0109:00LP22018-08-0109:10LP22018-08-0109:102018-08-0109:50LP22018-0
阿里云云栖社区·2019-03-06 00:00

Flink DataStream转换（翻译官方文档）

以下就是我翻译的flink流计算DataStreamTransforma
jyj019·2019-03-02 08:56

Flink 原理与实现：Table & SQL API

1.前言Flink已经拥有了强大的DataStream/DataSetAPI，可以基本满足流计算和批计算中的所有需求。为什么还需要Table&SQLAPI呢？
李京京·2019-02-27 14:00

Storm精华问答 | task与executor有什么关系？

而目前已是分布式技术领域最新爆发点，Storm更是流计算技术中的佼佼者和主流。今天我们就一起来看看Storm的精华问答！1Q：task与executor有什么关系？
csdn业界要闻·2019-02-20 10:46

初识Flink（1）-- 关于Flink的架构

PS：我是半吊子Storm从业者，Storm是我司流计算平台很早就在使用的技术，一直没有深入了解，当时Flink已经出具规模，但是鉴于一个Storm还没搞好，再弄个Flink进来会搞不定，大家还是坚持在
关耳山石·2019-02-18 00:00

Storm精华问答 | 为什么这么多人用Spark而不用Storm？

随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，以及大数据实时处理解决方案的应用日趋广泛，目前已是分布式技术领域最新爆发点，而Storm更是流计算技术中的佼佼者和主流。
CSDN云计算·2019-01-30 10:45

Storm精华问答 | 为什么这么多人用Spark而不用Storm？

随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，以及大数据实时处理解决方案的应用日趋广泛，目前已是分布式技术领域最新爆发点，而Storm更是流计算技术中的佼佼者和主流。
CSDN云计算·2019-01-30 10:45

Storm精华问答 | 为什么这么多人用Spark而不用Storm？

随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，以及大数据实时处理解决方案的应用日趋广泛，目前已是分布式技术领域最新爆发点，而Storm更是流计算技术中的佼佼者和主流。
csdn业界要闻·2019-01-30 10:45

漫谈加持Blink的Flink和Spark

在实际的场景这种优势已经超过Spark三倍，在流计算性能上我们也取得了类似的提升。我们线上的很多典型作业，性能是原来的3到5倍。在有数据倾斜的场景，以及若干比较有挑战的TPC-Hquery
祝威廉·2019-01-28 18:19

StructuredStreaming编程指南

您可以用在静态数据上表示批处理计算的方式来表示流计算。SparkSQL引擎将负责递增和连续地运行它，并在流数据继续到达时更新最终结果。
撸码小丑·2019-01-23 15:10

华为云-实时流计算服务CS

1.CS服务说明具体可以参考官网https://console.huaweicloud.com/cs/?region=cn-north-1#/dashboard，根据我的学习了解，CS服务提供了一种监控预警的流水线系统。首先是监控，当我们关注的某些数据更新后，通过DISagent上传至CS服务，然后通过FlinkSQL作业任务筛选出以及判断关键数据是否符合要求，然后根据实际情况向用户发送消息，看到
砖头23333·2019-01-22 14:49

Flink实时流计算中，如何融入tensorflow

fromkeras.modelsimportSequential,load_modelimportnumpymodel=load_model('xxx.h5')model.compile(loss='binary_crossentropy',optimizer='adam',metrics=['accuracy'])model._make_predict_function()defhandle(c
于小葵·2019-01-10 17:25

21天晋级大数据实战营【资料合集】

销售预测实验小结点击查看【DAY13】车联网应用之轨迹分析实验小结点击查看【DAY12】图引擎服务GES使用实验小结点击查看【DAY11】让编排变的简单-数据湖工厂实验小结点击查看【DAY9】1天精通实时流计算实验小结点击查看
running_sun·2019-01-10 11:12

流计算 应用场景

1为了解决什么样的问题伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨天在淘宝上买了一双袜子，
李景山-编程者·2019-01-10 00:00

Flink在监控流计算中的应用

http://www.aboutyun.com/thread-23278-1-1.html问题导读：1、如何理解流计算？2、什么是Flink？3、Flink的关键技术点有哪些？
tianjinsong·2019-01-07 00:00

Apache Flink，流计算？不仅仅是流计算！

阿里妹导读：2018年12月下旬，由阿里巴巴集团主办的FlinkForwardChina在北京国家会议中心举行。FlinkForward是由Apache软件基金会授权的全球范围内的Flink技术大会，2015年开始在德国柏林举办，今年第一次进入中国。今天，计算平台事业部的资深技术专家莫问，将带领我们重温这场大数据技术的饕餮盛宴，感受ApacheFlink作为下一代大数据计算引擎的繁荣生态。Flin
阿里云云栖社区·2019-01-03 17:42

有问有答 | Storm技术内幕与实践精华问答

随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统等，大数据实时处理解决方案的应用日趋广泛，目前已是分布式技术领域最新爆发点，而Storm更是流计算技术中的佼佼者和主流
CSDN云计算·2019-01-03 11:41

Apache Flink，流计算？不仅仅是流计算！

阿里妹导读：2018年12月下旬，由阿里巴巴集团主办的FlinkForwardChina在北京国家会议中心举行。FlinkForward是由Apache软件基金会授权的全球范围内的Flink技术大会，2015年开始在德国柏林举办，今年第一次进入中国。今天，计算平台事业部的资深技术专家莫问，将带领我们重温这场大数据技术的饕餮盛宴，感受ApacheFlink作为下一代大数据计算引擎的繁荣生态。Flin
阿里技术_·2019-01-03 00:00

Apache Flink，流计算？不仅仅是流计算！

阿里妹导读：2018年12月下旬，由阿里巴巴集团主办的FlinkForwardChina在北京国家会议中心举行。FlinkForward是由Apache软件基金会授权的全球范围内的Flink技术大会，2015年开始在德国柏林举办，今年第一次进入中国。今天，计算平台事业部的资深技术专家莫问，将带领我们重温这场大数据技术的饕餮盛宴，感受ApacheFlink作为下一代大数据计算引擎的繁荣生态。Flin
阿里云云栖社区·2019-01-03 00:00
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他