流式计算Heron

性能提升约 7 倍！Apache Flink 与 Apache Hive 的集成

导读：随着Flink在流式计算的应用场景逐渐成熟和流行，如果Flink能同时把批量计算的应用场景处理好，就能减少用户在使用Flink时开发和维护的成本,并且能够丰富Flink的生态。
Ververica·2020-08-16 16:33

大数据基础-Storm基础（一）

1、流式计算是什么流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存
weixin_40657079·2020-08-16 03:48

流式计算Flink与其Exactly-Once语义实现

Flink及Storm、Spark主流流框架比较Flink作为近年新起的大数据流式处理框架，正逐渐被各大企业采用而变为主流。其常常被用来与Storm、Sparkstreaming和kafakstreaming等同类数据处理框架作对比，经大致总结，各框架性能对比如下表：框架StormSparkstreamingKafkastreamsFlink模型批处理微批处理流式处理流式处理处理语义At-Leas
笑矣乎·2020-08-15 11:06

Postgresql - PipelineDB - 初识Stream功能 - 流式计算

PipelineDB，有一个很好用的流式计算功能。将想要得到的结果逻辑，存储为表的雾化视图。
Chuck_Chen1222·2020-08-14 09:27

Java8 新特性

文章目录1.lambda表达式1.1lambda的基本语法1.2lambda四大内置函数式接口2.方法引用与构造器引用2.1方法引用2.2构造器引用2.3数组引用3.Stream流式计算3.1创建流的几种方式
小默学习笔记·2020-08-14 04:43

Flink05——一文了解Flink的Window和Time

前言窗口计算是流式计算中非常常用的数据计算方式之一，通过按照固定时间或长度将数据流切分成不同的窗口，然后对数据进行相应的聚合运算，从而得到一定时间范围内的统计结果。
提灯寻梦在南国·2020-08-13 21:39

Spark Streaming 检查点，何时启用检查点，如何配置检查点

元数据检查点-将定义流式计算的信息保存到容错存储（如HDFS）。这用于从运行流应用程序的驱动程序的节点的故障中恢复（稍后详
总角之宴·2020-08-12 14:26

Kafka-概述和集群部署

1、Kafka概述1.1、Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。1）ApacheKafka是一个开源消息系统，由Scala写成。
青岛欢迎您·2020-08-12 10:47

大数据技术Kafka--Kafka概述（一）

一、Kafka概述1.1kafka是什么在流式计算中，Kafka一般用于缓存数据，Storm通过消费Kafka的数据进行计算。
骑着自行车的羊·2020-08-12 10:11

kafka消息队列的概念理解

kafka可以进行流式计算，也可以做为日志系统，还可以用于消息队列。kafka作为消息队列的优点：分布式的系统高吞吐量。即使存储了许多TB的消息，它也保持稳定的性能。数据保留在磁盘上，因此它是持久的。
月疯·2020-08-12 10:01

用户画像理解

标签数据及相关脚本的开发是用户画像构建工作的重点:常见的统计类、规则类、挖掘类、流式计算类标签以及用户特征库等与用户相关的数据的开发，还
listwebit·2020-08-12 00:44

JUC(三)

目录同步队列池化技术和线程池的使用线程池的三大方法线程池的七大参数参数描述手动创建线程池四大拒绝策略CPU密集型和IO密集型(调优)四大函数式接口`Stream`流式计算ForkJoin详解`ForkJoin
weixin_42412601·2020-08-11 00:27

实时流处理学习（一）

MapReduce适合离线批处理实时流处理产生背景：时效性高数据量大实时计算与流计算对比：实时计算：延迟性低流式计算：不断产生的数据流上计算==综合==>实时流式计算离线计算与实时计算的对比：1)数据来源离线
无影风Victorz·2020-08-10 22:09

11 Confluent_Kafka权威指南 第十一章：流计算

文章目录CHAPTER10StreamProcessing流式计算WhatIsStreamProcessing?
冬天里的懒猫·2020-08-10 11:02

spark大数据架构初学入门基础详解

Spark是什么a)是一种通用的大数据计算框架b)SparkCore离线计算SparkSQL交互式查询SparkStreaming实时流式计算SparkMLlib机器学习SparkGraphX图计算c)
星月情缘02·2020-08-10 04:28

Stream流式计算

什么是Stream流式计算Stream流式计算就是把计算交给流来操作，而集合只做存储。这么说可能看不懂，我们通过下面例子来理解。题目要求：一分钟内完成此题，只能用一行代码实现！现在有5个用户！
Gebo·2020-08-10 03:54

函数式接口及Stream流式计算

文章目录概念和定义jdk1.8以前的函数式接口及使用jdk1.8之后新增的函数式接口新增函数式接口的四大分类Stream流的定义及概念java8的新特性（仅列举四个）概念和定义函数式接口(FunctionalInterface)就是一个有且仅有一个抽象方法，但是可以有多个非抽象方法的接口。jdk1.8之后，函数式接口可以被隐式转换为lambda表达式。下面就是jdk1.8之后，定义一个函数式接口的
不洇·2020-08-10 00:15

流式计算

1.什么是流式计算大数据=存储+计算存储：map、mysql等计算：交给流来计算2.举例lambda表达式、链式编程、函数式接口、Stream流式计算publicclassStreamDemo{publicstaticvoidmain
酷学java·2020-08-10 00:31

Java 新特性之Stream 流式计算

Stream流式计算内部采用了大量的函数式接口，很多用的就直接是10中的四大函数式接口，所有我们在使用的时候可以直接用lambda表达式。
崔雨田·2020-08-10 00:50

Java_函数式接口&Stream流式计算

文章目录函数式接口流(Stream)特点操作阶段demo函数式接口//Rapply(Tt);函数型接口，一个参数，一个返回值Functionfunction=t->{returnt.length();};System.out.println(function.apply("abcd"));//booleantest(Tt);断定型接口，一个参数，返回booleanPredicatepredicat
Chill_Lyn_·2020-08-09 18:14

透过窗口看无限数据流——Flink的Window全面解析

欢迎关注我的公众号:大数据技术与数仓免费领取百G大数据资料窗口是流式计算中非常常用的算子之一，通过窗口可以将无限流切分成有限流，然后在每个窗口之上使用计算函数，可以实现非常灵活的操作。
西贝木土·2020-08-09 13:57

Spark Streaming如何使用checkpoint容错

在互联网场景下，经常会有各种实时的数据处理，这种处理方式也就是流式计算，延迟通常也在毫秒级或者秒级，比较有代表性的几个开源框架，分别是Storm，SparkStreaming和Filnk。
三劫散仙·2020-08-09 12:46

大数据总结【第九章：Spark】

：支持使用Scala、Java、Python和R语言进行编程，可以通过SparkShell进行交互式编程通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件运行模式多样
计忆芳华·2020-08-08 20:44

透过窗口看无限数据流——Flink的Window全面解析

欢迎关注我的公众号:大数据技术与数仓免费领取百G大数据资料窗口是流式计算中非常常用的算子之一，通过窗口可以将无限流切分成有限流，然后在每个窗口之上使用计算函数，可以实现非常灵活的操作。
西贝木土·2020-08-08 14:52

透过窗口看无限数据流——Flink的Window全面解析

欢迎关注我的公众号:大数据技术与数仓免费领取百G大数据资料窗口是流式计算中非常常用的算子之一，通过窗口可以将无限流切分成有限流，然后在每个窗口之上使用计算函数，可以实现非常灵活的操作。
西贝木土·2020-08-08 14:51

stream流式计算的妙用

有了stream流式计算，结合着函数式接口和链式调用，对于数据的处理变得更加简单，同时增强可读性。
spring man·2020-08-08 03:42

超全干货--Flink思维导图，花了3周左右编写、校对

需要说明一下，Flink使用场景：大数据流式计算、金融风控、实时异常监测（订单、传感器、刷单、
十点进修·2020-08-06 10:29

Flink 全套知识体系，终于搞到了！

自从阿里Blink开源，Flink就因天然流式计算特性和强大处理性能，打破了Spark独霸实时计算领域的现状，一跃成为炙手可热的大数据处理框架。目前，包括阿里在内的很多公司都对Flink有一定布局。
码农小胖哥·2020-08-06 10:26

网站访问量实时统计

一、需求：统计网站访问量（实时统计）技术选型：特点（数据量大、做计算、实时）实时流式计算框架：storm1)spout数据源，接入数据源本地文件2)splitbolt业务逻辑处理切分数据拿到网址3)bolt
weixin_30548917·2020-08-05 20:21

潮事 | Heron Preston 担任电竞战队品牌顾问，会出「仙鹤」外设吗？

èè餰鰤¤¤°1626°èè·èè騷èé±°è·è°é1#HeronPrestonè±éèééé#èèèHeronPreston¨§±é¨Gen.Gééè¨èè±éèéèèééHeronPreston¨è·±é¨··éèééèHeronPrestonè·±2#èéé°é150#èèéééé§èHD¨¨è·°20212°éè騱è150¤±è·¤èé鰱谤±¤·±è#Unbrea
1626潮流精选·2020-08-05 00:00

大数据课程30天掌握 spark内存计算（python ）-徐培成-专题视频课程

大数据课程30天掌握spark内存计算（python）—16625人已学习课程介绍本部分内容全面涵盖了Spark生态系统的概述及其编程模型，深入内核的研究，SparkonYarn,SparkStreaming流式计算原理与实践
十八掌教育·2020-08-04 22:31

若泽大数据--玩转大数据之Spark入门到实战--专题视频课程

课程收益全面涵盖了Spark生态系统的概述及其编程模型，深入内核的研究，SparkonYarn,SparkStreaming流式计算原理与实践，SparkSQL,Spark的多语言编程以及SparkR的原理和运行
ruozedata·2020-08-04 17:24

如果20万用户同时访问一个热点缓存，如何优化你的缓存架构？

目录（1）为什么要用缓存集群（2）20万用户同时访问一个热点缓存的问题（3）基于流式计算技术的缓存热点自动发现（4）热点缓存自动加载为JVM本地缓存（5）限流熔断保护（6）总结（1）为什么要用缓存集群这篇文章
qq_42949441·2020-08-04 17:48

CentOS7上使用源码安装物联网大数据平台TDengine

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。目前，TDengine只支持在使用systemd做进程服务管理的linux系统上安装。
似水流年·2020-08-04 14:57

基于热点发现的本地缓存的架构设计

基于流式计算技术的缓存热点自动发现其实这里关键的一点，就是对于这种热点缓存，你的系统需要能够在热点缓存突然发生的时候，直接发现他，然后瞬间立马实现毫秒级的自动负载均衡。
奔向云计算的笨鸟·2020-08-04 14:30

TDengine 在VS2008上的配置使用

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。听着很是有诱惑力，所以就想装下试试它。没想到一试就入了一堆坑。
LyMonk·2020-08-04 10:41

Storm基础

ApacheStorm流式计算框架1、Storm基础1.1、Storm是什么Hadoop在处理数据的时候，时效性不够，市场期望能够尽快得到处理后的数据。
hxhh·2020-08-03 21:14

大数据计算技术的演变历程、大数据挖掘技术

计算技术演变历程：1、离线计算Mapreduce：大数据兴趣初期，满足海量数据的离线批处理需求；2、流式计算Storm：满足电子商务，新闻聚合等、实时监管等实时统计需求，以数据流的驱动来触发计算，时效性高
iteye_7971·2020-08-03 18:46

Flink 窗口、时间和水印

而当我们在流式计算环境中数据从Source产生，再到转换和输出，这个过程由于网络和反压的原因会导致消息乱序。因此，需要有一个机制来解决这个问题，这个特别的机制就是“水印”。
Platina_Tomato·2020-08-03 07:13

kafka

1、Kafka是什么（了解）在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。
大数据专家·2020-08-03 02:24

Flink流式计算里的时间和watermark机制

一流计算对“批计算”的优势：“流计算”是相对于“批计算”来的，MapReduce，Spark底层的计算方式是目前主流的“批计算”实现方式，很多公司在使用这种方式做大数据处理。但是越来越多的公司目前开始关注“流计算”，主要有以下一些原因：1对处理时间的要求。随着技术的进步，用户对“延迟”的忍受能力越来越弱，能更及时发现问题、解决问题，能提升用户体验。2在大数据分析领域，数据分析得越及时，价值越高。在
flywind800·2020-08-03 00:34

数据中台技术汇 | DataSimba系列之流式计算

你是否有过这样的念头：如果能立刻马上看到我想要的数据，我就能更好地决策？市场变化越来越快，企业对于数据及时性的需求，也越来越大，另一方面，当下数据容量呈几何倍暴增，数据的价值在其产生之后，也将随着时间的流逝，逐渐降低。因此，我们最好在事件发生之后，迅速对其进行有效处理，实时，快速地处理新产生的数据，帮助企业快速地进行异常管理和有效决策，而不是待数据存储在一起之后，再进行批量处理。一:sparkSt
bqc63177·2020-08-02 23:18

Flink学习18---window和Time（一）window全面解析

窗口是流式计算中非常常用的算子之一，通过窗口可以将无限流切分成有限流，然后在每个窗口之上使用计算函数，可以实现非常灵活的操作。
zhuzuwei·2020-08-02 21:28

蚂蚁金服开放计算架构：下一代金融级计算架构

从10年前的MapReduce分布式计算开始，几乎每三年就会出现一次新的计算引擎更迭，从开山鼻祖的Hadoop，到后来流式计算的Storm，之后出现了基于内存迭代计算的Spark红极一时，然后到今天Flink
阿里云云栖号·2020-08-01 11:25

别再叫我 Sql boy！

自从阿里Blink开源，Flink就因天然流式计算特性和强大处理性能，打破了Spark独霸实时计算领域的现状，一跃成为炙手可热的大数据处理框架。目前，包括阿里在内的很多公司都对Flink有一定布局。
大数据技术与架构·2020-08-01 02:09

潮流 | Heron Preston出任电竞俱乐部Gen.G战略顾问

DIOR¨è¨éééè°éè¤è褧ééèè·èDiorDiorSauvage·¤èèé¨éè°¤¨éè¨éè°±é¤éèéè鱤é§è褨éèéèèèDiorSauvageééé°éèHeronPreston±é¨Gen.GééèèèHeronPreston¨§±é¨Gen.Géé(ExecutiveBrandAdvisor)°±é¨¨èè§è±éèéèèéé¤Gen.GHeronPres
潮人·2020-08-01 00:00

大数据流式计算第一课---从Storm开始

大数据流式计算第一课—从Storm开始##**前言**##大数据（BigData）又称为巨量资料，指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。
fanleehao·2020-07-31 21:55

狂神——Stream流式计算

JUC1狂神JUC——传统的Synchronized锁2狂神JUC——Lock锁3狂神JUC——Lock版生产者和消费者4狂神JUC——Synchronized版的生产者和消费者问题5狂神JUC——8锁现象彻底理解锁6狂神JUC——集合不安全7狂神JUC——走近Callable8狂神JUC——CountDownLatch，CyclicBarrier，Semaphore9狂神JUC——读写锁10狂神
黄 坤·2020-07-31 20:32

利用Spark Streaming实现分布式采集系统

之前我在微信朋友圈发了一段话，说明SparkStreaming不仅仅是流式计算，也是一类通用的模式，可以让你只关注业务逻辑而无需关注分布式相关的问题而迅速解决业务问题前言前两天我刚在自己的一篇文章中鼓吹数据天生就是流式的
祝威廉·2020-07-31 18:38

No，流式计算浪潮才刚刚开始！

翻译｜巴真编辑｜DebraAI前线导读：本文重点讨论了大数据系统发展的历史轨迹，行文轻松活泼，内容通俗易懂，是一篇茶余饭后用来作为大数据谈资的不严肃说明文。本文翻译自《StreamingSystem》最后一章《TheEvolutionofLarge-ScaleDataProcessing》，在探讨流式系统方面本书是市面上难得一见的深度书籍，非常值得学习。更多干货内容请关注微信公众号“AI前线”（I
weixin_33713707·2020-07-31 12:36
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他