Storm+–+流计算

大数据技术原理与应用：期末考点总结

目录第一章大数据概述第二章Hadoop第三章HDFS第四章HBase第五章NoSQL第六章云数据库第七章MapReduce第八章Hadoop2.x第九章Spark第十章流计算第一章大数据概述1.大数据的
虾米奥·2021-02-18 22:37

重绘和回流（重排）是什么，如何避免？

因为浏览器需要通过回流计算最新值回流必将引起重绘，而重绘不一定会引起回流
LuckXinXin·2021-02-13 11:34

[目录] 邓志豪的大数据探索文章目录

理论篇大数据理论篇No.1-浅谈Flink中的数据传输大数据理论篇No.2-聊聊Flink流计算中的Timestamp和Watermark大数据理论篇No.3-看看Flink如何实现端到端的Exactly-once
pezynd·2021-02-09 15:55

大数据实操篇 No.16-记一次完整的Flink流计算案例（DataStream API）

第1章简介本篇文章采用FlinkDataStreamAPI完成一次端到端的完成流计算案例，将数据从Kafka抽取，写入Elasticsearch中，并且用kibana动态的展示出来。
pezynd·2021-02-09 13:20

Blink/Flink 实践案例中的知识点整理

滚动窗口全站总人数及走势热门直播房间排行去重操作流计算回撤统计问题实践案例的知识点整理实践案例部分在内部文档中有更多的案例，但是内容很重复，学习过程中经常看到一样的内容，我认为在这部分的阅读过程中不需要像我一样把所有的案例都读一遍
Foools·2021-02-03 10:18

python方法——现金流计算

常用现金流的计算固定现金流现值计算函数表达式：PresentVal=pv(Rate,NumPeriods,Payment,ExtraPayment,Due)Rate:贴现率NumPeriods：贴现周期Payment周期现金流ExtraPayment：最后一次非周期现金流，函数默认为0Due：现金流计息方式（0为周期末付息，1为周期初付息）PresentVal：现金流现值代码如下：importnu
爱格1997·2021-02-01 11:08

《动手学深度学习》学习笔记(九)

鉴于深度神经网络能够对图像逐级有效地进行表征：所以广泛应用到目标检测、语义分割和样式迁移这些主流计算机视觉任务中。全卷积网络对图像做语义分割。样式迁移技术生成封面图像。
xiaoyaolangwj·2021-01-31 15:38

基于Matpower的电力系统潮流计算原理及仿真设计（详细）

基于Matpower的电力系统潮流计算设计原理第一部分前言第二部分牛顿-拉夫逊算法潮流计算的基本原理1.牛顿-拉夫逊计算法潮流计算原理2.牛顿-拉夫逊计算法潮流直角坐标计算原理3.牛顿-拉夫逊计算法潮流计算流程第三部分
夜雨星驰·2021-01-31 14:08

基于Matpower的电力系统潮流计算仿真

基于Matpower的电力系统潮流计算仿真第一部分前言第二部分电力系统结构图第三部分Case28节点的编写8机28节点电力系统发电机功率8机28节点电力系统节点功率平衡节点矩阵数据8机28节点电力系统变压器变比第四部分潮流计算仿真数据潮流计算节点数据潮流计算发电机数据潮流计算支路数据
夜雨星驰·2021-01-21 22:53

基于Matpower的电力系统潮流计算设计原理

基于Matpower的电力系统潮流计算设计原理第一部分前言第二部分牛顿-拉夫逊算法潮流计算的基本原理1.牛顿-拉夫逊计算法潮流计算原理2.牛顿-拉夫逊计算法潮流直角坐标计算原理3.牛顿-拉夫逊计算法潮流计算流程第三部分
夜雨星驰·2021-01-21 22:37

如何迁移 Flink 任务到实时计算

一、如何迁移：从Flinkrun到流计算平台如下图的线下命令如何迁移到线上。首先打开VVPUI，添加基
阿里云云栖号·2021-01-21 10:57

如何迁移 Flink 任务到实时计算

一、如何迁移：从Flinkrun到流计算平台如下图的线下命令如何迁移到线上。首先打开VVPUI，添加基
阿里云云栖号·2021-01-21 10:03

如何迁移 Flink 任务到实时计算

一、如何迁移：从Flinkrun到流计算平台如下图的线下命令如何迁移到线上。首先打开VVPUI，添加基
阿里云云栖号·2021-01-21 10:35

第1章 问答环节

；提高开发者的效率：简洁的语法、动态类型、无需编译、内置工具包等特性使程序员能够快速完成项目开发，而使用其他开发语言则需要几倍的时间；程序的可移植性：绝大多数的Python程序不做任何改变即可在所有主流计算机
李济雄·2021-01-20 23:47

基于Netty手动实现Dubbo(含视频教程)

分布式服务体系结构和流计算体系结构是必须的，并且迫切需要一个治理系统来确保体系结构的有序发展Dubbo架构在这里插入图片描述1.服务提供者服务启动则异步向注册中心中注册服务2.消费者启动之后会异步向注册中心订阅服务
天农学子·2021-01-20 11:29

Apache Flink(CVE-2020-17518/17519)任意文件上传和路径遍历漏洞复现

Flink的核心是一个提供数据分发、通信以及自动容错的流计算引擎。Flink在流计算之上构建批处理，并且原生的支持迭代计算，内存管理以及程序
谢辰辰·2021-01-08 17:29

Flink SQL实时数仓开源UI平台

一、简介flink-streaming-platform-web系统是基于flink封装的一个可视化的web系统，用户只需在web界面进行sql配置就能完成流计算任务，主要功能包含任务配置、启/停任务、
☞空白页·2021-01-05 10:20

Flink 1.11 与 Hive 批流一体数仓实践

导读：Flink从1.9.0开始提供与Hive集成的功能，随着几个版本的迭代，在最新的Flink1.11中，与Hive集成的功能进一步深化，并且开始尝试将流计算场景与Hive进行整合。
ApacheFlink·2020-12-21 11:08

使用协同过滤推荐算法进行电影推荐

2.主要用于解决全栈式批处理、结构化数据查询、流计算、图计算和机器学习的应用，适用于需要多次操作特定数据集
Walt_像道光·2020-12-09 19:17

ieee33节点潮流计算_十年酝酿，AWS 数据湖如何打开云计算的新篇章？

从2006年至今，AmazonWebServices(AWS)已经走过了十几个年头。亚马逊在一个周围懵懂的时代里，拉开了云计算的大幕。AWS位于GartnerIaaS云计算魔力象限的领导者坐标系，它在前瞻性上的优势，一直遥遥领先。数据湖，也是亚马逊发展了近十年的一项技术。AWS每一次变革和成长，都在云计算的历史中写下了自己的足迹，成绩令人瞩目。而云上数据湖，经过十年的酝酿，将会产生什么样的推动力呢
weixin_39537397·2020-11-29 17:19

从“流处理”到“流批一体”，Apache Flink 的19个企业最佳实践

近年来，随着实时化需求的场景日益增多，企业已不满足于简单使用流计算或批计算进行数据处理，采用一套引擎即可实现低延迟、高吞吐、高稳定的强大性能逐渐成为更多企业的追求。
Ververica·2020-11-25 22:00

HCIA-Big Data华为认证大数据工程师在线课程笔记

基于内存的分布式计算五、HBase分布式NoSQL数据库HBase架构关键流程和特性FusionInsightHBase优化六、Hive分布式数据仓库概述和架构数据存储模型七、Streaming分布式流计算引擎简介系统架构
L小Ray想有腮·2020-11-19 16:21

Flink 1.11 与 Hive 批流一体数仓实践

导读：Flink从1.9.0开始提供与Hive集成的功能，随着几个版本的迭代，在最新的Flink1.11中，与Hive集成的功能进一步深化，并且开始尝试将流计算场景与Hive进行整合。
阿里云云栖号·2020-11-18 11:15

Flink 1.11 与 Hive 批流一体数仓实践

导读：Flink从1.9.0开始提供与Hive集成的功能，随着几个版本的迭代，在最新的Flink1.11中，与Hive集成的功能进一步深化，并且开始尝试将流计算场景与Hive进行整合。
阿里云云栖号·2020-11-18 11:59

成长为软件教练的三千大道之一

摘要：本文主要介绍的是沿Java，分布式微服务架构，大数据与流计算，LinuxOS与中间件，AI，这样一套功法，来讨论从一个刚毕业的理科生，如何修炼到软件教练这个层次。以及对更高层境界的畅想。
华为云开发者社区·2020-11-13 17:34

Flink 1.11 与 Hive 批流一体数仓实践

导读：Flink从1.9.0开始提供与Hive集成的功能，随着几个版本的迭代，在最新的Flink1.11中，与Hive集成的功能进一步深化，并且开始尝试将流计算场景与Hive进行整合。
ApacheFlink·2020-11-13 11:23

潮流计算程序————电力网络的节点编号优化（Tinney-1编号）(Python语言描述)

在电力系统计算中，最常用的稀疏矩阵的节点优化编号方法是Tinney提出的三种方法，其实现的复杂程度和最终的编号效果各不相同TinneyWF,WalkerJW.Directsolutionsofsparsenetworkequationsbyoptimallyorderedtriangularfactorization.Proc.oftheIEEE.Nov.1967,55(11):1801～1809
ThinkZtoA·2020-11-09 14:20

大数据理论篇 No.2-聊聊Flink流计算中的Timestamp和Watermark

在整个流计算过程中，他们分别代表事件发生的时间、数据最早进入Flink的时间和数据被Flink算子处理时算子本地的时间。EventTime：事件发生时间，现实世界中数据真实产生的时间。
pezynd·2020-10-24 08:06

实时数据流计算引擎Flink和Spark剖析

在过去几年，业界的主流流计算引擎大多采用SparkStreaming，随着近两年Flink的快速发展，Flink的使用也越来越广泛。
程小舰·2020-10-22 18:39

关于流计算基本认识

关于流计算的概念：阿里云流计算使用教程在传统的数据处理流程中，总是先收集数据，然后将数据放到DB中。当人们需要的时候通过DB对数据做query，得到答案或进行相关的处理。
云计算小百科·2020-10-11 16:59

Nexmark: 如何设计一个流计算基准测试？

如何选择适合自己业务的流计算引擎？除了比较各自的功能矩阵外，基准测试（benchmark）便是用来评估系统性能的一个重要和常见的方法。然而在流计算领域，目前还没有一个行业标准的基准测试。
ApacheFlink·2020-10-10 01:26

Nexmark: 如何设计一个流计算基准测试？

如何选择适合自己业务的流计算引擎？除了比较各自的功能矩阵外，基准测试（benchmark）便是用来评估系统性能的一个重要和常见的方法。然而在流计算领域，目前还没有一个行业标准的基准测试。
ApacheFlink·2020-10-09 13:13

为什么要学习 Apache Flink？

这些天学习了Flink的的架构，流计算和常用算子后，陷入了迷茫，不知道从哪里继续下手了，后来发现了阿里巴巴出品的Flink官方视频教程，看了巴真大佬的第一章“1.为什么要学习ApacheFlink？”
Natasha·2020-10-09 13:12

Flink流计算的概念

流式计算的世界观：时间不停万物不停在批量的时代，我们只记录关键的信息，只在乎当前，不在乎状态是如何一步步变化至当状态的，所以说批时代我们计算所面向的数据是静态的。在分布式环境中批量计算是将计算移动到相应的数据上进行运行。在流世界里，我们在乎的是变化，我们计算所面临的将是时时刻刻更新流动的数据。流式计算是将定义好的计算部署到分布式节点上，让数据在上面流动。不再把数据定性为“处理某天的数据，处理某个季
Natasha·2020-10-09 13:47

Apache Flink on K8s：四种运行模式，我该选择哪种？

通过支持事件时间(event-time)、计算状态(state)以及恰好一次(exactly-once)的容错保证，Flink迅速被很多公司采纳，成为了新一代的流计算处理引擎。
腾讯云原生·2020-10-09 13:52

Apache Flink on K8s：四种运行模式，我该选择哪种？

通过支持事件时间(event-time)、计算状态(state)以及恰好一次(exactly-once)的容错保证，Flink迅速被很多公司采纳，成为了新一代的流计算处理引擎。
腾讯云原生·2020-09-29 16:01

Apache Flink on K8s：四种运行模式，我该选择哪种？

通过支持事件时间(event-time)、计算状态(state)以及恰好一次(exactly-once)的容错保证，Flink迅速被很多公司采纳，成为了新一代的流计算处理引擎。
腾讯云原生·2020-09-21 11:00

数据中台

服务对象应用场景包含功能数据仓库决策分析系统分析型场景存储模块、计算模块、数据治理、对外统一服务、实时流计算数据中台各业务系统分析型场景和交易场景存储模块、查询模块数据中台：面向服务对象：面向业务、为业务系统提供数据
hzp666·2020-09-17 07:48

Apache RocketMQ4.0.0 安装与调试 3/17/2017

2019独角兽企业重金招聘Python工程师标准>>>ps:架构师交流群(QQ群号304287620)阿里rocketmq，有广泛的应用场景，订单，交易，充值，流计算，消息推送，日志流式处理，binglog
weixin_33708432·2020-09-17 02:08

Flink：把状态State全都扒光，远走他乡(一)：State初始

State：State是指流计算过程中计算节点的中间计算结果或元数据属性，比如在aggregation过程中要在state中记录中间聚合结果，比如ApacheKafka作为数据源时候，我们也要记录已经读取记录的
混迹零柒叁壹·2020-09-16 16:59

数据研发学习笔记4.9：流计算

文章目录1流计算概述1.1静态数据和流数据1.2批量计算和实时计算1.3流计算概念1.4流计算与Hadoop1.5流计算框架2流计算处理流程2.1概述2.2数据实时采集2.3数据实时计算2.4实时查询服务
Lynn Wen·2020-09-16 13:15

Flink

由于该款框架出现的较晚2014.12月发布，通常被人们认为是第3代流计算框架。
HuiGe94v587·2020-09-16 12:23

费用流做二分图最大权匹配

费用流二分图最大权匹配的一个性质使用费用流计算二分图最大权匹配，考虑每次只增广一条最短路径（所以二分图上边权取负）。
a710128·2020-09-16 11:57

Spark Streaming、Storm、Flink对比分析，以及为什么选择Flink作为流处理框架

17年底公司就着力打造实时计算平台，探索实时流计算引擎和API，例如这几年火爆的Storm、SparkStreaming、KafkaStreaming、Beam和Flink。
Yedeng427·2020-09-16 11:20

flink与spark的对比

Flink在流计算上有明显优势，核心架构和模型也更透彻和灵活一些。Flink和Spark对比通过前面的学习，我们了解到，Spark和Flink都支持批处理和流处
小金子的夏天·2020-09-16 11:14

Spark vs Flink 核心技术点比较

SparkvsFlink概述编程模型流处理方面对比流处理机制状态管理时间语义Exactly-Once语义总结往期推荐SparkvsFlink概述ApacheSpark是一个统一的、快速的分布式计算引擎，能够同时支持批处理与流计算
大数据技术架构·2020-09-16 10:45

云监控服务的应用场景及概览

和安装云监控插件的非ECS机器）、负载均衡、弹性公网IP、云数据库RDS版、对象存储OSS、CDN、云数据库MongodbDB版、云数据库Memcahce版、云数据库Redis版、消息服务、容器服务、日志服务、流计算
weixin_34112030·2020-09-16 08:38

《Streaming System》 第三章：Watermarks

本章我们从流计算系统的底层机制深入来探讨一下watermark。学习这些机制有助于我们更好理解和使用watermark。我们将讨论watermark如何生成，传播和影响输出结果的时间戳。
LogansCodingLife·2020-09-16 08:48

[Bdata] Twitter Storm：开源实时流计算

Twitter将Storm正式开源了，这是一个分布式的、容错的实时计算系统，它被托管在GitHub上，遵循EclipsePublicLicense1.0。Storm是由BackType开发的实时处理系统，BackType现在已在Twitter麾下。GitHub上的最新版本是Storm0.5.2，基本是用Clojure写的。Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处
小尼人00·2020-09-16 03:53

Flink异步IO访问mysql和redis

流计算系统中经常需要与外部系统进行交互，比如需要查询外部数据库以关联上用户的额外信息。
JasonLee'blog·2020-09-16 00:51
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他