hadoopflink流计算

Kafka高性能架构设计

1、概述Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。
·2021-04-02 19:49

Kafka高性能架构设计

1、概述Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。
·2021-04-02 19:42

Flink 必知必会：Flink Runtime Architecture

这些作业既可以是流计算作业，也可以是批处理作业，既可以跑在裸机上，也可以在Flink集群上跑，FlinkRuntime必须支持所有类型的作业，以及不同条件下运行的作业。
·2021-04-01 03:40

Flink 必知必会：Flink Runtime Architecture

这些作业既可以是流计算作业，也可以是批处理作业，既可以跑在裸机上，也可以在Flink集群上跑，FlinkRuntime必须支持所有类型的作业，以及不同条件下运行的作业。
·2021-03-31 21:38

一文带你了解批流一体的高效数据同步插件—FlinkX

目前已完成批流统一，离线计算与流计算的数据同步任务都可基于FlinkX实现。FlinkX将不同的数据源库抽象成不同的Reader插件，目标库抽象成
·2021-03-31 21:05

一文带你了解批流一体的高效数据同步插件—FlinkX

目前已完成批流统一，离线计算与流计算的数据同步任务都可基于FlinkX实现。FlinkX将不同的数据源库抽象成不同的Reader插件，目标库抽象成
·2021-03-30 22:06

Flink 必知必会经典课程四：Fault-tolerance in Flink

简介：本文由ApacheFlinkPMC,阿里巴巴高级技术专家李钰分享，主要从有状态的流计算、全局一致性快照、Flink的容错机制、Flink的状态管理四个方面介绍Flink的容错机制原理。
·2021-03-22 14:57

Flink 必知必会经典课程四：Fault-tolerance in Flink

简介：本文由ApacheFlinkPMC,阿里巴巴高级技术专家李钰分享，主要从有状态的流计算、全局一致性快照、Flink的容错机制、Flink的状态管理四个方面介绍Flink的容错机制原理。
·2021-03-19 22:20

关于流计算基本认识

关于流计算的概念：阿里云流计算使用教程在传统的数据处理流程中，总是先收集数据，然后将数据放到DB中。当人们需要的时候通过DB对数据做query，得到答案或进行相关的处理。
云计算小百科·2021-03-11 06:11

Flink中关于Window API 演示以及时间窗口详解

1.Flink中窗口的API分类在Flink流计算中，提供Window窗口API分为两种1）、针对KeyedStream窗口API：window第一步、数据流DataStream调用keyBy函数分组，
LBJ_小松鼠·2021-03-08 20:59

当数据库遇上流计算：流数据库的诞生！

数据库发展回顾数据库作为现代软件系统的基石，人们对它的研究由来已久，虽然到目前为止数据库领域已经先后产生过四位图灵奖得主，但是今天它仍然是计算机科学中最具活力和创新的领域之一。自上世纪70年代EdgarF.Codd提出关系模型以来，以IBMSystemR为原型的关系数据库迅速发展，并在众多行业应用中取得成功，甚至直到今天，关系数据库仍然是数据库市场的绝对主流。随着进入21世纪以来，由于互联网的兴起
·2021-02-26 10:09

消息队列概览

消息队列有很多好处，比如某些场景可以对消息队列组件临时横向扩容，来抵御抵御大流量，达到削峰填谷的效果；生产消费者的队列，来实现两边速率不一致的问题；还可以是其他的：添加流计算处理；作为发布/订阅系统实现一个微服务级系统间的观察者模式
·2021-02-25 00:38

消息队列概览

消息队列有很多好处，比如某些场景可以对消息队列组件临时横向扩容，来抵御抵御大流量，达到削峰填谷的效果；生产消费者的队列，来实现两边速率不一致的问题；还可以是其他的：添加流计算处理；作为发布/订阅系统实现一个微服务级系统间的观察者模式
·2021-02-25 00:17

【物理应用】基于matlab直角坐标的电力系统潮流计算【含Matlab源码 341期】

一、简介参照何仰赞电力系统分析（下）的牛拉法程序流程框图，将程序分为节点导纳矩阵的形成、判敛、不平衡量计算、雅可比矩阵计算、节点电压修正、计算功率等几个部分。二、源代码clear%先求节点导纳矩阵N1=30;%节点数L1=43;%支路数%N1=5;L1=7;B1=xlsread('XIANLU2.xlsx','B2:F44');%B1=xlsread('XIANLU.xlsx','B2:F44')
紫极神光·2021-02-19 21:06

大数据技术原理与应用：期末考点总结

目录第一章大数据概述第二章Hadoop第三章HDFS第四章HBase第五章NoSQL第六章云数据库第七章MapReduce第八章Hadoop2.x第九章Spark第十章流计算第一章大数据概述1.大数据的
虾米奥·2021-02-18 22:37

重绘和回流（重排）是什么，如何避免？

因为浏览器需要通过回流计算最新值回流必将引起重绘，而重绘不一定会引起回流
LuckXinXin·2021-02-13 11:34

[目录] 邓志豪的大数据探索文章目录

理论篇大数据理论篇No.1-浅谈Flink中的数据传输大数据理论篇No.2-聊聊Flink流计算中的Timestamp和Watermark大数据理论篇No.3-看看Flink如何实现端到端的Exactly-once
pezynd·2021-02-09 15:55

大数据实操篇 No.16-记一次完整的Flink流计算案例（DataStream API）

第1章简介本篇文章采用FlinkDataStreamAPI完成一次端到端的完成流计算案例，将数据从Kafka抽取，写入Elasticsearch中，并且用kibana动态的展示出来。
pezynd·2021-02-09 13:20

Blink/Flink 实践案例中的知识点整理

滚动窗口全站总人数及走势热门直播房间排行去重操作流计算回撤统计问题实践案例的知识点整理实践案例部分在内部文档中有更多的案例，但是内容很重复，学习过程中经常看到一样的内容，我认为在这部分的阅读过程中不需要像我一样把所有的案例都读一遍
Foools·2021-02-03 10:18

python方法——现金流计算

常用现金流的计算固定现金流现值计算函数表达式：PresentVal=pv(Rate,NumPeriods,Payment,ExtraPayment,Due)Rate:贴现率NumPeriods：贴现周期Payment周期现金流ExtraPayment：最后一次非周期现金流，函数默认为0Due：现金流计息方式（0为周期末付息，1为周期初付息）PresentVal：现金流现值代码如下：importnu
爱格1997·2021-02-01 11:08

《动手学深度学习》学习笔记(九)

鉴于深度神经网络能够对图像逐级有效地进行表征：所以广泛应用到目标检测、语义分割和样式迁移这些主流计算机视觉任务中。全卷积网络对图像做语义分割。样式迁移技术生成封面图像。
xiaoyaolangwj·2021-01-31 15:38

基于Matpower的电力系统潮流计算原理及仿真设计（详细）

基于Matpower的电力系统潮流计算设计原理第一部分前言第二部分牛顿-拉夫逊算法潮流计算的基本原理1.牛顿-拉夫逊计算法潮流计算原理2.牛顿-拉夫逊计算法潮流直角坐标计算原理3.牛顿-拉夫逊计算法潮流计算流程第三部分
夜雨星驰·2021-01-31 14:08

基于Matpower的电力系统潮流计算仿真

基于Matpower的电力系统潮流计算仿真第一部分前言第二部分电力系统结构图第三部分Case28节点的编写8机28节点电力系统发电机功率8机28节点电力系统节点功率平衡节点矩阵数据8机28节点电力系统变压器变比第四部分潮流计算仿真数据潮流计算节点数据潮流计算发电机数据潮流计算支路数据
夜雨星驰·2021-01-21 22:53

基于Matpower的电力系统潮流计算设计原理

基于Matpower的电力系统潮流计算设计原理第一部分前言第二部分牛顿-拉夫逊算法潮流计算的基本原理1.牛顿-拉夫逊计算法潮流计算原理2.牛顿-拉夫逊计算法潮流直角坐标计算原理3.牛顿-拉夫逊计算法潮流计算流程第三部分
夜雨星驰·2021-01-21 22:37

如何迁移 Flink 任务到实时计算

一、如何迁移：从Flinkrun到流计算平台如下图的线下命令如何迁移到线上。首先打开VVPUI，添加基
阿里云云栖号·2021-01-21 10:57

如何迁移 Flink 任务到实时计算

一、如何迁移：从Flinkrun到流计算平台如下图的线下命令如何迁移到线上。首先打开VVPUI，添加基
阿里云云栖号·2021-01-21 10:03

如何迁移 Flink 任务到实时计算

一、如何迁移：从Flinkrun到流计算平台如下图的线下命令如何迁移到线上。首先打开VVPUI，添加基
阿里云云栖号·2021-01-21 10:35

第1章 问答环节

；提高开发者的效率：简洁的语法、动态类型、无需编译、内置工具包等特性使程序员能够快速完成项目开发，而使用其他开发语言则需要几倍的时间；程序的可移植性：绝大多数的Python程序不做任何改变即可在所有主流计算机
李济雄·2021-01-20 23:47

基于Netty手动实现Dubbo(含视频教程)

分布式服务体系结构和流计算体系结构是必须的，并且迫切需要一个治理系统来确保体系结构的有序发展Dubbo架构在这里插入图片描述1.服务提供者服务启动则异步向注册中心中注册服务2.消费者启动之后会异步向注册中心订阅服务
天农学子·2021-01-20 11:29

Apache Flink(CVE-2020-17518/17519)任意文件上传和路径遍历漏洞复现

Flink的核心是一个提供数据分发、通信以及自动容错的流计算引擎。Flink在流计算之上构建批处理，并且原生的支持迭代计算，内存管理以及程序
谢辰辰·2021-01-08 17:29

Flink SQL实时数仓开源UI平台

一、简介flink-streaming-platform-web系统是基于flink封装的一个可视化的web系统，用户只需在web界面进行sql配置就能完成流计算任务，主要功能包含任务配置、启/停任务、
☞空白页·2021-01-05 10:20

Flink 1.11 与 Hive 批流一体数仓实践

导读：Flink从1.9.0开始提供与Hive集成的功能，随着几个版本的迭代，在最新的Flink1.11中，与Hive集成的功能进一步深化，并且开始尝试将流计算场景与Hive进行整合。
ApacheFlink·2020-12-21 11:08

使用协同过滤推荐算法进行电影推荐

2.主要用于解决全栈式批处理、结构化数据查询、流计算、图计算和机器学习的应用，适用于需要多次操作特定数据集
Walt_像道光·2020-12-09 19:17

ieee33节点潮流计算_十年酝酿，AWS 数据湖如何打开云计算的新篇章？

从2006年至今，AmazonWebServices(AWS)已经走过了十几个年头。亚马逊在一个周围懵懂的时代里，拉开了云计算的大幕。AWS位于GartnerIaaS云计算魔力象限的领导者坐标系，它在前瞻性上的优势，一直遥遥领先。数据湖，也是亚马逊发展了近十年的一项技术。AWS每一次变革和成长，都在云计算的历史中写下了自己的足迹，成绩令人瞩目。而云上数据湖，经过十年的酝酿，将会产生什么样的推动力呢
weixin_39537397·2020-11-29 17:19

从“流处理”到“流批一体”，Apache Flink 的19个企业最佳实践

近年来，随着实时化需求的场景日益增多，企业已不满足于简单使用流计算或批计算进行数据处理，采用一套引擎即可实现低延迟、高吞吐、高稳定的强大性能逐渐成为更多企业的追求。
Ververica·2020-11-25 22:00

HCIA-Big Data华为认证大数据工程师在线课程笔记

基于内存的分布式计算五、HBase分布式NoSQL数据库HBase架构关键流程和特性FusionInsightHBase优化六、Hive分布式数据仓库概述和架构数据存储模型七、Streaming分布式流计算引擎简介系统架构
L小Ray想有腮·2020-11-19 16:21

Flink 1.11 与 Hive 批流一体数仓实践

导读：Flink从1.9.0开始提供与Hive集成的功能，随着几个版本的迭代，在最新的Flink1.11中，与Hive集成的功能进一步深化，并且开始尝试将流计算场景与Hive进行整合。
阿里云云栖号·2020-11-18 11:15

Flink 1.11 与 Hive 批流一体数仓实践

导读：Flink从1.9.0开始提供与Hive集成的功能，随着几个版本的迭代，在最新的Flink1.11中，与Hive集成的功能进一步深化，并且开始尝试将流计算场景与Hive进行整合。
阿里云云栖号·2020-11-18 11:59

成长为软件教练的三千大道之一

摘要：本文主要介绍的是沿Java，分布式微服务架构，大数据与流计算，LinuxOS与中间件，AI，这样一套功法，来讨论从一个刚毕业的理科生，如何修炼到软件教练这个层次。以及对更高层境界的畅想。
华为云开发者社区·2020-11-13 17:34

Flink 1.11 与 Hive 批流一体数仓实践

导读：Flink从1.9.0开始提供与Hive集成的功能，随着几个版本的迭代，在最新的Flink1.11中，与Hive集成的功能进一步深化，并且开始尝试将流计算场景与Hive进行整合。
ApacheFlink·2020-11-13 11:23

潮流计算程序————电力网络的节点编号优化（Tinney-1编号）(Python语言描述)

在电力系统计算中，最常用的稀疏矩阵的节点优化编号方法是Tinney提出的三种方法，其实现的复杂程度和最终的编号效果各不相同TinneyWF,WalkerJW.Directsolutionsofsparsenetworkequationsbyoptimallyorderedtriangularfactorization.Proc.oftheIEEE.Nov.1967,55(11):1801～1809
ThinkZtoA·2020-11-09 14:20

大数据理论篇 No.2-聊聊Flink流计算中的Timestamp和Watermark

在整个流计算过程中，他们分别代表事件发生的时间、数据最早进入Flink的时间和数据被Flink算子处理时算子本地的时间。EventTime：事件发生时间，现实世界中数据真实产生的时间。
pezynd·2020-10-24 08:06

实时数据流计算引擎Flink和Spark剖析

在过去几年，业界的主流流计算引擎大多采用SparkStreaming，随着近两年Flink的快速发展，Flink的使用也越来越广泛。
程小舰·2020-10-22 18:39

关于流计算基本认识

关于流计算的概念：阿里云流计算使用教程在传统的数据处理流程中，总是先收集数据，然后将数据放到DB中。当人们需要的时候通过DB对数据做query，得到答案或进行相关的处理。
云计算小百科·2020-10-11 16:59

Nexmark: 如何设计一个流计算基准测试？

如何选择适合自己业务的流计算引擎？除了比较各自的功能矩阵外，基准测试（benchmark）便是用来评估系统性能的一个重要和常见的方法。然而在流计算领域，目前还没有一个行业标准的基准测试。
ApacheFlink·2020-10-10 01:26

Nexmark: 如何设计一个流计算基准测试？

如何选择适合自己业务的流计算引擎？除了比较各自的功能矩阵外，基准测试（benchmark）便是用来评估系统性能的一个重要和常见的方法。然而在流计算领域，目前还没有一个行业标准的基准测试。
ApacheFlink·2020-10-09 13:13

为什么要学习 Apache Flink？

这些天学习了Flink的的架构，流计算和常用算子后，陷入了迷茫，不知道从哪里继续下手了，后来发现了阿里巴巴出品的Flink官方视频教程，看了巴真大佬的第一章“1.为什么要学习ApacheFlink？”
Natasha·2020-10-09 13:12

Flink流计算的概念

流式计算的世界观：时间不停万物不停在批量的时代，我们只记录关键的信息，只在乎当前，不在乎状态是如何一步步变化至当状态的，所以说批时代我们计算所面向的数据是静态的。在分布式环境中批量计算是将计算移动到相应的数据上进行运行。在流世界里，我们在乎的是变化，我们计算所面临的将是时时刻刻更新流动的数据。流式计算是将定义好的计算部署到分布式节点上，让数据在上面流动。不再把数据定性为“处理某天的数据，处理某个季
Natasha·2020-10-09 13:47

Apache Flink on K8s：四种运行模式，我该选择哪种？

通过支持事件时间(event-time)、计算状态(state)以及恰好一次(exactly-once)的容错保证，Flink迅速被很多公司采纳，成为了新一代的流计算处理引擎。
腾讯云原生·2020-10-09 13:52

Apache Flink on K8s：四种运行模式，我该选择哪种？

通过支持事件时间(event-time)、计算状态(state)以及恰好一次(exactly-once)的容错保证，Flink迅速被很多公司采纳，成为了新一代的流计算处理引擎。
腾讯云原生·2020-09-29 16:01
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他