hadoopflink流计算

JAVA加解密16-非对称加密算法-RSA算法

目前各种主流计算机语言都支持RSA算法的实现2.java6支持RSA算法3.RSA算法可以用于数据加密和数字签名4.RSA算法相对于DES/AES等对称加密算法，他的速度要慢的多5.总原则：公钥加密，私钥解密
K1024·2019-12-01 06:34

08 Spark 之 Spark Streaming 和 Structured Streaming

这篇主要看下Spark流计算这块的能力，过去Spark主推的是SparkStreaming，现在开始推广StructuredStreaming，在Streaming101中是这样介绍SparkStreaming
柳年思水·2019-11-30 00:28

Flink1.8 集群搭建完全指南(1)：Hadoop伪分布式

Flink是目前在国内非常流行的大数据的计算框架，其设计理念可以完美的实现数据的批流计算一体化。
MeazZa·2019-11-29 21:05

Hadoop YARN：调度性能优化实践

实时业务主要运行SparkStreaming，Flink为主的实时流计算作业。机器学习业务主要运行TensorFl
艾弗森哇·2019-11-23 16:56

业务领域建模Domain Modeling

需要设计并实现一个基于流计算的实时计算引擎。目前常用的实时流计算引擎有Flink、Storm等。其主要实现方法是基于事件流，根据用户给定的条件进行实时处理，最后输出用户需要的结果。
v鹿鸣·2019-11-22 20:00

大规模搜索广告的端到端一致性实时保障

背景电商平台的搜索广告数据处理链路通常较长，一般会经历如下过程：广告主在后台进行广告投放；投放广告品及关键词数据写入数据库；数据库中的数据通过全量构建（导入数据仓库再进行离线批处理）或增量构建（借助消息队列和流计算引擎
zni.feng·2019-11-22 15:00

关于流计算基本认识

关于流计算的概念：阿里云流计算使用教程在传统的数据处理流程中，总是先收集数据，然后将数据放到DB中。当人们需要的时候通过DB对数据做query，得到答案或进行相关的处理。
云计算小百科·2019-11-08 11:32

Flink原理（七）——动态表（Dynamic tables）

SQL适合流计算场景吗？对于流计算，每一条数据的到来都会触发一次查询产生一个结果，并发射出去。
BraveWg·2019-11-08 00:00

Flink初探-为什么选择Flink

storm是基于流计算的,但是也可以模拟批处理,sparkstr
_呆瓜_·2019-11-07 03:01

大数据理论篇 - 通俗易懂，揭秘谷歌《The Dataflow Model》的核心思想(一)

前言这是分布式数据处理系统系列的第一篇，也是当下实时流计算引擎实现的奠基石，为了帮助大家从理论到实现形成一个完整的知识体系，计划分为理论篇(剖析分布式数据处理系统的核心思想)和实现篇(详解当下实时流计算引擎如何实现核心思想
justmine·2019-11-05 08:00

阿里流计算技术全揭秘

架构性能数据处理配置磁盘存储数据统计流计算摘要：今年的双11再次刷新了记录——支付成功峰值达25.6万笔／秒、实时数据处理峰值4.72亿条/秒。
暖夏未眠丶·2019-11-05 06:02

关于流计算基本认识

关于流计算的概念：阿里云流计算使用教程在传统的数据处理流程中，总是先收集数据，然后将数据放到DB中。当人们需要的时候通过DB对数据做query，得到答案或进行相关的处理。
云计算小百科·2019-11-01 20:48

基于Spark的电影推荐系统（推荐系统~1）

第四部分-推荐系统-项目介绍行业背景：快速：ApacheSpark以内存计算为核心通用：一站式解决各个问题，ADHOCSQL查询，流计算，数据挖掘，图计算完整的生态圈只要掌握Spark,就能够为大多数的企业的大数据应用场景提供明显的加速
liuge36·2019-10-21 13:00

1.大数据技术概述

2.流计算特点：数据量少，源源不断到达，但是响应时间要求非常短，一般是秒级/毫秒级3.图计算应用场景：社交网络、物流4.查询分析计算三、代表性大数据技术1.Hadoop（1）HDFS功能：海量数据的分布式存储
nxf_rabbit75·2019-10-21 13:00

Flink的窗口策略

概述Windows是流计算的核心。
fql123455·2019-10-18 12:30

一个玩游戏的失足青年，转行做软件开发的挣扎过程

在网吧一年多的时间里，天天陪人玩游戏，后来去读了一个三流计算机专业，毕业后转做软件开发，最近五年转入游戏开发行业！01开网吧那时中专还未毕业，我在城里跟人学电脑装机、维修。
张晓衡·2019-10-17 14:00

Flink 原理（六）——异步I/O（asynchronous I/O）

2、AsynchronousI/O简介将Flink用于流计算时，若涉及到和外部系统进行交互，如利用Flink从数据库中读取数据，这种需要获取I/O的场景时，我们需要考虑交互所带来的时延问题。
BraveWg·2019-10-17 01:00

Flink的基本概念与架构

第一代大数据处理方案：HadoopMapReduce静态批处理|Storm实时流计算，两套独立的计算引擎，开发难度大。
fql123455·2019-10-14 18:33

Kafka为什么吞吐量大、速度快？

id=1563874Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。
开着奥迪卖小猪·2019-09-28 01:23

一种快速生成UUID的方式

最近要给流计算场景中的事件添加分布式唯一编码，如果生成uuid速度太慢，会成为吞吐的瓶颈uuid实际上
hongshen·2019-09-27 17:39

一文带你了解 Flink 的基本组件栈

Flink分层架构，从上到下依次是：API&Libraries层、Runtime核心层和物理部署层API&Libraries层作为分布式数据处理框架，Flink同时提供了支撑流计算和批计算的接口，同时在此基础上抽象出
nicekk·2019-09-19 22:00

大数据

简单总结为：根据企业需求场景(离线计算或者流计算)，利用大数据生态对应技术解决企业对大数据(已有的或者不断生成)分析需求的方案。大数据特点：1.数据产生快，数据量大；(前所未有，尤其是web
ho_ll_ow·2019-09-17 09:01

告别“老鼠赛跑”轮盘，实现财务自由——现金流游戏感悟总结

昨天跟朋友一起参加了一场现金流游戏，对于做财务的我来说，企业的现金流计算和操作都非常熟悉。然而这并不代表我是一个理财高手，甚至可以说个人理财和财务管理这一块特别的迷糊，也没有花费太多的精力去关注。
阳光小小AHA·2019-09-16 10:52

告别“老鼠赛跑”轮盘，实现财务自由——现金流游戏感悟总结

昨天跟朋友一起参加了一场现金流游戏，对于做财务的我来说，企业的现金流计算和操作都非常熟悉。然而这并不代表我是一个理财高手，甚至可以说个人理财和财务管理这一块特别的迷糊，也没有花费太多的精力去关注。
阳光小小AHA·2019-09-16 10:52

Reactive(3)5分钟理解 SpringBoot 响应式的核心-Reactor

目录一、前言二、Mono与Flux构造器三、流计算1.缓冲2.过滤/提取3.转换4.合并5.合流6.累积四、异常处理五、线程调度小结参考阅读一、前言关于响应式Reactive，前面的两篇文章谈了不少概念
美码师·2019-09-12 22:00

拆解大数据总线平台DBus的系统架构

快速部署DBus体验实时数据流计算Dbus所支持两类数据源的实现原理与架构拆解。
宜信技术学院·2019-09-12 10:00

拆解大数据总线平台DBus的系统架构

快速部署DBus体验实时数据流计算Dbus所支持两类数据源的实现原理与架构拆解。
宜信技术学院·2019-09-12 00:00

Storm -- 1

随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等，大数据实时处理解决方案（流计算）的应用日趋广泛，目前已是分布式技术领域最新
ThePromonkeyOf_HeLuo·2019-09-02 16:57

03-flink编程模型

03-flink编程模型Flink编程接口根据数据类型分为两大类：支持批计算的接口DataSetAPI支持流计算的接口DataStreamAPI同时flink将数据处理接口抽象成四层，由上往下分别为SQLAPI
蜗牛写java·2019-08-31 17:04

Storm精华问答 | storm与Hadoop有什么区别？

而目前已是分布式技术领域最新爆发点，Storm更是流计算技术中的佼佼者和主流。今天我们就一起来看看Storm的精华问答！1Q：task与executor有什么关系？A：在我们
csdn业界要闻·2019-08-27 00:00

02-flink基本架构

02-flink基本架构flink基本组件栈API&Libraries同时提供了流计算和批计算的接口，同时在此基础上抽象出不同的应用类型的组件库Runtime核心层主要负责对上层不同接口提供基础服务，也是
蜗牛写java·2019-08-25 21:13

Streaming-大数据的未来

分享一篇关于实时流式计算的经典文章，这篇文章名为Streaming101:Theworldbeyondbatch那么流计算如何超越批处理呢？
实时计算·2019-08-21 00:00

Tablestore + Blink实战：交易数据的实时统计

Tablestore作为在线的结构化数据库，提供了毫秒级的访问延时和丰富的查询方式，能高效的支撑交易数据的存储和查询，同时Tablestore已经原生支持阿里云的流计算框架Flink
阿里云云栖社区·2019-08-15 00:00

Flink之DataStream Source、DataSet Source

DataStreamAPI是用于进行Stream流计算开发的API//DataStreamenv入口//流处理，最后是需要execute执行valenv=StreamExecutionEnvironment.getExecutionEnvironmentDataSetAPI
11号车厢·2019-08-14 06:00

flink解析之state

概述在流计算场景中，数据没有边界源源不断的流入的，每条数据流入都可能会触发计算，比如在进行count或sum这些操作，是选择每次触发计算将所有流入的历史数据重新计算一边还是每次计算都基于上次计算结果进行增量计算呢
神奇的考拉·2019-08-13 20:45

Hadoop YARN：调度性能优化实践

实时业务主要运行SparkStreaming，Flink为主的实时流计算作业。机器学习业务主要运行TensorFl
美团技术团队·2019-08-05 10:55

storm流计算编程实现电话呼叫日志处理

storm是一个免费、开源、分布式、实时计算系统。吞吐量高。每秒每节点百万元组。stormVShadoop-----------------------------------------------------------实时流处理批处理无状态有状态使用zk协同的主从架构无zk的主从架构。每秒处理数万消息HDFSMR数分钟、数小时不会主动停止终有完成的时候。storm优点------------
赵厚雄·2019-08-05 09:31

Hadoop YARN：调度性能优化实践

实时业务主要运行SparkStreaming，Flink为主的实时流计算作业。机器学习业务主要运行TensorFl
美团技术团队·2019-08-05 00:00

【大数据】Storm问答精华

随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统等，大数据实时处理解决方案的应用日趋广泛，目前已是分布式技术领域最新爆发点，而Storm更是流计算技术中的佼佼者和主流
游骑小兵·2019-08-01 14:08

SpringCloud的阿里巴巴相关开源组件

RocketMQApacheRocketMQ™基于Java的高性能、高吞吐量的分布式消息和流计算平台。DubboApacheDubbo™是一款高性能JavaRPC框架。Seata阿里巴巴开源产品
weixin_30716141·2019-08-01 00:00

流计算框架 Flink 与 Storm 的性能对比

1.背景ApacheFlink和ApacheStorm是当前业界广泛使用的两个分布式实时计算框架。其中ApacheStorm（以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用（可参考Storm的可靠性保证测试），有管理平台、常用API和相应的文档，大量实时作业基于Storm构建。而ApacheFlink（以下简称“Flink”）在近期倍受关注，具有高吞吐、低延迟、高可靠和精确计算
jmppok·2019-07-30 16:15

Apache Flink 流处理（快速入门）

流计算的结果通过Sinks输出,例如将数据写入文件、标准输出等。共同依赖 1.7.1 2.11
麦田里的守望者··2019-07-27 00:00

Flink CookBook—流式计算介绍

在开篇前我们先聊聊和流式计算有关的概念，让大家对流计算有整体上的认识、相关术语有清晰的了解、流式计算在大数据架构里的定位。一、背景知识流式计算是在无限数据
data之道·2019-07-25 08:21

快速部署DBus体验实时数据流计算

一、环境说明说明allinone是一个单机版本dbus环境，是给用户快速体验dbus的功能，只是一个简单体验版，不能用于其它环境或者用途，具体包括如下：1）基础组建：zookeeper3.4.6kafka0.10.0.0storm1.0.1granfana4.2.0logstash5.6.1influxdb（需要单独安装，参考如下步骤3）mysql（需要单独安装，参考如下步骤2）2）dbus相关包
宜信技术学院·2019-07-25 00:00

Sylph平台自定义数据源hdfs数据源

Sylph是一个一站式的大数据流计算平台，通过编译StreamSQL，sylph会自动生成ApacheFlink等分布式程序到ApacheYarn集群运行。
cherishpf·2019-07-22 09:02

flink任务编程-java版-流-数据库to数据库

本文就flink流计算的任务工程模板做一介绍，初始数据源和计算结果数据存储都是通过JDBC连接到数据库。本文以mysql为数据库进行演示。
李征兵·2019-07-22 08:16

Spark 流计算程序-统计每2秒钟的单词个数-写入文件

Spark流计算程序-统计每2秒钟的单词个数importjava.io.
赵厚雄·2019-07-18 18:24

快速部署DBus体验实时数据流计算

一、环境说明说明：allinone是一个单机版本dbus环境，是给用户快速体验dbus的功能，只是一个简单体验版，不能用于其它环境或者用途，具体包括如下：1）基础组建：zookeeper3.4.6kafka0.10.0.0storm1.0.1granfana4.2.0logstash5.6.1influxdb（需要单独安装，参考如下步骤3）mysql（需要单独安装，参考如下步骤2）2）dbus相关
宜信技术·2019-07-17 14:24

kafka作为流式处理的上一层，为什么吞吐量那么大？

Kafka为什么速度快、吞吐量大Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。
Stitch_x·2019-07-15 09:46

Kafka为什么速度快、吞吐量大

Kafka为什么速度快、吞吐量大Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。
丿灬逐风·2019-07-08 17:41
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他