流计算

一个玩游戏的失足青年，转行做软件开发的挣扎过程

在网吧一年多的时间里，天天陪人玩游戏，后来去读了一个三流计算机专业，毕业后转做软件开发，最近五年转入游戏开发行业！01开网吧那时中专还未毕业，我在城里跟人学电脑装机、维修。
张晓衡·2019-10-17 14:00

Flink 原理（六）——异步I/O（asynchronous I/O）

2、AsynchronousI/O简介将Flink用于流计算时，若涉及到和外部系统进行交互，如利用Flink从数据库中读取数据，这种需要获取I/O的场景时，我们需要考虑交互所带来的时延问题。
BraveWg·2019-10-17 01:00

Flink的基本概念与架构

第一代大数据处理方案：HadoopMapReduce静态批处理|Storm实时流计算，两套独立的计算引擎，开发难度大。
fql123455·2019-10-14 18:33

Kafka为什么吞吐量大、速度快？

id=1563874Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。
开着奥迪卖小猪·2019-09-28 01:23

一种快速生成UUID的方式

最近要给流计算场景中的事件添加分布式唯一编码，如果生成uuid速度太慢，会成为吞吐的瓶颈uuid实际上
hongshen·2019-09-27 17:39

一文带你了解 Flink 的基本组件栈

Flink分层架构，从上到下依次是：API&Libraries层、Runtime核心层和物理部署层API&Libraries层作为分布式数据处理框架，Flink同时提供了支撑流计算和批计算的接口，同时在此基础上抽象出
nicekk·2019-09-19 22:00

大数据

简单总结为：根据企业需求场景(离线计算或者流计算)，利用大数据生态对应技术解决企业对大数据(已有的或者不断生成)分析需求的方案。大数据特点：1.数据产生快，数据量大；(前所未有，尤其是web
ho_ll_ow·2019-09-17 09:01

告别“老鼠赛跑”轮盘，实现财务自由——现金流游戏感悟总结

昨天跟朋友一起参加了一场现金流游戏，对于做财务的我来说，企业的现金流计算和操作都非常熟悉。然而这并不代表我是一个理财高手，甚至可以说个人理财和财务管理这一块特别的迷糊，也没有花费太多的精力去关注。
阳光小小AHA·2019-09-16 10:52

告别“老鼠赛跑”轮盘，实现财务自由——现金流游戏感悟总结

昨天跟朋友一起参加了一场现金流游戏，对于做财务的我来说，企业的现金流计算和操作都非常熟悉。然而这并不代表我是一个理财高手，甚至可以说个人理财和财务管理这一块特别的迷糊，也没有花费太多的精力去关注。
阳光小小AHA·2019-09-16 10:52

Reactive(3)5分钟理解 SpringBoot 响应式的核心-Reactor

目录一、前言二、Mono与Flux构造器三、流计算1.缓冲2.过滤/提取3.转换4.合并5.合流6.累积四、异常处理五、线程调度小结参考阅读一、前言关于响应式Reactive，前面的两篇文章谈了不少概念
美码师·2019-09-12 22:00

拆解大数据总线平台DBus的系统架构

快速部署DBus体验实时数据流计算Dbus所支持两类数据源的实现原理与架构拆解。
宜信技术学院·2019-09-12 10:00

拆解大数据总线平台DBus的系统架构

快速部署DBus体验实时数据流计算Dbus所支持两类数据源的实现原理与架构拆解。
宜信技术学院·2019-09-12 00:00

Storm -- 1

随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等，大数据实时处理解决方案（流计算）的应用日趋广泛，目前已是分布式技术领域最新
ThePromonkeyOf_HeLuo·2019-09-02 16:57

03-flink编程模型

03-flink编程模型Flink编程接口根据数据类型分为两大类：支持批计算的接口DataSetAPI支持流计算的接口DataStreamAPI同时flink将数据处理接口抽象成四层，由上往下分别为SQLAPI
蜗牛写java·2019-08-31 17:04

Storm精华问答 | storm与Hadoop有什么区别？

而目前已是分布式技术领域最新爆发点，Storm更是流计算技术中的佼佼者和主流。今天我们就一起来看看Storm的精华问答！1Q：task与executor有什么关系？A：在我们
csdn业界要闻·2019-08-27 00:00

02-flink基本架构

02-flink基本架构flink基本组件栈API&Libraries同时提供了流计算和批计算的接口，同时在此基础上抽象出不同的应用类型的组件库Runtime核心层主要负责对上层不同接口提供基础服务，也是
蜗牛写java·2019-08-25 21:13

Streaming-大数据的未来

分享一篇关于实时流式计算的经典文章，这篇文章名为Streaming101:Theworldbeyondbatch那么流计算如何超越批处理呢？
实时计算·2019-08-21 00:00

Tablestore + Blink实战：交易数据的实时统计

Tablestore作为在线的结构化数据库，提供了毫秒级的访问延时和丰富的查询方式，能高效的支撑交易数据的存储和查询，同时Tablestore已经原生支持阿里云的流计算框架Flink
阿里云云栖社区·2019-08-15 00:00

Flink之DataStream Source、DataSet Source

DataStreamAPI是用于进行Stream流计算开发的API//DataStreamenv入口//流处理，最后是需要execute执行valenv=StreamExecutionEnvironment.getExecutionEnvironmentDataSetAPI
11号车厢·2019-08-14 06:00

flink解析之state

概述在流计算场景中，数据没有边界源源不断的流入的，每条数据流入都可能会触发计算，比如在进行count或sum这些操作，是选择每次触发计算将所有流入的历史数据重新计算一边还是每次计算都基于上次计算结果进行增量计算呢
神奇的考拉·2019-08-13 20:45

Hadoop YARN：调度性能优化实践

实时业务主要运行SparkStreaming，Flink为主的实时流计算作业。机器学习业务主要运行TensorFl
美团技术团队·2019-08-05 10:55

storm流计算编程实现电话呼叫日志处理

storm是一个免费、开源、分布式、实时计算系统。吞吐量高。每秒每节点百万元组。stormVShadoop-----------------------------------------------------------实时流处理批处理无状态有状态使用zk协同的主从架构无zk的主从架构。每秒处理数万消息HDFSMR数分钟、数小时不会主动停止终有完成的时候。storm优点------------
赵厚雄·2019-08-05 09:31

Hadoop YARN：调度性能优化实践

实时业务主要运行SparkStreaming，Flink为主的实时流计算作业。机器学习业务主要运行TensorFl
美团技术团队·2019-08-05 00:00

【大数据】Storm问答精华

随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统等，大数据实时处理解决方案的应用日趋广泛，目前已是分布式技术领域最新爆发点，而Storm更是流计算技术中的佼佼者和主流
游骑小兵·2019-08-01 14:08

SpringCloud的阿里巴巴相关开源组件

RocketMQApacheRocketMQ™基于Java的高性能、高吞吐量的分布式消息和流计算平台。DubboApacheDubbo™是一款高性能JavaRPC框架。Seata阿里巴巴开源产品
weixin_30716141·2019-08-01 00:00

流计算框架 Flink 与 Storm 的性能对比

1.背景ApacheFlink和ApacheStorm是当前业界广泛使用的两个分布式实时计算框架。其中ApacheStorm（以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用（可参考Storm的可靠性保证测试），有管理平台、常用API和相应的文档，大量实时作业基于Storm构建。而ApacheFlink（以下简称“Flink”）在近期倍受关注，具有高吞吐、低延迟、高可靠和精确计算
jmppok·2019-07-30 16:15

Apache Flink 流处理（快速入门）

流计算的结果通过Sinks输出,例如将数据写入文件、标准输出等。共同依赖 1.7.1 2.11
麦田里的守望者··2019-07-27 00:00

Flink CookBook—流式计算介绍

在开篇前我们先聊聊和流式计算有关的概念，让大家对流计算有整体上的认识、相关术语有清晰的了解、流式计算在大数据架构里的定位。一、背景知识流式计算是在无限数据
data之道·2019-07-25 08:21

快速部署DBus体验实时数据流计算

一、环境说明说明allinone是一个单机版本dbus环境，是给用户快速体验dbus的功能，只是一个简单体验版，不能用于其它环境或者用途，具体包括如下：1）基础组建：zookeeper3.4.6kafka0.10.0.0storm1.0.1granfana4.2.0logstash5.6.1influxdb（需要单独安装，参考如下步骤3）mysql（需要单独安装，参考如下步骤2）2）dbus相关包
宜信技术学院·2019-07-25 00:00

Sylph平台自定义数据源hdfs数据源

Sylph是一个一站式的大数据流计算平台，通过编译StreamSQL，sylph会自动生成ApacheFlink等分布式程序到ApacheYarn集群运行。
cherishpf·2019-07-22 09:02

flink任务编程-java版-流-数据库to数据库

本文就flink流计算的任务工程模板做一介绍，初始数据源和计算结果数据存储都是通过JDBC连接到数据库。本文以mysql为数据库进行演示。
李征兵·2019-07-22 08:16

Spark 流计算程序-统计每2秒钟的单词个数-写入文件

Spark流计算程序-统计每2秒钟的单词个数importjava.io.
赵厚雄·2019-07-18 18:24

快速部署DBus体验实时数据流计算

一、环境说明说明：allinone是一个单机版本dbus环境，是给用户快速体验dbus的功能，只是一个简单体验版，不能用于其它环境或者用途，具体包括如下：1）基础组建：zookeeper3.4.6kafka0.10.0.0storm1.0.1granfana4.2.0logstash5.6.1influxdb（需要单独安装，参考如下步骤3）mysql（需要单独安装，参考如下步骤2）2）dbus相关
宜信技术·2019-07-17 14:24

kafka作为流式处理的上一层，为什么吞吐量那么大？

Kafka为什么速度快、吞吐量大Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。
Stitch_x·2019-07-15 09:46

Kafka为什么速度快、吞吐量大

Kafka为什么速度快、吞吐量大Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。
丿灬逐风·2019-07-08 17:41

备战2019年注电(供配电)专业考试-知识点梳理-第6章 短路电流计算

基本情况：本人已通过注册电气工程师(供配电)的基础考试，今年10月19、20日将参加专业考试（非首次）。2019年1月~3月，陆续分享了注册电气工程师(供配电)业考试指定的69本规范，并对部分规范进行了解读和导图制作。依据2016版《注册电气工程师职业资格考试专业考试复习指导书（供配电专业）》及注电考试大纲，考试内容分为15章。2019年4月~7月，计划按每周1章的节奏更新，将15章各章所涉及标准
沈宙彪·2019-07-06 13:14

后端架构师技术图谱(六)-基础架构

大数据流式计算Storm官方网站《最详细的Storm入门教程》Flink《Flink之一Flink基本原理介绍》KafkaStream《KafkaStream调研：一种轻量级流计算模式》应用场景例如：广告相关实时统计
咪雅先森·2019-06-26 10:40

数据库性能优化方法

数据库访问优化法则为了快速找到SQL的性能瓶颈点，我们也需要了解我们计算机系统的硬件基本性能指标，下图展示的当前主流计算机性能指标：从图上可以看到基本上每种设备都有两个指标：延时（响应时间）：表示硬件的突发处理能力
hmxz2nn·2019-06-25 21:28

Flink最锋利的武器：Flink SQL入门和实战 | 附完整实现代码

自2015年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于Flink打造新一代计算引擎，针对Flink存在的不足进行优化和改进，并且在2019年初将最终代码开源，也就是我们熟知
AI科技大本营·2019-06-25 18:54

T2-13 短路电流与热稳定性

GB50217-2018电力工程电缆设计标准中关于电缆设计的相关章节image.pngimage.png短路电流计算
建哥读书·2019-06-24 17:35

Java8中 Stream创建流的四种方式、流的基本操作（流计算）

Streamapi**Streamapi是java8中提供的对集合处理的api，对数据进行一系列的中间操作，元数据不会发生改变集合讲的是数据，流讲的是计算（用于操作数据源，集合，数组）所生成的元素序列。**StreamAPI位于java.util.stream.*包下。1Stream自己不会存储元素2Stream不会改变源对象。相反，他们会返回一个持有结果的性Sstream。3Stream操作是延
喊我小王吧·2019-06-24 09:24

Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

Flink应用程序端到端的Exactly-Once语义示例Flink应用程序启动预提交阶段在Flink中实现两阶段提交Operator总结ApacheFlink自2017年12月发布的1.4.0版本开始，为流计算引入了一个重要的里程碑特性
阿里云云栖社区·2019-06-21 00:00

DataStream API介绍与使用（一）

详细API参考官网DataStream编程模型在Flink整个系统架构中，对流计算的支持是其最重要的功能之一，Flink基于Google提出的DataFlow模型，实现了支持原生数据流处理的计算引擎。
SunnyRivers·2019-06-14 17:37

如何从小白进化成 Apache Flink 技术专家？9节基础课程免费公开！

随着数据量的爆发，AI走上风口，典型的大数据业务场景下数据业务最通用的做法是：选用批计算的技术处理全量数据，采用流计算的技术处理实时增量数据。
Ververica·2019-06-14 14:05

如何从小白进化成 Apache Flink 技术专家？9节基础课程免费公开！

随着数据量的爆发，AI走上风口，典型的大数据业务场景下数据业务最通用的做法是：选用批计算的技术处理全量数据，采用流计算的技术处理实时增量数据。
ApacheFlink·2019-06-14 00:00

java8实战：使用流收集数据之toList、joining、groupBy(多字段分组)

java8专栏目录：java8实战读书笔记：Lambda表达式语法与函数式编程接口java8实战读书笔记：复合Lambda表达式java8实战读书笔记：初识Stream、流的基本操作（流计算）java8
唯有坚持不懈·2019-06-09 17:15

java8实战读书笔记：初识Stream、流的基本操作（流计算）

本文是博主在学习《java8实战》的一些学习笔记。从本节开始，将进入到java8Stream(流)的学习中来。本文中的部分示例基于如下场景：餐厅点菜，Dish为餐厅中可提供的菜品，Dish的定义如下：1public class Dish {2    /** 菜品名称 */3    private final String name;4    /** 是否是素食 */5    private fin
JAVA葵花宝典·2019-06-08 09:26

JAVA RSA非对称加密详解

目前各种主流计算机语言都支持RSA算法的实现2.java6支持RSA算法3.RSA算法可以用于数据加密和数字签名4.RSA算法相对于DES/AES等对称加密算法，他的速度要慢的多5.总原则：公钥加密，私钥解密
nnsword·2019-06-05 09:10

大数据技术学习笔记

大数据计算模式及代表产品大数据计算模式|解决的问题|代表产品批处理计算|针对大规模数据的批量处理|MapReduce、Spark流计算|针对流数据的实时计算|Storm、S4、Streams图计算|针对大规模图
weixin_33947521·2019-06-04 09:00

hex2bin / bin2hex / pack / unpack 的理解及应用

文本文件/二进制文件/二进制bit流计算机在存储或传输数据时都是以bit流的形式（二进制），文本文件和二进制文件的主要区别就是在于文本文件是有字符集的，ascii/utf8/utf16等，读取时会将二进制流解码成对应的字符集字符
big_cat·2019-06-04 00:00
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他