Elastic-Job流式

Spark和Flink的区别?

而Flink是基于事件驱动的，它是一个面向流的处理框架,Flink基于每个事件一行一行地流式处理，是真正的流式计算.另外他也可以基于流来模拟批
写scala的老刘·2024-01-21 06:42

SeaTunnel 海量数据同步工具的使用（连载中……）

一、概述SeaTunnel是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品，前身是WaterDrop（中文名：水滴），自2021年10月12日更名为SeaTunnel。
programmer_山风·2024-01-21 03:49

流式系统：前言到第四章

原文：StreamingSystems译者：飞龙协议：CCBY-NC-SA4.0前言或：你在这里要做什么？你好，冒险的读者，欢迎来到我们的书！在这一点上，我假设你要么对学习更多关于流处理的奇迹感兴趣，要么希望花几个小时阅读关于雄伟的棕色鳟鱼的荣耀。无论哪种方式，我都向你致敬！也就是说，属于后一种类型的人，如果你对计算机科学没有高级的理解，那么在继续前，你应该考虑一下你是否准备好面对失望；警告渔夫，
绝不原创的飞龙·2024-01-21 03:29

流式系统：第五章到第八章

原文：StreamingSystems译者：飞龙协议：CCBY-NC-SA4.0第五章：一次性和副作用我们现在从讨论编程模型和API转向实现它们的系统。模型和API允许用户描述他们想要计算的内容。在规模上准确地运行计算需要一个系统——通常是一个分布式系统。在本章中，我们将重点介绍一个实现系统如何正确实现Beam模型以产生准确结果。流处理系统经常谈论一次性处理；也就是确保每个记录只被处理一次。我们将
绝不原创的飞龙·2024-01-21 03:59

Spark读取kafka（流式和批数据）

spark读取kafka（批数据处理）#按照偏移量读取kafka数据frompyspark.sqlimportSparkSessionss=SparkSession.builder.getOrCreate()#spark读取kafkaoptions={#写kafka配置信息#指定kafka的连接的broker服务节点信息'kafka.bootstrap.servers':'node1:9092',
中长跑路上crush·2024-01-20 23:55

Spark流式读取文件数据

流式读取文件数据frompyspark.sqlimportSparkSessionss=SparkSession.builder.getOrCreate()#todo注意1：流式读取目录下的文件--》一定一定要是目录
中长跑路上crush·2024-01-20 23:25

JSON 字符串是如何被解析的？JsonParser 了解一下

Jackson底层流式API使用
敲代码的老贾·2024-01-20 20:44

移动web开发流式布局

1.0移动端基础1.1浏览器现状PC端常见浏览器：360浏览器、谷歌浏览器、火狐浏览器、QQ浏览器、百度浏览器、搜狗浏览器、IE浏览器。内核：浏览器内核备注Safariwebkitwebkit内核是苹果公司开发的一款渲染引擎，目前已被很多手机厂商所采用，包括谷歌、三星、HTC等chromeBlink在chrome项目中研发Blink渲染引擎（即浏览器核心），内置于Chrome浏览器之中。Blink
Gao_xu_sheng·2024-01-20 13:07

巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践

我们基于ApachePaimon(Incubating)构建StreamingLakehouse的落地实践主要分为三期：第一期是在调研验证的基础上进行数仓分层，并且上线一些简单的业务验证效果；第二期是实现流式数仓的基础设施建设
Apache Flink·2024-01-20 12:21

FFA 2023 「流式湖仓」专场：从技术原理到应用实践打造流式湖仓新架构

流式湖仓专场邀请阿里云智能、联通、同程旅行、汽车之家、OPPO、网易、滴滴、镜舟科技、广联达、平安证券、快手等企业技术专家解读基于Flink+Paimon构建流式数据湖相关问题，更有基于Paimon+StarRocks
Apache Flink·2024-01-20 12:21

比拼Kafka，大数据分析新秀Pulsar到底好在哪

消息模型应涵盖以下3个方面：消息消费——如何发送和消费消息；消息确认（ack）——如何确认消息；消息保存——消息保留多长时间，触发消息删除的原因以及怎样删除；消息消费模型在实时流式架构中，消息传递可以分为两类
java菜·2024-01-20 04:19

余老师带你学习大数据-Spark快速大数据处理第十章Kafka第八节Kafka-Connect

kafkaKafkaConnect基本概念1、KafkaConnect是Kafka流式计算的一部分，左侧是数据源包括了数据库、hadoop、文本等等，右侧是数据结果包括了文本、hadoop、数据库，中间上层就是
weixin_45810046·2024-01-20 03:41

流式系统：第九章到第十章

原文：StreamingSystems译者：飞龙协议：CCBY-NC-SA4.0第九章：流连接当我开始学习连接时，这是一个令人生畏的话题；LEFT、OUTER、SEMI、INNER、CROSS：连接的语言是富有表现力和广泛的。再加上流带来的时间维度，你会发现这似乎是一个具有挑战性的复杂话题。好消息是，连接实际上并不是一开始看起来那么可怕的野兽，它没有令人畏惧的尖牙。与许多其他复杂话题一样，一旦你理
绝不原创的飞龙·2024-01-20 03:08

超融合之道：亚信安慧AntDB 8.0版本引领数据库创新

在当今多变的数据应用场景中，AntDB作为行业领先的超融合流式实时数仓，秉承着“融合+实时”的研发理念，全面应对企业日益复杂的数据处理需求。
亚信安慧AntDB数据库·2024-01-20 01:00

亚信安慧AntDB数据库：开辟数据库新纪元

为了应对用户对“实时性”的苛刻要求，AntDB通过原生的“流式处理引擎”实现了流式计算与数据库的融合，满足业务实时分析、实时报表和互联网+
亚信安慧AntDB数据库·2024-01-20 01:58

docker里Java服务执行ping命令模拟流式输出

文章目录业务场景处理解决实现ping功能并实时返回输出实现长ping和中断请求docker容器找不到ping命令处理业务场景我们某市的客户，一直使用CS版本的信控平台，直接安装客户Windowsserver服务器上，主要对信号机设备进行在线管理、方案配时、管控等其中有一项功能，在网络波动情况，对信号机管控失败，判断信号机是否在线。大致方法是直接调用Windows的dos窗口，发送pingip的命令
坚持是一种态度·2024-01-19 20:20

基于 SpringBoot 实现多租户架构：支持应用多租户部署和管理

超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC和MyCAT源码解析作业调度中间件Elastic-Job
公众号-芋道源码·2024-01-19 16:09

Python 下载大文件速度更快的方式

方法一使用以下流式代码，无论下载文件的大小如何，Python内存占用都不会增加：defdownload_file(url):local_filename=url.split(‘/’)[-1]#注意传入参数
我算是程序猿·2024-01-19 16:45

流式布局，标签式布局

一、概述：资源下载：http://download.csdn.net/detail/husuxing/9923179在日常的app使用中，我们会在Android的app中看见热门标签等自动换行的流式布局
一颗顽皮的小草·2024-01-19 12:18

java.lang.OutOfMemoryError: Java heap space的思考

背景excel文件内容较多时，使用poi非流式api处理，很容易造成OOM；OOM后系统日志发现大量报错ERRORorg.springframework.scheduling.support.TaskUtils
shuxiaohua·2024-01-19 08:15

Flink简介与应用场景

Flink特点图片的左边是数据来源，右边是数据可以输出到什么地方image-20190411171511680流式优先：Flink是一个流式处理框架，可以实现流式数据的连
Real_man·2024-01-19 03:42

【卡梅德生物】单B细胞技术：制备鼠单抗

1.鼠单B细胞技术原理单个B细胞抗体制备技术是近年来新发展的一类快速制备单克隆抗体的技术，基于流式细胞分选技术进行单B细胞单抗制备，利用每个B细胞只含有一个功能性重链可变区DNA序列和一个轻链可变区DNA
卡梅德生物·2024-01-18 23:31

RxJava2『使用』

它基于观察者模式支持数据和事件的流式流通处理，并增加了多种运算符以在多种场景下整合事件和数据。抽象了低级别的线程、同步、并发API。
cname_1·2024-01-18 21:59

Hologres + Flink 流式湖仓建设

Hologres+Flink流式湖仓建设1Flink+Hologres特性1.2实时维表Lookup1.3高性能实时写入与更新1.4多流合并1.5Hologres作为Flink的数据源1.6元数据自动发现与更新
Direction_Wind·2024-01-18 21:56

实时云渲染服务：流式传输 VR 和 AR 内容

想象一下无需专用的物理计算机，甚至无需实物连接，就能获得高质量的AR/VR体验是种什么样的体验？过去，与VR交互需要专用的高端工作站，并且根据头显、壁挂式传感器和专用的物理空间。VR中的复杂任务会突破传感器范围、电缆长度和空间边界的限制，使艺术家陷入困境并限制他们的行动。该解决方案无法扩展到少数高级应用之外。曾经，HTC和Oculus等制造商推出的无绳VR头戴设备让用户摆脱了这些繁琐的限制，让用户
3DCAT实时渲染云·2024-01-18 14:52

iOS13 Compositional Layout帮你实现collecion的各种布局

前言UITableView和UICollectionView是我们开发者最常用的控件了，大量的流式布局需要这两个控件来实现，因此这两个控件也是Apple重点优化的对象。
WY_260f·2024-01-18 08:26

HDFS 系统架构

HDFS放宽了一些POSIX的要求，以开启对文件系统数据的流式访
偷油考拉·2024-01-18 03:52

面试官：ThreadLocal 为什么会内存泄漏吗？是怎么产生的？面试必问！

超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC和MyCAT源码解析作业调度中间件Elastic-Job
Java基基·2024-01-17 12:26

Elastic-Job分布式调度学习

概述1.1什么是任务调度?为了自动完成特定任务,在约定的特定时刻去执行任务例如:每天晚上8点发放优惠券,每天凌晨需要统一数据1.2为什么需要分布式调度?单机处理极限:我们使用SpringTask定时器也是可以做得到,但是单机的性能(CPU,内存,硬盘)始终有限,对于海量的数据处理会有一定的极限高可用:如果单机宕机了,单点故障导致整个任务调度无法使用,所以需要保证任务的高可用性防止重复执行:我们部署
南瓜战士·2024-01-17 08:24

Kafka系列(四)

本文接kafka三，代码实践kafkaStream的应用，用来完成流式计算。kafkastream关于流式计算也就是实时处理，无时间概念边界的处理一些数据。
happystudy_neu·2024-01-17 07:32

《MyBatis》-- 流式查询内存性能优化-单条数据加工

之前讨论针对的解决方案：1、分页2、流式数据读取加工技术栈选择-原因（个人理解）分页：1、分页查询涉及到查询的效率2、并且也存在内存问题，只是将一个大的内存改变成了小的任务流式：流式查询指的是查询成功
一单成·2024-01-17 06:52

【GitHub项目推荐--一行命令下载全网视频】【转载】

在媒体播放器中流式传输在线视频
旅之灵夫·2024-01-17 04:26

Web前端-移动web开发_流式布局

文章目录移动web开发流式布局1.0移动端基础1.1浏览器现状1.2手机屏幕的现状1.3常见移动端屏幕尺寸1.4移动端调试方法2.0视口2.1布局视口layoutviewport2.2视觉视口visualviewport2.3
北方的南&·2024-01-17 04:54

Java http 响应式请求和非响应式请求有什么区别

通过使用响应式库（如SpringWebFlux、Reactor等、RxJava等），可以创建流式的数据流，并使用异步和事件驱动的方式处理数据。非响应式请求是
孟德爱吃香菜·2024-01-17 03:56

flume

Flume基于流式架构，灵活简单。
添柴少年yyds·2024-01-17 00:55

Kafka系列(三）

其中三将讲述kafka座位消息中间件的代码样例，四将讲述kafka的stream流式计算处理。
happystudy_neu·2024-01-16 19:07

结构化流的介绍

目录有界数据和无界数据有界数据无界数据结构化流基本介绍入门案例结构化流的编程模型数据结构数据源(Source)FileSourceKafkaSource(Spark和Kafka整合)整合Kafka准备工作从kafka中读取数据流式处理批处理数据写入
Sisi525693·2024-01-16 19:58

【FlinkSQL】一文读懂 动态表-时态表

不管是在有限批数据上还是在无限的流式数据上，FlinkSql都有相同的语义。
架构师思考实践·2024-01-16 09:26

Structured Streaming 整合 Kafka指南

用于Kafka0.10的结构化流式处理集成，用于从Kafka读取数据和写入数据。
鸭梨山大哎·2024-01-16 07:27

结构化流(Structured Streaming)

我们称之为无界数据对于无界数据，我们一般采用流式处理方案（实时计算）特点：1-数据没有明确的结束，也就是数据大小不固定2-数据是源源不
小希 fighting·2024-01-16 07:25

AWS边缘媒体安全交付方案

用于直播流式处理和视频点播(VOD)工作负载的现有或全新CloudFront配置可以从该解决方案中受益，由此流式处
九河云·2024-01-16 07:19

小程序中使用微信同声传译插件实现语音识别、语音合成、文本翻译功能----语音识别（一）

语音识别功能提供语音的实时流式识别能力，通过获取全局唯一的语音识别管理器recordR
心情无变化·2024-01-16 05:48

seatunnel 消费kafka数据写入clickhouse

SeaTunnel是一个非常易用、高性能、支持实时流式和离线批处理的海量数据集成平台，架构于ApacheSpark和ApacheFlink之上，支持海量数据的实时同步与转换。
冰帆<·2024-01-16 05:41

Flink-容错机制

Flink中的容错机制流式数据连续不断地到来，无休无止；所以流处理程序也是持续运行的，并没有一个明确的结束退出时间。机器运行程序，996起来当然比人要容易得多，不过希望“永远运行”也是不切实际的。
左美美 ￣　　·2024-01-16 05:24

日志采集传输框架之 Flume，将监听端口数据发送至Kafka

Flume基于流式架构，主要有以下几个部分组成。主要组件介绍：1）、FlumeAgent是一个JVM进程，它以事件的形式将数据从源头送至目的。
知其_所以然·2024-01-16 03:03

初见Linux-socket

数据报->UDP流式套接字->TCP原始套接字->RAW4个层级应用层通信层IP层链路层为什么要分层？每层有具体负责的任务网络接口层：MAC原地址MAC目的地址L/T14字节的头。
哇丶九夏·2024-01-15 16:27

亚信安慧AntDB-S流式数据库实现企业数智化转型

AntDB-S流式数据库是一项针对实时数仓等场景的创新技术，旨在取代传统的流式处理引擎，从而简化开发和测试过程。该流式数据库具备强大的ACID特性和高可用性，为企业降低了流式业务开发和维护的成本。
亚信安慧AntDB数据库·2024-01-15 14:11

java遍历树形结构

可能平常会遇到一些需求，比如构建菜单，构建树形结构，数据库一般就使用父id来表示，为了降低数据库的查询压力，我们可以使用Java8中的Stream流一次性把数据查出来，然后通过流式处理。
lockie_zou·2024-01-15 14:17

Java8新特性-使用Stream流递归实现遍历树形结构

流递归实现遍历树形结构–Lcry可能平常会遇到一些需求，比如构建菜单，构建树形结构，数据库一般就使用父id来表示，为了降低数据库的查询压力，我们可以使用Java8中的Stream流一次性把数据查出来，然后通过流式处理
敏姐姐·2024-01-15 14:47

WeNet2.0：提高端到端ASR的生产力

我们提供了WeNet[1]，这是一个面向生产（=工业生产环境需求）的端到端语音识别工具包，在单个模型中，它引入了统一的两次two-pass(U2)框架和内置运行时（built-inruntime）来处理流式和非流式解码模式
智慧医疗探索者·2024-01-15 13:46
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他