流式大数据处理

Spark流式读取文件数据

流式读取文件数据frompyspark.sqlimportSparkSessionss=SparkSession.builder.getOrCreate()#todo注意1：流式读取目录下的文件--》一定一定要是目录
中长跑路上crush·2024-01-20 23:25

Spark(一): 基本架构及原理

前言:目标：架构及生态：Spark与hadoop:运行流程及特点：常用术语:Spark运行模式：RDD运行流程：前言:ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009
贝賏赑钡·2024-01-20 22:46

JSON 字符串是如何被解析的？JsonParser 了解一下

Jackson底层流式API使用
敲代码的老贾·2024-01-20 20:44

移动web开发流式布局

1.0移动端基础1.1浏览器现状PC端常见浏览器：360浏览器、谷歌浏览器、火狐浏览器、QQ浏览器、百度浏览器、搜狗浏览器、IE浏览器。内核：浏览器内核备注Safariwebkitwebkit内核是苹果公司开发的一款渲染引擎，目前已被很多手机厂商所采用，包括谷歌、三星、HTC等chromeBlink在chrome项目中研发Blink渲染引擎（即浏览器核心），内置于Chrome浏览器之中。Blink
Gao_xu_sheng·2024-01-20 13:07

巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践

我们基于ApachePaimon(Incubating)构建StreamingLakehouse的落地实践主要分为三期：第一期是在调研验证的基础上进行数仓分层，并且上线一些简单的业务验证效果；第二期是实现流式数仓的基础设施建设
Apache Flink·2024-01-20 12:21

FFA 2023 「流式湖仓」专场：从技术原理到应用实践打造流式湖仓新架构

流式湖仓专场邀请阿里云智能、联通、同程旅行、汽车之家、OPPO、网易、滴滴、镜舟科技、广联达、平安证券、快手等企业技术专家解读基于Flink+Paimon构建流式数据湖相关问题，更有基于Paimon+StarRocks
Apache Flink·2024-01-20 12:21

大数据的常见处理流程

具体的大数据处理方法其实有很多，但是根据长时间的实践，笔者总结了一个基本的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。
kuntoria·2024-01-20 11:17

比拼Kafka，大数据分析新秀Pulsar到底好在哪

消息模型应涵盖以下3个方面：消息消费——如何发送和消费消息；消息确认（ack）——如何确认消息；消息保存——消息保留多长时间，触发消息删除的原因以及怎样删除；消息消费模型在实时流式架构中，消息传递可以分为两类
java菜·2024-01-20 04:19

余老师带你学习大数据-Spark快速大数据处理第十章Kafka第八节Kafka-Connect

kafkaKafkaConnect基本概念1、KafkaConnect是Kafka流式计算的一部分，左侧是数据源包括了数据库、hadoop、文本等等，右侧是数据结果包括了文本、hadoop、数据库，中间上层就是
weixin_45810046·2024-01-20 03:41

流式系统：第九章到第十章

原文：StreamingSystems译者：飞龙协议：CCBY-NC-SA4.0第九章：流连接当我开始学习连接时，这是一个令人生畏的话题；LEFT、OUTER、SEMI、INNER、CROSS：连接的语言是富有表现力和广泛的。再加上流带来的时间维度，你会发现这似乎是一个具有挑战性的复杂话题。好消息是，连接实际上并不是一开始看起来那么可怕的野兽，它没有令人畏惧的尖牙。与许多其他复杂话题一样，一旦你理
绝不原创的飞龙·2024-01-20 03:08

Apache Flink 1.15正式发布

目前大数据处理的一个趋势是越来越多的业务和场景采用低代码的方式进行数据分析，而FlinkSQL则是这种低代码方式数据分析的典型代表。越来越多的用户开始采用Fl
魏铁锤爱摸鱼·2024-01-20 02:00

超融合之道：亚信安慧AntDB 8.0版本引领数据库创新

在当今多变的数据应用场景中，AntDB作为行业领先的超融合流式实时数仓，秉承着“融合+实时”的研发理念，全面应对企业日益复杂的数据处理需求。
亚信安慧AntDB数据库·2024-01-20 01:00

亚信安慧AntDB数据库：开辟数据库新纪元

为了应对用户对“实时性”的苛刻要求，AntDB通过原生的“流式处理引擎”实现了流式计算与数据库的融合，满足业务实时分析、实时报表和互联网+
亚信安慧AntDB数据库·2024-01-20 01:58

docker里Java服务执行ping命令模拟流式输出

文章目录业务场景处理解决实现ping功能并实时返回输出实现长ping和中断请求docker容器找不到ping命令处理业务场景我们某市的客户，一直使用CS版本的信控平台，直接安装客户Windowsserver服务器上，主要对信号机设备进行在线管理、方案配时、管控等其中有一项功能，在网络波动情况，对信号机管控失败，判断信号机是否在线。大致方法是直接调用Windows的dos窗口，发送pingip的命令
坚持是一种态度·2024-01-19 20:20

Python 下载大文件速度更快的方式

方法一使用以下流式代码，无论下载文件的大小如何，Python内存占用都不会增加：defdownload_file(url):local_filename=url.split(‘/’)[-1]#注意传入参数
我算是程序猿·2024-01-19 16:45

流式布局，标签式布局

一、概述：资源下载：http://download.csdn.net/detail/husuxing/9923179在日常的app使用中，我们会在Android的app中看见热门标签等自动换行的流式布局
一颗顽皮的小草·2024-01-19 12:18

Python在大数据处理中的实践运用

大数据基于被分析的海量数据。如何有效地提取和利用这些信息成为一个巨大的挑战。雅虎、谷歌等搜索引擎可以辅助检索数据和信息，但存在一定的不足。搜索引擎返回的结果信息量涉及方方面面，没有分类，针对性不强；造成搜索引擎服务器资源与无限网络数据资源之间的冲突；针对一般搜索引擎存在的问题，针对特定主题需求，针对网络资源进行定向爬取的聚焦爬虫应运而生。在实现网络爬虫时，他尽量保证只爬取和需求相关的网页信息并进行
Python分享阁·2024-01-19 11:38

java.lang.OutOfMemoryError: Java heap space的思考

背景excel文件内容较多时，使用poi非流式api处理，很容易造成OOM；OOM后系统日志发现大量报错ERRORorg.springframework.scheduling.support.TaskUtils
shuxiaohua·2024-01-19 08:15

Flink简介与应用场景

Flink特点图片的左边是数据来源，右边是数据可以输出到什么地方image-20190411171511680流式优先：Flink是一个流式处理框架，可以实现流式数据的连
Real_man·2024-01-19 03:42

【卡梅德生物】单B细胞技术：制备鼠单抗

1.鼠单B细胞技术原理单个B细胞抗体制备技术是近年来新发展的一类快速制备单克隆抗体的技术，基于流式细胞分选技术进行单B细胞单抗制备，利用每个B细胞只含有一个功能性重链可变区DNA序列和一个轻链可变区DNA
卡梅德生物·2024-01-18 23:31

RxJava2『使用』

它基于观察者模式支持数据和事件的流式流通处理，并增加了多种运算符以在多种场景下整合事件和数据。抽象了低级别的线程、同步、并发API。
cname_1·2024-01-18 21:59

Hologres + Flink 流式湖仓建设

Hologres+Flink流式湖仓建设1Flink+Hologres特性1.2实时维表Lookup1.3高性能实时写入与更新1.4多流合并1.5Hologres作为Flink的数据源1.6元数据自动发现与更新
Direction_Wind·2024-01-18 21:56

数字孪生时代，一起探索云端建模的无限潜能

它基于云计算和大数据处理的优势，以及先进的三维建模技术，开启了建筑设计、城市规划和工程领域的全新时代。云端建模不仅实现了高效的数据处理和计算能力，还提供了无限潜能的探索空间。
LhcyyVSO·2024-01-18 17:43

Python环境下基于自适应滤波器的音频信号（wav格式）降噪方法

Python的集成环境我一般使用的是Winpython，Winpytho脱胎于pythonxy，面向科学计算，兼顾数据分析与挖掘；Anaconda主要面向数据分析与挖掘方面，在大数据处理方面有自己特色的一些包
哥廷根数学学派·2024-01-18 14:23

实时云渲染服务：流式传输 VR 和 AR 内容

想象一下无需专用的物理计算机，甚至无需实物连接，就能获得高质量的AR/VR体验是种什么样的体验？过去，与VR交互需要专用的高端工作站，并且根据头显、壁挂式传感器和专用的物理空间。VR中的复杂任务会突破传感器范围、电缆长度和空间边界的限制，使艺术家陷入困境并限制他们的行动。该解决方案无法扩展到少数高级应用之外。曾经，HTC和Oculus等制造商推出的无绳VR头戴设备让用户摆脱了这些繁琐的限制，让用户
3DCAT实时渲染云·2024-01-18 14:52

iOS13 Compositional Layout帮你实现collecion的各种布局

前言UITableView和UICollectionView是我们开发者最常用的控件了，大量的流式布局需要这两个控件来实现，因此这两个控件也是Apple重点优化的对象。
WY_260f·2024-01-18 08:26

HDFS 系统架构

HDFS放宽了一些POSIX的要求，以开启对文件系统数据的流式访
偷油考拉·2024-01-18 03:52

基于云平台技术的GPS定位的浅谈

智能分析和应用：通过云平台的大数据处理和分析能力，可以挖掘出GPS定位数据中的更多有价值的信
MarkHD·2024-01-17 17:36

Kafka系列(四)

本文接kafka三，代码实践kafkaStream的应用，用来完成流式计算。kafkastream关于流式计算也就是实时处理，无时间概念边界的处理一些数据。
happystudy_neu·2024-01-17 07:32

《MyBatis》-- 流式查询内存性能优化-单条数据加工

之前讨论针对的解决方案：1、分页2、流式数据读取加工技术栈选择-原因（个人理解）分页：1、分页查询涉及到查询的效率2、并且也存在内存问题，只是将一个大的内存改变成了小的任务流式：流式查询指的是查询成功
一单成·2024-01-17 06:52

深入理解与应用Flink中的水印机制

在ApacheFlink这一现代大数据处理框架中，对实时流数据的高效、准确处理是一个核心诉求。
临界爵迹·2024-01-17 06:03

服务器cpu怎么选，E5-2670 or i9-9900K

而且它主板便宜、规划设计、大数据处理很好，性能方面也是跟卓越的，处于中高端层次。作为服务器常用的CPU，一般都为双C
德迅云安全-如意·2024-01-17 04:14

【GitHub项目推荐--一行命令下载全网视频】【转载】

在媒体播放器中流式传输在线视频
旅之灵夫·2024-01-17 04:26

Web前端-移动web开发_流式布局

文章目录移动web开发流式布局1.0移动端基础1.1浏览器现状1.2手机屏幕的现状1.3常见移动端屏幕尺寸1.4移动端调试方法2.0视口2.1布局视口layoutviewport2.2视觉视口visualviewport2.3
北方的南&·2024-01-17 04:54

Java http 响应式请求和非响应式请求有什么区别

通过使用响应式库（如SpringWebFlux、Reactor等、RxJava等），可以创建流式的数据流，并使用异步和事件驱动的方式处理数据。非响应式请求是
孟德爱吃香菜·2024-01-17 03:56

flume

Flume基于流式架构，灵活简单。
添柴少年yyds·2024-01-17 00:55

Spark详解

Spark概念Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求。
武昌库里写JAVA·2024-01-16 21:15

Kafka系列(三）

其中三将讲述kafka座位消息中间件的代码样例，四将讲述kafka的stream流式计算处理。
happystudy_neu·2024-01-16 19:07

结构化流的介绍

目录有界数据和无界数据有界数据无界数据结构化流基本介绍入门案例结构化流的编程模型数据结构数据源(Source)FileSourceKafkaSource(Spark和Kafka整合)整合Kafka准备工作从kafka中读取数据流式处理批处理数据写入
Sisi525693·2024-01-16 19:58

记录学习Spark+Kafka构建实时分析Dashboard案例中遇到的问题（一）安装

下载百度网盘大文件其他在安装hadoop时遇到的问题hadoop用法小结单机模式伪分布式Spark、Kafka、python依赖包、pycharm安装SparkKafkaPyCharmPython依赖现阶段在学习大数据处理相关的项目
白令屿·2024-01-16 13:53

LabVIEW在金属铜大气腐蚀预测评价系统中的应用

我们团队在LabVIEW的强大数据处理和图形化编程支持下，结合实际的大气腐蚀数据，成功开发了一种创新的量化模型。这一模型不仅在预测准确性上达到了令人瞩目的97%，还大幅简化了复杂数据的处理流程。
LabVIEW开发·2024-01-16 13:12

MIT_线性代数笔记：第 26 讲 复矩阵；快速傅里叶变换

而对于大数据处理快速傅里叶变换（FFT）显得更为重要，它将傅立叶变换的矩阵乘法中运算的次数从n2
浊酒南街·2024-01-16 09:27

【FlinkSQL】一文读懂 动态表-时态表

不管是在有限批数据上还是在无限的流式数据上，FlinkSql都有相同的语义。
架构师思考实践·2024-01-16 09:26

Sqoop安全性：确保安全的数据传输

确保数据传输的安全性在大数据处理中至关重要。Sqoop作为一个用于数据传输的工具，也提供了多种安全性措施，以确保数据在传输过程中的机密性和完整性。
晓之以理的喵~~·2024-01-16 07:57

Structured Streaming 整合 Kafka指南

用于Kafka0.10的结构化流式处理集成，用于从Kafka读取数据和写入数据。
鸭梨山大哎·2024-01-16 07:27

结构化流(Structured Streaming)

我们称之为无界数据对于无界数据，我们一般采用流式处理方案（实时计算）特点：1-数据没有明确的结束，也就是数据大小不固定2-数据是源源不
小希 fighting·2024-01-16 07:25

AWS边缘媒体安全交付方案

用于直播流式处理和视频点播(VOD)工作负载的现有或全新CloudFront配置可以从该解决方案中受益，由此流式处
九河云·2024-01-16 07:19

小程序中使用微信同声传译插件实现语音识别、语音合成、文本翻译功能----语音识别（一）

语音识别功能提供语音的实时流式识别能力，通过获取全局唯一的语音识别管理器recordR
心情无变化·2024-01-16 05:48

seatunnel 消费kafka数据写入clickhouse

SeaTunnel是一个非常易用、高性能、支持实时流式和离线批处理的海量数据集成平台，架构于ApacheSpark和ApacheFlink之上，支持海量数据的实时同步与转换。
冰帆<·2024-01-16 05:41

Flink-容错机制

Flink中的容错机制流式数据连续不断地到来，无休无止；所以流处理程序也是持续运行的，并没有一个明确的结束退出时间。机器运行程序，996起来当然比人要容易得多，不过希望“永远运行”也是不切实际的。
左美美 ￣　　·2024-01-16 05:24
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他