大数据-flink

vivo Pulsar 万亿级消息处理实践（3）-KoP指标异常修复

作者：vivo互联网大数据团队-ChenJianbo本文是《vivoPulsar万亿级消息处理实践》系列文章第3篇。

·2025-07-10 11:47

广州曼顿2P数字微断：保护电力设备的安全守护者

广州曼顿科技有限公司专注用户侧智慧数字电气产品研制，以及智慧电能服务大数据云平台建设。基于人工智能技术，大幅提升人触电时的生命安全保障，以及电气火灾

mdkk678·2025-07-10 09:43

Python爬虫在社交平台数据挖掘中的应用：深入探索用户互动

如何利用这些互动数据为商业决策、用户行为分析以及产品优化提供支持，已经成为数据科学与大数据分析领域的一个重要课题。

程序员威哥·2025-07-10 08:37

突破性能瓶颈，几个高性能Python网络框架，高效实现网络应用

引言随着互联网和大数据时代的到来，高性能网络应用的需求日益增加。Python作为一种流行的编程语言，在高性能网络编程领域也具有广泛的应用。

·2025-07-10 08:05

AI人工智能与机器学习的大数据融合应用

AI人工智能与机器学习的大数据融合应用关键词：AI人工智能、机器学习、大数据、融合应用、数据挖掘摘要：本文深入探讨了AI人工智能与机器学习在大数据融合应用方面的相关内容。

AI智能探索者·2025-07-10 07:29

百度地图迁徙大数据深度解析与实战指南

百度地图迁徙大数据深度解析与实战指南在数字化时代，人口流动数据已成为洞察社会经济活动的关键指标。

·2025-07-10 07:28

kafka单个生产者向具有多个partition的topic写数据（写入分区策略）

最近碰到生产环境现象一个flink程序单并行度（一个生产者），对应topic为8分区。每个分区都能消费到生产出的数据。

·2025-07-10 03:35

Python爬虫实战：利用Selenium与反反爬技术高效爬取天眼查企业信息

关键词：Python爬虫、天眼查、Selenium、反反爬技术、企业信息采集、数据挖掘一、引言在当今大数据时代，企业信息数据对于市场分析、商

Python爬虫项目·2025-07-10 03:02

智慧城市大脑解决方案

智慧城市大脑背景与意义智慧城市大脑作为城市管理的创新模式，通过集成大数据、人工智能等技术，实现了对城市运行的全面感知与智能决策。它不仅提升了城市管理效率，还为市民带来了更加便捷、安全的生活体验。

·2025-07-10 03:59

智慧城市大脑：城市治理的新引擎

而智慧城市大脑，作为智慧城市的中枢神经系统，运用大数据、云计算、物联网、人工智能等先进技术，构建的城市级智能化管理体系，正逐步成为提升城市治理能力、优化城市服务、推动城市可持续发展的重要力量。

Fulima_cloud·2025-07-10 03:58

KaiwuDB X 济南大数据局：构建城市级重点车辆智慧监管中枢

作为城市治理的中枢部门，济南市大数据局肩负着重点车辆监管

·2025-07-09 21:06

Docker容器如何实现分布式微服务：从0到1的深度解析

在当今云计算和大数据时代，企业面临的最大挑战之一是如何快速、稳定地部署和管理复杂的软件应用。传统的单体架构已难以满足现代互联网应用的需求，而分布式微服务架构成为了解决这一难题的关键。

cda2024·2025-07-09 17:56

2025年7月-9月广深地区学术会议征稿邀稿 | 2025年7-9月广州学术会议、深圳学术会议参会投稿 | 广深参会 EI 检索会议推荐 | 期待在广东与您相见，共襄学术盛举！

日广州第七届电子与通信，网络与计算机技术国际学术会议（ECNCT2025）2025年7月18-20日广州2025年人工智能与基础模型国际学术会议（AIFM2025）2025年7月18-20日广州第六届经济管理与大数据应用国际学术会议

·2025-07-09 16:55

Python爬企查查网站数据的爬虫代码如何写？

在大数据时代，数据的获取与分析变得尤为重要。企业信息查询平台“企查查”作为国内领先的企业信用信息查询工具，提供了丰富的企业数据资源。

cda2024·2025-07-09 16:54

如何利用AWS Lambda作为Serverless数据库进行大数据处理

作者：禅与计算机程序设计艺术Serverless数据库一直是构建数据分析应用的主要选择之一。它能帮助客户节省运行服务所需的服务器成本、快速弹性扩展和自动伸缩能力，并且能提升整体性能，有效减少运维和开发资源投入。但是，在实际生产环境中，它们也面临着很多技术上的挑战，比如如何让Serverless数据库服务可以像传统数据库一样，做到高并发处理、实时计算等。而AWSLambda为Serverless数据

AI天才研究院·2025-07-09 15:18

大数据领域数据产品的零售行业应用创新模式

大数据领域数据产品的零售行业应用创新模式关键词：大数据、零售行业、数据产品、应用创新、客户洞察、智能决策、数字化转型摘要：本文深入探讨了大数据技术在零售行业中的应用创新模式。

大数据洞察·2025-07-09 15:15

大数据如何助力企业文化“软实力”升级？深挖数据背后的文化密码

大数据如何助力企业文化“软实力”升级？深挖数据背后的文化密码今天我们聊一个听起来很“软”的话题——企业文化，但从一个不太“软”的角度来看：大数据如何参与企业文化的建设与提升。

Echo_Wish·2025-07-09 12:23

Docker快速部署Hive服务

涵盖技术内容：Java后端、大数据、算法、分布式微服务、中间件、前端、运维等。

长路 ㅤ ·2025-07-09 08:57

从UI设计到数字孪生实战：构建智慧教育的个性化学习平台

hello宝子们...我们是艾斯视觉擅长ui设计、前端开发、数字孪生、大数据、三维建模、三维动画10年+经验!希望我的分享能帮助到您!如需帮助可以评论关注私信我们一起探讨!致敬感谢感恩!

·2025-07-09 08:57

每天一道大厂SQL题【Day25】脉脉真题实战(一)每日活跃用户_用户每日登陆脉脉会访问app不同的模块,现有两个表表1记录了每日脉脉活跃用户的ui(1)

相信大家和我一样，都有一个大厂梦，作为一名资深大数据选手，深知SQL重要性，接下来我准备用100天时间，基于大

·2025-07-09 07:52

Spring Boot 项目启动时按需初始化加载数据

该类用于在项目启动时处理数据加载任务；2、该类实现ApplicationRunner接口，并重写run方法；3、在重写的run方法里处理数据加载任务；注意：有定时加载数据需求的话，添加定时任务即可；一次性加载大数据量时可能内存溢出

我叫晨曦啊·2025-07-09 05:33

云原生--微服务、CICD、SaaS、PaaS、IaaS

青秋.·2025-07-09 05:01

Apache SeaTunnel × Hive 深度集成指南：原理、配置与实践

在大数据处理的复杂生态中，数据的高效流转与整合是实现数据价值的关键。

·2025-07-08 23:50

大数据平台之ranger与ldap集成，同步用户和组

ranger可以通过ranger-usersync与linux系统同步用户，但是，还有个问题，就是我们的hiveserver一般是集群，可以是多台服务器，那么我们空间同步哪一台呢，而且如果用户多了，如何管理用户登录密码呢，所以，还是要用ldap比较合理。首先是安装openldap:yum-yinstallopenldapcompat-openldapopenldap-clientsopenldap

无级程序员·2025-07-08 20:06

vue-scrollto实现页面组件锚点定位

涵盖技术内容：Java后端、大数据、算法、分布式微服务、中间件、前端、运维等。

长路 ㅤ ·2025-07-08 17:20

SQL Server 临时表、表变量与WITH语句的用法与区别

临时表适合大数据量操作，表变量优化小数据量场景，而CTE则简化复杂查询逻辑。三者选择需综合考量数据量级、事务需求及代码可读性。本文将深入解析其工作机制，通过实测对比指导场景化选型。

Favor_Yang·2025-07-08 15:05

从0到1：Vue.js与D3.js搭建AI大数据动态看板

一、引言在当今AI和大数据盛行的时代，数据如同企业的“石油”，蕴含着巨大的价值。

·2025-07-08 15:04

Apache Iceberg数据湖基础

Iceberg的革新目标：解耦计算引擎与存储格式（支持Spark/Flink/Trino等）；提供ACID事务、模式

Aurora_NeAr·2025-07-08 12:20

Flink ClickHouse 连接器：实现 Flink 与 ClickHouse 无缝对接

引言在大数据处理领域，ApacheFlink是一款强大的流处理和批处理框架，而ClickHouse则是一个高性能的列式数据库，专为在线分析处理（OLAP）场景设计。

Edingbrugh.南空·2025-07-08 06:32

【前端开发】Uniapp分页器：新增输入框跳转功能

基于UniApp官方扩展组件库uni-ui中的uni-pagination分页器组件，针对大数据量场景进行优化主要优化以下内容：新增输入框跳转功能：在原有分页器基础上，新增了一个输入框区域，允许用户直接输入目标页码进行跳转双向页码绑定优化

·2025-07-08 04:14

大数据技术之Flink

第1章Flink概述1.1Flink是什么1.2Flink特点1.3FlinkvsSparkStreaming表Flink和Streaming对比FlinkStreaming计算模型流计算微批处理时间语义事件时间

·2025-07-08 02:35

如何在YashanDB中实现多级缓存策略

随着大数据时代的到来，数据存储和访问的效率要求越来越高。数据库技术在面对海量数据、高并发访问时，性能瓶颈逐渐凸显，尤其是响应时间和系统吞吐量成为开发者和DBA关注的重点。

·2025-07-07 22:26

蛋白质结构预测/功能注释/交互识别/按需设计，中国海洋大学张树刚团队直击蛋白质智能计算核心任务

近年来，生命科学对蛋白质复杂特性解析的需求日益迫切，大数据、深度学习、多模态计算等技术的突破性发展，为构建蛋白质智能计算体系提供了全新的发展契机。

·2025-07-07 19:17

管理大数据存储的十大技巧

在1990年，每一台应用服务器都倾向拥有直连式系统(DAS)。SAN的构建则是为了更大的规模和更高的效率提供共享的池存储。Hadoop已经逆转了这一趋势回归DAS。每一个Hadoop集群都拥有自身的——虽然是横向扩展型——直连式存储，这有助于Hadoop管理数据本地化，但也放弃了共享存储的规模和效率。如果你拥有多个实例或Hadoop发行版，那么你就将得到多个横向扩展的存储集群。而我们所遇到的最大挑

weixin_34238633·2025-07-07 18:31

【计算机毕业设计】基于Springboot的办公用品管理系统+LW

Java技术领域和学生毕业项目实战,高校老师/讲师/同行前辈交流✌技术范围：SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据

枫叶学长(专业接毕设)·2025-07-07 16:19

Hadoop核心组件最全介绍

(YetAnotherResourceNegotiator)3.MapReduce二、数据存储与管理1.HBase2.Hive3.HCatalog4.Phoenix三、数据处理与计算1.Spark2.Flink3

Cachel wood·2025-07-07 12:54

深入解析Spring Boot与Kafka集成：构建高性能消息驱动应用

ApacheKafka作为一种高性能、分布式的消息队列系统，被广泛应用于大数据处理、实时流处理以及事件驱动的架构中。

Uranus^·2025-07-07 10:09

掌握大数据领域数据湖的部署要点

掌握大数据领域数据湖的部署要点关键词：数据湖,大数据部署,数据治理,存储架构,元数据管理,数据质量,湖仓一体摘要：在数据爆炸的时代，企业面临着"数据多却用不好"的困境——结构化数据藏在数据库里，非结构化数据堆在服务器上

·2025-07-07 07:47

（阳：算法霸权 / 阴：数据确权）→当GDPR类法规覆盖53%经济体量时，催生出隐私计算新范式

当GDPR类法规覆盖53%经济体量时，隐私计算新范式的兴起可归因于以下多维度因素的相互作用：一、算法霸权与数据确权的矛盾激化算法霸权的危害大型科技公司通过算法歧视、大数据杀熟等手段形成垄断优势，利用数据优势操控用户行为

百态老人·2025-07-06 21:11

解析大数据领域结构化数据的管理模式

解码结构化数据：大数据时代的高效管理模式与实践指南关键词结构化数据、大数据管理、数据建模、分布式数据库、数据仓库、数据治理、性能优化摘要在大数据的洪流中，结构化数据犹如隐藏在波涛之下的磐石，虽然不如非结构化数据那般引人注目

大数据洞察·2025-07-06 19:44

ClickHouse【理论篇】01：什么是ClickHouse

它由俄罗斯搜索引擎公司Yandex开发（2016年开源），目前由独立基金会ClickHouse,Inc.维护，广泛应用于大数据分析、日志处理、用户行为洞察等领域。

·2025-07-06 18:37

【大数据入门核心技术-DolphinScheduler】（二）DolphinScheduler安装部署-集群模式

目录一、部署模式1、单机模式2、伪集群模式3、集群模式二、部署安装1、下载2、创建mysql元数据库3、配置一键部署脚本4、初始化数据库5、一键部署DolphinScheduler6、访问DolphinSchedulerUI三、启停命令一、部署模式DolphinScheduler支持多种部署模式，包括单机模式（Standalone）、伪集群模式（PseudoCluster）、集群模式（Cluste

forest_long·2025-07-06 17:27

利用已有的 PostgreSQL 和 ZooKeeper 服务，启动dolphinscheduler-standalone-server3.1.9 镜像

ApacheDolphinScheduler旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种OPS编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。

云游·2025-07-06 17:27

Alpha系统联结大数据、GPT两大功能，助力律所管理降本增效

今年5月,iCourt携手贵阳律协大数据与人工智能专业委员会,联合举办了《人工智能助力律师行业高质量发展巡回讲座》,超过100家律所的律师参与活动。

资讯分享周·2025-07-06 16:56

电商API性能优化：策略体系与实施要点

随着电商业务的快速发展，API接口面临着高并发、大数据量处理等挑战，因此，对电商API进行性能优化显得尤为重要。本文将从多个维度探讨电商API性能优化的策略。

Joe13265449558·2025-07-06 16:53

ECharts 智慧医疗大屏制作实例详解

在大数据时代，数据可视化已成为信息传递和决策支持的重要手段。

·2025-07-06 14:38

大数据 ETL 工具 Sqoop 深度解析与实战指南

一、Sqoop核心理论与应用场景1.1设计思想与技术定位Sqoop是Apache旗下的开源数据传输工具，核心设计基于MapReduce分布式计算框架，通过并行化的Map任务实现高效的数据批量迁移。其特点包括：批处理特性：基于MapReduce作业实现导入/导出，适合大规模离线数据迁移，不支持实时数据同步。异构数据源连接：支持关系型数据库（如MySQL、Oracle）与Hadoop生态（HDFS、H

·2025-07-06 12:18

Python（28）Python循环语句指南：从语法糖到CPython字节码的底层探秘

传统for循环虽然直观，但在处理大数据时往往面

一个天蝎座白勺程序猿·2025-07-06 08:51

大数据分析技术的学习路径，不是绝对的，仅供参考

阶段一：基础筑基（1-3个月）1.编程语言：Python：掌握基础语法、数据结构、流程控制、函数、面向对象编程、常用库（NumPy,Pandas）。SQL：精通SELECT语句（过滤、排序、分组、聚合、连接）、DDL/DML基础。理解关系型数据库概念（表、主键、外键、索引）。MySQL或PostgreSQL是很好的起点。Java/Scala：深入理解Hadoop/Spark等框架会更有优势。初学者

水云桐程序员·2025-07-06 02:12

React金融数据分析应用性能优化实战：借助AI辅助解决18万数据量栈溢出Bug

React金融数据分析应用性能优化实战：借助AI辅助解决18万数据量栈溢出Bug前言在现代前端开发中，处理大数据量的实时金融应用已成为常态。

马特说·2025-07-06 02:09

推荐频道