flink微博

微博热搜数据采集全攻略：利用 Python 爬虫实时捕捉社会热点与舆情风向

微博作为国内最具影响力的社交媒体平台，其热搜榜单被广泛认为是社会热点的风向标。无论是娱乐八卦、社会事件，还是突发新闻，微博热搜往往能够迅速反映出公众关注的焦点。
程序员威哥·2025-07-02 20:05

爬取微博热搜+关键词爬取评论

获取第一级评论（可翻页）importrequestsimportcsvf=open('5.3微博热搜top50.csv',mode='a',encoding='utf-8',newline='')csv_write
2301_80365274·2025-07-02 20:31

Hadoop、Spark、Flink 三大大数据处理框架的能力与应用场景

一、技术能力与应用场景对比产品能力特点应用场景Hadoop-基于MapReduce的批处理框架-HDFS分布式存储-容错性强、适合离线分析-作业调度使用YARN-日志离线分析-数据仓库存储-T+1报表分析-海量数据处理Spark-基于内存计算，速度快-支持批处理、流处理（StructuredStreaming）-支持SQL、ML、图计算等-支持多语言（Scala、Java、Python）-近实时处
·2025-07-02 13:45

数据同步工具对比：Canal、DataX与Flink CDC

Canal、DataX和FlinkCDC作为三种主流的数据同步工具，各自有着不同的设计理念和适用场景。本文将深入探讨这三者的技术特点、使用场景以及实践中的差异，帮助开发者根据实际需求选择合适的工具。
智慧源点·2025-07-01 05:35

4_Flink CEP

FlinkCEP1、何为CEP？CEP，全称为复杂事件处理（ComplexEventProcessing），是一种用于实时监测和分析数据流的技术。
frimiku·2025-07-01 05:35

100W QPS 短链系统怎么设计

例如QQ微博的url
Java程序员 拥抱ai·2025-06-30 16:32

Flink项目基础配置指南

在大数据处理领域，ApacheFlink凭借强大的实时流处理和批处理能力，成为众多开发者的首选工具。
Edingbrugh.南空·2025-06-29 16:58

Apache SeaTunnel Flink引擎执行流程源码分析

目录1.任务启动入口2.任务执行命令类：FlinkTaskExecuteCommand3.FlinkExecution的创建与初始化3.1核心组件初始化3.2关键对象说明4.任务执行：FlinkExecution.execute
Code Monkey’s Lab·2025-06-29 16:26

Beam2.61.0版本消费kafka重复问题排查

1.问题出现过程在测试环境测试flink的job的任务消费kafka的情况，通过往job任务发送一条消息，然后flinkwebui上消费出现了两条。
隔壁寝室老吴·2025-06-28 13:09

小米YU7 3分钟大定20万台 东风日产高管吐槽米粉：愚忠

东风日产三电和动力开发负责人黄照昆微博全文如下：小米
财经三剑客·2025-06-28 03:04

Flink CDC同步Oracle无主键表

FlinkCDC同步Oracle无主键表问题背景问题解决问题背景FlinkCDC是一种很强大且实用的实时数据同步工具，官网如下。
Zzz...209·2025-06-27 21:27

Flink Oracle CDC Connector详解

1.FlinkOracleCDCConnector核心功能功能模块描述实时数据捕获实时捕捉Oracle数据库中的DML操作（INSERT,UPDATE,DELETE）。
24k小善·2025-06-27 21:55

Apache Flink深度解析：现代流处理引擎

好的，我来帮您写一篇关于Flink技术的详细介绍博客：ApacheFlink深度解析：现代流处理引擎一、Flink简介ApacheFlink是一个开源的分布式流处理和批处理统一计算引擎。
暴躁哥·2025-06-27 21:23

Flink SQL Connector Kafka 核心参数全解析与实战指南

FlinkSQLConnectorKafka是连接FlinkSQL与Kafka的核心组件，通过将Kafka主题抽象为表结构，允许用户使用标准SQL语句完成数据读写操作。
Edingbrugh.南空·2025-06-27 13:29

Flink部署与应用——Flink集群模式

Flink集群模式在大数据处理领域，ApacheFlink凭借其卓越的流批一体化处理能力，成为众多企业的首选框架。
黄雪超·2025-06-27 08:59

Spark Streaming 与 Flink 实时数据处理方案对比与选型指南

SparkStreaming与Flink实时数据处理方案对比与选型指南实时数据处理在互联网、电商、物流、金融等领域均有大量应用，面对海量流式数据，SparkStreaming和Flink成为两大主流开源引擎
浅沫云归·2025-06-27 02:10

Netty4.1 - TCP粘包拆包解决方案及案例代码

它已经得到了成百上千的商业项目的验证，例如Hadoop的RPC框架Avro就使用了Netty作为底层通信框架，其他的业界主流RPC框架，例如：Dubbo、Google开源的gRPC、新浪微博开源的Motan
wwyh520·2025-06-26 14:18

现代数据湖架构全景解析：存储、表格式、计算引擎与元数据服务的协同生态

本文全面剖析现代数据湖架构的核心组件，深入探讨对象存储（OSS/S3）、表格式（Iceberg/Hudi/DeltaLake）、计算引擎（Spark/Flink/Presto）及元数据服务（HMS/Amoro
讲文明的喜羊羊拒绝pua·2025-06-26 00:46

69、Flink 的 DataStream Connector 之 Kafka 连接器详解

1.概述Flink提供了Kafka连接器使用精确一次（Exactly-once）的语义在Kafkatopic中读取和写入数据。目前还没有Flink1.19可用的连接器。
猫猫爱吃小鱼粮·2025-06-25 20:18

利用python 实现自动登录微博并发送文字微博

一软件准备1.安装Python环境2.安装selenium库pipinstallselenium3.下载chromedriver复制到C:\Windows\System32http://npm.taobao.org/mirrors/chromedriver/选择对应的chrome版本。二实现方法1.使用Selenium工具自动化模拟浏览器，当前重点是了解对元素的定位我们想定位一个元素，可以通过id
小妖同学学AI·2025-06-25 18:06

Flink SourceFunction深度解析：数据输入的起点与奥秘

在Flink的数据处理流程中，StreamGraph构建起了作业执行的逻辑框架，而数据的源头则始于SourceFunction。
Edingbrugh.南空·2025-06-25 15:07

【Flink实战】 Flink SQL 中处理字符串 `‘NULL‘` 并转换为 `BIGINT`

文章目录一、问题描述解决方案解释一、问题描述当我们尝试将字符串'NULL'直接转换为BIGINT时，会遇到NumberFormatException，因为'NULL'不是一个有效的数字字符串。为了避免这种错误，我们需要在转换之前进行检查。解决方案我们可以使用CASE语句来实现条件转换。具体步骤如下：使用CASE语句进行条件判断：检查字符串是否为'NULL'，如果是'NULL'，则返回0；否则，将字
roman_日积跬步-终至千里·2025-06-25 14:35

Flink状态和容错-基础篇

1.概念flink的状态和容错绕不开3个概念，statebackends和checkpoint、savepoint。本文重心即搞清楚这3部分内容。容错机制是基于在状态快照的一种恢复方式。
有数的编程笔记·2025-06-25 14:03

flink:风控/反欺诈检测系统案例研究1,2,3

https://flink.apache.org/news/2020/01/15/demo-fraud-detection.htmlhttps://flink.apache.org/news/2020/
菠萝科技·2025-06-25 08:22

实时反欺诈：基于 Spring Boot 与 Flink 构建信用卡风控系统

本文将详细介绍如何利用SpringBoot和ApacheFlink这对强大的组合，构建一个高性能、可扩展的实时信用卡反欺诈系统。
程序员leon·2025-06-25 07:45

App免填邀请码的解决方案

微信、微博等社交平台下的用户传播途径的精确追踪，统计每个用户带来的传播效果。通过网页一键唤醒应用直达目标页面，让用户快速体验到产品核心内容。
Tuzk11·2025-06-24 17:55

Flink SQL解析工具类实现：从SQL到数据血缘的完整解析

在大数据处理领域，FlinkSQL作为流批统一的声明式编程接口，已成为数据处理的核心组件。
Edingbrugh.南空·2025-06-24 14:39

探秘Flink Connector加载机制：连接外部世界的幕后引擎

在Flink的数据处理生态中，SourceFunction负责数据的输入源头，而真正架起Flink与各类外部存储、消息系统桥梁的，则是Connector。
Edingbrugh.南空·2025-06-24 14:38

探秘Flink Streaming Source Analysis：一个强大的流处理源码解析工具

探秘FlinkStreamingSourceAnalysis：一个强大的流处理源码解析工具去发现同类优质开源项目:https://gitcode.com/项目简介在大数据实时处理领域，ApacheFlink
强妲佳Darlene·2025-06-24 14:07

Flink SQL 解析器与 Calcite 在大数据处理中的应用

FlinkSQL解析器与Calcite在大数据处理中的应用在大数据处理领域中，FlinkSQL解析器与Calcite是两个重要的组件，它们在解析和优化FlinkSQL查询方面发挥着关键作用。
JieLun_C·2025-06-24 14:07

Flink系列-背压(反压)

目录了解背压什么是背压背压产生的原因背压导致的影响定位背压解决背压了解背压什么是背压在流式处理系统中，如果出现下游消费的速度跟不上上游生产数据的速度，就种现象就叫做背压(backpressure，也叫反压)背压产生的原因下游消费的速度跟不上上游生产数据的速度，可能出现的原因如下：节点有性能瓶颈，可能是该节点所在的机器有网络、磁盘等等故障，机器的网络延迟和磁盘不足、频繁GC、数据热点等原因。数据源生
Empty-cup·2025-06-24 12:55

Flink中的反压与背压：原理、检测与应对

在大数据流处理领域，Flink以其高效、灵活的特性被广泛应用。
Edingbrugh.南空·2025-06-24 12:51

Flink SQL执行流程深度剖析：从SQL语句到分布式执行

在大数据处理领域，FlinkSQL凭借其强大的处理能力和易用性，成为众多开发者的选择。
Edingbrugh.南空·2025-06-24 11:19

互联网大数据求职面试：从Zookeeper到Flink的技术探讨

场景：互联网大数据求职面试在一个阳光明媚的下午，小白来到了知名互联网公司，准备接受他人生中最重要的一次面试。他的面试官是以严肃和专业著称的老黑。第一轮提问：分布式系统与协调老黑：小白，你能解释一下Zookeeper在分布式系统中的作用吗？小白：哦，这个简单，Zookeeper是一个分布式协调服务，主要用来解决分布式系统中数据一致性问题，比如选主、配置管理和命名服务。老黑：不错，那你知道Yarn是如
·2025-06-24 11:46

ios 网络开发 webView

概览大部分应用程序都或多或少会牵扯到网络开发，例如说新浪微博、微信等，这些应用本身可能采用iOS开发，但是所有的数据支撑都是基于后台网络服务器的。
CoderZ9090·2025-06-24 06:17

数据仓库面试题合集⑥

实时指标体系设计+Flink优化实战：面试高频问题+项目答题模板面试中不仅会问“你做过实时处理吗？”，更会追问：“实时指标体系是怎么搭建的？”、“你们的Flink稳定性怎么保证？”
晴天彩虹雨·2025-06-21 23:16

flink的多种部署模式

##部署模式和运行模式###部署模式-本地local-单机无需分布式资源管理-集群-独立集群standalone-需要flink自身的任务管理工具-jobmanager接收和调度任务-taskmanager
Azoner·2025-06-20 16:54

微博商业数据挖掘方法

本文主要介绍微博商业数据挖掘的体系及方法，但并不注重模型和算法这些细节，而是阐述数据如何贴近、支持和引导业务，如何建立合理的评价体系，以及如何围绕这两点建设数据挖掘架构。
社会我857·2025-06-20 10:42

Python爬虫实战：模拟登录微博 – 通过POST请求获取Cookie

社交媒体平台，特别是微博，作为中国最受欢迎的社交网站之一，聚集了海量的用户数据和内容。
Python爬虫项目·2025-06-19 19:19

【Flink】Flink自定义流分区器Partitioner、数据倾斜、CustomPartitionerWrapper

但是后面发现他这个分区器是一个新的shufflebybucket但是我在文章中：【Flink】FlinkUI上下游算子并发之间的数据传递方式Partitioner、流分区器记得好像没有这种类型。
九师兄·2025-06-19 09:38

Flink 实现 MySQL CDC 动态同步表结构

作者：陈少龙，腾讯CSIG高级工程师使用FlinkCDC（ChangeDataCapture)实现数据同步被越来越多的人接受。
腾讯云大数据·2025-06-19 09:37

什么是Hadoop Yarn

它的核心目标是提高集群资源利用率，并支持多种计算框架（如MapReduce、Spark、Flink等）在同
ThisIsClark·2025-06-18 19:35

基于python实现的指定POI微博签到数据爬取

爬取微博签到数据有多种方式，本文介绍根据POIID爬取指定地点的历史微博签到数据，该方法基于微博签到地点的详情页，通过lxml库进行解析。
雪山青木·2025-06-18 09:55

python爬取微博评论超100页_python爬取新浪微博评论-Go语言中文社区

简介爬取微博m站评论。由于api限制只能爬取前100页，如果想要更全数据需爬pc端。
weixin_39992831·2025-06-18 09:54

微博评论数据爬取

项目功能简介我们将实现的功能包括：✅输入任意微博ID，自动抓取其热评✅支持翻页抓取（通过max_id控制）✅随机等待防止反爬机制✅自动清洗评论内容中的HTML标签✅自动转换评论时间与用户性别字段✅评论内容
Jack-jlj·2025-06-18 09:23

什么是FlinkSQL中的时态表？以及怎么使用？

时态表（TemporalTable）是FlinkSQL中一个非常重要的概念，它允许你查询某个时间点的表快照，特别适合处理历史数据或需要关联历史维表的场景。
北洛学Ai·2025-06-18 08:15

Flink 系列之三十三- Flink SQL - 中间算子：函数

之前做过数据平台，对于实时数据采集，使用了Flink。
linmoo1986·2025-06-17 16:32

大数据领域Flink的SQL应用实战

大数据领域Flink的SQL应用实战关键词：FlinkSQL、大数据处理、实时计算、流处理、批处理、动态表、TableAPI摘要：本文深入探讨ApacheFlink的SQL生态体系，从核心概念、架构原理到实战应用展开系统解析
大数据洞察·2025-06-17 07:32

KafkaFlink整合原理与代码实例讲解

文章标题《Kafka-Flink整合原理与代码实例讲解》关键词Kafka，Flink，整合，原理，代码实例，实时数据处理，流处理，大数据摘要本文将深入探讨Kafka和Flink的整合原理，包括两者的核心概念
AI天才研究院·2025-06-16 21:23

基于Python的微博博主图片高效爬取实战：从入门到分布式架构

摘要本文将详细介绍如何使用Python构建一个高效、稳定的微博图片爬虫系统。我们将从基础的单线程爬虫开始，逐步深入到异步IO、分布式架构等高级主题。
Python爬虫项目·2025-06-16 12:48
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他