flink集群

使用flinkCDC监听 mysql 数据 到mysql报错

报错：java.lang.NoClassDefFoundError:org/apache/flink/table/api/TableException解决：完整依赖1.12.02.0.0org.apache.flinkflink-java
从零开始··2025-03-12 11:05

flink（十一）：Table&Sql实现窗口水印计算

本文属于实战，讲解Flink1.12版本java代码使用时间窗口加水印实现，具体需求为5秒内用户订单总数、订单最大金额、最小金额实现讲解代码结构分为5部分，准备环境env数据输入source模拟数据生成数据处理
羽落风起·2025-03-12 11:34

FlinkCDC3.3 使用 Mysql 8.4 报错

一、报错日志Causedby:io.debezium.DebeziumException:org.apache.flink.util.FlinkRuntimeException:Cannotreadthebinlogfilenameandpositionvia'SHOWMASTERSTATUS
_lizhiqiang·2025-03-12 10:59

携程开源的分布式apollo技术，整合springboot集成实现动态刷新配置

除此之外，还会具体讲解数据结构、线程模型、网络框架、持久化、主从同步和切片集群等，帮你搞懂底层原理。相信这对于所有层次的Redis使用者都是一份非常完美的教程了。
2401_84584854·2025-03-12 04:10

【Kubernets】Kubernetes 的基础知识，Pod是什么？ 和容器的关系？多个容器如何在同一个 Pod 里协作？

1.Kubernetes的核心概念(1)Node（节点）定义：Node是Kubernetes集群中的工作机器，可以是物理机或虚拟机。
{⌐■_■}·2025-03-12 03:31

k8s集群中部署dcgm-exporter收集GPU指标

总体步骤：部署dcgm-exporter的DaemonSet和Service，确保Service有正确的标签和端口。创建ServiceMonitor，选择dcgm-exporter的Service，并指定端口。检查Prometheus的targets页面，确认dcgm-exporter是否被正确发现和抓取。可能需要调整Prometheus的RBAC或网络策略，确保访问权限。1，部署dcgm-exp
thinkerCoder·2025-03-12 03:28

绿色算力网络构建与智能调度实践

当前架构设计包含三大核心模块：异构计算集群（涵盖GPU、FPGA及量子计算单元）、跨区域网络互联协议（适配东数西算的传输需求）以及能耗监测平台（基于实时数据建模的碳足迹追踪）。
智能计算研究中心·2025-03-11 22:13

A800算力部署实战策略

内容概要《A800算力部署实战策略》聚焦于高性能计算集群的全生命周期管理，系统梳理从底层硬件选型到上层软件生态协同的关键技术路径。
智能计算研究中心·2025-03-11 22:42

讲一下Spark的shuffle过程

首先Spark的shuffle是Spark分布式集群计算的核心。Spark的shuffle可以从shuffle的阶段划分，shuffle数据存储，shuffle的数据拉取三个方面进行讲解。
冰火同学·2025-03-11 20:29

2025 年政府工作报告中的科技要点解读以及机会点

壮大新兴产业：深入推进战略性新兴产业融合集群发展，开展新技术新产品新场景大规模应用示范行动，推动商业航天、低空经济等新兴产业
番茄老夫子·2025-03-11 19:56

Flink-DataStreamAPI-生成水印

下面我们将学习Flink提供的用于处理事件时间戳和水印的API，也会介绍有关事件时间、流转时长和摄取时间，下面就让我们跟着官网来学习吧一、水印策略介绍为了处理事件时间，Flink需要知道事件时间戳，这意味着流中的每个元素都需要分配其事件时间戳
隔着天花板看星星·2025-03-11 19:22

flink-cdc实时增量同步mysql数据到elasticsearch

1.环境准备mysqlelasticsearchflinkonyarn说明：如果没有安装hadoop，那么可以不用yarn，直
大数据技术派·2025-03-11 19:51

Hive在大数据集群下的部署

hive安装1）把apache-hive-3.1.3-bin.tar.gz上传到Linux的/opt/software目录下2）解压apache-hive-3.1.3-bin.tar.gz到/opt/module/目录下面tar-zxvf/opt/software/apache-hive-3.1.3-bin.tar.gz-C/opt/module/3）修改apache-hive-3.1.3-bin
正在绘制中·2025-03-11 18:47

搭建分布式Hive集群

title:搭建分布式Hive集群date:2024-11-2923:39:00categories:-服务器tags:-Hive-大数据搭建分布式Hive集群本次实验环境：Centos7-2009、Hadoop
逸曦玥泱·2025-03-11 18:17

Hadoop、Spark和 Hive 的详细关系

YARN(YetAnotherResourceNegotiator)：集群资源管理和作业调度系统。MapReduce：基于YARN的并行处理框架，用
夜行容忍·2025-03-11 18:46

Kibana 单机与集群部署教程

目录Kibana单机与集群部署教程第一部分：Kibana概述第二部分：Kibana单机部署教程1.安装Kibana1.1安装依赖项1.2下载和安装Kibana1.3启动Kibana2.单机案例代码实现（
闲人编程·2025-03-11 18:14

本地部署Hive集群

规划服务机器Hive本体部署在Node1元数据服务所需的关系型数据库(MYSQL)部署在Node1安装MYSQL数据库#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysql-2022#安装Mysqlyum库rpm-Uvhhttp://repo.mysql.com//mysql57-community-release-el7-7.noarch
克里斯蒂亚诺罗纳尔多阿维罗·2025-03-11 17:06

flink+kafka实现流数据处理学习

在应用系统的建设过程中，通常都会遇到需要实时处理数据的场景，处理实时数据的框架有很多，本文将以一个示例来介绍flink+kafka在流数据处理中的应用。
上海研博数据·2025-03-11 17:06

Zookeeper与Kafka学习笔记

核心特性分布式协调服务，用于维护配置/命名/同步等元数据采用层次化数据模型（Znode树结构），每个节点可存储<1MB数据典型应用场景：HadoopNameNode高可用HBase元数据管理Kafka集群选举与状态管理
上海研博数据·2025-03-11 15:51

Zookeeper学习

Zookeeper是一个开源的分布式协调框架，它主要用于处理分布式系统中的一些常见问题，如同步、配置管理、命名服务和集群管理等。
种豆走天下·2025-03-11 15:21

2.10 Spring Boot定时任务：@Scheduled与Quartz对比分析

Scheduled**Quartz依赖复杂度内置于Spring（零配置）需额外依赖与配置任务持久化不支持（内存存储）支持（数据库持久化）动态任务管理仅静态配置支持运行时增删改查分布式支持需自行实现原生集群支持调度策略固定速率
Sendingab·2025-03-11 13:04

zookeeper与kafka集群配置

基本配置修改ipvi/etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTO=staticONBOOT=yesIPADDR=192.168.139.133NETMASK=255.255.255.0GATEWAY=192.168.139.2DNS1=192.168.1.1修改主机名hostnamectlset-hostnameSSH免密登录vi/etc/
zhangpeng455547940·2025-03-11 12:26

ARM64环境部署EFK8.15.3收集K8S集群容器日志

系统部署方式ES版本CPU架构用户名密码192.168.1.225Ubuntu22.04.4LTSdockerelasticsearch:8.15.3ARM64elasticllodyi4TMmZDES集群部署创建持久化目录
llody_55·2025-03-11 11:21

Apache Doris中都用了哪些开发语言，编译过程中用到了哪些编译器，以及用到了哪些成熟的技术框架

以下是综合多个来源的详细分析：一、开发语言Java•应用场景：主要用于开发Frontend（FE），负责元数据管理、查询解析、集群管理等模块。
fzip·2025-03-11 08:24

5、请简述公司的系统服务架构类型（单体架构、分布式架构、微服务架构、分层架构、集群架构、SOA 架构、中台架构）

以下是对公司常见的系统服务架构类型的简述及架构图说明：单体架构简述：将所有功能集成在一个项目中，作为一个整体进行开发、部署和运行，所有业务逻辑、数据访问等都在一个进程内。适用于小型项目或业务简单的场景，开发、部署和维护相对简单。架构图用户界面业务逻辑数据访问数据库分布式架构简述：把系统拆分为多个子系统或服务，分布在不同节点上独立运行，通过网络通信协作完成业务功能，可扩展性和可靠性较高，能应对大规模
静静在思考·2025-03-11 08:24

Flink实时流处理入门与实践

1.2Flink简介ApacheFlink是一个开源的分布式流处理框架，支持批处理和流处理。Flink提供了高吞吐量、低延迟和精确一次（exactly-onc
随风九天·2025-03-11 07:19

如何实现集群中的session共享存储？思维导图 代码示例（java 架构)

集群中Session共享存储的实现在分布式系统或集群环境中，确保用户会话（Session）能够在所有节点之间共享是一个关键问题。为了实现这一点，可以采用多种策略和技术。
用心去追梦·2025-03-11 06:08

[IoTDB]The write is rejected because the wal directory size has reached the threshold

现象写入集群报错：Thewriteisrejectedbecausethewaldirectorysizehasreachedthethreshold53687091200bytes.YoumayneedtoadjusttheflushpolicyofthestoragestorageengineortheIoTConsensussynchronizationparameter
2a3b4c·2025-03-11 05:03

curl不通 k8s_【K8S排错】在集群的POD内不能访问clusterIP和service

排错背景：在一次生产环境的部署过程中，配置文件中配置的访问地址为集群的Service，配置好后发现服务不能正常访问，遂启动了一个busybox进行测试，测试发现在busybox中，能通过coredns正常的解析到
weixin_39950057·2025-03-11 03:44

在K8S中，svc底层是如何实现的？

在Kubernetes中，Service是集群内部的一个抽象层，用于定义一组Pod的逻辑分组，并提供统一的访问入口点，同时还可以对这些Pod提供负载均衡和网络代理功能。
Dusk_橙子·2025-03-11 02:06

K8s 1.27.1 实战系列（六）Pod

其核心设计目标包括：轻量性：Pod本身不负责资源分配，仅作为容器的逻辑封装单元，高效利用集群资源。临时性：Pod生命周期短暂，故障或任务完成后会被销
白昼ron·2025-03-11 02:05

phoenix无法连接hbase shell创建表失败_报错_PleaseHoldException: Master is initializing---记录020_大数据工作笔记0180

今天发现,我的phoenix,去连接hbase集群,怎么也连不上了,奇怪了...弄了一晚上org.apache.hadoop.hbase.PleaseHoldException:Masterisinitializing
添柴程序猿·2025-03-11 00:52

Rabbitmq从入门到精通

简介1.2组件介绍1.1消息队列的选择1.2Docker安装rabbitmq1.4消息应答机制2.1交换机类型2.1direct2.2fanout2.3topic：2.4header3RabbitMQ集群搭建
XJzz3·2025-03-10 23:17

Java进阶：Zookeeper相关笔记

●zookeeper一般用来实现诸如数据订阅/发布、负载均衡、命名服务、集群管理、分布式锁和分布式队列等功能。
m0_74825634·2025-03-10 23:43

部署skywalking进行链路跟踪

2.环境k8s集群：v1.20.4版本k8s-master1192.168.110.235k8s-node1192.168.110.236k8s-node2192.168.110.237nfs192.168.110.239elasticsearch
BUG弄潮儿·2025-03-10 20:20

使用ansible搭建k8s集群--单节点部署+work节点扩展

单节点部署：1.基础系统配置准备一台虚机配置内存2G/硬盘30G以上最小化安装Ubuntu16.04server或者CentOS7Minimal配置基础网络、更新源、SSH登录等2.下载文件下载工具脚本easzup，举例使用kubeasz版本2.0.2https://github.com/easzlab/kubeasz/blob/master/docs/setup/quickStart.md如果下
chennuan1991·2025-03-10 20:49

【从0到1构建高并发后端系统：Spring Boot + Redis + RabbitMQ实战指南】

一、架构演进路径图图1：从单体架构到微服务集群的演进过程二、核心优化策略与落地实践1.数据库优化方案分库分表实践：//ShardingSphere分片策略配置spring:shardingsphere:
小怪兽9699·2025-03-10 17:58

Guava本地缓存的使用

作为API或者某种功能系统来用的话，无论单机/集群（集群其实就形成了近乎Guava副本的情况），Guava中的数据增
肥肥肥柯·2025-03-10 16:27

代码托管平台深度解析：Gitee如何赋能本土开发团队

一、本地化体验：消除开发环境壁垒Gitee扎根国内开发者生态，从网络基础设施到用户界面均针对本土需求优化：高速访问：国内服务器集群确保代码拉取、提交响应毫秒
·2025-03-10 13:16

构建高可用性、高性能和可扩展的Zabbix Server架构

简介本教程讲解了一下如何设计构建一个高性能、高可靠、高扩展的Zabbix监控集群。
·2025-03-10 13:14

MongoDB 集群模式简单了解

MongoDB集群模式简单了解在现代应用架构中，数据库的扩展性和高可用性至关重要，而MongoDB作为NoSQL数据库的佼佼者，提供了多种集群模式来应对不同场景的需求。
黑风风·2025-03-10 13:00

k-Shape：高效准确的聚类方法

k-Shape依赖于一个可扩展的迭代优化过程，它创建同质和良好分离的集群。作为距离度量，k-Shape使用标准化的交叉相关。基于距离度量的性质，
优化算法侠Swarm-Opti·2025-03-10 12:26

【每日八股】Redis篇（七）：集群

目录Redis集群模式有哪些？Redis切片集群的工作原理？哈希槽和Redis节点如何对应？主从模式的同步过程？全量同步增量同步主服务器如何知道要将哪些增量数据发送给从服务器？如何避免主从数据不一致？
YGGP·2025-03-10 07:48

kafka + flink +mysql 案例

mavenorg.apache.flinkflink-streaming-java_2.121.14
angen2018·2025-03-10 07:47

数据湖架构与实时数仓实践：Hudi、Iceberg、Kafka + Flink + Spark

1.引言：数据湖与数据仓库的融合趋势在大数据时代，传统的数据仓库（DataWarehouse,DW）因其强一致性和高效查询能力，一直是企业数据分析的核心。然而，随着数据量和数据类型的爆炸式增长，传统数据仓库的存储成本和数据管理难度逐渐增加。为了解决这些问题，数据湖（DataLake）概念应运而生。数据湖能够存储原始数据，支持半结构化和非结构化数据，提供更灵活的计算框架，但其缺乏事务管理和数据一致性
晴天彩虹雨·2025-03-10 03:22

后端架构师必知必会系列：分布式计算与任务调度

什么时候集群化？部署方式又该怎样？……等
AI天才研究院·2025-03-10 01:38

后端架构师必知必会系列：分布式锁与并发控制

在互联网发展的早期，基于集中式服务器部署模式的网站在高并发访问下性能一般般，不过随着大规模集群的出现，如今很多网站已经将应用部署在分布式集群上，特别是在微服务架构兴起之后。为了提高
AI天才研究院·2025-03-10 01:37

K8s 1.18.6版本基于 ingress-nginx 实现金丝雀发布（灰度发布）

环境软件版本kubernetesv1.18.6nginx-ingress-controller0.32.0Rancherv2.4.5本次实验基于Rancher-v2.4.5部署了1.18.6版本的k8s集群
zerchin·2025-03-10 01:35

Hadoop：分布式计算平台初探

Hadoop是一个开发和运行处理大规模数据的软件平台，是Apache的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。
dccrtbn6261333·2025-03-10 01:32

MapReduce：分布式计算的基石

它使得在大型商用硬件集群（数千台机器）上进行并行处理海量数据成为可能。本文将深入探讨MapReduce的核心概念、工作原理、应用场景以及一些高级主题。
Earth explosion·2025-03-10 00:30
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他