flink集群

三、Docker 集群管理与应用

（一）项目案例1、准备主机（1）关闭防火墙，或者开放TCP端口2377（用于集群管理通信）、TCP/UPD端口7946（用于节点之间的通信）、UDP端口4789（用于overlay网络流量监控）（2）安装
阿无@_@·2025-03-13 06:43

[特殊字符] Elasticsearch 双剑合璧：HTTP API 与 Java API 实战整合指南

HTTPAPI与JavaAPI实战整合指南一、HTTPAPI定义与用途Elasticsearch的HTTPAPI是基于RESTful接口设计的核心交互方式，支持通过URL和JSON数据直接操作索引、文档、集群等资源
周小闯·2025-03-13 04:28

【K8s】使用Kubernetes的resources字段中的requests和limits字段控制Pod资源使用

在K8s集群中，合理控制Pod的资源使用对于确保集群的稳定性和性能至关重要。
ThisIsClark·2025-03-13 01:08

Kubernetes 部署 Nacos集群

Kubernetes部署Nacos集群官方文档无持久化存储下载nacos-quick-start.yaml修改nacos-quick-start.yaml中的ConfigMap为自己的数据库账号密码执行数据库初始化语句执行
fangling86·2025-03-13 01:34

Redis四种模式在Spring Boot框架下的配置

在SpringBoot框架下配置Redis的四种模式（单机模式、主从模式、哨兵模式、集群模式）可以通过以下方式实现：1.单机模式在application.properties或application.yml
m0_66323401·2025-03-12 23:25

在M4 Mac Mini集群上运行DeepSeek V3 671B

在M4MacMini集群上运行DeepSeekV3671B原创咖农小黄幻想发生器2024年12月30日10:50天津我们刚刚在苹果硅芯片上运行了最大的开源模型。
强化学习曾小健·2025-03-12 22:18

K8S中PV和PVC之间的关系

以下是详细解释：核心关系对象角色生命周期使用者PersistentVolume(PV)存储资源的实体（如NFS、云磁盘、本地磁盘等）独立于Pod和PVC，需手动或动态创建由集群管理员配置Persistent
沉默的八哥·2025-03-12 22:44

本地docker安装zookeeper,kafka,flink

首先安装zookeeper这里zookeeper的安装是为了去使用kafka这里我们安装的是wurstmeister的kafka和zookeeper镜像也是在hub.docker.com网站上，Star最多的kafka镜像直接在cmd执行run命令（前提是有本地docker。。。）第一次使用因为本地没有此镜像会去下载dockerrun-d--namezookeeper-p2181-twurstme
a724952091·2025-03-12 22:44

Docker-compose编排部署Kafka伪分布式集群(为后续实验搭建基础环境)

本实验参照官网http://kafka.apache.org/documentation/构建,为后续了解kafka应用做环境准备。搭建环境：MAC10.15docker19.03.4docker-composeversion1.24.1jdk1.8以上(对于kafka2.x以上版本已遗弃对jdk1.7的支持)zookeeper-3.4.14(这里没使用kafka自带zk,而使用外置zk,这里zk
F_Hello_World·2025-03-12 22:13

K8S日常问题优化

在实际工作中，优化Kubernetes的性能和成本通常需要结合资源利用率分析、集群配置调整以及自动化工具的整合。
沉默的八哥·2025-03-12 21:39

大数据学习（61）-Impala与Hive计算引擎

，请点赞+收藏⭐️+留言支持一下博主哦一、impala与yarn资源管理YARN是ApacheHadoop生态系统中的一个资源管理器，它采用了master/slave的架构，使得多个处理框架能够在同一集群上共享资源
viperrrrrrr·2025-03-12 21:38

大数据学习（62）- Hadoop-yarn

哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦一、YARN概述1.YARN简介Hadoop-YARN是ApacheHadoop生态系统中的一个集群资源管理器
viperrrrrrr·2025-03-12 21:38

大数据学习（60）-HDFS文件结构

哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦一、体系结构HDFS是一个标准的主从(Master/Slave)体系结构的分布式系统；HDFS集群包含一个或多个
viperrrrrrr·2025-03-12 21:08

DUBBO源码分析七---服务调用过程

"2021SC@SDUSC"1.简介在前面的文章中，我们分析了DubboSPI、服务导出与引入、以及集群容错方面的代码。经过前文的铺垫，本篇文章我们终于可以分析服务调用过程了。
qq_51562781·2025-03-12 20:04

Doris集群启停脚步

ApacheDoris是一个基于MPP（大规模并行处理）架构的高性能、实时的分析型数据库。在Doris中，FE（Frontend）、BE（Backend）和Broker组件有特定的启动和关闭顺序，下面详细介绍一下。一、启动顺序通常按照FE->BE->Broker的顺序启动，以下是对该顺序的详细解释：启动FEFE是Doris的前端节点，负责元数据管理、查询规划、权限管理等功能，是整个系统的核心控制节
江畔独步·2025-03-12 20:01

deepseek+ansible实现AI自动化集群部署

DeepSeek与Ansible协同配置Linux集群的完整机制方案，涵盖架构设计、工具调用链及Agent提示词体系：一、系统架构设计（四层联动）!
大囚长·2025-03-12 20:59

hive-3.1.3部署文档

提前准备一个正常运行的hadoop集群java环境hive安装包下载地址：https://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3
CXH728·2025-03-12 16:09

网络工程师如何用DeepSeek提升效率？10大实战场景解析

DeepSeek应用：自然语言生成拓扑图输入需求：“构建北京-上海双中心架构，上海部署阿里云VPC，北京使用本地VMware集群，双线BGP冗余，终端延迟30ms
IT99_·2025-03-12 16:02

云原生服务网格：微服务通信的智能中

阿里巴巴双十一流量洪峰时，MOSN支撑百万级TPS跨集群通信。GoogleAnthos实现跨云服务治理统一，Envoy代理处理Cilium的eBPF加速提升70%吞吐。
桂月二二·2025-03-12 15:58

Kubernetes高可用集群二进制部署(Runtime Docker)

Kubernetes高可用集群二进制部署（RuntimeDocker）Kubernetes（简称为：k8s）是Google在2014年6月开源的一个容器集群管理系统，使用Go语言开发，用于管理云平台中多个主机上的容器化的应用
灯火烛光·2025-03-12 11:06

使用flinkCDC监听 mysql 数据 到mysql报错

报错：java.lang.NoClassDefFoundError:org/apache/flink/table/api/TableException解决：完整依赖1.12.02.0.0org.apache.flinkflink-java
从零开始··2025-03-12 11:05

flink（十一）：Table&Sql实现窗口水印计算

本文属于实战，讲解Flink1.12版本java代码使用时间窗口加水印实现，具体需求为5秒内用户订单总数、订单最大金额、最小金额实现讲解代码结构分为5部分，准备环境env数据输入source模拟数据生成数据处理
羽落风起·2025-03-12 11:34

FlinkCDC3.3 使用 Mysql 8.4 报错

一、报错日志Causedby:io.debezium.DebeziumException:org.apache.flink.util.FlinkRuntimeException:Cannotreadthebinlogfilenameandpositionvia'SHOWMASTERSTATUS
_lizhiqiang·2025-03-12 10:59

携程开源的分布式apollo技术，整合springboot集成实现动态刷新配置

除此之外，还会具体讲解数据结构、线程模型、网络框架、持久化、主从同步和切片集群等，帮你搞懂底层原理。相信这对于所有层次的Redis使用者都是一份非常完美的教程了。
2401_84584854·2025-03-12 04:10

【Kubernets】Kubernetes 的基础知识，Pod是什么？ 和容器的关系？多个容器如何在同一个 Pod 里协作？

1.Kubernetes的核心概念(1)Node（节点）定义：Node是Kubernetes集群中的工作机器，可以是物理机或虚拟机。
{⌐■_■}·2025-03-12 03:31

k8s集群中部署dcgm-exporter收集GPU指标

总体步骤：部署dcgm-exporter的DaemonSet和Service，确保Service有正确的标签和端口。创建ServiceMonitor，选择dcgm-exporter的Service，并指定端口。检查Prometheus的targets页面，确认dcgm-exporter是否被正确发现和抓取。可能需要调整Prometheus的RBAC或网络策略，确保访问权限。1，部署dcgm-exp
thinkerCoder·2025-03-12 03:28

绿色算力网络构建与智能调度实践

当前架构设计包含三大核心模块：异构计算集群（涵盖GPU、FPGA及量子计算单元）、跨区域网络互联协议（适配东数西算的传输需求）以及能耗监测平台（基于实时数据建模的碳足迹追踪）。
智能计算研究中心·2025-03-11 22:13

A800算力部署实战策略

内容概要《A800算力部署实战策略》聚焦于高性能计算集群的全生命周期管理，系统梳理从底层硬件选型到上层软件生态协同的关键技术路径。
智能计算研究中心·2025-03-11 22:42

讲一下Spark的shuffle过程

首先Spark的shuffle是Spark分布式集群计算的核心。Spark的shuffle可以从shuffle的阶段划分，shuffle数据存储，shuffle的数据拉取三个方面进行讲解。
冰火同学·2025-03-11 20:29

2025 年政府工作报告中的科技要点解读以及机会点

壮大新兴产业：深入推进战略性新兴产业融合集群发展，开展新技术新产品新场景大规模应用示范行动，推动商业航天、低空经济等新兴产业
番茄老夫子·2025-03-11 19:56

Flink-DataStreamAPI-生成水印

下面我们将学习Flink提供的用于处理事件时间戳和水印的API，也会介绍有关事件时间、流转时长和摄取时间，下面就让我们跟着官网来学习吧一、水印策略介绍为了处理事件时间，Flink需要知道事件时间戳，这意味着流中的每个元素都需要分配其事件时间戳
隔着天花板看星星·2025-03-11 19:22

flink-cdc实时增量同步mysql数据到elasticsearch

1.环境准备mysqlelasticsearchflinkonyarn说明：如果没有安装hadoop，那么可以不用yarn，直
大数据技术派·2025-03-11 19:51

Hive在大数据集群下的部署

hive安装1）把apache-hive-3.1.3-bin.tar.gz上传到Linux的/opt/software目录下2）解压apache-hive-3.1.3-bin.tar.gz到/opt/module/目录下面tar-zxvf/opt/software/apache-hive-3.1.3-bin.tar.gz-C/opt/module/3）修改apache-hive-3.1.3-bin
正在绘制中·2025-03-11 18:47

搭建分布式Hive集群

title:搭建分布式Hive集群date:2024-11-2923:39:00categories:-服务器tags:-Hive-大数据搭建分布式Hive集群本次实验环境：Centos7-2009、Hadoop
逸曦玥泱·2025-03-11 18:17

Hadoop、Spark和 Hive 的详细关系

YARN(YetAnotherResourceNegotiator)：集群资源管理和作业调度系统。MapReduce：基于YARN的并行处理框架，用
夜行容忍·2025-03-11 18:46

Kibana 单机与集群部署教程

目录Kibana单机与集群部署教程第一部分：Kibana概述第二部分：Kibana单机部署教程1.安装Kibana1.1安装依赖项1.2下载和安装Kibana1.3启动Kibana2.单机案例代码实现（
闲人编程·2025-03-11 18:14

本地部署Hive集群

规划服务机器Hive本体部署在Node1元数据服务所需的关系型数据库(MYSQL)部署在Node1安装MYSQL数据库#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysql-2022#安装Mysqlyum库rpm-Uvhhttp://repo.mysql.com//mysql57-community-release-el7-7.noarch
克里斯蒂亚诺罗纳尔多阿维罗·2025-03-11 17:06

flink+kafka实现流数据处理学习

在应用系统的建设过程中，通常都会遇到需要实时处理数据的场景，处理实时数据的框架有很多，本文将以一个示例来介绍flink+kafka在流数据处理中的应用。
上海研博数据·2025-03-11 17:06

Zookeeper与Kafka学习笔记

核心特性分布式协调服务，用于维护配置/命名/同步等元数据采用层次化数据模型（Znode树结构），每个节点可存储<1MB数据典型应用场景：HadoopNameNode高可用HBase元数据管理Kafka集群选举与状态管理
上海研博数据·2025-03-11 15:51

Zookeeper学习

Zookeeper是一个开源的分布式协调框架，它主要用于处理分布式系统中的一些常见问题，如同步、配置管理、命名服务和集群管理等。
种豆走天下·2025-03-11 15:21

2.10 Spring Boot定时任务：@Scheduled与Quartz对比分析

Scheduled**Quartz依赖复杂度内置于Spring（零配置）需额外依赖与配置任务持久化不支持（内存存储）支持（数据库持久化）动态任务管理仅静态配置支持运行时增删改查分布式支持需自行实现原生集群支持调度策略固定速率
Sendingab·2025-03-11 13:04

zookeeper与kafka集群配置

基本配置修改ipvi/etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTO=staticONBOOT=yesIPADDR=192.168.139.133NETMASK=255.255.255.0GATEWAY=192.168.139.2DNS1=192.168.1.1修改主机名hostnamectlset-hostnameSSH免密登录vi/etc/
zhangpeng455547940·2025-03-11 12:26

ARM64环境部署EFK8.15.3收集K8S集群容器日志

系统部署方式ES版本CPU架构用户名密码192.168.1.225Ubuntu22.04.4LTSdockerelasticsearch:8.15.3ARM64elasticllodyi4TMmZDES集群部署创建持久化目录
llody_55·2025-03-11 11:21

Apache Doris中都用了哪些开发语言，编译过程中用到了哪些编译器，以及用到了哪些成熟的技术框架

以下是综合多个来源的详细分析：一、开发语言Java•应用场景：主要用于开发Frontend（FE），负责元数据管理、查询解析、集群管理等模块。
fzip·2025-03-11 08:24

5、请简述公司的系统服务架构类型（单体架构、分布式架构、微服务架构、分层架构、集群架构、SOA 架构、中台架构）

以下是对公司常见的系统服务架构类型的简述及架构图说明：单体架构简述：将所有功能集成在一个项目中，作为一个整体进行开发、部署和运行，所有业务逻辑、数据访问等都在一个进程内。适用于小型项目或业务简单的场景，开发、部署和维护相对简单。架构图用户界面业务逻辑数据访问数据库分布式架构简述：把系统拆分为多个子系统或服务，分布在不同节点上独立运行，通过网络通信协作完成业务功能，可扩展性和可靠性较高，能应对大规模
静静在思考·2025-03-11 08:24

Flink实时流处理入门与实践

1.2Flink简介ApacheFlink是一个开源的分布式流处理框架，支持批处理和流处理。Flink提供了高吞吐量、低延迟和精确一次（exactly-onc
随风九天·2025-03-11 07:19

如何实现集群中的session共享存储？思维导图 代码示例（java 架构)

集群中Session共享存储的实现在分布式系统或集群环境中，确保用户会话（Session）能够在所有节点之间共享是一个关键问题。为了实现这一点，可以采用多种策略和技术。
用心去追梦·2025-03-11 06:08

[IoTDB]The write is rejected because the wal directory size has reached the threshold

现象写入集群报错：Thewriteisrejectedbecausethewaldirectorysizehasreachedthethreshold53687091200bytes.YoumayneedtoadjusttheflushpolicyofthestoragestorageengineortheIoTConsensussynchronizationparameter
2a3b4c·2025-03-11 05:03

curl不通 k8s_【K8S排错】在集群的POD内不能访问clusterIP和service

排错背景：在一次生产环境的部署过程中，配置文件中配置的访问地址为集群的Service，配置好后发现服务不能正常访问，遂启动了一个busybox进行测试，测试发现在busybox中，能通过coredns正常的解析到
weixin_39950057·2025-03-11 03:44

在K8S中，svc底层是如何实现的？

在Kubernetes中，Service是集群内部的一个抽象层，用于定义一组Pod的逻辑分组，并提供统一的访问入口点，同时还可以对这些Pod提供负载均衡和网络代理功能。
Dusk_橙子·2025-03-11 02:06
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他