spark集群

腾讯，干掉 Redis 项目，正式开源、太牛逼啦

集群架构Tendis使用去中心化集群架构，每个数据节点都拥有全部的路由信息，用户可以访问集
六月·飞雪·2024-09-05 17:53

Apache Spark简介

ApacheSpark是一个快速而通用的数据处理引擎，用于大规模数据处理和分析。它是由加州大学伯克利分校研究实验室开发的开源项目。
不知名的小Q·2024-09-05 17:52

腾讯云数据库（Redis）监控最佳指南

云数据库Redis服务兼容Redis2.8、Redis4.0、Redis5.0版本协议，提供标准和集群两大架构版本。
Tencent_Monitor·2024-09-05 16:21

K8s介绍及离线安装

Kubernetes是Google开源的容器集群管理系统，使用Golang开发，其提供应用部署、维护、扩展机制等功能，利用Kubernetes能方便地管理跨机器运行容器化的应用，其主要功能如下：使用Docker
wang5798·2024-09-05 16:51

spark streaming优点和缺点

优点：sparkstreaming会被转化为spark作业执行，由于spark作业依赖DAGScheduler和RDD，所以是粗粒度方式而不是细粒度方式，可以快速处理小批量数据，获得准实时的特性；以spark
scott_alpha·2024-09-05 15:42

1+X云计算运维与开发(中级)实战案例——Kafka集群部署

前言Kafka是一种开源的流处理平台和消息系统，被设计用于构建实时数据管道和流式应用程序，可以处理大规模的实时数据流，并提供高吞吐量、持久性存储和分布式处理能力。在实时数据处理、日志聚合、指标监控、事件驱动架构等场景下，Kafka有着广泛的应用。它的高性能、可扩展性以及丰富的功能使其成为了大数据领域中的重要工具之一。Kafka中发布订阅的对象是topic。用户可以为每类数据创建一个topic，把向
kuuuugua·2024-09-05 15:41

ORACLE之RAC集群常用命令

ORACLE之RAC集群常用命令RAC的守护进程/etc/init.d/init.ohasdRAC的日常管理命令1）节点层2）网络层3）集群层4）应用层节点层olsnodes-n-p-i--这个命令用来显示集群点列表检查集群节点
XiaoHG_CSDN·2024-09-05 13:01

Spark

Spark是一个快速的、通用的集群计算系统，主要用于大规模数据处理。它最早由加州大学伯克利分校的AMPLab开发，并于2010年开源，后来由Apache软件基金会管理。
傲雪凌霜，松柏长青·2024-09-05 11:20

Windows系统下的Spark环境配置

一：Spark的介绍ApacheSpark是一个开源的分布式大数据处理引擎，它提供了一整套开发API，包括流计算和机器学习。
eeee~~·2024-09-05 11:19

Hadoop-MapReduce机制原理

Reduce阶段步骤：7、MapReduce阶段图1、MapReduce概述  HadoopMapReduce是一个分布式计算框架，用于轻松编写分布式应用程序，这些应用程序以可靠，容错的方式并行处理大型硬件集群
H.S.T不想卷·2024-09-05 11:46

kafka消费者重复消费同一个topic

场景是sparkstreaming消费kafka数据在这里sparkstream和kafka都是单节点的集群模式。同时起两个不同的groupid的应用，发现会发生后起来的应用消费不到数据。
小琳ai·2024-09-05 10:06

k8s访问外部mysql_Kubernetes连接外部数据源

Kubernetes架构下比较核心的问题是数据如何persistance,虽然提供了Persistentvolumn的方式，但是对于像数据库之类的产品在kubernetes集群环境中运行和管理还是很有难度的
健玮·2024-09-05 08:24

负载均衡的详细说明

当一台服务器的性能达到极限时，我们可以使用服务器集群来提高网站的整体性能。那么，在服务器集群中，需要有一台服务器充当调度者的角色，用户的
submarineas·2024-09-05 08:23

2、mysql-canal-zk-kafka-es数据同步

方案总体介绍：通过zookeeper管理canal和kafka集群,zk本身也做集群配置；通过canal作为mysql的从库实时读取binlog，然后将数据以json格式发送到kafka平台，会有一个专门消费
kobe0429·2024-09-05 08:01

k8s调度器Scheduler

k8s调度器SchedulerKubernetesScheduler（简称k8sScheduler）是Kubernetes集群中的一个核心组件，它负责将Pod调度到合适的Node上运行，以实现集群资源的优化分配和负载均衡
条纹布鲁斯·2024-09-05 07:51

大数据生态圈里的一致性算法

Paxos选举算法Paxos是最先解决拜占庭将军问题的算法，利用过半选举的机制，保证了集群数据副本的一致性（微服务中服务注册与发
宇宙湾·2024-09-05 07:35

学习笔记：服务器的负载均衡

服务器集群•处理业务的服务器组成服务器集群，对外体现为一台逻辑上的服务器，由FW决定如何分配流量给各个服务器。服务器负载均衡技术的一
TKE_yinian·2024-09-05 07:50

centos安装k8s集群（kubeadm方式）

目录前言生产环境部署k8s集群的两种方式服务器初始化、环境准备使用kubeadm安装k8s（本篇讲解使用kubeadm安装k8s）后记-k8s使用外部etcd集群前言环境：centos7.9docker-ce
MssGuo·2024-09-05 07:20

Hbase BulkLoad用法

要导入大量数据，Hbase的BulkLoad是必不可少的，在导入历史数据的时候，我们一般会选择使用BulkLoad方式，我们还可以借助Spark的计算能力将数据快速地导入。
kikiki2·2024-09-05 07:29

Kubernetes学习指南：保姆级实操手册05——配置集群HA负载均衡

五、Kubernetes学习指南：保姆级实操手册05——配置集群HA负载均衡简介：Keepalived提供VRRP实现，并允许您配置Linux机器使负载均衡，预防单点故障。
小黑_深呼吸·2024-09-05 07:17

mysql的主从复制延迟问题

mysql的主从复制延迟问题https://blog.csdn.net/qq_41683000/article/details/125436839一主一从，双主双从的mysql集群搭建，在单机应用的时候看起来没有问题
wowocpp·2024-09-05 00:06

EMR组件部署指南

本文将详细介绍如何部署EMR的主要组件,包括:JDK1.8ElasticsearchKafkaFlinkZookeeperHBaseHadoopPhoenixScalaSparkHive准备工作所有操作都在
ivwdcwso·2024-09-05 00:05

9.2 spark内存管理之 UnifiedMemoryManager

图片来源https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-apache-spark-memory-management/index.html1
GongMeng·2024-09-04 20:46

Sublime text3+python3配置及插件安装

rayson_666(Rayson开发分享)个人专研技术方向：微服务方向：springboot,springCloud,Dubbo分布式/高并发：分布式锁，消息队列RabbitMQ大数据处理：Hadoop,spark
raysonfang·2024-09-04 19:23

k8s——pod详解+harbor镜像拉取（凭据）

k8s——pod详解+harbor镜像拉取（凭据）Pod基础概念在k8s集群中pod的使用方式Pod容器的分类pod中的3种容器底层基础容器pause初始化容器（initcontainers）1）概念2
xinheng233·2024-09-04 18:30

kafka集群搭建

Kafka集群搭建一、概念说明它是一个分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流（ActivityStream）和运营数据处理管道（Pipeline）的基础。
java皮皮虫·2024-09-04 16:48

Kafka学习

1、kafka集群配置①需要提前配置zookeeper环境②配置环境变量，与Java类似③配置server.properties文件#服务器序号broker.id=numlisteners=PLAINTEXT
nlhkfcdxb·2024-09-04 16:48

多图详解kafka生产者消息发送过程

:fire:《Kafka运维管控平台LogiKM》:fire::pencil2:更强大的管控能力:pencil2::tennis:更高效的问题定位能力:tennis::sunrise:更便捷的集群运维能力
JAVAQXQ·2024-09-04 15:13

kafka ---- producer与broker配置详解以及ack机制详解

一、producer配置1、bootstrap.serverskafkabroker集群的ip列表，格式为：host1:port1,host2:port2,…2、client.id用于追踪消息的源头3、
husterlichf·2024-09-04 15:41

【Kubernetes 】k8s常用单词

下面列出了一些Kubernetes中常见的术语及其英文单词、音标（使用国际音标符号）和解释，以及相应的中文翻译：Pod/pɒd/Kubernetes中最小的可创建、可调度的单元，它代表集群中的一个运行实例
划过手的泪滴t·2024-09-04 14:36

【MySQL数据库管理问答题】第14章 使用 MySQL InnoDB 集群实现高可用性

目录1.结合“体系结构”，请说明你对InnoDB集群的整体认知。2.请对组复制的原理和功能做一个完整的描述，并说明组复制有哪些先决条件和限制。
summer.335·2024-09-04 14:31

Redis：支撑高并发及高可用复杂的缓存架构

这里写目录标题一、企业级Redis集群架构二、（nginx+lua）+redis+ehcache的三级缓存架构三、数据库+缓存双写一致性解决方案四、大key：缓存维度拆分解决方案五、如何提高缓存的命中率一
玉成226·2024-09-04 12:51

基础学习之——Kubernetes

它提供了一个高度可扩展的架构，允许用户在集群中运行和管理大量的容器。
北欧人写代码·2024-09-04 11:44

java.io.InvalidClassException(spark任务运行失败）

背景：客户集群内偶尔会出现java.io.InvalidClassException:org.apache.kudu.spark.kudu.KuduRDD;localclassincompatible:
LATASA·2024-09-04 09:30

在springboot项目使用redis

目录单例模式集群模式springboot框架中已经集成了redis，在1.x.x的版本时默认使用的jedis客户端，现在是2.x.x版本默认使用的lettuce客户端在properties文件配置redis
weixin_44953227·2024-09-04 08:55

2022-12-28-PV和PVC简介、使用案例，动静态挂载；

PV：是集群中由kubernetes管理员配置的一个网络存储，一个集群中的
DGFM·2024-09-04 07:47

使用pgrs在wsl中为postgres写拓展

duckdb,zombodb,datafusion等等产品都是数据组合流思路体现,把这套功法练到大成,处于2024年,综合数据规模/相应速度/和数据应用层解耦,就有了一个最佳答案.比以前hadoop,spark
wangmarkqi·2024-09-04 03:19

apache2.4 tomcat6 集群 AJP 配置方法

环境：Apache2.4（192.168.1.15：1102）安装路径：E:\Platform\Apache24节点1Tomcat6（192.168.1.15:8080ajp:8010）节点2Tomcat6（192.168.1.15:8081ajp:8011）安装Apache服务，安装成Windows服务。CMD命令行方法："E:\Platform\Apache24\bin\httpd.exe"-
whqcfp·2024-09-04 02:14

切片上传记录

核心就是1前端分片2后端组装3md5校验Spark-md5介绍用md5就是为了防止文件被篡改，小的文件直接可以用整个文件传入，返回文件md5，但是越大的文件（超过2G),如果用整文件的方式，时间会很久，
Miya_Ye·2024-09-04 00:32

一文详解 LVS、Nginx 及 HAProxy 工作原理

当前大多数的互联网系统都使用了服务器集群技术，集群是将相同服务部署在多台服务器上构成一个集群整体对外提供服务，这些集群可以是Web应用服务器集群，也可以是数据库服务器集群，还可以是分布式缓存服务器集群等等
倾听铃的声·2024-09-03 23:00

谈谈PhxSQL的设计和实现哲学（上）

AhighavailabilityMySQLclusterthatguaranteesdataconsistencybetweenamasterandslaves.摘要微信PhxSQL是一个提供Zookeeper级别强一致和高可用的MySQL集群
OpenIMup·2024-09-03 23:53

阿里云服务器内存型r7、r8a、r8y实例区别参考

这几个实例规格，相比于活动内的经济型e、通用算力型u1实例来说，这些实例规格等性能更强，与计算型和通用型相比，它的内存更大，因此这些内存型实例规格主要适用于数据库、中间件和数据分析与挖掘，Hadoop、Spark
阿里云最新优惠和活动汇总·2024-09-03 22:41

【GaussDB(DWS)】数仓部署架构与物理结构分析

数仓架构与物理结构分析一、部署架构二、物理结构三、测试验证一、部署架构华为数据仓库服务DWS，集群版本8.1.3.x集群拓扑结构：上述拓扑结构为DWS单AZ高可靠部署架构，为减少硬件故障对系统可用性的影响
若兰幽竹·2024-09-03 20:06

云计算day38

⼀、编排分类单机容器编排:docker-compose容器集群编排:dockerswarm、mesos+marathon、kubernetes应⽤编排:ansible(模块，剧本，⻆⾊)⼆、系统管理进化史
巭氼·2024-09-03 19:35

APISIX Ingress 对 Gateway API 的支持和应用

本文介绍了GatewayAPI这个将服务暴露到集群之外的全新规范，并且介绍了如何在APISIXIngressController中使用它。
API7.ai 技术团队·2024-09-03 17:51

数据中心代理IP的使用指南：提升网络体验的秘密武器

数据中心通常是大型的服务器集群，拥有大量的IP地址资源。这些IP地址并不与具体的互联网服务提供商（ISP）绑定，而是由数
天启代理ip·2024-09-03 16:47

Nacos与Eureka的区别

Nacos支持服务端主动检测提供者状态：临时实例采用心跳模式，非临时实例采用主动检测模式临时实例心跳不正常会被剔除，非临时实例则不会被剔除Nacos支持服务列表变更的消息推送模式，服务列表更新更及时Nacos集群默认采用
小东西的东西·2024-09-03 15:37

hive学习记录

Hive将HQL（HiveQueryLanguage）转化成MapReduce程序或其他分布式计算引擎（如Tez、Spark）的任务进行计算。
2302_80695227·2024-09-03 12:46

Java Operator SDK

JavaOperatorSDK生成项目骨架快速入门模式和最佳实践使用示例Operators实现示例OperatorQuarkusSpringBootOperators代表Kubernetes管理集群和非集群资源
快乐骑行^_^·2024-09-03 10:37

Spring Boot 整合Redis Sentinel(1主2从3哨兵)

介绍在前面的博客中已经介绍了如何搭建Redis集群(最简单的Redis集群：1主2从3哨兵)RedisSentinel故障转移Redis主从配置上面的配置虽然可以在服务器上面模拟测试成功，但是在整合到SpringBoot
弓长日含·2024-09-03 10:35
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他