spark集群第24页

Kubernetes - 部署 Mysql

在部署之前，先要完成集群初始化准备#为MySQL服务创建一个RC定义文件mysql-rc.yaml[root@master-nodeapplication]#catmysql-rc.yamlapiVersion

埃尔温薛定谔不养猫·2024-02-09 21:24

hdfs支持lzo压缩配置

1安装linux的lzo库需要在集群的每一个节点都安装lzo库，假定都64位的机器。

机灵鬼鬼·2024-02-09 20:28

ClickHouse-简谈OLAP与ClickHouse

在第一届易观OLAP大赛中，在用户行为分析转化漏斗场景里，ClickHouse比Spark快了近10倍。在随后几年的

adson1987·2024-02-09 18:00

数据中台 pdf_数据中台到底怎么建设，有人把他说清楚了

本人断断续续从事数据仓库约有五六年经验，在移动公司前三年是负责数据仓库项目实施，后四年开发搞大数据平台，见证了从传统数据仓库转型到大数据平台的全历程，见证了大数据平台从0到1的全部过程，包括第一个MPP数据集市、第一个Hadoop集群项目

weixin_39699121·2024-02-09 18:59

Kafka系列之：kafka集群管理工具Know Streaming安装详细步骤

Kafka系列之：kafka集群管理工具KnowStreaming安装详细步骤一、安装JDK-11二、安装mysql数据库详细步骤三、安装Elasticsearch数据库详细步骤四、安装KnowStreaming

最笨的羊羊·2024-02-09 15:41

深入浅出理解kafka原理系列之：自动提交和手动提交

手动异步提交代码示例一、kafka消费者提交的内容消费组+消费的某个主题+消费的某个分区及消费的偏移量消费者无论是自动提交还是手动提交，都需要把所属的消费组+消费的某个主题+消费的某个分区及消费的偏移量，这样的信息提交到集群

最笨的羊羊·2024-02-09 15:40

Kafka系列之：Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据

Kafka系列之：Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据一、基于日志大小二、基于时间大小三、参数设置四、设置命令一、基于日志大小"log.retention.bytes"是

最笨的羊羊·2024-02-09 15:09

1.业界方案-瓜子二手车在 Dubbo 版本升级、多机房方案方面的思考和实践(1)

一、Ephermal节点未及时删除导致provider不能恢复注册的问题修复事故背景各业务线共用zookeeper集群作为dubbo注册中心。19年9月，一台交换机故障，导致zk集群几分钟网络波动。

hedgehog1112·2024-02-09 14:40

初识kafka

目前越来越多的开源分布式处理系统如Cloudera、Storm、Spark、Flink等都支持与Kafka集成。

tracy_668·2024-02-09 14:07

69.Kudu、Spark2、Kafka安装—CDH

69.1演示环境介绍CDH集群运行正常操作系统版本为：CentOS6.5CM和CDH版本为：5.12.1CM管理员为：admin用户操作系统用户为：root用户69.2操作演示Kudu安装Kudu的Parcel

大勇任卷舒·2024-02-09 14:55

spark开发中的Zip算子灵活使用

本人开发中，需要聚合的文段举个栗子：RDD中有如下元素kv(（a,b）,List(7，8，9))(（a,b）,List(1，2，3))(（a,b）,List(4，5，6))(（c,d）,List(4，5，6))。。。。。。reducebyke后要对v操作原理将v中的list前后zip再map每个元素进行逐个元组元素（口，口）的累加。a代表v的前一个元素，b代表v的后一个元素如vala=List（7

Hero.Lin·2024-02-09 13:35

redis集群配置

redis集群配置.pdf跳转/opt/redis→cd/opt/redis1、下载rediswgethttp://download.redis.io/releases/redis-6.2.1.tar.gz2

珠光·2024-02-09 12:50

分布式与集群的区别究竟是什么？

作者：至尊宝cnblogs.com/aspirant/p/5697807.html在IDF05（IntelDeveloperForum2005）上，Intel首席执行官CraigBarrett就取消4GHz芯片计划一事，半开玩笑当众单膝下跪致歉，给广大软件开发者一个明显的信号，单纯依靠垂直提升硬件性能来提高系统性能的时代已结束，分布式开发的时代实际上早已悄悄地成为了时代的主流。吵得很热的云计算实际

程序员吴乘风·2024-02-09 12:02

Redis部署简单步骤及主从搭建

Redis的特点是数据读写速度快、支持事务和Lua脚本、支持持久化、支持集群等。Redis的优势在于其高效的内存读写能力，使得它在处理高并发、大量数据的场景下表现出色。2·Redis的使用

喜欢慢生活·2024-02-09 12:28

《纺织工业互联网发展行动计划（2018~2020年）》简介

纺织工业互联网发展行动计划（2018~2020年）》，将部分内容摘抄如下：01工业互联网体系到2020年底，初步建成有力支撑纺织行业发展的工业互联网体系：培育和建设10个有较大影响力的企业级工业互联网平台；建设一批以重点产业集群

追求财务自由的中年人·2024-02-09 11:57

ElasticSearch7.9集群的安装部署

下面总结下elasticsearch集群部署，单机的安装部署请见linux上安装部署elasticsearch7.9_linux部署elasticsearch-CSDN博客前期准备：准备三台主机配置ubuntu22

一个高效工作的家伙·2024-02-09 11:53

【HPC最全最新离线安装开源资源管理、作业调度软件-SLURM】

文章目录HPC离线最全安装开源资源管理、作业调度软件-SLURM一、★软件简介1.1软件定义1.2软件架构1.3slurm插件1.5slurm配置模式分类1.6slurm无配置方式二、★安装环境2.1集群环境规划

xyq_龙呆呆·2024-02-09 10:43

【集群】Slurm作业调度系统的使用

最近使用集群进行实验，记录并学习集群系统进行深度学习的实验过程。集群所使用的作业调度系统为Slurm，这里记录下使用的常用命令和一些注意事项。

qq_29750461·2024-02-09 10:13

slurm安装配置_Slurm任务调度系统部署和测试(源码)（1）

1.概述slurm任务调度系统，主要应用在HPC集群资源管理和任务调度。

多伦多豪·2024-02-09 10:43

Spark是什么？与MapReduce的对比

Spark是一个基于内存的集群计算系统，是一个分布式的计算框架。Spark可以将计算任务分发到多个机器并行计算。

Tim在路上·2024-02-09 10:27

k8s，1.14.2 集群搭建（3）：metric server

简介如何查看pod的CPU,内存等资源占用情况？那就需要metricserver。借用官网的例子使用kubectltop命令查看mem-example中memory-demo的资源使用情况。kubectltoppodmemory-demo--namespace=mem-example结果类似如下：NAMECPU(cores)MEMORY(bytes)memory-demo162856960安装运行

Java程序员YY·2024-02-09 10:01

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。

kikiki2·2024-02-09 09:54

Kubernetes架构中各个组件介绍

kubernetes概述1、kubernetes是什么Google2014年推出的容器集群管理系统k8s用于容器化应用程序的部署、扩展和管理k8s提供了容器编排、资源调度、弹性伸缩、部署管理、服务发现等一系列功能

柳华聪·2024-02-09 08:39

Kubernetes 实战（二） -- 面向资源的分布式集群 - 运维舵手

本文所涉及的脚本均来自仓库k-kubernetes-public闻名不如见面--HPAHorizontalPodAutoscaling，水平部署自动化弹性伸缩，即K8s支持根据CPU/内存利用率自动伸缩Pod数量，从而动态调整负载。Yaml配置#无状态服务部署DeploymentapiVersion:apps/v1kind:Deploymentmetadata:name:nginx-hpaspec

coder_kkx·2024-02-09 08:00

Kubernetes系列之监控Metres-server实战篇

这些度量指标可以由用户直接访问，例如通过使用kubectltop命令，或者使用集群中的控制器。MetricsAPI:通过MetricsAPI，您可以获得node或po

weixin_30843605·2024-02-09 08:00

Kubernetes----Kubernetes学习从入门到实战循序渐进系列篇

Kubernetes的产生背景与简介Kubernetes----Kubernetes组件简介及相关概念Kubernetes----Kubernetes常用插件简介Kubernetes----Kubernetes集群环境搭建

redrose2100·2024-02-09 08:30

虚拟机VirtualBox和VMware安装Ubuntu16配置静态IP

计算机集群安装之前，准备先在虚拟机上尝试一下，网上多是采用VMware虚拟机和CentOS系统，个人则准备采用已经安装好的VirtualBox虚拟机和Ubuntu16，但遇到第一个问题即是配置静态IP，

xk6891·2024-02-09 08:28

Ubuntu搭建计算集群

笔者工作主要围绕计算化学和物理开展，亦受限于自身知识和技术所限，文中只是浅显地尝试了整个搭建工作的步骤，很多细节没有深入，还望大家多指导，参考《计算化学集群构建入门》张鋆博士。

xk6891·2024-02-09 08:56

macos安装local模式spark

文章目录配置说明安装hadoop安装Spark测试安装成功配置说明Scala-3.18+Spark-3.5.0Hadoop-3.3.6安装hadoop从这里下载相应版本的hadoop下载后解压，配置系统环境变量

SparklingTheo·2024-02-09 08:52

Redis 笔记十二 Redisson分布式锁的使用

Redisson分布式锁的实现原理加锁机制如果该客户端面对的是一个rediscluster集群，他首先会根据hash节点选择一台机器。

新手路上的程序员·2024-02-09 07:19

SpringBoot中使用注解来实现 Redis 分布式锁-学习笔记

2.分析流程使用Redis作为分布式锁，将锁的状态放到Redis统一维护，解决集群中单机JVM信息不互通的问题，规定操作顺序，保护用户的数据正确。

qinxun2008081·2024-02-09 07:46

浅析下开源时序数据库VictoriaMetrics的存储机制

具备的特性有：-支持prometheus查询api，同时实现了一个metricsql查询语言-支持全局查询视图，支持多prometheus实例写数据到VictoriaMetrics，然后提供一个统一的查询-支持集群

大铁憨·2024-02-09 07:03

Red Hat安装Red Hat OpenShift Local

文章目录环境安装需求硬件操作系统软件包安装使用RedHatOpenShiftLocal预设置设置RedHatOpenShiftLocal启动实例访问OpenShift集群访问OpenShiftwebconsole

蓝黑2020·2024-02-09 06:37

Kubernetes的有状态应用示例：用PV部署WordPress和MySQL

MySQL和WordPress添加资源配置部署和验证清理参考环境RHEL9.3DockerCommunity24.0.7minikubev1.32.0PVC和PVPersistentVolume（PV）是在集群里由管理员手动

蓝黑2020·2024-02-09 06:06

SQL条件判断语句嵌套window子句的应用【易错点】--HiveSql面试题25

目录0需求分析1数据准备3数据分析4小结0需求分析需求：表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041spark1351flink2661kafka1471oozie108

莫叫石榴姐·2024-02-09 06:00

HiveSQL——条件判断语句嵌套windows子句的应用

0需求分析需求：表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041spark1351flink2661kafka1471oozie108

爱吃辣条byte·2024-02-09 06:58

Spark SQL（十一）：与Spark Core整合

每日top3热点搜索词统计Demo1、数据格式：日期用户搜索词城市平台版本2、需求：1、筛选出符合查询条件（城市、平台、版本）的数据2、统计出每天搜索uv排名前3的搜索词3、按照每天的top3搜索词的uv搜索总次数，倒序排序4、将数据保存到hive表中3、实现思路：1、针对原始数据（HDFS文件），获取输入的RDD2、使用filter算子，去针对输入RDD中的数据，进行数据过滤，过滤出符合查询条件

雪飘千里·2024-02-09 06:34

多线程&JUC：解决线程安全问题——synchronized同步代码块、Lock锁

如果是想要解决集群下的线程安全问题，可以学习我在做Redis项目的时候的解决方法：Redis：原理速成+

布布要成为最负责的男人·2024-02-09 06:35

大数据 - Spark系列《五》- Spark常用算子

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据

王哪跑nn·2024-02-09 05:25

【Redis】Redis安装、应用场景、数据类型、配置文件（很全）、发布订阅、事务、分布式锁、持久化、主从复制、集群等

文章目录Redis笔记Redis介绍应用场景相关技术安装Redis操作及数据类型Redis键操作（Key）Redis字符串（String）Redis列表（List）Redis集合（Set）Redis哈希（Hash）Redis有序集合（ZSet，SortedSet）BitmapsHyperLogLogGeospatialRedis配置文件UnitsNetwork网络相关GENERAL通用配置SNAP

haiqiang0225·2024-02-09 05:23

SQL、Hive中的SQL和Spark中的SQL三者联系与区别

SQL、Hive中的SQL和Spark中的SQL（即SparkSQL）都是用于处理和分析数据的查询语言，但它们在实现、性能、应用场景等方面存在一些明显的区别和联系。

大数据ＳＱＬｂｏｙ·2024-02-09 05:20

pyspark操作示例

前置pipinstallpyspark为了支持py4j的使用，需要进行如下设置，并修改了java_gateway.py中的env['_PYSPARK_DRIVER_CALLBACK_HOST']='127.0.0.1

佛系小懒·2024-02-09 05:15

负载均衡（2）

文章目录一、LinuxVirtualServer简介LVS介绍LVS工作原理LVS集群体系架构LVS功能及组织架构应用于高访问量的业务扩展应用程序消除单点故障同城容灾（多可用区容灾）跨地域容灾LVS应用场景音视频

Dream visit·2024-02-09 05:35

spark从入门到放弃二十八:Spark Sql (1)Data Set

文章地址：http://www.haha174.top/article/details/257834项目源码：https://github.com/haha174/spark.git1.简介SparkSql

意浅离殇·2024-02-09 03:17

redis集群搭建

redis集群搭建在开始redis集群搭建之前，我们先简单回顾一下redis单机版的搭建过程下载redis压缩包，然后解压压缩文件；进入到解压缩后的redis文件目录（此时可以看到Makefile文件）

角角_d216·2024-02-09 03:44

再聊阴影裁剪与高性能视锥剔除

【USparkle专栏】如果你深怀绝技，爱“搞点研究”，乐于分享也博采众长，我们期待你的加入，让智慧的火花碰撞交织，让知识的传递生生不息！

UWA·2024-02-09 03:24

spark原理总体介绍

部署图image.png从部署图中可以看到整个集群分为Master节点和Worker节点，相当于Hadoop的Master和Slave节点。

tracy_668·2024-02-09 03:48

redis的主从配置模拟（一主双从）

目录先来给大家扩展机道面试官经常会问到关于redis的题一、redis有哪些好处二、redis相比memcached有哪些优势三、redis常见性能问题和解决方案四、redis集群的工作原理五、redis

藻头男·2024-02-09 03:16

2020-11-04

各个微服务进程之间可以用HTTPAPI通信1.2集群&分布式&节点集群是一个物理形态，分布式是一个工作方式。

肝点啥_董晓宁·2024-02-09 02:51

Docker 第十一章： Docker 三剑客之 Swarm （集群管理命令）

第十一章：Docker三剑客之Swarm（集群管理命令）本章知识点：本文介绍了Docker三剑客之一的Swarm集群管理工具,通过Swarm，用户可以轻松地创建和管理Docker容器集群，实现容器服务的横向扩展和高可用性

半部论语·2024-02-09 01:45

推荐频道

spark集群