spark集群

Java 大视界 -- Java 与 Spark SQL：结构化数据处理与查询优化（五）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-02-02 05:39

集群部署时的分布式 Session 如何实现？

面试题集群部署时的分布式Session如何实现？
码农小旋风·2025-02-02 02:29

Hive 整合 Spark 全教程 （Hive on Spark）

hadoop.proxyuser.luanhao.groups*hadoop.proxyuser.luanhao.groups*2）HDFS配置文件配置hdfs-site.xmldfs.namenode.http-addressBigdata00:9870dfs.namenode.secondary.http-addressBigdata00:9868dfs.replication13）YARN配
字节全栈_rJF·2025-02-02 02:56

flume系列之：消费Kafka集群Topic报错java.io.IOException: Can‘t resolve address: data03:9092

flume系列之：消费Kafka集群Topic报错java.io.IOException:Can'tresolveaddress:data03:9092Causedby:java.nio.channels.UnresolvedAddressException
快乐骑行^_^·2025-02-02 01:25

Kubernetes监控，查看日志

Kubernetes监控与日志1、查看集群资源状态在Kubernetes集群中，查看集群资源状态和组件状态是非常重要的操作。以下是一些常用的命令和解释，帮助你更好地管理和监控Kubernetes集群。
稚辉君.MCA_P8_Java·2025-02-02 01:51

ElasticSearch view

节点（Node）：elasticsearch集群中一个服务器实例，负责存储数据、处理请求等，
稚辉君.MCA_P8_Java·2025-02-02 01:51

如何使用Spark Streaming

一、什么叫SparkStreaming基于SparkCore，大规模、高吞吐量、容错的实时数据流的处理二、SparkStreaming依赖org.apache.sparkspark-streaming_
会探索的小学生·2025-02-02 00:46

Spark 任务与 Spark Streaming 任务的差异详解

Spark任务与SparkStreaming任务的主要差异源自于两者的应用场景不同：Spark主要处理静态的大数据集，而SparkStreaming处理的是实时流数据。
goTsHgo·2025-02-02 00:14

4 Spark Streaming

4SparkStreaming一级目录1.整体流程2.数据抽象3.DStream相关操作4.SparkStreaming完成实时需求1)WordCount2)updateStateByKey3)reduceByKeyAndWindow
TTXS123456789ABC·2025-02-01 23:43

GBase 8a Mpp Cluster集群产品性能优化篇之减少嵌套-查询改写

将group部分移到内部，嵌套查询改成了一个查询原SQL：SELECTAAE003对应费款所属期,AAE002费款所属期,AAA041个人缴费比例,AAA043单位缴费划入个人账户比例,AAA115明细类型,AAE011经办人,AAE036经办时间,BAE181数据来源,AAB191到账日期,NVL(SUM(NVL(AAE180,0)),0)缴费基数,NVL(SUM(个人缴费金额),0)个人缴费金
zhu1981hui·2025-02-01 23:12

spark和python的区别_Spark入门(Python)

Spark是第一个脱胎于该转变的快速、通用分布式计算范式，并且很快流行起来。
weixin_39934257·2025-02-01 23:42

spark python入门_python pyspark入门篇

一.环境介绍：1.安装jdk7以上2.python2.7.113.IDEpycharm4.package:spark-1.6.0-bin-hadoop2.6.tar.gz二.Setup1.解压spark
weixin_39686634·2025-02-01 23:12

spark streaming python_Spark入门：Spark Streaming简介(Python版)

SparkStreaming是构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力。
weixin_39531582·2025-02-01 23:12

Spark 学习-1 (python)

Spark官方文档快速入门指南Spark架构-Spark教程1.基本概念RDD（resilientdistributeddataset）弹性分布式数据集，对分布式数据和计算的基本抽象。
一二三四0123·2025-02-01 23:40

Python大数据之PySpark(三)使用Python语言开发Spark程序代码_windows spark python

算子：rdd的api的操作，就是算子，flatMap扁平化算子，map转换算子Transformation算子Action算子步骤：1-首先创建SparkContext上下文环境2-从外部文件数据源读取数据
2401_84181704·2025-02-01 23:09

Spark入门（Python）

目录一、安装Spark二、Spark基本操作一、安装Sparkpip3installpyspark二、Spark基本操作#导入spark的SparkContext,SparkConf模块frompysparkimportSparkContext
nfenghklibra·2025-02-01 23:39

openeuler 22.03 lts sp4 使用 kubeadm 部署 k8s-v1.28.2 高可用集群

文章目录@[toc]废话篇这篇文章什么时候写的为什么是openeuler为什么是22.03ltssp4高可用架构题外话干活篇环境介绍系统初始化相关关闭防火墙关闭selinux关闭swap开启内核模块开启模块自动加载服务sysctl内核参数调整清空iptables规则安装各种依赖和工具修改.bashrc文件安装kubeadm和kubelet简化kubectl命令启动kubelet安装containe
月巴左耳东·2025-02-01 21:24

centos7搭建flink1.18并以 standalone模式启动

版本组件版本scala2.12.20java1.8.0_181flink1.18.1关于scala和Java的安装参考：scala和java安装flink下载地址：flink下载链接集群规划bigdata01bigdata02bigdata03masterworkerworkerworker
咸鱼c君·2025-02-01 20:50

集群部署时的分布式 session 如何实现？

面试题集群部署时的分布式session如何实现？
打不死的喜羊羊·2025-02-01 20:20

Flink整合Hudi及使用

jar包即可完成整合#1、将hudi-flink1.15-bundle-0.15.0.jar包上传到flink的lib目录下/usr/local/soft/flink-1.15.3/lib--如果没有启动集群
我的K8409·2025-02-01 17:23

dubbo 负载均衡策略和集群容错策略都有哪些？动态代理策略呢？

面试题dubbo负载均衡策略和集群容错策略都有哪些？动态代理策略呢？
码农小旋风·2025-02-01 17:20

Neo4j 单机和集群部署教程

目录Neo4j单机和集群部署教程第一部分：Neo4j概述1.1Neo4j的特点1.2Neo4j的应用场景第二部分：Neo4j单机部署教程2.1安装Neo4j2.1.1下载和安装Neo4j2.1.2启动Neo4j2.1.3
闲人编程·2025-02-01 17:19

Kubernetes 中 LimitRange 与 ResourceQuota 的深度剖析

摘要：Kubernetes（简称k8s）作为容器编排领域的事实标准，提供了丰富的资源管理机制来确保集群的高效、稳定运行。
大大宝的博客·2025-02-01 15:59

SDK级的kubectl，client-go的深度封装：kom使用指南

目录什么是kom特点示例程序安装使用示例1.多集群管理注册多集群显示已注册集群选择默认集群选择指定集群2.内置资源对象的增删改查以及Watch示例创建某个资源Get查询某个资源List查询资源列表通过Label
大大宝的博客·2025-02-01 15:59

智能化Kubernetes管理：AI与ChatGPT提升运维效率的创新实践

然而，Kubernetes集群的管理在复杂度、规模和资源优化等方面仍然面临巨大挑战。传统的Kubernetes运维方式往往依赖手动操作，导致效率低下，且容易产生人为错误。
大大宝的博客·2025-02-01 15:59

Hadoop--HA架构详解

一、HA架构工作背景HDFS集群中的nameNode存在单点故障因素。
娘子，出来看上帝·2025-02-01 10:20

Hadoop HA 架构

为什么要用集群?
weixin_30569033·2025-02-01 09:49

redis从安装到三主三从集群

文章目录一、为什么要使用Redis1、读写的二八原则2、信息的统一管理二、常见缓存方案的对比三、安装redis1、下载redis安装包、上传linux服务器2、安装依赖3、解压安装包4、进入文件夹、编译并安装5、修改redis的核心配置文件6、修改redis的启动脚本7、配置开机启动8、运行reids四、redis各数据类型的基本命令1、通用的命令2、String的命令3、hash的命令4、lis
敲代码的旺财·2025-02-01 08:10

基于深度学习的大规模模型训练

以下是关于基于深度学习的大规模模型训练的详细介绍：1.背景和动机数据和模型规模增长：随着数据量和模型复杂度的增加，传统的单机或小规模集群训练难以满足需求。
SEU-WYL·2025-02-01 07:56

hive表指定分区字段搜索_Hive学习-Hive基本操作（建库、建表、分区表、写数据）...

Hive是类SQL语法的数据查询、计算、分析工具，执行引擎默认的是MapReduce，可以设置为Spark、Tez。Hive分内部表和外部表，外部表在建表的同时指定一个
weixin_39710660·2025-02-01 04:00

PyDeequ库在AWS EMR启动集群中数据质量检查功能的配置方法和实现代码

PyDeequ是一个基于ApacheSpark的PythonAPI，专门用于定义和执行“数据单元测试”，从而在大规模数据集中测量数据质量。
weixin_30777913·2025-02-01 04:59

StarRocks常用命令

目录1、StarRocks集群管理&配置命令2、StarRocks常用操作命令3、StarRocks数据导入和导出1、StarRocks集群管理&配置命令查询FE节点信息SHOWfrontends;SHOWPROC
sunny05296·2025-02-01 03:59

本地Apache Hive的Linux服务器集群复制数据到SQL Server数据库的分步流程

我们已经有安装ApacheHive的Linux服务器集群，它可以连接到一个SQLServerRDS数据库，需要在该Linux服务器上安装配置sqoop，然后将Hive中所有的表数据复制到SQLServerRDS
weixin_30777913·2025-02-01 03:54

Kafka 如何实现高性能

1.高吞吐量的设计分布式架构：Kafka通过分布式的集群架构设计来横向扩展，提高吞吐量。多个生产者、消费者和节点可以同时并行工作，分担流量负载。
言之。·2025-02-01 02:49

互联网大厂的微服务架构系统应对超大流量解决方案

RateLimiter、Nginx的limit_req模块）限制远程接口的调用速率、限制消息系统的消费速率1.1接入层限流抗疫项目中，一般ISV会把Nginx作为业务的接入层，通过Nginx将请求分发到后端的应用集群上
欧子说Java·2025-02-01 00:03

Linux上快速压缩与解压缩（zip， tag.gz）

在集群上，我们通常会与很大的model或者data压缩文件打交道。此文整理了在linux集群上实现快速解压缩的技法。
Dinsanity·2025-02-01 00:31

Zookeeper的性能优化与调优

然而，随着集群规模的扩大和业务量的增长，Zookeeper的性能瓶颈也逐渐显现出来。为了确保Zookeeper能够稳定高效
AI天才研究院·2025-02-01 00:30

【zookeeper】zookeeper 性能优化与配置详解 一些踩坑建议

通过前面对ZooKeeper的配置可以看出，对ZooKeeper集群进行配置的时候，它的配置文档是完全相同的（对于集群伪分布模式来说，只有很
九师兄·2025-01-31 23:58

中间件 | RocketMq - [broker 配置]

INDEXbroker.confbroker.conf干货见注释###集群名brokerClusterName=DefaultCluster###nameserver#nameserver地址namesrvAddr
问仙长何方蓬莱·2025-01-31 23:56

架构 | 基于 crontab 进程监控增强集群可用性

INDEX§0前言§1思路§2实现§0前言集群的高可用性可以直接简明的使用SLA来衡量，无所谓其他指标。
问仙长何方蓬莱·2025-01-31 23:25

RocketMQ的集群架构是怎样的

RocketMQ的集群架构包括四个主要角色：NameServer集群、Broker主从集群、Producer和Consumer客户端。
还能在学一小时·2025-01-31 22:46

ambari-server页面错位问题解决

背景：项目新安装的ambari集群页面错位如下解决办法（临时）：修改ambari-server的前端文件：/usr/lib/ambari-server/web/javascripts/app.js原代码
王木头·2025-01-31 20:59

OpenShift 4 - 集群节点日志和API审计日志策略

《OpenShift/RHEL/DevSecOps汇总目录》说明：本文已经在OpenShift4.8环境中验证文章目录集群节点日志集群节点日志类型收集集群节点日志OpenShiftAPI的审计日志OpenShiftAPI
dawnsky.liu·2025-01-31 18:39

kubenetes配置vip的一些问题处理

按照kubeadm部署k8s高可用集群,执行kubeadminit--configkubeadm-config.yaml--v=5,初始化失败，添加--v=5是为了看更详细的日志信息kubernetes
warrah·2025-01-31 18:38

【Elasticsearch 】悬挂索引（Dangling Indices）

Elasticsearch悬挂索引（DanglingIndices）解析与管理1.悬挂索引的定义悬挂索引（DanglingIndices）是指存在于节点上但未被集群元数据识别的索引分片。
risc123456·2025-01-31 17:31

Keepalived高可用集群企业应用实例一

一、实现master/slave的keepalived单主架构1.master配置global_defs{notification_email{[email protected]}[email protected]_server127.0.0.1smtp_connect_timeout30router_idka1.xiao.orgv
DawnEillen·2025-01-31 17:29

spark 算子例子_Spark性能调优方法

公众号后台回复关键词：pyspark，获取本项目github地址。Spark程序可以快如闪电⚡️，也可以慢如蜗牛?。它的性能取决于用户使用它的方式。
不让爱你的人失望·2025-01-31 16:28

Spark性能调优

1、前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。
大数据侠客·2025-01-31 16:58

在AWS上使用KMS客户端密钥加密S3文件，同时支持PySpark读写和Snowflake导入

现有AWSEMR集群上运行PySpark代码，可以读写S3上的数据文件，Snowflake数据仓库也需要导入S3上的文件到表。
weixin_30777913·2025-01-31 16:27

11 Spark面试真题

11Spark大厂面试真题1.通常来说，Spark与MapReduce相比，Spark运行效率更高。请说明效率更高来源于Spark内置的哪些机制？2.hadoop和spark使用场景？
TTXS123456789ABC·2025-01-31 16:26
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他