Spark调优

Linux 环境安装Pyspark

Anaconda安装1.Anaconda的下载前往官网下载Linux环境的Anaconda安装包：下载地址2.安装包上传安装1.将下载好的安装包上传到linux系统中2.解压安装包root@master:~/env/conda#sh./Anaconda3-2023.09-0-Linux-x86_64.sh按回车多次按空格，直到看到最后时候输入yes再次输入yes输入想要安装的路径，注意：最后一个a
LiyC;·2024-01-09 06:32

hadoop集群搭建、spark集群搭建、pyspark搭建（linux+window）

1、前言本文记录学习过程中Hadoop、zookeeper、spark集群搭建，主要为pyspark库服务（具体为window上pyspark环境和pyspark库，linux上spark框架、pyspark
Lfx_come on·2024-01-09 06:02

windows+pycharm+pyspark+linux远程开发环境搭建

Anacondaliunx版本下载Anaconda|TheWorld’sMostPopularDataSciencePlatformAnacondalinux版本安装上传文件到虚拟机安装目录下在安装目录下运行程序sh./Anaconda3-2021.11-Linux-x86_64.sh按回车继续，之后按空格一直到yes/no输入yes再之后输入需要安装的目录之后就等待安装完成Anaconda换源s
王小磊~·2024-01-09 06:02

linux创建pyspark虚拟环境

一、创建虚拟环境condacreate-ntestpython=3.6.6二、注意添加镜像vi/root/.condarcchannels:-http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/-http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/-http://mirrors.us
Python伊甸园·2024-01-09 05:02

Spark streaming架构中的Driver和Executor

Driver在Driver中，有StreamContext作为SparkStreaming的入口，SparkStreaming的最终处理实际还是交给SparkContext。
她雅_b28e·2024-01-09 05:43

B+树：MySQL数据库索引是如何实现的？

在数据库调优层面，创建索引是我们常用的调优手段，索引，可以在一定程度上提高我们的查询效率；在存储空间方面，我们希望索引不要消耗太多的内存空间。
鹰艺·2024-01-09 03:28

LoaRunner性能测试系统学习教程：Apache监控与调优(1)

主要介绍Apache监控与调优方面的内容，如果工作中我们的项目使用的是Apache的web服务器，那么我们就必须对其连接池、MPM等进行监控与调优。主要介绍以下几部
川石教育·2024-01-09 02:55

综合优化 MySQL 性能

1.MySQL性能调优简介MySQL作为最流行的数据库管理系统之一，被大量公司采用作为数据库，在数据存储和检索中发挥着举足轻重的作用。
guohuang·2024-01-09 02:52

【Spark】 Spark作业执行原理--获取执行结果

一、执行结果并序列化任务执行完成后，是在TaskRunner的run方法的后半部分返回结果给Driver的：overridedefrun():Unit={...//执行任务valvalue=try{valres=task.run(taskAttemptId=taskId,attemptNumber=attemptNumber,metricsSystem=env.metricsSystem)thre
w1992wishes·2024-01-09 00:59

ES优化方案

ES优化&联合HBASE：【Elasticsearch】优秀实践-ES+Hbase的实现_少加点香菜的博客-CSDN博客_sc+es+hbaseES写入性能优化方案ElasticSearch调优笔记_index.refresh_interval
m0_46598535·2024-01-08 23:56

大学生如何当一个程序员——第三篇：热门专业学习之路4

第三篇：热门专业学习之路41.机器学习2.深度学习3.Python数据分析模块4.SparkMLlib机器学习库5.做一个人工智能项目6.数学各位小伙伴想要博客相关资料的话关注公众号：chuanyeTry
笛秋白·2024-01-08 20:29

性能分析与调优: Linux 内存观测工具

目录一、实验1.环境2.vmstat3.PSI4.swapon5.sar6.slabtop7.numstat8.ps9.top10.pmap11.perf12.bpftrace二、问题1.接口读写报错2.slabtop如何安装3.numactl如何安装4.numad启动服务与关闭NUMA5.perf如何安装6.kernel-lt-doc与kernel-lt-tools-libs-devel如何安装
cronaldo91·2024-01-08 18:02

性能分析与调优: Linux 安装基于BPF的bcc-tools系统性能工具库

目录一、实验1.环境2.agent服务器安装使用ELRepo安装依赖包3.agent服务器安装基于BPF的bcc-tools系统性能工具库二、问题1.安装bcc-tools后执行命令报错一、实验1.环境（1）主机表1-1主机主机架构组件IP备注prometheus监测系统prometheus、node_exporter192.168.204.18grafana监测GUIgrafana192.168
cronaldo91·2024-01-08 18:32

性能分析与调优: Linux 实现 off-CPU剖析与火焰图

目录一、实验1.环境2.off-CPU剖析与火焰图一、实验1.环境（1）主机表1-1主机主机架构组件IP备注prometheus监测系统prometheus、node_exporter192.168.204.18grafana监测GUIgrafana192.168.204.19agent监测主机node_exporter192.168.204.202.off-CPU剖析与火焰图（1）开源软件构建①
cronaldo91·2024-01-08 18:32

性能分析与调优: Linux 实现 缺页剖析与火焰图

目录一、实验1.环境2.缺页(RSS增长)剖析与火焰图一、实验1.环境（1）主机表1-1主机主机架构组件IP备注prometheus监测系统prometheus、node_exporter192.168.204.18grafana监测GUIgrafana192.168.204.19agent监测主机node_exporter192.168.204.202.缺页(RSS增长)剖析与火焰图（1）开源软
cronaldo91·2024-01-08 18:30

jvm内存分配&回收策略

前两篇文章，我给大家分别介绍了jvm的内存垃圾回收机制和gc算法以及jdk内部现阶段所有的gc回收器，接下来本来以为和大家一起直接介绍在web应用中如何去做jvm的调优实战，但是想了一下还有本篇文章的内容
javap·2024-01-08 17:35

pandas应用和学习

Pandas包,无论是在数据分析领域还是在大数据开发场景都具有显著优势:①Pandas是Python的一个第三方包,也是商业和工程领域最流行的结构化数据工具集,用于数据清洗,处理以及分析.②Pandas和Spark
MSJ3917·2024-01-08 16:33

Saprk SQL基础知识

一.SparkSQL基本介绍1.什么是SparkSQLSparkSQL是Spark多种组件中其中一个,主要是用于处理大规模的[结构化数据]SparkSQL的特点:1).融合性:既可以使用SQL语句,也可以编写代码
MSJ3917·2024-01-08 16:32

阿里Java后端实习面经，历经5轮，终已上岸，来看看面试难度。

如果任务很多，线程池的阻塞队列会撑爆内存的哪个区域3.栈在堆上吗4.GCroot有哪些5.实例变量可以是GCroot吗6.了解哪些GC算法，介绍一下7.给个场景，问怎么设置JVM参数8.问了很多SQL调优
程序员白楠楠·2024-01-08 16:28

性能分析与调优: Linux 使用ELRepo升级CentOS内核

目录一、实验1.环境2.agent服务器使用ELRepo升级CentOS内核二、问题1.RHEL-7,SL-7或者CentOS-7系统如何安装ELRepo2.RHEL-8或者RHEL-9系统如何安装ELRepo一、实验1.环境（1）主机表1-1主机主机架构组件IP备注prometheus监测系统prometheus、node_exporter192.168.204.18grafana监测GUIgr
cronaldo91·2024-01-08 14:33

Spark基础原理

SparkOnYarnSparkOnYarn的本质Spark专注于分布式计算,Yarn专注于资源管理,Spark将资源管理的工作交给了Yarn来负责SparkOnYarn两种部署方式Spark中有两种部署方式
小希 fighting·2024-01-08 13:09

ai人工智能的本质和未来_人工智能如何塑造音乐产业的未来

ai人工智能的本质和未来ArtificialIntelligenceisasubjectthatsparkstheimagination—andsplitsopinion.Proponentspointtotheproblem-solvingpotentialofmachinelearning
weixin_26632369·2024-01-08 09:04

Word2Vec

word2Vecspark描述:Word2Vec是一个Estimator(评估器),它采用表示文档的单词序列,并训练一个Word2VecModel,该模型将每个单词映射到一个唯一的固定大小向量.Word2VecModel
鬼古神月·2024-01-08 09:27

JVM实战篇：内存调优

Java虚拟机进行生产环境线上问题解决以及性能问题的优化。一.内存泄漏内存泄漏（memoryleak）：在Java中如果不再使用一个对象，但是该对象依然在GCROOT的引用链上，这个对象就不会被垃圾回收器回收，这种情况就称之为内存泄漏。少量的内存泄漏可以容忍，但是如果发生持续的内存泄漏，就像滚雪球雪球越滚越大，不管有多大的内存迟早会被消耗完，最终导致的结果就是内存溢出。但是产生内存溢出并不是只有内
汤姆&Tom·2024-01-08 09:49

olap/spark-tungsten：codegen

因为clickhouse没有codegen，这节课就拿我比较熟悉的spark的tungsten来当例子，tungsten会g
SakamataZ·2024-01-08 07:28

2024 .1.7 Day05_Spark_HomeWork； Spark_SQL

目录1.简述SparkSQL与HIVE的对比2.SparkSQL是什么?3.代码题需求1直接基于DataFrame来处理，完成SparkSQL版的WordCount词频统计。
白白的wj·2024-01-08 07:24

Spark基础二

一.Spark入门案例总结1.读取文件:textFile(path):读取外部数据源,支持本地文件系统和hdfs文件系统.2.将结果数据输出文件上:saveAsTextFile(path):将数据输出到外部存储系统
MSJ3917·2024-01-08 07:52

Spark Core基础知识

一.RDD的基本介绍1.什么是RDDRDD:英文全称ResilientDistributedDataset,叫做弹性分布式数据集,是Spark中最基本的数据抽象,代表一个不可变,可分区,里面的元素可并行计算的集合
MSJ3917·2024-01-08 07:52

Spark Core进阶知识

小知识:大数据开发人员/数据分析人员,必须要对自己统计的指标结果负责!!!结果数据的核对方式:1-在离线文件中直接ctrl+F搜索关键内容核对(不常用)2-一般原始数据会存放在MySQL/Hive中一份,可以编写和代码逻辑完全一样的SQL来进行核对,可以通过如下方式来提高核对效率(常用):2.1-如果是分区表,挑选几个分区进行核对即可2.2-可以在SQL的where语句中,添加数据过滤条件,例如:
MSJ3917·2024-01-08 07:52

Spark基础知识

一.SPark基本介绍1.Spark是什么?
MSJ3917·2024-01-08 07:21

2024.1.7 Spark SQL , DataFrame

目录一.SparkSQL简介二.SparkSQL与HIVE的异同三.DataFrame1.创建DataFrame2.RDD转换DataFrame四.操作DataFrameSQL方式:DSL方式:一.SparkSQL
白白的wj·2024-01-08 07:17

57、python 环境搭建[for 计算机视觉从入门到调优项目]

从本节开始，进入到代码实战部分，在开始之前，先简单进行一下说明。代码实战部分，我会默认大家有一定的编程基础，不需要对编程很精通，但是至少要会python的基础语法、python环境搭建、pip的使用；C++要熟悉基础知识和基础语法，会根据文章中的步骤完成C++的环境搭建，以及C++编译和运行。如果确实有某一部分之前没有接触过，可以借着代码实战部分的示例，多查查资料，把这部分知识丰富起来，虽然每一部
董董灿是个攻城狮·2024-01-08 06:18

filebeat配置解析

：Filebeat与应用运行在同一容器（不推荐）方式二：Filebeat与应用运行不在同一容器方式三：通过KubernetesFilebeatDaemonSet配置解析——以7.10.2为例性能分析与调优全部配置
Generalzy·2024-01-08 05:42

AutoKeras

相比于传统的机器学习方法，AutoKeras可以自动处理特征工程、模型选择、超参数调优等步骤，大大减少了繁琐的手动操作。
缘起性空、·2024-01-08 05:38

最新最全ChatGPT角色Prompt预设词教程

使用指南1、可直复制使用2、可以前往已经添加好Prompt预设的AI系统测试使用（可自定义添加使用）https://ai.sparkaigf.com雅思写作考官我希望你假定自己是雅思写作考官，根据雅思评判标准
白云如幻·2024-01-08 03:26

最新ChatGPT网站系统源码+详细搭建部署教程+Midjourney绘画AI绘画

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2024-01-08 03:51

Linux服务器高并发调优实战

众所周知在默认参数情况下Linux对高并发支持并不好，主要受限于单进程最大打开文件数限制、内核TCP参数方面和IO事件分配机制等。下面就从几方面来调整使Linux系统能够支持高并发环境。Linux教程iptables相关如非必须，关掉或卸载iptables防火墙，并阻止kernel加载iptables模块。这些模块会影响并发性能。单进程最大打开文件数限制一般的发行版，限制单进程最大可以打开1024
码农_在线·2024-01-08 02:59

Spark_算子调优

算子调优一：mapPartitions普通的map算子对RDD中的每一个元素进行操作，而mapPartitions算子对RDD中每一个分区进行操作。
bigdata张凯翔·2024-01-08 02:23

Spark基础内容

Spark基本介绍Spark是什么定义ApacheSpark是用于大规模数据(large-scaladata)处理的统一(unified)分析引擎.Spark与MapReduce对比mapreduce架构图如下
小希 fighting·2024-01-08 02:39

vmware中，虚拟化CPU性能计数器的作用是什么？启用会带来什么效果？

启用虚拟化CPU性能计数器可以提供以下效果：性能分析和调优：虚拟化CPU性能计数器可以提供详细的CPU使用情况和性能指标，如CPU利用率、周期计数、缓存命中率等。
lnsyyj·2024-01-08 02:18

系统安全及应用

sudo1.sudo概念及优点2.使用sudo3.sudo实操演示4.设置sudo别名5.sudo特别注意一、系统的优化1.关闭不必要的开机自启动程序2.禁止使用超级管理员3.使用目录的yum源4.内核调优
Miraitowa_xu·2024-01-08 00:45

25、Spark核心编程之RDD持久化详解

不使用RDD持久化的问题首先看一段代码JavaRDDlinesRDD=javaSparkContext.textFile("hdfs://hadoop-100:9000/testdate/1.txt")
ZFH__ZJ·2024-01-07 23:21

深入了解 RDD

生成一个只有IP的数据集简单清洗统计IP出现的次数排序，按照IP出现的次数编写代码拷贝数据集创建代码文件数据集已上传【access_log_sample.rar】codepackagecn.itcast.spark.rddimportorg.apa
我像影子一样·2024-01-07 23:51

RDD入门——RDD 代码

创建RDD程序入口SparkContextvalconf=newSparkConf().setMaster("local[2]").setAppName(spark_context")valsc:SparkContext
我像影子一样·2024-01-07 23:50

Hive元数据迁移及升级方案

之上的数仓，便于用户可以基于SQL（HiveQL）进行数据分析，其架构图如下:从上图可知，Hive主要用来将建立结构化数据库和后端分布式结构化文件的映射，以及把SQL语句转换为MapReduce（tez或spark
云原生大数据·2024-01-07 22:49

开源SparkShop小程序商城系统源码 /支持多端+分销功能 /可商用/小程序系统源码

源码介绍：SparkShop（星火商城）是一个基于ThinkPHP6+ElementUI的开源免费高性能商城系统，可用于商业用途。
sqll567·2024-01-07 19:00

网络安全笔记

网络安全学习笔记（杂记）基础知识点url大小写判断windows（不敏感）和linux（敏感）服务器bugscanner.com、云悉等cms识别awvs,nessus,appscan,netsparker
夜雨清城丶·2024-01-07 19:09

hadoop调优

hadoop调优1HDFS核心参数1.1NameNode内存生产配置1.1.1NameNode内存计算每个文件块大概占用150byte，如果一台服务器128G，能存储的文件块如下128(G)*1024(
健鑫.·2024-01-07 18:25

hadoop调优(二)

hadoop调优(二)1HDFS故障排除1.1NameNode故障处理NameNode进程挂了并且存储数据丢失了，如何恢复NameNode？
健鑫.·2024-01-07 18:25

惊心动魄的Hadoop-6小时350T数据恢复

上周五在调试Spark数据的时候发现了一个问题，就是一直显示Nolease的问题，我们的实时处理程序升级之后，处理的数据量在一个小时内暴增1T。
胖琪的升级之路·2024-01-07 17:17
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他