Spark环境搭建

vulnhub靶场之Five86-2

一.环境搭建1.靶场描述Five86-2isanotherpurposelybuiltvulnerablelabwiththeintentofgainingexperienceintheworldofpenetrationtesting.Theultimategoalofthischallengeistogetrootandtoreadtheoneandonlyflag.Linuxskillsan
MS02423·2024-01-28 09:52

Spark 的宽依赖和窄依赖

ApacheSpark中的依赖关系指的是转换操作（transformations）之间的依赖类型。这些依赖关系决定了任务是如何在集群上分布执行的。
小湘西·2024-01-28 08:52

AngularJS基础入门文档

一、环境搭建在开始使用AngularJS之前，您需要确保以下环境已经准备好：浏览器：推荐使用最新版本的Chrome、Fir
水阳。·2024-01-28 08:22

Spark——Spark SQL逻辑计划（Logical Plan）、物理计划（Physical Plan）和Catalyst优化器（Catalyst Optimizer）

文章目录TreesRulesSparkSQL中使用CatalystAnalysis逻辑优化（LogicalOptimizations）物理计划（PhysicalPlanning）代码生成（CodeGeneration
Southwest-·2024-01-28 08:18

Spark——Spark覆盖分区表中指定的分区

问题描述Spark中向分区表写数据的时候，如果写入模式为“overwrite”，那会将整个表覆盖掉；如果写入模式为“ap
Southwest-·2024-01-28 08:18

Spark——Spark OOM Error问题汇总分析

.广播了大变量Executor端OOMError1.低效的查询2.不合适的Driver端和Executor端内存3.不合适的YARNContainer内存4.内存中缓存大量数据5.不合适任务并行度参考Spark
Southwest-·2024-01-28 08:17

Spark——Spark写MySQL太慢、很慢、非常慢的原因分析及优化方法

文章目录问题背景原因分析解决方法参考问题背景有这样一个业务场景：需要将通过Spark处理之后的数据写入MySQL，并在在网页端进行可视化输出。
Southwest-·2024-01-28 08:17

Spark——Spark/Hive向量化查询执行原理分析（Vectorization Query Execution）

文章目录什么是向量化查询执行列式存储Spark向量化查询执行Hive向量化查询执行参考什么是向量化查询执行在标准的查询执行系统中，每次只处理一行数据，每次处理都要走过较长的代码路径和元数据解释，从而导致
Southwest-·2024-01-28 08:47

Spark——Spark缓存临时视图（View）

文章目录RDD/Dataset缓存复用纯SQL结果缓存复用RDD/Dataset缓存复用我们知道在使用RDD和DatasetAPI开发Spark应用程序的时候，如果要缓存某个RDD或Dataset来进行复用
Southwest-·2024-01-28 08:47

Spark——Spark DataFrame导出为Excel文件

文章目录问题背景实现1.Maven依赖2.代码实现3.参数详解1.'sheet_name'!B3:C35。2.sheet_name[#All]参考问题背景有时候我们在进行一些表的计算之后，会生成一些指标，需要导出来给其它同事用，虽说可以将DataFrame直接写成表，然后通过工具(比如Hue)导出为Excel，但是步骤就多了，而且如果要导出的表比较多的话，就更浪费时间了，那么这时候调用第三方插件就
Southwest-·2024-01-28 08:17

Spark —— JSON对象/数组转成Spark Dataset/DataFrame

JSON转DataFrame在日常使用Spark处理数据时,半结构化的JSON数据(JSONObject,JSONArray)可能是最常见的一种数据结构，那么能熟练并快速地处理JSON格式数据应该是数据开发人员的必备技能
Southwest-·2024-01-28 08:16

Spark——Spark读写MongoDB

文章目录Spark直连MongoDB1.通过SparkConf2.通过ReadConfig3.通过DataFrameReaderHive中创建映射表mongoexport导出文件参考如果我们要想通过Spark
Southwest-·2024-01-28 08:46

Spark——Spark读写Greenplum/Greenplum-Spark Connector高速写Greenplum

文章目录问题背景解决方式代码实现Spark写GreenplumSpark读Greenplum参考问题背景通过数据平台上的DataX把Hive表数据同步至Greenplum（因为DataX原生不支持GreenplumWriter
Southwest-·2024-01-28 08:42

Python2.7+selenium3的自动化测试环境搭建

做好一个小测试，怎么光会性能就够了呢？来，我们好好的把代码撸一撸我们开始一步一步搭环境：（Windows）①首先会用到jdk，通常用jdk1.8吧，点击安装，默认的位置在C:\ProgramFiles\Java配置环境变量，自己百度一下，很简单②在Python官网下载Python2.7官网：https://www.Python.org/下载好后，双击安装就可以了，默认位置C:\Python27安装
偶然路过的靓仔_胡阳·2024-01-28 08:47

Nginx解析漏洞（nginx_parsing_vulnerability）

目录Nginx解析漏洞环境搭建复现漏洞利用Nginx解析漏洞NGINX解析漏洞主要是由于NGINX配置文件以及PHP配置文件的错误配置导致的。
etc _ life·2024-01-28 07:36

Hive之set参数大全-18

指定在执行Spark上的动态分区裁剪时，用于评估分区数据大小的最大限制在Hive中，hive.spark.dynamic.partition.pruning.max.data.size是一个配置参数，用于指定在执行
OnePandas·2024-01-28 07:33

hive面试题

本质上是将SQL转换为MapReduce或者spark来进行计算，数据是存储在hdfs上，简单理解来说hive就是MapReduce的一个客户端工具。补充1：你可以说一下HQL转换为MR的任务流程吗？
韩顺平的小迷弟·2024-01-28 07:29

【前端工程化】环境搭建 nodejs npm

前端工程化实现技术栈前端工程化环境搭建：什么是Nodejs如何安装nodejsnpm配置和使用npm介绍npm安装和配置npm常用命令总结前端工程化是什么？
道格维克·2024-01-28 07:41

docker环境搭建及其安装常用软件

centos安装dockerInstallDockerEngineonCentOS|DockerDocs下载dockersudoyuminstall-yyum-utilssudoyum-config-manager--add-repohttps://download.docker.com/linux/centos/docker-ce.reposudoyuminstall-ydocker-cedoc
zfoo-framework·2024-01-28 07:56

云原生环境搭建—Docker创建镜像 并推拉Harbor

创建镜像2种方式1、根据Dockerfile【build】2、基于运行的容器修改后【commit】镜像与容器关联一、根据Dockerfile创建镜像1、mkdirdockerfile/lib/centos7base/创建目录2、创建DockerfilevimDockerfile二、构建镜像dockerbuild-tpython.--tag,-t:镜像的名字及标签过程解析我们看一下docker的编译
Coder_Boy_·2024-01-28 06:59

Java必备技能之环境搭建篇（基础环境）详细版之Git

我们最终的环境目标k8s+Docker的CICD环境草图：安装配置GitA、下载安装登录git官网进行下载：下载稳定版的最新的即可目前是2.29.2.2https://git-scm.com/进行安装（这一步选择你的自定义路径）其他的就不截图了，都是默认next即可安装完成后鼠标右击即可看到git菜单选择GitBashHere这个也是最常用的一个git客户端至此，安装Gitok！B、配置与使用为了
Coder_Boy_·2024-01-28 06:28

Java必备技能之环境搭建篇 (安装nginx)

环境：linux版本：CentOS764位【yum安装最新版nginx：https://www.cnblogs.com/xxoome/p/7256214.html】在安装nginx前首先要确认系统中安装了gcc、pcre-devel、zlib-devel、openssl-devel。安装命令：yum-yinstallgccpcre-develzlib-developensslopenssl-dev
Coder_Boy_·2024-01-28 06:28

云原生环境搭建—Harbor安装

Harbor安装Docker安装安装一些必要的系统工具：sudoyuminstall-yyum-utilsdevice-mapper-persistent-datalvm2添加软件源信息：sudoyum-config-manager--add-repohttp://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo更新yum缓存：sud
Coder_Boy_·2024-01-28 06:58

DevOps系列文章之 GitLabCI汇总

GitlabCI环境搭建前提先安装dockerDocker容器化安装dockerpullgitlab/gitlab-ee:12.4.0-ee.0创建挂载目录mkdir-p/srv/gitlabmkdir-p
Coder_Boy_·2024-01-28 06:56

大数据——Flink 知识点整理

目录1.Flink的特点2.Flink和SparkStreaming的对比3.Flink和Blink、Alink之间的关系4.JobManager和TaskManager的职责5.Flink集群部署有哪些模式
Vicky_Tang·2024-01-28 06:17

Android app专项测试之耗电量测试

前言耗电量指标待机时间成关注目标提升用户体验通过不同的测试场景，找出app高耗电的场景并解决01、需要的环境准备1、python2.7(必须是2.7，3.X版本是不支持的)2、golang语言的开发环境3、AndroidSDK此三个的环境搭建这里就不详细说了
咖啡加 剁椒·2024-01-28 05:27

01_ESP32 MicroPython开发环境搭建

一、工作原理Python源代码->Python解释器(MicroPython)-->二进制代码(01010)-->硬件电路(ESP32)-->高低电平输出-->其他设备二、准备工作：硬件：ESP32开发版，有很多个版本可选，我这里用的是ESP-32开发板（CP2102芯片）我是在淘宝上买的，ESP-32开发板-已焊接（CP2102），这里不推荐商家了，免得有广告嫌疑。后面以这个板为例开发。板子大概
清山博客·2024-01-28 04:44

Java开发环境搭建

主要是针对Java、maven、MySQL三个的环境变量配置，进行一个比较规范的配置。直接上图注意：如果是win10系统（11月最新修改）1.CLASSPATH前面要加“.;”，否则Java文件编译之后可以找不到，报错“错误:找不到或无法加载主类”2.部分需要不用JAVA_HOME变量，必须全写，并且PATH变量要多配配置jre/binCMD命令窗口查看环境变量：echo%JAVA_HOME%ec
小明说Java·2024-01-28 04:37

【华为SDN-Fabric】控制器业务操作

华为SDN-Fabric业务操作一、前提条件环境搭建完成，设备通信正常，网元设备达到可以被FA控制器纳管条件，交换机侧SNMP，Netconf，NTP，AAA均配置正常且控制器北向web已经可以访问二、
秃秃土狗·2024-01-28 04:29

SpringCloud-REST实现生产者与消费者的通信服务

环境搭建我们需要创建一个普通的maven项目就行，因为后面我们的服务将会以模块在里面创建。同时我们将src目录删除，因为我们不会用到这个目录。
CryFace·2024-01-28 03:18

Apache Spark架构与特点

1.背景介绍ApacheSpark是一个开源的大数据处理框架，由AMLLabs公司开发，后被Apache软件基金会所支持。
OpenChat·2024-01-27 23:35

ROS2高效学习第二章 -- ros2常用命令和相关概念学习，熟练玩起来小乌龟样例

ros2常用命令和相关概念学习，熟练玩起来小乌龟样例1前言和资料2正文2.1版本选择和环境搭建2.2跑起来小乌龟样例2.3理解节点node2.4理解话题topic和消息msg2.5理解服务service2.6
界首大学·2024-01-27 23:12

Spark-core

什么是SparkSpark是基于内存的快速，通用，可扩展的大数据分析引擎Spark的内置模块SparkCore是Spark可以离线处理的部分，实现了spark的基本功能，包含任务调度，错误恢复，与存储系统交互等模块
luckboy0000·2024-01-27 23:12

mongoDB高级篇-Mongo复制集实践

前面我们学习了mongo的环境搭建到文档基础操作，以及高级查询处理等常见操作，但是一直都是处理的单机服务器，在我们实际生产中，使用单机风险会很高，如果是服务崩溃了或者不可访问怎么办，那么至少有一段时间不可用
逐梦々少年·2024-01-27 23:45

01_Anaconda环境搭建

概述Anaconda包含了许多常用的科学计算和数据分析的库和工具。通过Anaconda，用户可以更方便地安装、管理和更新这些库和工具，从而提高工作效率。Anaconda还提供了一个名为conda的包管理器，可以帮助用户方便地安装、管理和更新这些库和工具。此外，Anaconda还包含了一个集成开发环境（IDE）JupyterNotebook，可以帮助用户轻松地编写和共享代码、文档和可视化结果。通过c
除不掉的灰色·2024-01-27 20:29

试用期还没过被开除的我躲在被窝里哭了

做的是工厂的项目，入职第一天我就将环境搭建好了，第二天就开始了正式
95后代码搬运工·2024-01-27 20:24

Python3.11.5的入门与实战

第一章Python的环境搭建首先我们应在python的官网下载python安装包点击这里>>官网安装时注意勾选添加环境变量，不然就只能安装后手动添加了安装完成后进入cmd，输入python看到进入交互模式则表示安装完成在
一土~·2024-01-27 20:22

MyBatis第一章：概述及环境搭建

大纲ORM模型简介传统JDBC的设计缺陷MyBatis概述定义特点MyBatis前世今生MyBatis的使用优势MyBatis的使用场景Mybatis开发环境搭建获取MyBatis传统项目中使用MyBatisORM
翘脚猴子耍把戏·2024-01-27 19:08

独家解读 | 滴滴机器学习平台架构演进之路

所谓大同是指大家所要处理的问题都相似，技术架构和选型也差不太多，比如都会使用GPU集群、采用Spark或K8s平台等。
csdn产品小助手·2024-01-27 19:18

Windows11安装Neo4j教程，本文版本是5.16.0，有录播直播私教课

01环境搭建下载：https://neo4j.com/deployment-center/#community解压到D:\dev\neo4j，不要有中文。进入解压后的bin目录，启动cdm执行：.
Python私教·2024-01-27 18:14

ue4 飞机大战游戏开发日记

step1.资源导入及环境搭建1.资源的导入通过拖拽将项目资源文件夹拖拽如content文件夹下，之后资源文件夹便会在内容文件夹下显示2.创建关卡1.在内容下新建maps文件夹，在文件夹内保存当前关卡，
逆旅行人793·2024-01-27 17:25

JavaEE-自定义SSM-环境搭建-测试程序

1.环境搭建1.1结构说明1.2创建父项目项目名：myssm-parent-quan121.3创建核心项目项目名：myssm-core-quan12配置pom文件（4个坐标）org.springframework.bootspring-boot-starter-tomcat2.3.12
秋野酱·2024-01-27 17:12

Ubuntu+Apache+MySQL+PHP+phpstorm+xdebug下的debug环境搭建（纯小白笔记）

关键词一、win10双系统装Ubuntu（Deepin）参考文章：https://www.cnblogs.com/masbay/p/11627727.html1.1首先需要确定自己操作系统的引导方式1.1.1查看BIOS模式“win+r"快捷键进入"运行”，输入"msinfo32"回车，出现以下界面，可查看BIOS模式：UEFI模式：BIOS模式有传统的MBR模式和新式UEFI模式，这将对安装双系
java2508·2024-01-27 17:37

apache 前30个开源项目

高性能Web服务器提供HTTP服务支持非常活跃2ApacheTomcatJava应用服务器部署JavaWeb应用程序非常活跃3ApacheHadoop分布式存储和计算框架大数据处理非常活跃4ApacheSpark
临水逸·2024-01-27 17:35

Qt+FFmpeg环境搭建

下载FFmpeg库FFmpeg库可以使用源码编译也可以从网上下载已经编译好的库文件，这里使用从网上下载编译好的库文件。1.从网站：https://ffmpeg.zeranoe.com/builds/下载编译好的FFmpeg库。我选择下载64位的库。2.编好的库地址下载https://github.com/BtbN/FFmpeg-Builds/releasesStatic，Share，Dev三个都下
路过的小熊~·2024-01-27 16:11

Mybatis—动态sql—if语句

1.环境搭建(这里先以插入数据作为一个测试)1.1.添加一个utils工具类这个工具类的功能是获取UUID，为了让数据库id字段不重复，公司业务会用到publicclassIDutils{publicstaticStringgetId
两仪式quq·2024-01-27 16:08

如何使用irsa将火花提交给亚马逊eks集群

Inpreviousarticle,IhaveintroducedhowwesubmitaSparkjobtoanEKScluster.Aslongaswe’reusingotherAWScomponentsforourpipelinestointeract
weixin_26755331·2024-01-27 15:26

k8s学习（RKE+k8s+rancher2.x）成长系列之概念介绍（一）

一、前言本文使用国内大多数中小型企业使用的RKE搭建K8s并拉起高可用Rancher2.x的搭建方式，以相关技术概念为起点，实际环境搭建，程序部署为终点，从0到1的实操演示的学习方式，一步一步，保姆级的方式学习
日复一日伐树的熊哥·2024-01-27 15:46

Pyspark分类--LogisticRegression

LogisticRegression：逻辑回归分类classpyspark.ml.classification.LogisticRegression(featuresCol=‘features’,labelCol
Gadaite·2024-01-27 14:53

搭建大数据平台常用的端口号

journalnode默认的端口号9000：非高可用访问数rpc端口8020：高可用访问数据rpc8088：yarn的webUI的端口号8080：master的webUI，Tomcat的端口号7077：spark
修勾勾L·2024-01-27 13:51
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他