Spark环境搭建

android安全框架工具drozer使用指南

不贴图，太麻烦一、Drozer工作环境搭建下载drozer-installer-2.3.4.zip2，解压缩3，winddows上安装setup.exe手机安全agent.apk4,手机打开agent,
wang812745312·2024-01-31 21:42

Windows下Appium+Python Android自动化测试环境搭建

安装JavaJDK（及环境变量配置）http://www.oracle.com/technetwork/java/javase/downloads/index.html安装AndroidSDK（及环境变量配置）https://www.jianshu.com/p/5daddf3a0f1d安装Python（及环境变量配置）https://www.python.org/downloads/windows
AsaGuo·2024-01-31 20:14

spark从入门到放弃三十九:Spark Sql(12)SparkSql工作原理以及性能优化

文章地址：http://www.haha174.top/article/details/2570731工作原理1.大家都知道，只要在数据库类型的技术里面，比如,最传统的mysql,Oracle包括现在大数据领域的数据仓库如Hive，他的基本Sql执行的模型，都是类似的，首先生成一条SQL语句的执行计划。例如Selectnamefromnames=>解析成从哪里去查询（names表在那个文件里面，从
意浅离殇·2024-01-31 20:42

CVE-2022-27925 Zimbra任意文件上传漏洞复现

目录0x01声明：0x02简介：0x03漏洞概述：0x04影响版本：0x05环境搭建：环境准备：环境搭建：0x06漏洞复现：利用POC：0x07流量分析：0x08修复建议：0x01声明：仅供学习参考使用
Evan Kang·2024-01-31 20:18

Spring Cloud系列--简单实现Hystrix熔断器

这篇文章是我自己看完书和相关视频后，自己基于之前的环境搭建简单的Hystrix熔断器。概要首先Hystrix熔断器可以是服务端也可以是客户端的，因此我会分别实现客户端和服务端的熔断器。
NealLemon·2024-01-31 20:06

kubernetes集群环境搭建（kubeadm-v1.20.6)

1.kubernetes高可用集群环境搭建（kubeadm-v1.20.6）1.1前置知识点目前生产部署Kubernetes集群主要有两种方式：kubeadmKubeadm是一个K8s部署工具，提供kubeadminit
weixin_44834469·2024-01-31 20:14

Hbase BulkLoad用法

要导入大量数据，Hbase的BulkLoad是必不可少的，在导入历史数据的时候，我们一般会选择使用BulkLoad方式，我们还可以借助Spark的计算能力将数据快速地导入。
kikiki2·2024-01-31 19:00

2JDK 环境搭建

①以win11系统为例，在桌面上找到此电脑，右键选择属性②打开后选择高级系统设置③打开后选择环境变量④打开后点击新建，在变量名输入JAVA_HOME，在变量值输入安装的JDK的地址，点击确定⑤在系统变量里下拉选项找到Path变量，双击打开，点击新建，输入%JAVA_HOME%\bin，点击确定，然后选中上移至最顶端
憨批咸鱼儿·2024-01-31 19:44

Spark Exchange节点和Partitioning

Exchange在explain时，常看到Exchange节点，这个节点其实就是发生了数据交换此图片来自于网络截取BroadcastExchangeExec主要是用来广播的ShuffleExchangeExec里面决定了数据分布的方式和采用哪种shuffle在这里可以看到好几种不同的分区器shufleManager创建不同的shuffle方式Distribution与PartitioningDis
orange大数据技术探索者·2024-01-31 19:34

window环境下安装spark

spark是大数据计算引擎，拥有SparkSQL、SparkStreaming、MLlib和GraphX四个模块。
FTDdata·2024-01-31 17:06

Scala核心编程 第一章—Scala语言概述

一、Scala语言解释1.什么是Scala语言Spark—新一代内存级大数据计算框架，是大数据的重要内容。Spark就是使用Scala编写的。因此为了更好的学习Spark,需要掌握Scala这门语言。
我是星星我会发光i·2024-01-31 15:47

基于petalinux2020.1的环境搭建及从QSPI启动流程

基于petalinux2020.1的QSPI启动流程开发工具Vivado2020.1Petalinux2020.1Ubuntu18.04.4（64bit）虚拟机vmware-16.2.3开发板：XC7Z020-CLG400Petalinux坏境搭建用虚拟机安装完ubuntu18.04.4后，更换阿里云下载源：cd/etc/aptsudogeditsources.list输入密码sources.li
夕奕·2024-01-31 14:06

自动化测试selenium环境搭建

Chrome浏览器+IDEA1：查看Chrome浏览器版本：2：下载驱动：Chrome驱动我的Chrome版本是121（大版本）找到对应的下载，Windows的就下载win32那个。没有自己版本的点击Stable进去，找到对应版本，复制链接即可下载。3：添加到java环境中来：4：新建一个项目，在pom.xml添加依赖：org.seleniumhq.seleniumselenium-java3.1
JANG1024·2024-01-31 14:05

【LVGL源码移植&环境搭建】

LVGL源码移植&环境搭建■LVGL源码移植■下载LVGL源码■修改LVGL文件夹■■■■视频链接Ubuntu模拟器环境建置■LVGL源码移植■下载LVGL源码LVGL源码我们以选择v8.2.0为例，选择
光芒Shine·2024-01-31 13:32

迅为龙芯2K1000开发板运行Busybox、Buildroot、Loognix、QT5.12系统

让研发速度快上加快更新包含了开发环境搭建、系统编译与
mucheni·2024-01-31 13:00

ubuntu网络及基础环境搭建（IP，防火墙，DNS，源 等）

之前有文章介绍过centos的基本环境搭建:《centos7虚拟机网络与DNS上网配置》《centos源配置和yum使用》而针对ubuntu的环境配置，由于很多文件路径以及命令和centos有很大差别。
hello_ludy·2024-01-31 11:56

flink sql运用入门

Job）#步骤4：停止集群#三、SQL客户端#1、准备sql涉及的lib包2、编写sql脚本3、webui查看总结前言目前我司项目中有实时大屏的需求，涉及实时计算部分的选型（以开源为基础），目前主流选择有spark
yc_zlj·2024-01-31 11:21

Apache Flink 文件上传漏洞 CVE-2020-17518 漏洞复现

ApacheFlink文件上传漏洞CVE-2020-17518漏洞复现一、漏洞描述二、漏洞影响三、漏洞复现1、环境搭建2、漏洞复现四、漏洞POC五、参考链接一、漏洞描述ApacheFlink是一个开源的流处理框架
Senimo_·2024-01-31 10:24

Apache Flink jobmanager/logs 目录穿越漏洞 CVE-2020-17519 漏洞复现

ApacheFlinkjobmanager/logs目录穿越漏洞CVE-2020-17519漏洞复现一、漏洞描述二、漏洞影响三、漏洞复现1、环境搭建2、漏洞复现四、漏洞POC五、参考链接一、漏洞描述ApacheFlink
Senimo_·2024-01-31 10:24

Apache Flink -任意文件写入漏洞复现（CVE-2020-17518）

1、产品简介ApacheFlink是高效和分布式的通用数据处理平台，由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎（简单来说，就是跟spark类似）
OidBoy_G·2024-01-31 10:52

CVE-2020-17518&17519 Apache Flink 文件上传&Apache Flink jobmanagerlogs 目录穿越漏洞复现

目录一、漏洞信息二、环境搭建三、复现过程四、修复建议一、漏洞信息漏洞名称APACHEFLINK文件上传漏洞漏洞编号CVE-2020-17518危害等级高危CVSS评分5.0漏洞厂商Apache受影响版本
luochen678·2024-01-31 10:19

[Spark] 如何设置Spark资源

转自1.公众号[Spark学习技巧]如何设置Spark资源2.Spark性能优化篇一：资源调优Spark和YARN管理的两个主要资源：CPU和内存应用程序中每个SparkExecutor都具有相同的固定数量的核心和相同的固定堆大小
LZhan·2024-01-31 10:07

python-自动化篇-运维-可视化-绘图库-matplotlib

文章目录Matplotlibmatplotlib开发环境搭建绘制基础绘制直线绘制折线设置标签文字和线条粗细绘制一元二次方程的曲线y=x^2绘制正弦曲线和余弦曲线散点图绘制柱状图绘制饼状图绘制直方图等高线图绘制三维图
fo安方·2024-01-31 09:54

mac ionic android,Mac下搭建Ionic+Cordova+Angular打包Android apk 环境

二、开发环境搭建1、安装VisualStudioCode安装完成以后配置用户环境变量(以下命令在终端Terminal中操作)vim~/.bash_profile#~/.bash_profile不存在则创建
前雅思考官米米·2024-01-31 09:54

Kafka源码分析（史上最全）1：源码的开发环境搭建

文章很长，建议收藏起来，慢慢读！Java高并发发烧友社群：疯狂创客圈奉上以下珍贵的学习资源：免费赠送经典图书:《Java高并发核心编程（卷1）》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图书:《Java高并发核心编程（卷2）》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图书:《NettyZookeeperRedis高并发实战》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图
40岁资深老架构师尼恩·2024-01-31 09:29

zuul 详解，带视频

并配有一系列的使用教程和视频，大致如下：高并发环境搭建图文教程和演示视频，陆续上
40岁资深老架构师尼恩·2024-01-31 09:22

SpringCloud + SpringBoot 热部署 热加载 热调试

疯狂创客圈Java高并发【亿级流量聊天室实战】实战系列【博客园总入口】架构师成长+面试必备之高并发基础书籍【NettyZookeeperRedis高并发实战】Crazy-SpringCloud微服务脚视频&环境搭建介绍
40岁资深老架构师尼恩·2024-01-31 09:22

nginx lua 调试 - 死磕

并配有一系列的使用教程和视频，大致如下：高并发环境搭建图文教程和演示视频，陆续上
40岁资深老架构师尼恩·2024-01-31 09:22

springcloud Config 配置中心，带视频

并配有一系列的使用教程和视频，大致如下：高并发环境搭建图文教程和演示视频，陆续上
40岁资深老架构师尼恩·2024-01-31 09:52

Eureka 入门，带视频

并配有一系列的使用教程和视频，大致如下：高并发环境搭建图文教程和演示视频，陆续上
40岁资深老架构师尼恩·2024-01-31 09:52

Zuul Swagger 整合

并配有一系列的使用教程和视频，大致如下：高并发环境搭建图文教程和演示视频，陆续上
40岁资深老架构师尼恩·2024-01-31 09:52

java进阶

大数据史上最全Flink面试题，高薪必备，大数据面试宝典史上最全Hadoop面试题：尼恩大数据面试宝典专题1史上最全HBase面试题，高薪必备，架构必备史上最全Hive面试题，高薪必备，架构必备绝密100个Spark
don't_know·2024-01-31 09:44

pyspark学习-spark.sql.functions 聚合函数

https://spark.apache.org/docs/3.4.1/api/python/reference/pyspark.sql/functions.html1.approx_count_distinct
heiqizero·2024-01-31 08:02

【Spark系列6】如何做SQL查询优化和执行计划分析

ApacheSparkSQL使用Catalyst优化器来生成逻辑执行计划和物理执行计划。逻辑执行计划描述了逻辑上如何执行查询，而物理执行计划则是Spark实际执行的步骤。
周润发的弟弟·2024-01-31 08:01

【Spark系列5】Dataframe下常用算子API

ApacheSparkDataFrameAPI提供了丰富的方法来处理分布式数据集。以下是一些常见的DataFrameAPI类别和方法，但这不是一个完整的列表，因为API非常广泛。
周润发的弟弟·2024-01-31 08:31

（一）PySpark3：安装教程及RDD编程（非常详细）

目录一、pyspark介绍二、PySpark安装三、RDD编程1、创建RDD2、常用Action操作①collect②take③takeSample④first⑤count⑥reduce⑦foreach⑧countByKey⑨saveAsTextFile3
唯余木叶下弦声·2024-01-31 08:57

Spark性能调优

Spark性能调优executor内存不足用`UNIONALL`代替`UNION`persist与耗时监控executor内存不足问题表现1：Containerxxisrunningbeyondphysicalmemorylimits.Currentusage
HanhahnaH·2024-01-31 08:26

SpringBoot集成Minio入门教程

二.minio环境搭建这里采用docker-compose搭建#可参考https://docs.min.io/docs/min
AskHarries·2024-01-31 08:32

springboot集成 mysql快速入门demo

一、mysql环境搭建采用docker-compose搭建，配置如下：docker-compose.ymlversion:'3'services:mysql:image:registry.cn-hangzhou.aliyuncs.com
AskHarries·2024-01-31 08:59

Spark如何用累加器Accumulator收集日志

Spark如何用累加器Accumulator收集日志Accumulator如何使用Accumulator收集日志Spark任务的实际运算是交由众多executor来执行的，如果再执行算子内部打印日志，是需要到对应的
HanhahnaH·2024-01-31 08:03

大数据从入门到实战-hadoop开发环境搭建

配置JavaJDK1.下载JDK前往Oracle的官网下载JDK：JavaDownloads|Oracle我们可以先下载到本地，然后从Windows中将文件传入到虚拟机中。也可以复制链接地址，在Linux系统中下载，不过复制链接地址不能直接下载，因为Oracle做了限制，地址后缀需要加上它随机生成的随机码，才能下载到资源所以我们可以点击下载，然后暂停，最后在下载管理中复制链接地址就可以在Linux
是草莓熊吖·2024-01-31 07:25

大数据系列教程003-hadoop伪分布式环境搭建步骤

声明：大数据系列教程文章由Java潘老师辛苦原创，免费公开供java爱好者学习。如需转载请获得潘老师授权并保留原文链接，如有疑问或建议，可以联系潘老师：Q：1562691348V：A1562691348本教程学习知识储备：JavaSE基础、Linux基础、数据库基础步骤：直接点击链接查看1.安装vmware122.设置vmware虚拟网络编辑器3.安装虚拟机CentOS74.设置静态ip5.永久修
Java潘老师·2024-01-31 07:53

大数据环境搭建(一)-Hadoop

1.服务器环境准备Linux镜像:centos7.9JDK:jdk1.8.0_212Hadoop:apache-hadoop-3.3.4创建虚拟Linux服务器配置虚拟机，每台主机名与ip如下主机名ipbd-centos01192.168.159.101bd-centos02192.168.159.102bd-centos03192.168.159.103修改网络配置文件（以bd-centos01
xfchn多多学习学习·2024-01-31 07:20

鸿蒙开发【应用开发基础知识】

application-dev[应用开发文档]2.主要功能目录标题展示，目录列表展示点击目录列表，查看列表内容点击目录标题的返回箭头，返回之前的内容页面内容溢出，可上下滑动查看内容3.效果展示4.开发环境搭建首先需要搭建好开发环境
移不动开发技术·2024-01-31 07:01

k8s的operator基石：controller-runtime源码解析

1.client-go的基础使用2.使用kubebuilder搭建一个简单的controller-runtime环境3.informer的基本思想1.源码环境搭建参考链接：https://book.kubebuilder.io
bug_createman·2024-01-31 07:52

分布式虚拟文件系统，如何实现多种存储系统的融合

随着大数据技术和人工智能技术的发展，各种框架应运而生，比如大数据领域中的MapReduce和Spark，人工智能领域中的TensorFlow和PyTorch等。
数据存储张·2024-01-31 07:20

大数据-Spark-关于Json数据格式的数据的处理与练习

上一篇：大数据-MapReduce-关于Json数据格式的数据的处理与练习-CSDN博客16.7Json在Spark中的引用依旧利用上篇的数据去获取每部电影的平均分{"mid":1,"rate":6,"
王哪跑nn·2024-01-31 06:50

大数据开发：hadoop系统搭建以及spark编程

csdn这个坑先留着…传送门：https://github.com/louxinyao/Hadoop-spark
墨染枫·2024-01-31 06:47

2024.1.25 Object_basic 用户画像标签开发过程 面向对象定义基类

/usr/bin/envpython#@desc:__coding__="utf-8"__author__="bytedance"frompyspark.sqlimportSparkSession,DataFramefrompyspark.sql.typesimportStringTypefr
白白的wj·2024-01-31 06:03

2024.1.20 用户画像标签开发,面向过程方法

/usr/bin/envpython#@desc:__coding__="utf-8"__author__="bytedance"frompyspark.sqlimportSparkSession,DataFramefrompyspark.sql.typesimportStringTypefromcom.bytedance.tag.base.parse_ruleimportEsMetaimpo
白白的wj·2024-01-31 06:32
上一页 33 34 35 36 37 38 39 40 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他