Spark环境搭建

Spark--累加器

累加器累加器1.实现原理2.系统累加器3.自定义累加器累加器Spark计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景。
小陈菜奈-·2024-01-14 09:59

Spark-core----累加器

一、原理累加器用来把Executor端变量信息聚合到Driver端。在Driver程序中定义的变量，在Executor端的每个Task都会得到这个变量的一份新的副本，每个task更新这些副本的值后，传回Driver端进行merge。二、基础编程2.1系统累加器valrdd=sc.makeRDD(List(1,2,3,4,5))//声明累加器varsum=sc.longAccumulator("su
梦痕长情·2024-01-14 09:28

Spark -- 累加器和广播变量

Spark–累加器和广播变量文章目录Spark--累加器和广播变量一.累加器1.系统累加器2.自定义累加器二.广播变量spark有三大数据结构：RDD：分布式弹性数据集累加器：分布式只写数据集广播变量：
Keep hunger·2024-01-14 09:58

Spark---累加器

//建立与Spark框架的连接valwordCount=newSparkConf().setMaster("local").setAppName("WordC
肥大毛·2024-01-14 09:27

看代码神器：vscode+clangd轻松实现linux内核代码跳转（图文并茂）

比如本文要讲的vscode下进行linux内核代码开发或者阅读就是很好例子，如果没有先把代码跳转等基础环境搭建好，对后续的代码阅读和开发都可能会造成很大障碍，而先完成基础工具环境搭建再开发，阅读代码流畅了
hello_ludy·2024-01-14 09:16

记csv、parquet数据预览一个bug的解决

文章目录一、概述二、实现过程1.业务流程如图：2.业务逻辑3.运行结果三、bug现象1.单元测试2.运行结果三、流程梳理1.方向一2.方向二一、概述工作中遇到通过sparksession解析csv、parquet
爱码少年·2024-01-14 08:49

物理机本地和集群部署Spark

一、单机本地部署1）官网地址：http://spark.apache.org/2）文档查看地址：https://spark.apache.org/docs/3.1.3/3）下载地址：https://spark.apache.org
DIY……·2024-01-14 07:43

[Beego]1.Beego简介以及beego环境搭建,bee脚手架的使用,创建,运行项目

一.Beego介绍Beego是一个开源的基于Golang的MVC框架，主要用于GolangWeb开发,Beego可以用来快速开发API、Web、后端服务等各种应用。Golang的Web开发框架有很多,从githubstar数量来看Gin>Beego>lris>Echo>Revel>Buffalo目前国内用的比较多的就是Beego和gin两个框架，如果项目比较小，个人开发，并且只是用Golang来写
zhoupenghui168·2024-01-14 06:43

一款国内研发的PCB设计软件-立创EDA

我们先来看下官方的一些样板工程和原理图PCB布好线的效果3D预览效果原理图简单的聊聊PCB设计软件：像当前免费的PCB设计软件还有KiCAD、DesignSpark(发烧友网)也是不错的，当然我们绝大部分人在学校接触最多的要属
想啥做啥·2024-01-14 05:38

一：Hadoop初始化环境搭建-1

一：虚拟机和Linux的安装在搭建Hadoop集群环境之前，我们必须要进行如下的准备工作：01.安装虚拟机02.安装3台Linux03.修改主机名和IP地址对应关系04.SSH免密码登陆1.1：虚拟机的安装步骤VMware的安装版本是12,大家可以直接百度，下载需要的虚拟机！这里虚拟机的内存，也可以使用推荐设置！（如果真机内存够用，可以设置高点）这里的声卡和打印机也可以不删除。（强迫症，目前没用的
小葱_拌豆腐·2024-01-14 05:15

SPARK--cache(缓存)和checkpoint检查点机制

SPARK–cache(缓存)和checkpoint检查点机制rdd的特性缓存和checkpoint作用都是进行容错rdd在计算是会有多个依赖，为了避免计算错误是从头开始计算，可以将中间*依赖rdd进行缓存或
中长跑路上crush·2024-01-14 04:58

Spark-RDD的依赖

RDD的依赖rdd之间是有依赖关系窄依赖每个父RDD的一个Partition最多被子RDD的一个Partition所使用父rdd和子rdd的分区是一对一mapflatMapfliter宽依赖父RDD的Partition会被多个子RDD的Partition所使用父rdd和子rdd的分区是一对多grouBy()grouByKey()sortBy()sortByKey()reduceBykey()dis
中长跑路上crush·2024-01-14 04:58

Spark算子（RDD）超细致讲解

SPARK算子（RDD）超细致讲解map,flatmap,sortBykey,reduceBykey,groupBykey,Mapvalues,filter,distinct,sortBy,groupBy
中长跑路上crush·2024-01-14 04:57

给我一台新的服务器，我会怎么安排 CUDA

深度学习环境搭建过程中，初期阶段，相信大家都会遇到，动不动TensorFlow或者Pytorch库与Cuda、或者Cudnn版本不匹配的问题；因此很多时候，在一台服务器中安装多个Cuda逐步成为了各位搬砖大佬们的必然选择本文为大家揭秘一台全新服务器
墨理学AI·2024-01-14 04:42

spark入门教程（3）--Spark 核心API开发

本教程源于2016年3月出版书籍《Spark原理、机制及应用》，在此以知识共享为初衷公开部分内容，如有兴趣，请支持正版书籍。
xwc35047·2024-01-14 04:45

深度学习pytorch环境搭建

一、Anaconda安装与使用1、安装参考：https://www.jianshu.com/p/62f155eb6ac5https://blog.csdn.net/weixin_37766087/article/details/1007421982、conda使用：打开anacondaprompt查看conda版本：conda--version创建新环境：condacreate--nameenv_
青衫无尘·2024-01-14 03:46

实战环境搭建-linux下安装悟空CRM

下载地址如下：链接：https://pan.baidu.com/s/1OI9EA8Nc8ymWlERS9i0vjg?pwd=ws5c提取码：ws5c上传crm的程序包，如下图：输入unzip72crm-java-master.zip进行解压createdatabasecrm9;usecrm9;source/opt/72crm-java-master/docs/crm9.sql修改/home/wuk
软件测试老痞·2024-01-14 03:19

前端开发环境搭建踩坑笔记——npm install node-sass安装失败的解决方案

文章目录问题背景问题描述解决方案1.检查node-sass安装版本是否正确。2.检查是否是网络问题总结问题背景开发新的前端项目时，总少不了搭建开发环境和执行npminstall安装依赖包，但npminstall的过程总是充满着玄学，很难保证一次性成功，其中尤其以node-sass这个包的安装失败问题最为常见。像其他npm包安装失败，通常是因为网络问题，可以采用使用更好的网络环境或者切换源的方式进行
偏安zzcoder·2024-01-14 03:56

【网络安全】简要分析下Chrome-V8-Issue-762874

image.png这是AguidedtourthroughChrome'sjavascriptcompiler上的第二个漏洞，下面是对应的commit在这里插入图片描述环境搭建用v8-actionenv
H_00c8·2024-01-14 02:30

jenkins环境搭建

jenkins环境搭建1.环境说明2.环境准备1.jdk安装2.安装Git3.安装sshpass4.安装Maven3.安装Jenkins(war包方式安装)1.安装2.镜像加速4.官网提供的yum方式安装
我就是我352·2024-01-14 00:48

基于Spark2.x新闻网大数据实时分析可视化系统项目

课程大纲第一章：案例需求分析与设计1.全套课程内容概述2.案例需求分析3.系统架构设计4.系统数据流程设计5.集群资源规划设计第二章：linux环境准备与设置1.Linux系统常规设置2.克隆虚拟机并进行相关的配置3.对集群中的机器进行基本配置第三章：Hadoop2.X分布式集群部署1.Hadoop2.X版本下载及安装2.Hadoop2.X分布式集群配置3.分发到其他各个机器节点4.HDFS启动集
飞雪雪团队·2024-01-13 23:30

spark中Rdd依赖和SparkSQL介绍--学习笔记

1，RDD的依赖1.1概念rdd的特性之一相邻rdd之间存在依赖关系（因果关系）窄依赖每个父RDD的一个Partition最多被子RDD的一个Partition所使用父rdd和子rdd的分区是一对一（多对一）触发窄依赖的算子map()，flatMap()，filter()宽依赖父RDD的一个partition会被子rdd的多个Partition所使用父rdd和子rdd的分区是一对多触发宽依赖的算子
祈愿lucky·2024-01-13 23:17

Linux ssh服务搭建，超详细

首先我们要准备两台虚拟机，一台作为客服机，一台作为服务机，它们必须在同一个网段，将它们都安装上ssh服务，命令：yuminstall-y*ssh*虚拟机的环境搭建大家不知道的可以看看这个：《学Linux
W15G~HL·2024-01-13 22:36

python + Django + MySQL 系列学习

python+Django+MySQL系列学习文章目录python+Django+MySQL系列学习前言一、环境搭建二、学习步骤1.留言板快速开发1.1使用python创建Django项目1.2创建应用
xuejames·2024-01-13 21:30

【详解】数据库MySQL详解_Python版

目录1数据库基本知识2数据库管理系统3MySQL环境搭建4客户端Navicat5MySQL数据类型6数据完整性和约束7数据库操作流程7.1安装数据库服务端7.2安装数据库客户端7.3开启服务端7.4客户端链接服务端
LeeZhao@·2024-01-13 21:28

spring security_一文肝爆Spring安全框架Spring Security

作者：HallowCoder序SpringSecurity的架构及核心组件：(1)认证；(2)权限拦截；(3)数据库管理；(4)权限缓存；(5)自定义决策；环境搭建与使用，使用当前热门的SpringBoot
weixin_39719101·2024-01-13 18:04

Spring Security介绍

文章主要分三部分1、SpringSecurity的架构及核心组件：(1)认证；(2)权限拦截；(3)数据库管理；(4)权限缓存；(5)自定义决策；2、环境搭建与使用，使用当前热门的SpringBoot来搭建环境
liudahai777·2024-01-13 18:00

vue2源码解析之第一步（对数据进行劫持）

###环境搭建第一步创建项目：npminit-y第二步安装对应的插件：npmirolluprollup-plugin-babel@babel/core@babel/preset-env--save-dev
h960822·2024-01-13 17:47

Linux 简述

文章目录1.背景2.Linux环境搭建2.1环境搭建方式2.2使用云服务器2.3使用终端软件连接到Linux3.Linux常用命令3.1ls3.2cd3.3pwd3.4touch3.5cat3.6echo3.7vim3.8mkdir3.9rm3.10mv3.11cp3.12grep3.13ps3.14netstat4
柒柒要开心·2024-01-13 14:37

maven中pom文件解析

pom文件pom是项目对象模型，maven环境搭建好之后，所有的学习和操作都是关于pom.xml的。pom.xml初识groupId组织id，一般是公司域名的倒写。
楠怪·2024-01-13 14:20

Linux-CentOS-Python开发环境搭建

CentOS安装PythonCentOS已经自带安装了2.x版本,先尝试python命令检查已安装的版本.如果你使用rpm、yum或deb命令安装过，请使用相对命令查询。复制安装文件链接。在https://www.python.org/ftp/python/进入对应的文件夹，选择Python-3.x.0.tgz右键复制链接在centOS下载tgz安装文件。使用wgethttps://www.pyt
zhyuzh3d·2024-01-13 13:34

【深度学习环境搭建】Windows+Anaconda+PyCharm+pytorch（GPU）的环境搭建过程及可能产生的问题解决方法（小白安装版）

目录一、前期准备1.确定电脑支持GPU2.确认Anaconda已安装3.查看电脑所支持的CUDA最高版本二、pytorch安装1.在Anaconda下创建一个新环境2.安装pytorch三、PyCharm调用pytorch四、报错解决方案汇总一、前期准备1.确定电脑支持GPU方法一：在任务栏空白处右击选择“任务管理器”，再选择“性能”就可以查看是否有GPU（要英伟达的）。方法二：在开始中搜索“设备
zhu1zhu1·2024-01-13 13:03

深度学习环境搭建anaconda+pytorch+gpu

一、升级nvrdia显卡驱动1、安装cuda2、安装cudnn二、安装anaconda1、官网下载对应版本：https://www.anaconda.com/products/individual打开anacondaprompt终端，执行condalist查看详细信息2、安装虚拟环境condacreate-nenvironment_namepython=X.X默认安装到c盘，建议安装到空间较大的盘
setupsong·2024-01-13 13:31

深度学习环境搭建——利用anaconda+pytorch搭建自己的深度学习环境（以YOLOv5环境搭建为例）2023.9.26最新

博客主页：是dream系列专栏：深度学习环境搭建、环境配置问题解决、自然语言处理、语音信号处理、项目开发每日语录：要有最朴素的生活和最遥远的梦想，即使明天天寒地冻，山高水远，路远马亡。
是dream·2024-01-13 13:01

深度学习环境搭建（cpu版本）Anaconda+pytorch+Visual Studio Code

首先分别介绍一下Anaconda和pytorch：*Anaconda中文大蟒蛇，是一个开源的python发行版本，其包含了conda,python等180多个科学包及其依赖项。常用指令及其作用condaclean-p删除没用的包condaclean-ttar打包condacreate-nxxxpython=xx创建python版本为xx的xxx虚拟环境conda–help查看各种指令condain
小小怪下士ss·2024-01-13 13:01

pytorch深度学习环境搭建2023——GPU版本

文章目录环境卸载环境安装cuda安装cudann安装Anaconda安装常用终端命令跑模型本博客专门针对有独立显卡的GPU版本环境安装，cpu版本我不太清楚，我猜如果您用cpu跑神经网络，你估计也很难崩以下是作者亲身体验安装并成功所看的博客，过程中基本上所有坑都踩了，附上这些链接配上讲解，希望大家可以成功，我的建议是如果以后要用到tensorflow的话，装低版本的CUDAToolkit，显卡可以
慢成长·2024-01-13 13:29

【深度学习环境搭建】Windows搭建Anaconda3、已经Pytorch的GPU版本

目录搭建Anaconda3搭建GPU版本的Pytorch你的pip也要换源，推荐阿里源打开conda的PowerShell验证搭建Anaconda3无脑下载安装包安装（自行百度）注意点：1、用户目录下的.condarc需要配置（自定义环境的地址（别忘了给文件夹加权限）；镜像源）搭建GPU版本的Pytorch1、先看你的显卡版本Win+R->输入命令nvidia-smi，看你的cuda版本2.下载离
诗酒当趁年华·2024-01-13 13:24

Android 自动打包Jenkins构建教程

环境搭建JDK下载与配置环境变量SDK下载与配置环境变量GIT下载与配置环境变量Jenkins下载与安装。本篇着重讲如何配置Jenkins，前三个配置就不一一赘述，详情请百度。
Volent·2024-01-13 13:36

python字典转数据框,将标准python键值字典列表转换为pyspark数据框

Considerihavealistofpythondictionarykeyvaluepairs,wherekeycorrespondtocolumnnameofatable,soforbelowlisthowtoconvertitintoapysparkdataframewithtwocolsarg1arg2
恶少恶言·2024-01-13 13:45

Spark调试

编写代码//pom.xml4.0.0org.learn.examplespark-example1.0-SNAPSHOTorg.apache.sparkspark-core_2.112.2.0providedorg.apache.sparkspark-sql
Jorvi·2024-01-13 12:51

LAMP环境搭建（Linux+Apache+Mariadb+PHP）

LAMP环境搭建（Linux+Apache+Mariadb+PHP）实现环境3A云服务器：CentOS7.9客户端：Windows10环境配置关闭防火墙systemctlstopfirewalldsystemctldisablefirewalld
落_caec·2024-01-13 12:30

Hbase BulkLoad用法

要导入大量数据，Hbase的BulkLoad是必不可少的，在导入历史数据的时候，我们一般会选择使用BulkLoad方式，我们还可以借助Spark的计算能力将数据快速地导入。
kikiki1·2024-01-13 12:43

OpenCV C++ 环境搭建和简单示例

OpenCV介绍OpenCV：开源发行的跨平台计算机视觉和机器学习软件库，用C++语言编写，提供了C++，Python，Java和MATLAB接口，并支持Windows，Linux，Android和MacOS。OpenCV下载去官网https://opencv.org/releases/，选择自己想要安装OpenCV的方式。但是，官网下载国内会很慢，可以通过镜像资源来下载，这里我选择了Gitcod
魔法自动机·2024-01-13 11:17

新书速览|Python数据可视化之Matplotlib与Pyecharts实战

快速绘制专业图表30余种专业图表的绘制技巧3大项目案例超值：彩色插图+教学视频+动手练习+源代码+PPT课件本书特色：循序渐进，适合新手快速上手：从认识一个Python程序开始，介绍Python程序的构成、编程环境搭建与程序编写规范
全栈开发圈·2024-01-13 11:05

Spark 读excel报错，scala.MatchError

Spark3详细报错：scala.MatchError:Map(treatemptyvaluesasnulls->true,location->viewfs://path.xlsx,inferschema
CoderOnly·2024-01-13 10:35

大数据系列 | CDH6.3.2（Cloudera Distribution Hadoop）部署、原理和使用介绍

大数据系列|CDH6.3.2（ClouderaDistributionHadoop）部署、原理和使用介绍1.大数据技术生态中Hadoop、Hive、Spark的关系介绍2.CDN（ClouderaDistributionHadoop
降世神童·2024-01-13 10:50

Spark原理——逻辑执行图

逻辑执行图明确逻辑计划的边界在Action调用之前，会生成一系列的RDD,这些RDD之间的关系，其实就是整个逻辑计划valconf=newSparkConf().setMaster("local[6]"
我像影子一样·2024-01-13 09:17

Spark原理——物理执行图

物理执行图物理图的作用是什么?问题一:物理图的意义是什么?物理图解决的其实就是RDD流程生成以后,如何计算和运行的问题,也就是如何把RDD放在集群中执行的问题问题二:如果要确定如何运行的问题,则需要先确定集群中有什么组件首先集群中物理元件就是一台一台的机器其次这些机器上跑的守护进程有两种:Master,Worker每个守护进程其实就代表了一台机器,代表这台机器的角色,代表这台机器和外界通信例如我们
我像影子一样·2024-01-13 09:17

Spark原理——总体介绍

总体介绍编写小案例（wordcount）@TestdefwordCount():Unit={//1.创建sc对象valconf=newSparkConf().setMaster("local[6]").
我像影子一样·2024-01-13 09:17

RDD算子——转换操作（Transformations ）【map、flatMap、reduceByKey】

一、mapmap算子#spark-shellsc.parallelize(Seq(1,2,3)).map(num=>num*10).collect()#IDEA@TestdefmapTest():Unit
我像影子一样·2024-01-13 09:47
上一页 40 41 42 43 44 45 46 47 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他