Spark+hadoop

基于hadoop下的spark安装

Spark+Hadoop在当前自建平台技术中，是离线计算任务开发的主流组合方式。数据存储：HDFS资源调度：Yarn数据计算：Spark或MapReduce，取
necessary653·2023-12-18 14:43

Spark+hadoop环境配置

1.下载安装包虚拟机jdk-1.8scalasparkHadoop2.安装虚拟机和Linux3.配置jdk4.配置Hadoop4.1Hadoop单机配置5.安装scala6.配置spark7.spark集群环境的测试
尊尊123·2023-08-13 16:40

使用IDEA-Big Data Tools连接远程Spark服务器

HowtosubmitcodetoaremoteSparkclusterfromIntelliJIDEA（并没有答案）Big-Data-Tools:RunapplicationswithSparkSubmit使用Docker快速部署Spark
LittleSeedling·2023-07-27 03:59

Spark+Hadoop环境搭建

一、工具下载：1、spark下载目前最新的是2.1.1，spark2.0开始api和之前的还是有比较多的变化，因此如果选择2.0以上版本，最好看一下api变化，下载地址：http://spark.apache.org/downloads.html2、hadoop下载目前最新的hadoop版本已经到了3.0了，可以根据你的选择需要的版本，下载地址：https://dist.apache.org/re
m0_67392811·2023-04-11 03:28

Spark+Hadoop分布式实验

配置环境1、配置docker输入以下命令安装dockersudoapt-getupdatesudoapt-getinstalldocker.iosystemctlstartdockersystemctlenabledocker将当前用户添加到拥有启动docker的用户组#增加一个docker用户组，用于分配对应的全县sudosu#切换到rootgroupadddocker#添加用户组gpasswd
SMusk·2023-03-25 06:03

大数据(spark+hadoop)之topN

我们平时很容易遇到说排序，并取前N个的状况。我们根据数据类型可以简单分为重复键和不重复键的topNMapReduce对于MR来说，topN代码比较多一些，在这里我只讲讲思路。当无重复键的时候，我们有数据("w"->2,"ww"->3,"r"->3)我们的目的是对值进行排序，如用户点击了几次网页，值记录的就是网页。map阶段，我们要做的是获取并且处理数据，并完成本地的topN排序。在排序时我们用的是
机器不能学习·2023-01-31 05:51

IT行业岗位分析系统设计与实现（Spark+Hadoop）

目录摘要IABSTRACTII1引言11.1研究背景11.2研究意义11.3研究内容与组织结构12相关理论与技术介绍32.1HDFS简介32.2Spark简介42.3MongoDB数据库简介62.4爬虫技术简介72.5Echarts简介82.6Pyqt5简介82.7本章小结83系统需求分析93.1系统概述93.2可行性分析103.2.1技术可行性103.2.2经济可行性103.2.3操作可行性10
biyezuopin·2022-12-29 14:28

基于大数据spark+hadoop的图书可视化分析系统

作者主页：计算机毕设老哥精彩专栏推荐订阅：在下方专栏Java实战项目专栏Python实战项目专栏安卓实战项目专栏微信小程序实战项目专栏文章目录Java实战项目专栏Python实战项目专栏安卓实战项目专栏微信小程序实战项目专栏一、开发介绍1.1开发环境二、系统介绍2.1图片展示三、部分代码设计总结有问题评论区交流Java实战项目专栏Python实战项目专栏安卓实战项目专栏微信小程序实战项目专栏一、开
计算机老哥·2022-12-21 04:39

【计算机大数据毕设之基于spark+hadoop的大数据分析论文写作参考案例】

【计算机大数据毕设之基于spark+hadoop的大数据分析论文写作参考案例-哔哩哔哩】https://b23.tv/zKOtd3L目录一引言1二系统分析22.1必要性和可行性分析22.2技术分析2三总体设计
凡人源码·2022-11-24 05:03

windows系统搭建spark+hadoop环境

hadoop版本hadoop-2.7.7，spark版本spark-2.2.0-bin-hadoop2.7，搭建步骤如下：1.配置hadoop的环境变量F:igdatatoolhadoop-2.7.7in修改F:igdatatoolhadoop-2.7.7etchadoop目录下的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、h
m0_67394230·2022-06-20 14:51

jupyter notebook on spark 远程配置

环境：server：centos7+annaconda2+python2+jupyter+spark+hadoopclient：windows10+浏览器在服务器上安装spark+hadoop集群之后，
thinklog2018·2020-09-14 20:18

Ubuntu16.04安装Hadoop2.6+Spark1.6+开发实例

Ubuntu16.04安装Hadoop2.6+Spark1.6，并安装python开发工具Jupyternotebook，通过pyspark测试一个实例，調通整个Spark+hadoop伪分布式开发环境
weixin_33815613·2020-09-12 17:42

win7下spark+hadoop安装

安装http://www.cnblogs.com/eczhou/p/5216918.html1.1、jdk安装安装oracle下的jdk，我安装的是jdk1.7，安装完新建系统环境变量JAVA_HOME，变量值为C:\ProgramFiles\Java\jdk1.7.0_79，视自己安装路径而定。同时在系统变量Path下添加C:\ProgramFiles\Java\jdk1.7.0_79\bin和
analanxingde·2020-08-24 00:18

Spark+Hadoop环境搭建

一、工具下载：1、spark下载目前最新的是2.1.1，spark2.0开始api和之前的还是有比较多的变化，因此如果选择2.0以上版本，最好看一下api变化，下载地址：http://spark.apache.org/downloads.html2、hadoop下载目前最新的hadoop版本已经到了3.0了，可以根据你的选择需要的版本，下载地址：https://dist.apache.org/re
PRIMEZPY·2020-08-04 10:46

Spark+Hadoop集群搭建：（三）在Hadoop集群上安装Spark

Spark+Hadoop集群搭建：（三）在Hadoop集群上安装Spark1Scala安装1.1下载安装包1.2解压1.3迁移目录1.4配置环境变量1.5启动scala2安装Spark2.1下载安装包2.2
闻曦·2020-07-13 11:13

Spark+Hadoop集群搭建：（零）简介与说明

Spark+Hadoop集群搭建：（零）简介与说明1背景2主要内容3使用工具版本说明4文章列表5参考文献注：未完成，待修改1背景2主要内容利用虚拟机实现Linux操作系统上的Spark+Hadoop大数据集群
闻曦·2020-07-13 11:42

Spark+Hadoop环境搭建

一、工具下载：1、spark下载目前最新的是2.1.1，spark2.0开始api和之前的还是有比较多的变化，因此如果选择2.0以上版本，最好看一下api变化，下载地址：http://spark.apache.org/downloads.html2、hadoop下载目前最新的hadoop版本已经到了3.0了，可以根据你的选择需要的版本，下载地址：https://dist.apache.org/re
梦翼-·2020-07-08 09:24

安装Spark+hadoop，spark、hadoop分布式集群搭建...(亲自搭建过！！)

首先说一下我所用的版本：spark-2.1.1-bin-hadoop2.7.tgzhadoop-2.7.3.tar.gzjdk-8u131-linux-x64.rpm我们实验室有4台服务器：每个节点硬盘：300GB，内存：64GB。四个节点的hostname分别是master，slave01，slave02，slave03。我用的是Spark做并行计算，用HDFS作为数据的分布式存储，这样的话就得
MENG哥·2020-06-27 09:36

Spark+Hadoop集群搭建：（一）单一节点上搭建Hadoop环境

Spark+Hadoop集群搭建：（一）单一节点上搭建Hadoop环境1安装JDK2下载安装Hadoop2.1下载Hadoop2.2解压2.3配置Hadoop环境变量2.3.1设置JDK与Hadoop安装路径
闻曦·2020-06-25 14:38

安装Spark+hadoop，spark、hadoop分布式集群搭建...(亲自搭建过！！)

首先说一下我所用的版本：spark-2.1.1-bin-hadoop2.7.tgzhadoop-2.7.3.tar.gzjdk-8u131-linux-x64.rpm123我们实验室有4台服务器：每个节点硬盘：300GB，内存：64GB。四个节点的hostname分别是master，slave01，slave02，slave03。我用的是Spark做并行计算，用HDFS作为数据的分布式存储，这样的
hxpjava1·2019-04-02 11:16

Spark+Hadoop集群搭建：（二）集群节点上搭建Hadoop环境

Spark+Hadoop集群搭建：（二）集群节点上搭建Hadoop环境1集群规划1.1节点规划2构建data12.1复制生成data12.2设置网卡2.3配置data1服务器2.3.1编辑hostname
闻曦·2019-01-30 10:06

win10 + scala+ spark+hadoop 环境配置走过的坑

配置走过的坑，留下有用的链接：win10安装spark流程:https://blog.csdn.net/NJYR21/article/details/80291630Hadoop2.7.1windows工具：https://www.jianshu.com/p/ad14d310df3bhttps://github.com/sardetushar/hadooponwindowsWin10下hadoop
casgj16·2018-12-22 17:19

spark+hadoop集群搭建-虚拟机

spark+hadoop集群搭建-虚拟机一、本次搭建环境说明VMwareFusionmaster：ubuntu16.0464位ip:172.16.29.11slave1：ubuntu16.0464位ip
扫地僧专用扫帚·2018-03-27 19:56

大数据挖掘方案

概述spark是实时大数据分析、挖掘的流行方案，hadoop是大数据存储和运行的流行方案，本demo主要表述用spark+hadoop如何做大数据挖掘的通用方案，包含了，包括了环境资源整合、spark和
findhappy117·2018-01-31 09:48

Spark+hadoop 开发总结

错误总结:1.Causedby:java.lang.ClassNotFoundException:scala.xml.MetaData解决:POM配置依赖2.版本冲突Exceptioninthread"main"java.lang.NoSuchMethodError:scala.Predef$.$scope()Lscala/xml/TopScope$;atorg.apache.spark.ui.j
dymkkj·2018-01-22 14:54

快速搭建docker spark+hadoop计算环境

快速搭建dockerspark+hadoop计算环境当然，如果希望计算跑得很流畅，你需要一个好的服务器。我们选择的是github和docker-hub上都很火的一个镜像。这个库包含Docker文件与ApacheSpark构建一个docker镜像。这个docker镜像依赖于我们以往的Hadoop的docker镜像。基础的那个Hadoop镜像也是正式的官方docker镜像。从DockerReposit
hanss2·2017-11-11 20:53

java调用spark+hdfs计算的一个小demo

最近在入门spark+hadoop，伪分布式安装，部署推荐这几个地址，不错。这边顺手记录一下自己用到的两个小程序。
烫烫烫口·2017-11-04 15:25

spark+yarn调整计算任务的内存占用

调整的背景公司正式环境有一个小小的spark+hadoop集群，yarn的可用内存只有小小的40G，五个节点，每个节点8G内存，因此需要对每个上线的计算任务占用的资源都要精打细算。
无聊小刚·2016-11-17 08:40

spark+hadoop (yarn模式)

最近毕设需要用到Spark集群，所以就记录下了部署的过程。我们知道Spark官方提供了三种集群部署方案：Standalone,Mesos,YARN。其中Standalone最为方便，本文主要讲述结合YARN的部署方案。软件环境：Ubuntu14.04.1LTS(GNU/Linux3.13.0-32-genericx86_64)Hadoop:2.6.0Spark:1.3.00写在前面本例中的演示均为
AlanHand·2016-10-23 20:50

spark+hadoop Standalone模式 搭建

spark安装与使用（Standalone模式）分类：Hadoop （1315）  （0）安装环境：Ubuntusever版，java，scala，一：在linux下安装java环境（自行安装jdk）二：安装Scala2.9.3$tar-zxfscala-2.9.3.tgz$sudomvscala-2.9.3/usr/lib$sudovim/etc/profile#addthefollowingl
AlanHand·2016-10-23 20:53

Ubuntu16.04安装Hadoop2.6+Spark1.6+开发实例

Ubuntu16.04安装Hadoop2.6+Spark1.6，并安装python开发工具Jupyternotebook，通过pyspark测试一个实例，調通整个Spark+hadoop伪分布式开发环境
dream_an·2016-07-20 13:00

spark安装(win7单机模式)

我这里试验成功的版本如下：Windows7JDK1.7.0_72scala2.10.5python2.7.8spark1.4.1winutils2.下载2.1下载spark+hadoop去官网下载选择如下
xpenxpen·2015-08-12 10:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他