Spark+Scala

【Spark技术与实战】Spark+Scala对化妆品指标的计算处理

文章目录前言项目要求一、数据集介绍二、指标介绍三、项目实现流程1.创建SparkSession2.读取数据3.计算价格范围4.分析品牌分布5.分析适用皮肤类型分布6.分析成分7.分析排名变化最大的品牌8.判断排名变化方向总结前言我们知道，Spark是一个优秀的基于内存的计算框架，可以独立使用，也可以和Hadoop集成使用，可以使用Hadoop的yarn进行资源管理、可以读写hdfs文件，而且Spa
db_lmr_2071·2023-11-23 22:35

Spark项目案例实战和分布式部署

这样我们对Spark+Scala项目开发有一个完整的认识和实际工作场景的一个体会。我们创建一个Spark的工程，然后创建一个HbaseJob的object类文件，项目的功能是从Hb
充电了么·2023-08-04 03:00

docker中spark+scala安装配置

一、scala安装首先下载scala压缩包wgethttps://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz解压tar-zxvfscala-2.11.7.tgz移动目录mvscala-2.11.7/usr/local/改名cd/usr/local/mvscala-2.11.7scala配置环境变量vim/etc/profileexpo
weixin_34208283·2020-08-04 20:47

Spark+Scala：数据分析统计

本项目适合初学者，订阅该Chat前，希望您：了解Scala语法；已经安装好Logstash（项目中不会讲解Logstash的安装）；知晓Spark基本操作，例如：Map、Filter、foreachPartition等；了解Kafka。该项目大概架构为：利用Python生成相对应的文件格式，当做Demo日志供程序调用；通过Logstash，筛选出符合要求的数据，并存入Kafka；通过KafkaUt
GitChat的博客·2020-07-13 16:44

spark+scala+spring整合提高搬砖效率

最近数据的需求特别多，有时候自己定位问题也经常要跑数据，通常就是spark+scala的常规画风。虽然是提同一个jar包，但执行的每个包的路径都不一样，这就导致我要不断的去改脚本，很不舒服。
码蹄疾·2020-07-07 05:04

Jupyter notebook运行Spark+Scala

今天在intellij调试spark的时候感觉每次有新的一段代码，都要重新跑一遍，如果用spark-shell，感觉也不是特别方便，如果能像python那样，使用jupyternotebook进行编程就很方便了，同时也适合代码展示，网上查了一下，试了一下，碰到了很多坑，有些是旧的版本，还有些是版本不同导致错误，这里就记录下来安装的过程。1.运行环境硬件：Mac事先装好：Jupyternoteboo
mumumuyanyanyan·2020-06-26 11:15

Jupyter notebook运行Spark+Scala教程

今天在intellij调试spark的时候感觉每次有新的一段代码，都要重新跑一遍，如果用spark-shell，感觉也不是特别方便，如果能像python那样，使用jupyternotebook进行编程就很方便了，同时也适合代码展示，网上查了一下，试了一下，碰到了很多坑，有些是旧的版本，还有些是版本不同导致错误，这里就记录下来安装的过程。1.运行环境硬件：Mac事先装好：Jupyternoteboo
mumumuyanyanyan·2020-04-10 16:53

Spark+Scala安装

集群环境hostnameIPmaster192.168.63.12slave1192.168.63.13slave2192.168.63.14Scala安装master下载scala包wgethttps://downloads.lightbend.com/scala/2.11.4/scala-2.11.4.tgz解压至指定路径tar-zxvfscala-2.11.4.tgz-C/usr/local
code__online·2019-06-17 15:10

docker中spark+scala安装配置

一、scala安装首先下载scala压缩包wgethttps://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz解压tar-zxvfscala-2.11.7.tgz移动目录mvscala-2.11.7/usr/local/改名cd/usr/local/mvscala-2.11.7scala配置环境变量vim/etc/profileexpo
九月朦胧·2019-01-10 17:00

spark+scala+spring整合提高搬砖效率

最近数据的需求特别多，有时候自己定位问题也经常要跑数据，通常就是spark+scala的常规画风。虽然是提同一个jar包，但执行的每个包的路径都不一样，这就导致我要不断的去改脚本，很不舒服。
码蹄疾·2018-04-15 20:29

spark在idea中本地如何运行？（处理问题NoSuchFieldException: SHUTDOWN_HOOK_PRIORITY）

前几天尝试使用idea在本地运行spark+scala的程序，出现了问题，http://www.cnblogs.com/yjf512/p/7662105.html当时还以为是本地spark安装问题，今天发现原来不是
轩脉刃·2017-10-20 15:00

Spark+Scala环境搭建

当时上云计算课的时候，搭建的Hadoop+开发IDE及插件+spark的笔记，这里是第二部分Spark+Scala环境搭建。
SungLee_1992·2016-11-03 19:00

Spark+Scala环境搭建

当时上云计算课的时候，搭建的Hadoop+开发IDE及插件+spark的笔记，这里是第二部分Spark+Scala环境搭建。
SungLee_1992·2016-11-03 19:00

Elasticsearch基础教程

Markdown博文大赛清新开启中国云计算大会演讲议题公布大数据完美组合Spark+Scala游戏和图形开发研讨会让你脑洞大开Elasticsearch基础教程分类：ElasticsearchIndexBigData2014
huangxy10·2015-05-14 11:39
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他