Spark-Scala

计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计

mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；3.根据.csv文件结构，使用hive建库建表；4.一半分析指标使用hive_sql完成，一半分析指标使用Spark-Scala
计算机毕业设计大神·2024-02-05 14:48

【IDEA】spark-scala快速返回数据类型的方法

目录1、需求说明2、操作1、需求说明在使用scala语言做spark项目时，在IDEA中需要快速返回带类型的值；2、操作
郝少·2023-11-29 12:02

Scala---WordCount

二、Spark-Scala版本的WordCount1.valconf=newSparkConf()2.conf.setMaster("local")3.conf.setAppName("scala-wc
30岁老阿姨·2023-11-21 08:25

Process exited with an error: -10000 (Exit value: -10000） 以error: java.lang.StackOverflowError为起源

Processexitedwithanerror:-10000(Exitvalue:-10000）1.问题描述编译一段spark-scala程序时，打包文件失败，由于之前也偶发性存在这种问题，关闭其他应用
我真的有在变好·2023-11-20 03:18

用 Spark-Scala 训练 LightGBM 模型

Spark-scala可以使用LightGBM模型，既可以进行分布式训练，也可以进行分布式预测，支持各种参数设置。支持模型保存，并且保存后的模型和Python等语言是可以相互调用的。
程序员的隐秘角落·2023-10-27 22:05

如何在Scala上做增量覆盖率(incremental coverage)计算？

你还可以参考：Spark-Scala单元测试实践-码农教程(manongjc.c
予早·2023-08-19 20:53

idea 运行Spark-Scala发生错误：Caused by: java.lang.reflect.InaccessibleObjectException解决方式

在idea用Scala语言实现SparkWordCount案例完整错误：Causedby:java.lang.reflect.InaccessibleObjectException:Unabletomakeprivatejava.nio.DirectByteBuffer(long,int)accessible:modulejava.basedoesnot“opensjava.nio”tounnam
piaow_·2023-03-10 20:12

如何在Scala上做增量覆盖率(incremental coverage)计算？

你还可以参考：Spark-Scala单元测试实践-码农教程(manongjc.com)UnitTestsUnittestingisapowerfultoolforsoftwarequality--andhasbeenfordecades.Unittestsprovideafundamentalcheckthatanapplication
予早·2022-06-24 10:15

京东数据挖掘工程师常用的 10多个 pandas 函数

df就是例子dataframeimportpandasaspd1.把columnname转成list[str]pandas:list(df)spark-scala:df.colums.toSeq()2.
TinaO-O·2022-03-19 08:39

如何借用Mapperduce框架进行xgboost分布式预测(java版)

背景：能分布式地预测数据（当然spark-scala框架本身就可以做到）。
一个菜鸟的自我修养·2021-06-05 14:35

IDEA设置默认的maven环境、加入scala环境、spark-scala项目pom设置、打包、提交命令

当前项目选settings...，以后所有其他项目选settingsfornewprojects...搜索到maven选项卡，设置三处：mavenhome、settings.xml、localrepository新建maven项目，加入scala环境，file-projectstructure-copytoprojectlibraries新建scala文件夹，右键文件夹makediras--sou
奇妙探险家·2020-09-12 14:21

好久不更新博客，关于spark-scala上开发的总结

很久一段时间没有更新博客了，因为实验室项目（我真不是学cs的）的原因耽搁了一阵，主要在实习的地方做一个基于spark的大流量自然语言处理的项目，这里主要是一些注意事项和总结，不分先后：1.对于共享变量举个例子，你的一个模型是LR或者是其他，那么矩阵系数w是一个大矩阵，如何将这个矩阵放到每个executor，方便计算和处理，目前我是用的是driver读入数据，然后broadcast，然后在map里面
滚滚的纸盒子·2020-07-27 22:23

spark使用中的一些总结-进阶版

忙完毕业，写点啥呢，写点实习中的东西吧，主要关于spark的使用相关，相当于之前spark-scala的进阶版？惯例，我主要是做个笔记自己看的，如有雷同，算我抄你的。
滚滚的纸盒子·2020-07-27 11:53

spark-scala调用tensorflow2.0训练好的模型

日萌社人工智能AI：KerasPyTorchMXNetTensorFlowPaddlePaddle深度学习实战（不定时更新）6-7,使用spark-scala调用tensorflow2.0训练好的模型本篇文章介绍在
あずにゃん·2020-06-30 17:46

Spark-Scala常用函数

一、读取1、textFile()读取外部数据源2、map()遍历每条数据处理3、mapvalues(_+10)传入一个函数，类似于map方法，不过这里只是对元组中的value进行计算4、keysvaluesvalrdd1=sc.parallelize(List("dog","tiger","lion","cat","panther","eagle"),2)valrdd2=rdd1.map(x=>(
DoveYoung8·2018-05-18 10:46

Spark-Scala常用函数

一、读取1、textFile()读取外部数据源2、map()遍历每条数据处理3、mapvalues(_+10)传入一个函数，类似于map方法，不过这里只是对元组中的value进行计算4、keysvaluesvalrdd1=sc.parallelize(List("dog","tiger","lion","cat","panther","eagle"),2)valrdd2=rdd1.map(x=>(
DoveYoung8·2018-05-18 10:46

Spark学习: Spark-Scala-IntelliJ开发环境搭建和编译Jar包流程

脚本编译成Jar包，然后通过spark-submit提交Jar包给spark集群，当需要重复利用脚本的话一般是需要编译成Jar包的，所以后面会介绍下怎么将scala编译成Jar包，前面则会介绍下怎么搭建spark-scala
databatman·2016-08-29 22:17

Spark学习: Spark-Scala-IntelliJ开发环境搭建和编译Jar包流程

脚本编译成Jar包，然后通过spark-submit提交Jar包给spark集群，当需要重复利用脚本的话一般是需要编译成Jar包的，所以后面会介绍下怎么将scala编译成Jar包，前面则会介绍下怎么搭建spark-scala
databatman·2016-08-29 22:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他