scala-spark

17 ，spark 写文件到 s3 ( 本地运行 )

一，spark写出文件到s3：1，pom.xml：跟下载的时候一致2，scala-spark代码：packagecom.scalaDemoimportorg.apache.spark.rdd.RDDimportorg.apache.spark.sql.SparkSessionobjectSparkScalaTest
孙砚秋·2020-07-13 10:55

scala-spark版本xgboost包使用

//XGBOOST测试//调用形式///opt/app/spark-1.6.1/bin/spark-shell--masteryarn-client--confspark.executor.extraJavaOptions='-XX:PermSize=1024M'--driver-memory6g--num-executors80//(续上)--executor-memory6g--executo
山谷來客·2020-07-12 01:51

Scala-Spark环境搭建配置

开始搭建的jdk这些自不必说，本文只是简单的介绍安装scala/spark1.下载scala安装包去官网下载tgz包，解压在/opt/scala/下，设置环境变量：exportSCALA_HOME=/opt/scala/scala-2.10.3 exportPATH=$SCALA_HOME/bin:$PATH设置完成后，就可以了，在命令行里测试安装是否正确：#scala  会进入类似于Mysql的
hanzhankang·2014-02-28 18:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他