Spark学习:spark读写postgreSql

读写PostgreSql

    • 一、环境搭建
    • 二、写
    • 三、读
    • 四、ETL

一、环境搭建

1、spark安装包,官网地址,我下的是如下版本
Spark学习:spark读写postgreSql_第1张图片
2、postgreSql数据库jdbc驱动,官网地址,我下的是如下版本
在这里插入图片描述
3、java版本1.8;scala版本2.12.15
4、spark安装包解压到任意目录,把postgreSql的jdbc驱动jar包放在spark的jars目录下
5、创建maven项目,把maven项目的Modules的Dependencies指定的到spark解压后的jars目录
Spark学习:spark读写postgreSql_第2张图片
6、此时你的External Libraries应该多了很多jar包,如下所示,如果没有,就是有问题了

你可能感兴趣的:(Spark,spark,学习,postgresql)