spark 读取csv 变为dataframe

试了网上的好几种读取csv文件的方法,总会有些错误,用这个方法就解决了,我的环境是spark 2.1.1

val data = spark.read.format("csv").option("header", "true").load("file:///home/xin/lb/AAAA.csv")
data.show(10)

在文件路径下加"file://” 如果不加,程序会自动搜索hdfs的路径而不是本地路径,博主在这个地方耽误了好久。
data.show() 中的show()方法只能在控制台打印出20行,大家如果觉得数据太多可以选择合适的行数。

你可能感兴趣的:(Spark,DateFrame)