Spark如何读取csv文件

  • 测试文件的文件格式具体如下

userId,movieId,rating,timestamp
1,296,5.0,1147880044
1,306,3.5,1147868817
1,307,5.0,1147868828
1,665,5.0,1147878820
1,899,3.5,1147868510
1,1088,4.0,1147868495
1,1175,3.5,1147868826
1,1217,3.5,1147878326
1,1237,5.0,1147868839

  • 代码实现如下
val data = spark.sqlContext.read.format("com.databricks.spark.csv").option("header","true").option("inferSchema", true.toString).load("xzy/test/ratings.csv")
  • 执行结果如下
    Spark如何读取csv文件_第1张图片

你可能感兴趣的:(spark)