Spark(Streaming)写入数据到文件-关键为根据数据内容输出到不同自定义名称文件(saveAsHadoopFile以及自定义MultipleOutputFormat)
之前的Spark实时流处理的数据处理程序,要求把数据从kafka接收之后,分2路分别写入kafka和hdfs,写入kafka的部分之前已经有过总结,现在回过头来把之前的写入HDFS的地方重新总结一下,整个过程从头到尾有一个写入方式的优化,不过时间有点长啦,尽量描述完整(˘³˘)♥。注意:本文中使用的版本是spark2.2.1和2.6.0-cdh5.11.0背景在工作中,需要将从kafka收到的数据