spark读取、写入Clickhouse以及遇到的问题

最近需要处理Clickhouse里面的数据,经过上网查找总结一下spark读写Clickhouse的工具类已经遇到的问题点。具体Clickhouse的讲解本篇不做讲解,后面专门讲解这个。

一、clickhouse代码操作

话不多说直接看代码

1.引入依赖:


	ru.yandex.clickhouse
	clickhouse-jdbc
	0.2.4

0.2.4  这个版本用的比较多一点

2.spark对象创建 

val spark = SparkSession.builder().appName("testclickHouse")
                        .master("local")
                        .getOrCreate()

3.spark读取clickhouse数据:

  def clickHouseRead(spark: SparkSession): DataFram

你可能感兴趣的:(大数据基础,大数据从入门到精通,clickhouse,spark)