1.新建一个文件夹,并放入我们的winutils.exe文件.
2. 我们把这个路径写上去就好了.
image.png
3. 目前的结构
4. 这是mode 和 我们的文件形式
5. Parquet文件格式
image.png
5.读写分区
为什么写成一个文件夹
rdd 支持分区,直接把每一个RDD分区,写成一个文件.
hive 分区
写东西
读取数据
SparkSQL读写_JSON
JSON 格式的读写
JSON 格式读写上的小技巧
JSON 的应用场景
image.png
image.png
image.png
JSON 的小技巧
image.png
image.png
image.png
M
image.png
image.png
SparkSQL 读写Hive 整合
image.png
image.png
image.png
改类型
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
SparkSQL 访问 Hive 中的表
image.png