parquet

Spark SQL数据源操作

概述：本文介绍SparkSQL操作parquet、hive及mysql的方法，并实现Hive和MySql两种不同数据源的连接查询1、操作parquet（1）编程实现#启动spark-shell.
JeeThink·2019-05-04 20:20

Spark SparkSQL的数据加载和落地

1.数据的加载使用read.load(path)默认加载的是parquet格式的文件，如果需要加载其他类型的文件，需要通过format(类型)指定。
猫君之上·2019-04-30 09:02

Spark学习之Spark SQL

(1)SparkSQL可以从各种结构化数据源（例如JSON、Hive、Parquet等）中读取数据。
|旧市拾荒|·2019-04-27 15:00

Hive的存储格式对比

官方参考文档：https://cwiki.apache.org/confluence/display/HIVE结论：压缩效果：最好的是：bzip2；bzip2压缩比很高，但是占用时间较久其次：orc和parquet
bigdata_lzw·2019-04-20 00:25

行式存储 与 列式存储

所有的数据都在一块优点：select*fromtable时效率很快,但实际应用中一般不会select*缺点:当selecta,cfromtable时也会加载所有的列，也就是所有的数据，这样IO就很大以列存储时(parquet
喵星人ZC·2019-04-20 00:16

Hive中的数据类型以及存储格式

文章目录一、数据类型1、基本数据类型2、复杂数据类型二、存储格式1、textfile2、SequenceFile3、RCFile4、ORCFile5、Parquet三、数据格式一、数据类型1、基本数据类型
TheRa1nMan·2019-04-19 20:15

Hadoop运维记录系列（二十七）

访问源码如下，使用pyspark2.1.3，基于CDH5.14.0hive1.1.0+parquet，其中select的部分会访问hdfs加密区域。
Slaytanic·2019-04-10 18:37

Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的对比）

综述：HIve的文件存储格式有四种：TEXTFILE、SEQUENCEFILE、ORC、PARQUET，前面两种是行式存储，后面两种是列式存储；所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式
夜古诚·2019-04-06 16:18

hive的数据文件存储格式

parquet：自定义输入输出格式。具体描述1、t
lds_include·2019-03-25 10:19

同一条sql语句 ，Spark Sql 和 hive shell 查询数据结果不一致。

背景:hive表数据文件存储格式是parquet,存储在aliyun的oss存储中问题描述:saprksql程序读取结果:hiveshell数据读取结果:hiveshell查询的结果是完整的.数据的写入通过
HappyLin0x29a·2019-03-14 17:47

Spark 实时处理 总文章

Impala操作/读写Kudu，使用druid连接池Kudu原理、API使用、代码KuduJavaAPI条件查询spark读取kudu表导出数据为parquet文件（sparkkuduparquet）kudu
日萌社·2019-03-14 16:15

Impala性能调优最佳实践

Impala性能调优最佳实践概览1选择合适的文件格式通常对于大数据集而言(每个分区或者表的大小为几个G或者更大)，推荐使用Parquet文件格式。
jmx_bigdata·2019-03-04 17:51

CDH 安装 presto集成hive和mysql

它可以共享Hive的元数据，然后直接访问HDFS中的数据，同时支持Hadoop中常见的文件格式比如文本，ORC和Parquet。
时间_实践·2019-03-02 16:09

Flink生成Parquet格式文件实战

2.内容Hive能够识别很多类型的文件，其中包含Parquet文件格式。因此，我们只需要将Flink消费Kafka后的数据以Parquet文件格式
哥不是小萝莉·2019-02-24 16:00

用 parquet 数据模拟实时数据流

用parquet数据模拟实时数据流importohmysummer.conf.
焉知非鱼·2019-02-20 16:34

用 parquet 数据模拟实时数据流

用parquet数据模拟实时数据流importohmysummer.conf.
焉知非鱼·2019-02-20 16:34

hbase实现TXT,CSV,ORC和Parquet格式数据的导入和导出代码

下面纯属原创，只是实现其功能，性能上对于大规模数据尚有欠缺，直接上代码：导入：publicImportDataResponseimportData(StringconnectionID,StringdataBase,StringtableName,StringsourceFileType,StringsourceFilePath)throwsException{ImportDataResponse
qiangzi_lg·2019-01-28 14:03

Spark 使用 parquet 文件存储格式

1）如果说HDFS是大数据时代分布式文件系统首选标准，那么parquet则是整个大数据时代文件存储格式实时首选标准。
RayfunC·2019-01-24 08:11

一文学会绕过Hive存储和压缩的坑

在我实际查看以后，发现集群的文件存储格式为Parquet，一种列式存储引擎，类似的还有ORC。而文件的压缩形式为Snappy。具体的操作形式如下：①创建Parq
假的鱼·2019-01-21 20:28

Hive调优

Hive存储格式选择和Hive相关优化：压缩参考Hive支持的存储数的格式主要有：TEXTFILE、SEQUENCEFILE、ORC、PARQUET。
cpongo333·2019-01-18 00:24

spark-sql的概述以及编程模型的介绍

外部的结构化数据源包括JSON、Parquet(默认)、RMDBS、Hive等。当前SparkSQL使用Catalyst优化器来对SQL进行优
原生zzy·2019-01-05 12:09

DataFrame 读取与保存

这些数据源包括Hive表，JSON，Parquet，CSV等文件。
时间_实践·2019-01-04 17:19

数据存储text转parquet及引发的OOM问题

1.数据转parquet的后效果table1为textfile格式存储的表，分区20161122转换之前大小约400M,分别以parquet无压缩，parquetsnappy压缩和parquetgzip
javastart·2019-01-03 17:50

Impala 简单使用指南

中的数据进行作业调度，速度快3.使用了支持datalocality的IO调度机制：尽可能将数据和计算分配在同一台机器上，减少网络开销4.支持各种文件格式，如TEXTFILE、SEQUENCEFILE、RCFile、Parquet
123.56.119.133:8090·2018-12-26 19:33

Sqoop 同步数据到mysql， Can't parse input data: '\N'

Sqoop同步数据到mysqlSqoop从hdfs同步数据到mysql是我们常常遇到的事情同步分为分区表同步和非分区表同步需要注意以下几点1.hive中的表必须是textfile，不能是有parquet
IloveMing0305·2018-12-26 17:32

大数据文件格式揭秘：Parquet、Avro、ORC

Parquet、Avro、ORC格式相同点基于Hadoop文件系统优化出的存储结构提供高效的压缩二进制存储格式文件可分割，具有很强的伸缩性和并行处理能力使用schema进行自我描述属于线上格式，可以在Hadoop
AlferWei·2018-12-17 20:28

MR优化总结

优化前1.熟知业务要求2.熟知数据分布状态（是否倾斜、是否是多个小文件等），可以使用采样来了解数据通用型优化策略1.文件存储格式使用更加优化的格式的文件，例如Parquet、ORC，综合来说，ORC最优
夏橙、·2018-12-10 19:54

大数据：Hive - ORC 文件存储格式

和Parquet类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内进行按列存储。ORC文件是自描述的，它的元数据
guicaizhou·2018-12-06 11:15

Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的存储格式的压缩对比和查询速度对比）

综述：HIve的文件存储格式有四种：TEXTFILE、SEQUENCEFILE、ORC、PARQUET，前面两种是行式存储，后面两种是列式存储；所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式
isea_you·2018-12-06 11:06

csv、parquet、orc读写性能和方式

背景最近在做一个大数据分析平台的项目，项目开发过程中使用spark来计算工作流工程中的每一个计算步骤，多个sparksubmit计算提交，构成了一个工作流程的计算。其中使用csv来作为多个计算步骤之间的中间结果存储文件，但是csv作为毫无压缩的文本存储方式显然有些性能不够，所以想要寻找一个存储文件效率更高或者执行效率更高的文件格式作为替代品。存储方式csvcsv数据文件属于文本存储方式，spark
guicaizhou·2018-12-05 17:03

Spark学习（陆）- Spark操作外部数据源

文章目录产生背景概念目标操作Parquet文件数据操作Hive表数据操作MySQL表数据操作MySQL的数据方法一:操作MySQL的数据方法二:操作MySQL的数据方法三:Hive和MySQL综合使用产生背景每个
-无妄-·2018-12-03 15:55

大数据中常用的几种数据格式对比(avro、orc、parquet)

不同数据格式特点1).AVRO:主要为行存储设计的主要目标是为了满足schemaevolutionschema和数据保存在一起2).ORC：面向列的存储格式由Hadoop中RCfiles发展而来，比RCfile更大的压缩比，和更快的查询速度Schema存储在footer中不支持schemaevolution支持事务(ACID)为hive而生，在许多non-hiveMapReduce的大数据组件中不
~shallot~·2018-11-26 17:18

Spark Sql

目录SharkSparkSqlHiveonSpark模式SparkSQLonHive模式DataFrameDataFrame创建方式读json文件（不能是嵌套格式的json）读取json格式的RDD读取parquet
Hello_Money_WZG·2018-11-18 17:57

创建ORC结果表

和Parquet类似，它并不是一个单纯的列式存储
weixin_34064653·2018-11-14 13:40

Spark Hive 导入数据到 HBase

上一篇博客中已经做了介绍MapReduceHive导入数据到HBase，MR这种方式有两个缺点，一是当数据量特别大的时候，执行较慢，hive中表的存储格式有多种，除了上面两种，还有常用的两种就是ORC和Parquet
HG_Harvey·2018-11-06 15:50

Spark SQL（三）：Parquet数据源

Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目。列式存储和行氏存储相比，有哪些优势？
张凯_9908·2018-11-05 13:06

Spark SQL操作多种数据源

SparkSQL的默认数据源格式为parquet格式。数据源为Parquet文件时，SparkSQL可以方便地进行读取，甚至可以直接在Parquet文件上执行查询操作。
大鱼-瓶邪·2018-11-04 17:09

Apache Flink 各类关键数据格式读取/SQL支持

基于SQL归并时SparkStreaming支持的输入/输出数据如下：数据类型Flink支持情况Kafka需要定义schemaHDFS(parquet/csv/textfile)读取parquet需要使用
rongyongfeikai2·2018-11-02 16:22

spark1.6使用：读取本地外部数据，把RDD转化成DataFrame，保存为parquet格式,读取csv格式

一、先开启Hadoop和spark略二、启动spark-shellspark-shell--masterlocal[2]--jars/usr/local/src/spark-1.6.1-bin-hadoop2.6/libext/com.mysql.jdbc.Driver.jar1.读取spark目录下面的logs日志作为测试：valalllog=sc.textFile("file:///usr/l
lbship·2018-11-01 15:22

Spark SQL的数据源(Spark2.3.2)

jmx_bigdata/article/details/83619838目录一、普通的Load/Save方式1.手动指定文件格式2.使用SQL直接查询文件3.保存模式4.保存为永久的表5.分桶、排序与分区二、Parquet
jmx_bigdata·2018-11-01 14:38

转Parquet文件

介绍：ApacheParquetisacolumnarstorageformatavailabletoanyprojectintheHadoopecosystem,regardlessofthechoiceofdataprocessingframework,datamodelorprogramminglanguage.(ApacheParquet是一种基于列式存储的文件格式，可用于Hadoop生态
Round_Yuan·2018-10-25 09:36

数据计算中间件技术综述

对于数据存储，目前Apache社区提供了多种存储引擎的选择，除了传统的HDFS文件和HBase，还提供了Kudu、ORC、Parquet等列式存储，大家可以根据自身的需求特点进行
chaochao52001·2018-10-18 23:11

Hive文件格式

文章目录1.概述1.1行存储列存储2.TEXTFILE3.SEQUENCEFILE3.RCFILE4.ORCFILE5.Parquet8.区别8.1空间对比，磁盘空间占用大小比较8.2查询语句运行时间大小比较
九师兄-梁川川·2018-10-18 19:34

关于spark以parquet写入时的小问题

今天使用spark对一个dataframe中的数据以某一个为主键做groupby进行求和，数据类似如下：scala>userDF.show+---------+--------+|userid|count|+--------+---------+|11111111|102||2222222|97||3333333|10||11111111|24|+----------+-------+scala>
冷风冷雨·2018-10-17 18:29

DataFrame 读取与保存

这些数据源包括Hive表，JSON，Parquet，CSV等文件。
hipeer·2018-10-13 09:53

parquet

参考大数据开源列式存储引擎Parquet和ORC新型列式存储格式Parquet详解读写parquet格式文件的几种方式Parquetfileoptionalfielddoesnotexistparquet
羽溪夜·2018-10-11 17:19

Impala与Hive混合使用的一个深坑

Hive版本1.1.0-cdh5.9.0Impala版本2.7.0-cdh5.9.0Impala的高性能很好的弥补了Hive的查询响应慢的缺陷，在生产中若有实时查询的需求，我通常将这些表以Parquet
Caoyun·2018-10-09 16:38

Hive进阶（2）—— 存储格式

Hive/FileFormats官网介绍：Hivesupportsseveralfileformats:*TextFile*SequenceFile*RCFile*AvroFiles*ORCFiles*Parquet
疯狂呼呼呼·2018-09-27 22:28

【SparkSQL详解】

简单介绍sparksql是spark的一个重要的组件，该组件主要是处理结构化的数据，从外部数据源（hive,json,.csv,parquet,orc等）读取到内存中，在内存中以DataFrame形式存在
热血趁年华·2018-09-26 16:33

【spark】命令行查看parquet文件内容

/spark-shell2，执行以下操作读取parquet文件valsqlContext=neworg.apache.spark.sql.SQLContext(sc)valparquetFile=sqlContext.parquetFile
bible_reader·2018-09-21 16:16
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他