Parquet 第13页

第二十四记·Spark SQL配置及使用

DataFrames和SQL提供了访问各种数据源（通过JDBC或ODBC连接）的常用方法包括Hive，Avro，Parquet，ORC，JSON和JDBC。您甚至可以跨这些来源加入数据。

一尺月光寒·2020-07-12 04:15

大数据常用文件格式介绍

文章目录一、SequenceFile二、Avro三、parquet四、Orc五、同为列式存储,orc和parquet的区别列式存储的优化点orc和parquet的一些区别和对比六、一些总结查询资料附录最近在做

疯狂哈丘·2020-07-12 03:54

hive 插入parquet二级分区表数据倾斜优化

1、最初查询insertintotablexx_parquet_v2PARTITION(dt,uiappid)select%sfromxxxwheredt=%s;错误：JavaHeapSpace。

YG_9013·2020-07-12 00:19

海量数据查询的一些关键技术

MPP架构，数据并行化处理垂直切分，列式存储，列存储只需要将需要查询的数据列load到内存即可，且列式存储压缩比很高，例如bigtable/hbase等列族数据存储、dremel/impala的parquet

百科全书学派·2020-07-11 11:22

使用argparse 函数在命令行定义读取文件位置及输出文件位置

读取和写入的位置都在hdfs中，文件类型是parquet文件。

土豆土豆，我是洋芋·2020-07-10 23:34

Kudu Java API 条件查询

KerasPyTorchMXNetTensorFlowPaddlePaddle深度学习实战（不定时更新）大数据组件使用总文章Impala操作/读写Kudu，使用druid连接池Kudu原理、API使用、代码KuduJavaAPI条件查询spark读取kudu表导出数据为parquet

あずにゃん·2020-07-10 15:39

spark external DataSource API (外部数据源)

用户想要的是方便快速从不同的数据源（json、parquet、rdbms），经过混合处理（jsonjoinparquet），再将处理结果以特定的格式（json、parquet）写回到指定的系统（HDFS

wjl7813·2020-07-10 12:48

第62课：SparkSQL下的Parquet使用最佳实践和代码实践学习笔记

第62课：SparkSQL下的Parquet使用最佳实践和代码实践学习笔记本期内容：1SparkSQL下的Parquet使用最佳实践2SparkSQL下的Parquet实战一：SparkSQL下的Parquet

梦飞天·2020-07-10 02:01

延云YDB&&YA100安装部署文档

Ya100比Parquet格式快5~100倍.任意维度组合,过滤，万亿数据秒级响应。Ya100内嵌ydb可以通过kafka进行数据的实时导入。依

qq_33160722·2020-07-09 22:51

Spark2.x 快速入门教程 5

Spark处理多种数据源一、实验介绍1.1实验内容SparkSQL通过DataFrame接口可以支持Parquet、JSON、Hive等数据源，将DataFrame注册为临时视图，可以允许你在数据上运行

oxuzhenyi·2020-07-09 21:57

利用 Spark DataSource API 实现Rest数据源

典型如Parquet,CarbonData,Postgrep(JDBC类的都OK)等实现。本文则介绍如何利用SparkDataSource对标准Rest接口实现读取引子先说下这个需求的来源。

祝威廉·2020-07-09 13:06

spark提交命令 spark-submit 的参数 executor-memory、executor-cores、num-executors、spark.default.parallelism分析

KerasPyTorchMXNetTensorFlowPaddlePaddle深度学习实战（不定时更新）Impala操作/读写Kudu，使用druid连接池Kudu原理、API使用、代码KuduJavaAPI条件查询spark读取kudu表导出数据为parquet

あずにゃん·2020-07-09 06:29

使用Sqoop导入导出parquet格式的Hive表

1、导入sqoopimport\--connectjdbc:mysql://10.10.0.1:3306/test\--usernameroot\--password123456\--tablesession_detail\--hive-import\--hive-overwrite\--hive-databbasexiet\--fields-terminated-by'\001'\--targe

BillowX_·2020-07-08 18:30

spark-parquet列存储之：数据写入过程源码分析

数据写入过程源码分析数据写入过程构造ParquetRecordWriter时构造InternalParquetRecordWriterpublicParquetRecordWriter(...）{internalWriter=newInternalParquetRecordWriter(w,writeSupport,schema,extraMetaData,blockSize,pageSize,c

天然呆的技术博客·2020-07-08 10:24

SparkSql学习之DataFrame

spark中几种数据类型:spark数据处理的过程，就是将数据以某种格式（txt,json,csv,parquet,mysql,hive,Hbase）导入，也就是read过程，对数据进行一定的处理之后，

qq_35660280·2020-07-07 22:50

parquet文件格式对常用系统的支持

1、Hive支持创建表时指定parquet格式即可：createtabletmp.orc_test(idbigint,namestring,ageint)storedasparquetTBLPROPERTIES

YG_9013·2020-07-07 15:57

Failed to load class "org.slf4j.impl.StaticLoggerBinder" spark

问题描述：在使用spark-shell时，开启的是本地模式，执行加载数据的命令报错scala>valusersDF=spark.read.load("/opt/module/datas/users.parquet

Coding___Man·2020-07-06 21:23

Hive的架构剖析

肉眼品世界·2020-07-06 19:21

22 14. 一次 Spark SQL 性能提升10倍的经历

www.tuicool.com/articles/r2qA7vm『Spark』14.一次SparkSQL性能提升10倍的经历|Taotao'sZonehttp://litaotao.github.io/spark-sql-parquet-optimize

葡萄喃喃呓语·2020-07-06 14:54

如何从HDFS导入数据到ClickHouse

从ClickHouse18.16.0版本开始支持从HDFS读文件，在19.1.6版本对HDFS访问功能进行了增强，支持读和写，在19.4版本以后开始支持Parquet格式。

Andy_Yang·2020-07-06 10:17

Spark SQL

它可以从原有的RDD创建，也可以是Parquet文件，最重要的是它可以支持用HiveQL从hive里面读取数据。下面是一些案例，可以在Sparkshell当

weixin_34124939·2020-07-06 00:08

扩展Spark Catalyst，打造自定义的Spark SQL引擎

Spark中最常见的扩展就是基于DataSourceAPI添加对新数据源的支持，除了Spark内置的HDFS，S3，Kafka等数据源，Parquet，Orc，Avro等数据类型，还有很多第三方的DataSourcePlu

weixin_33744854·2020-07-05 22:16

深入分析Parquet列式存储格式

原文地址：http://www.infoq.com/cn/articles/in-depth-analysis-of-parquet-column-storage-format?

不动明王1984·2020-07-04 23:59

Scala转化mysql中的BigDecimal数据类型

url,tablename,columnName,//按照mysql的某一列进行分区lowerBound,upperBound,numPartitions,//分区数prop)jdbcDF.write.parquet

flyinthesky111·2020-07-04 15:50

hive is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [48,46, 48,10]

1、创建表createtableifnotexistsyourtalle(`score`float,`pos`string)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'|';2、导入数据loaddatalocalinpath"***"overwriteintotableyourtable;导入数据格式举例：1.0|12.0|23.2|43、select*fromyou

qq_20488317·2020-07-02 16:30

Flink 写HDFS之BucketingSink

StreamingFileSink支持一些BucketingSink不支持的特性，如S3,parquet格式写等等，1代码示例：importjava.io.{FileWriter,Writer}imp

peidezhi·2020-07-02 14:02

Spark SQL和DataFrame的学习总结

spark通过DataFrame操作大量的数据源，包括外部文件（如json、avro、parquet、sequencefile等等）、hi

光脚丫丫·2020-07-02 13:29

Sqoop 同步数据到mysql， Can't parse input data: '\N'

Sqoop同步数据到mysqlSqoop从hdfs同步数据到mysql是我们常常遇到的事情同步分为分区表同步和非分区表同步需要注意以下几点1.hive中的表必须是textfile，不能是有parquet

mingming20547·2020-07-02 12:03

工具类

:String={valregEx="[^0-9]"valp=Pattern.compile(regEx)valm=p.matcher(str)m.replaceAll("").trim}/***从中parquet

kelovemn·2020-07-02 05:15

用Apache Spark进行大数据处理

通过SparkSQL，可以针对不同格式的数据执行ETL操作（如JSON，Parquet，数据库）然后完成特定的查询操作。在这一文章系列的第二篇中，我们将讨论SparkS

iteye_13851·2020-07-02 04:30

Kudu + IMPALA 的安装部署

在存储技术中，基于HDFS的存储技术，比如Parquet，具有高吞吐量连续读取数据的能力；而HBase和Cassandra等技术适用于低延迟的随机读写场景。KUDU则兼具两者的优点。

剪草的Kross·2020-06-30 21:14

Parquet的那些事（二）Spark中的Schema兼容问题

Parquet是一种存储格式，其本身与任何语言、平台都没有关系，也不需要与任何一种数据处理框架绑定。但是一个开源技术的发展，必然需要有合适的生态圈助力才行，Spark便是Parquet的核心助力之一。

Mr-Bruce·2020-06-30 19:39

Parquet的那些事（三）嵌套数据模型

在大数据系统中，我们总是不可避免的会遇到嵌套结构的数据。这是因为，在很多场景下，嵌套数据结构能更好的表达数据内容与层级关系，因此很多数据源会采用这样的结构来输出数据。然而，相比关系型的结构化数据，这样的数据并不利于高效查询，因此在很多场景下，我们还会通过ETL将其变为扁平结构的数据来存储。2010年，Google发表了论文Dremel:InteractiveAnalysisofWeb-ScaleD

Mr-Bruce·2020-06-30 19:39

kudu 导入/导出数据

KerasPyTorchMXNetTensorFlowPaddlePaddle深度学习实战（不定时更新）大数据组件使用总文章Impala操作/读写Kudu，使用druid连接池Kudu原理、API使用、代码KuduJavaAPI条件查询spark读取kudu表导出数据为parquet

あずにゃん·2020-06-30 17:20

Spark(SparkSql) 写数据到 MySQL中（Spark读取TCP socket/文件）

KerasPyTorchMXNetTensorFlowPaddlePaddle深度学习实战（不定时更新）Impala操作/读写Kudu，使用druid连接池Kudu原理、API使用、代码KuduJavaAPI条件查询spark读取kudu表导出数据为parquet

あずにゃん·2020-06-30 17:19

Spark Streaming 整合 Flume（Spark读取Flume）

KerasPyTorchMXNetTensorFlowPaddlePaddle深度学习实战（不定时更新）Impala操作/读写Kudu，使用druid连接池Kudu原理、API使用、代码KuduJavaAPI条件查询spark读取kudu表导出数据为parquet

あずにゃん·2020-06-30 17:19

【喜加一】parquet文件读写（在HDFS上）

parquet文件格式详解：https://www.infoq.cn/article/in-depth-analysis-of-parquet-column-storage-format⬆️这个链接主要描述了

某Zz·2020-06-30 17:55

hive 查询结果转为parquet格式存入hdfs中

hive查询结果转为parquet格式存入hdfs中，步骤：1.首先根据我们hive查询结果，新建一张表，2.然后，对表结构做修改，更改表指定存储格式为parquet，3.然后删除之前创建的那装表，然后新建这张指定存储格式的表

zhangshk_·2020-06-30 14:31

spark读取json，parquet文件

spark支持的一些常见的格式：文本文件，无任何的格式json文件，半结构化parquet，一种流行的列式存储格式sequencefile，一种用于key－value的hadoop文件格式，如果需要读hdfs

zzzzzzzzzzzzzzzzzxs·2020-06-30 12:55

一种解决Impala自定义属性查询的方案

背景在使用Impala做自助分析的过程中，我们经常发现自定义属性的需求，通常情况下用户会将这种不确定key的字段全部塞到一个MAP字段中，然后通过Impala的复杂结构查询语法进行查询，目前Impala只支持Parquet

教练_我要踢球·2020-06-30 09:23

Impala高性能探秘之HDFS数据访问

对于HDFS上的数据，Impala支持多种文件格式，目前可以访问Parquet、TEXT、avro、sequencefile等。

教练_我要踢球·2020-06-30 09:22

Parquet与ORC：高性能列式存储格式

级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、SparkSQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet

教练_我要踢球·2020-06-30 09:52

Spark--Spark SQL

SparkSQLDataFrame什么是DataFrameDataFrame与RDD的区别DataFrame与RDD的优缺点读取数据源创建DataFrame读取文本文件创建DataFrame读取json文件创建DataFrame读取parquet

youAreRidiculous·2020-06-30 08:28

Hive文件格式（表stored as 的五种类型）

hive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)5、PARQUET1、其中TEXTFILE为默认格式，建表时不指定默认为这个格式

小飞猪666·2020-06-30 06:22

sparkSQL读取hive分区表的问题追踪

根目录下所有的目录和文件信息，然后生成file的FakeFileStatus信息，用于生成table的schema信息，并且每次查询table都会判断该table的schema的信息是否有变化，如果有变化则从parquet

xiaolinzi007·2020-06-30 00:37

获得parquet文件的rows和filesize

publicstaticvoidgetParquetFileSizeAndRowCount()throwsException{PathinputPath=newPath("/user/hive/warehouse/user_parquet

woloqun·2020-06-29 20:53

大数据什锦_ORC&PARQUET_按列存储_Columnar VS Row-based

按列存储使用的是企业中最长见的ORC和PARQUET。这里不讲解对于Hive的使用。ColumnarVSRow-based行存储和

pomelorange·2020-06-29 18:19

sparkSQL---不同数据源的读写操作

sparkSQl可以读取不同数据源的数据，比如jdbc,json,csv,parquet执行读操作就用sparkSession.read.文件类型，执行写操作就用SparkSession.write.文件类型首先创建一个

weixin_43866709·2020-06-29 10:58

Netflix开源技术介绍

Netflix不仅使用Hadoop、Hive、Pig、Parquet、Presto以及Spark等被广泛采用的开源技术，同时还开发并贡献了一些其他的工具和服务。

weixin_34395205·2020-06-28 18:40

大数据：Hive - ORC 文件存储格式

和Parquet类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内进行按列存储。ORC文件是自描述的，它的元数据

weixin_33810302·2020-06-28 05:59

推荐频道

Parquet

第二十四记·Spark SQL配置及使用

大数据常用文件格式介绍

hive 插入parquet二级分区表数据倾斜优化

海量数据查询的一些关键技术

使用argparse 函数在命令行定义读取文件位置及输出文件位置

Kudu Java API 条件查询

spark external DataSource API (外部数据源)

第62课：SparkSQL下的Parquet使用最佳实践和代码实践学习笔记

延云YDB&&YA100安装部署文档

Spark2.x 快速入门教程 5

利用 Spark DataSource API 实现Rest数据源

spark提交命令 spark-submit 的参数 executor-memory、executor-cores、num-executors、spark.default.parallelism分析

使用Sqoop导入导出parquet格式的Hive表

spark-parquet列存储之：数据写入过程源码分析

SparkSql学习之DataFrame

parquet文件格式对常用系统的支持

Failed to load class "org.slf4j.impl.StaticLoggerBinder" spark

Hive的架构剖析

22 14. 一次 Spark SQL 性能提升10倍的经历

如何从HDFS导入数据到ClickHouse

Spark SQL

扩展Spark Catalyst，打造自定义的Spark SQL引擎

深入分析Parquet列式存储格式

Scala转化mysql中的BigDecimal数据类型

hive is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [48,46, 48,10]

Flink 写HDFS之BucketingSink

Spark SQL和DataFrame的学习总结

Sqoop 同步数据到mysql， Can't parse input data: '\N'

工具类

用Apache Spark进行大数据处理

Kudu + IMPALA 的安装部署

Parquet的那些事（二）Spark中的Schema兼容问题

Parquet的那些事（三）嵌套数据模型

kudu 导入/导出 数据

Spark(SparkSql) 写数据到 MySQL中（Spark读取TCP socket/文件）

Spark Streaming 整合 Flume（Spark读取Flume）

【喜加一】parquet文件读写（在HDFS上）

hive 查询结果转为parquet格式 存入hdfs中

spark读取json，parquet文件

一种解决Impala自定义属性查询的方案

Impala高性能探秘之HDFS数据访问

Parquet与ORC：高性能列式存储格式

Spark--Spark SQL

Hive文件格式（表stored as 的五种类型）

sparkSQL读取hive分区表的问题追踪

获得parquet文件的rows和filesize

大数据什锦_ORC&PARQUET_按列存储_Columnar VS Row-based

sparkSQL---不同数据源的读写操作

Netflix开源技术介绍

大数据：Hive - ORC 文件存储格式

kudu 导入/导出数据

hive 查询结果转为parquet格式存入hdfs中