parquet

spark题03

1.Spark使用parquet文件存储格式能带来哪些好处？
博弈史密斯·2018-09-18 21:18

Spark SQL External DataSource

这使得SparkSQL支持了更多的类型数据源，如json,parquet,avro,csv格式。只要我们愿意，我们可以开发出任意的外部数据源来连接到SparkSQL。
烙痕·2018-09-12 09:37

java.lang.NoClassDefFoundError: Could not initialize class org.xerial.snappy.Snappy

在linux平台，spark读取hdfs上的parquet文件时，抛出的Snappy类不能初始化：java.util.concurrent.ExecutionException:java.lang.NoClassDefFoundError
ShyieZhang·2018-09-10 20:58

12.spark sql之读写数据

这些数据源包括Parquet、JSON、Hive表及关系型数据库等。  当只使用一部分字段时，SparkSQL可以智能地只扫描这些字段，而不会像hadoopFile方法一样简单粗暴地扫描全部数据。
菲立思教育·2018-09-09 16:25

hive表存储为parquet格式

Hive0.13以后的版本创建存储格式为parquet的hive表：CREATETABLEparquet_test(idint,strstring,mpMAP,lstARRAY,strctSTRUCT)
AlferWei·2018-09-04 11:00

Sqoop从Mysql导出到Hive的几个需要注意的地方

背景：在此记录下使用sqoop将数据从mysql导出到hive过程中需要注意的几个地方，包括NULL值处理、增量导入、parquet格式的日期类型注：这种数据传输工具其实没必要深究所有用法，用到哪块去研究下就行了
深寒丶·2018-08-25 22:48

No applicable constructor/method found for actual parameters

在用caseclass解析parquet文件时，比如先去查看下数据的schema，是如下形式的构造一个caseclass如下caseclassxxx(id:String,idType:Byte,appUsage
很吵请安青争·2018-08-23 09:10

SparkSQL-Parquet文件

Parquet是一种支持多种数据处理系统的柱状的数据格式，Parquet文件中保留了原始数据的模式。SparkSQL提供了Parquet文件的读写功能。列式存储和行式存储相比有哪些优势呢？
Anbang713·2018-08-21 22:07

使用Hive SQL插入动态分区的Parquet表OOM异常分析

转载自微信公众号Hadoop实操：https://cloud.tencent.com/developer/article/1079007使用HiveSQL插入动态分区的Parquet表OOM异常分析温馨提示
frank_jyp·2018-08-17 17:36

Spark的Parquet向量化读取原理

起因：测试过程中，发现一个spark的一个参数设置可以带来5倍以上的性能差异参数：spark.sql.parquet.enableVectorizedReaderSQL：SELECT*FROMad_tetris_dw.ad_insight_record_hourly_testWHEREpage_url
WayBling·2018-08-14 22:15

Hive 或 Impala 的数据类型与 对应底层的 Parquet schema的数据类型不兼容

背景：修改了hive表的某些字段的数据类型，如从String->Double，此时，该表所对应的底层文件格式为Parquet，修改之后，更新Impala索引，然后查询修改数据类型的字段，会出现与Parquetschema
Ego_Bai·2018-08-13 19:29

【十五】SparkSQL访问日志分析：数据清洗、数据分析（分组、排序、窗口函数）、入库（MySQL）、性能优化

解析第一步清洗后的数据，处理时间，提出URL中的产品编号、得到产品类型，由IP得到城市信息（用到开源社区的解析代码，该部分具体介绍：ipdatabase解析出IP地址所属城市），按照天分区进行存储（用parquet
jy02268879·2018-07-30 18:06

java解析Parquet文件

获取Parquet文件，解析为LIstpackagecom.emcc.hiacloud.analytics.common.util;importcom.alibaba.fastjson.JSONArray
龍尐·2018-07-26 11:24

Spark之DataFrame操作大全

一、DataFrame对象的生成Spark-SQL可以以其他RDD对象、parquet文件、json文件、Hive表，以及通过JDBC连
SuperBoy_Liang·2018-07-23 17:31

[Spark]-结构化数据查询之数据源篇

&保存数据转换(relationaltransformations)注册临时视图(temporaryview),来允许SQL的形式直接对临时视图进行操作7.1数据源加载Spark-SQL的默认数据源为parquet
weixin_30323631·2018-07-05 00:00

hive常见的几种文件存储格式与压缩方式的结合-------Parquet格式+snappy压缩 以及ORC格式+snappy压缩文件的方式

一.使用Parquet存储数据数据使用列存储之前是普通的行存储，下面是行存储的的文件大小，这个HDFS上的数据使用parquet列存储，可以将文件的大小减小化。
一直奔跑从未停息·2018-07-03 01:27

Parquet与ORC：高性能列式存储格式

2016年07月09日20:37:22阅读数：18081背景随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、SparkSQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、
cjlion·2018-07-02 14:42

Hive---外部分区表的创建

（1）假设有个分区表，数据如下：hive>showcreatetablepartition_parquet;OKCREATETABL
Data_IT_Farmer·2018-06-23 19:00

spark 读取parquet

列式存储布局（比如Parquet）可以加速查询，因为它只检查所有需要的列并对它们的值执行计算，因此只读取一个数据文件或表的小部分数据。Parquet还支持灵活的压缩选项，因此可以显著减少磁盘上的存储。
瓦力冫·2018-06-22 19:05

Spark SQL操作多数据源

DataFrame提供支持统一的接口加载和保存数据源中的数据，包括：结构化数据，Parquet文件，JSON文件，Hive表，以及通过JDBC连接外部数据源。
不清不慎·2018-06-18 17:35

浅谈DataFrame和SparkSql取值误区

原始数据scala>valparquetDF=sqlContext.read.parquet("hdfs://hadoop14:9000/yuhui/parquet
silentwolfyh·2018-06-09 08:14

spark 调优：控制输出文件的个数

DataFrame输出结果保存为文件时，尤其是根据某个条件分区时，可以控制输出文件的个数，从而减少小文件的个数DataFrame..coalesce(1).write.format("parquet")
Chengliangyao·2018-06-08 10:14

Impala表使用Parquet文件格式 2017年05月23日

准备了一个427144792行的textfile格式表t_item：[impale-host:21000]>selectcount(1)fromt_item;Query:selectcount(1)fromt_item+-----------+|count(1)|+-----------+|427144792|+-----------+Fetched1row(s)in191.67s该表在hdfs存
lin502·2018-06-06 10:28

大数据：Hive - ORC 文件存储格式

和Parquet类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内进行按列存储。ORC文件是自描述的，它的元数据
shangzhi_quan·2018-06-04 10:58

2018年最新大数据24期实战项目 9天 附课件源码

第一天：01.传统广告回顾02.几个问题思考03.广告的表现形式04.名词解释05.DSP原理图06.DSP业务流程07.DMP项目背景08.DMP业务流程----重要09.日志格式介绍10.需求一日志转parquet
maoqun55·2018-06-03 17:02

Spark处理外部数据源

产生背景：1.数据以各种格式存储在系统中2加载和保存数据不容易（Hive和mysql之间）3.数据存在各种类型，不好解析4.转换数据格式5.格式转换6.用户希望方便快速从不同数据源（json，parquet
慧有未来·2018-06-01 22:32

构建大数据ETL通道--Json数据的流式转换--Json转Parquet（三）

如果生成的日志数据是Avro格式，可直接采用上一篇的方式（https://blog.csdn.net/qq_29829081/article/details/80518671），将Avro数据转储为Parquet
TOMSCUT·2018-06-01 08:50

构建大数据ETL通道--Json数据的流式转换--Avro转Parquet（二）

如果我们生成的日志是Avro格式的文件，那么可以直接采用kite-dataset将Avro数据流式转换成Parquet数据进行存储，并在Hive进行查询。以下是具体步骤：1创建dataset.
TOMSCUT·2018-05-31 08:59

SPARK2.2 DATAFRAME的一些算子操作

一、DataFrame对象的生成Spark-SQL可以以其他RDD对象、parquet文件、json文件、Hive表，以及通过JDBC连
DemonHunter211·2018-05-25 16:32

hive查询报错:java.io.IOException:org.apache.parquet.io.ParquetDecodingException

hiveQueryException/前言本文解决如标题所述的一个hive查询异常，详细异常信息为：Failedwithexceptionjava.io.IOException:org.apache.parquet.io.ParquetDecodingException
董可伦·2018-05-21 00:37

面试中必须要会的知识点

联网方式，操作系统，客户端）渠道分析媒体分析统一用户识别数据标签化用户上下文标签合并图计算再次合并标签把标签存入HBase，再次合并标签-->数据到了HBase以后，就到了精准营销部门2、项目中的知识点1）parquet
匿名啊啊啊·2018-05-19 00:00

大数据面试题集锦(三)

1.Spark使用parquet文件存储格式能带来哪些好处？
Zzreal·2018-05-10 22:46

大数据：Hive - ORC 文件存储格式

和Parquet类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内进行按列存储。ORC文件是自描述的，它的元数据
cnhome·2018-05-08 16:34

There are 2 missing blocks The following files may be corrupted

检查文件缺失情况可以看到，/user/hive/warehouse/mid_table/part-00000-2434bd33-8a21-4249-9c0c-17e0f4ba397b-c000.snappy.parquet
南山黑·2018-05-05 10:54

hadoop权威指南第四版中文PDF及源码

本文带来的资源是hadoop权威指南第四版英文原版、中文版以及配套的源码，内容以Hadoop2.x为主，包含一些hadoop的stable版本的新特性，与之前的版本相比增加了介绍YARN,Parquet
zhouxx·2018-05-03 23:42

Hive的几种常见压缩格式（ORC，Parquet，Sequencefile，RCfile，Avro）的读写查询性能测试

一.测试背景工作中想把历史的APP日志结构化到Hive中进行查询，由于数据较大，需要进行压缩，根据Hive官方提供的几种压缩格式分别进行写入，读取，OLAP计算的性能测试，以求找到最好的压缩格式。二.测试方法概述数据来源：采用生产上数据抽样，大小为100G。原始日志格式为textfile文件（标准JSON）。测试平台：公司Ambari测试平台，物理内存100G。测试方法：将textfile文件通过
人唯优·2018-04-26 12:13

spark sql 的介绍

可以通过存在的RDD、一个Parquet文件、一个JSON数据库或者对存储在ApacheHive中的数据执行Hive
Se_cure·2018-04-22 19:02

impala创建parquet文件的外表及两个容易忽略的陷阱

impala外表的创建方法impala创建外表有两种方式，一种由impala-shell进行创建，一种通过hiveshell进行创建。impala-shell进行创建准备工作连接impala-shell在文本中书写impala的创建表语句例子createtablestats_xxxx_day(IDSTRING,STATDATESTRING)partitionby(p_statsdateSTRING
fyb1990·2018-04-21 19:44

在spark中将数据插入到hive、parquet表中及用户定义函数

在spark中将数据插入到hive表步骤：1.创建数据集的sparkdataFrame这里使用的是TmpDF=spark.createDataFrame(RDD,schema)这种方法创建的2.将数据集的dataFrame格式映射到临时表使用createOrReplaceTempView来创建，这个函数在SQLcontext中3.用sparkSQL语句将临时表的数据导入hive的tmp_table
G_scsd·2018-04-21 16:19

org.apache.spark.sql.AnalysisException: cannot resolve '`id`' given input columns

场景描述Spark获取MySQL数据并持久化入json、parquet文件过程记录分析解析异常具体原因待分析Exceptioninthread"main"org.apache.spark.sql.AnalysisException
kngines·2018-04-14 22:47

python读取hdfs上的parquet文件

在使用python做大数据和机器学习处理过程中，首先需要读取hdfs数据，对于常用格式数据一般比较容易读取，parquet略微特殊。
我家树儿多·2018-04-13 14:04

Hive文件存储格式查询性能的比较

TextFileSequenceFileRCFileAvroFilesORCFilesParquetCustomINPUTFORMATandOUTPUTFORMAT这里，我们主要比较TextFile,ORCFile,Parquet
不清不慎·2018-04-09 21:37

spark -外部数据源

阅读更多1.在Spark1.2中提供了ExternalDataSourceAPI，开发者可以根据接口来实现自己的外部数据源，如avro,csv,json,parquet等等。
功夫小当家·2018-04-07 18:00

Hive中数据压缩（企业优化）

过程中数据进行压缩2、hadoop支持的压缩格式3、在mapreduce中设置压缩4、在hive中设置压缩5、数据文件格式数据存储*按行存储数据：TEXTFILE*按列存储数据:RCFILEORC（存储列数较多的表）PARQUET
Yukaola·2018-04-06 14:29

spark 读取 hdfs 数据分区规则

下文以读取parquet文件/parquethivetable为例：hivemetastore和parquet转化的方式通过spark.sql.hive.convertMetastoreParquet控制
breeze_lsw·2018-04-03 10:16

Hive官方使用手册——Parquet

官方使用手册——ParquetVersionParquetissupportedbyaplugininHive0.10,0.11,and0.12andnativelyinHive0.13andlater.简介Parquet
Sammion·2018-03-27 09:03

parquet研究及与spark的联合使用

这段时间因为项目，对parquet做了一系列研究，从写入跟踪到合并及spark使用等等场景。
cyony·2018-03-19 11:26

Parquet介绍及简单使用

==>什么是parquetParquet是列式存储的一种文件类型==>官网描述：ApacheParquetisacolumnarstorageformatavailabletoanyprojectintheHadoopecosystem,regardlessofthechoiceofdataprocessingframework,datamodelorprogramminglanguage无论数据
菜鸟的征程·2018-03-08 00:13

Spark 2.2.1 Parquet文件处理的案例与解读

Spark2.2.1Parquet文件处理的案例与解读(一)加载数据加载Parquet数据源，并将加载后的people使用createOrReplaceTempView方法注册到临时表中，然后使用SQL
段智华·2018-02-18 09:58

Parquet性能测试调优及其优化建议

Parquet性能测试调优及其优化建议一、我们为什么选择parquet1、选择parquet的外部因素（1）我们已经在使用spark集群，spark原本就支持parquet，并推荐其存储格式（默认存储为
Rawirm·2018-02-17 22:46
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他