parquet

将Avro数据转换为Parquet格式

本文主要测试将Avro数据转换为Parquet格式的过程并查看Parquet文件的schema和元数据。
MrMrCash·2019-12-24 09:34

大数据小视角3：CarbonData，来自华为的中国力量

华为公司在2016年开源了类parquet的列存格式：CarbonData，并且贡献给了Apache社区。
LeeHappen·2019-12-23 05:44

新一代列式存储格式Parquet

Parquet最初是由Twitter和Cloudera(由于
blablablala·2019-12-22 02:27

大数据小视角2：ORCFile与Parquet，开源圈背后的生意

但是RCfile仍然存在一些缺陷，后续被HortonWorks盯上之后上马了ORCFile格式，而老对头Cloudera则紧抱Google大腿推出了Parquet格式。
LeeHappen·2019-12-21 13:26

每日一读 12.15

sparksql编程之实现合并Parquet格式的DataFrame的schemahttp://www.aboutyun.com/forum.php?
Vicor·2019-12-20 12:04

Parquet

BasicGlossaryBlock(hdfsblock):Thismeansablockinhdfsandthemeaningisunchangedfordescribingthisfileformat.Thefileformatisdesignedtoworkwellontopofhdfs.File:Ahdfsfilethatmustincludethemetadataforthefile.I
abrocod·2019-12-20 05:03

Parquet格式的数据源 3. Orc格式的数据源

1.读取数据库的形式创建DataFrameDataFrameFromJDBCobjectDataFrameFromJDBC{defmain(args:Array[String]):Unit={//创建SparkSession实例valspark:SparkSession=SparkSession.builder().appName(this.getClass.getSimpleName).mast
一y样·2019-12-19 15:00

Hive扩展功能(一)--Parquet

软件环境:linux系统:CentOS6.7Hadoop版本:2.6.5zookeeper版本:3.4.8主机配置:一共m1,m2,m3这三部机,每部主机的用户名都为centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2019-12-18 01:44

impala性能最佳实践

对于每个表或分区都达很多G的数据，使用Parquet是性能表现最好的。2）基于数据大小选择分区粒度。通常来说，最好保证每个分区的数据不小于256MB。过度分区会导致查询很多不需的分区而造成查询太长。
米特侠·2019-12-16 05:28

carbondata 编译部署

简介carbondata是华为开源的一种数据格式（如textfile，parquet，ORC……），号称实现大数据即席查询秒级响应。支持hadoop列式存储，文件格式,支持索引、压缩以及解编码等。
pholien·2019-12-14 12:52

Hive中ORC数据文件参考

和Parquet类似，它并不是一个
liuzx32·2019-12-13 13:51

Hive调优之数据篇

文件格式Hive支持TEXTFILE,SEQUENCEFILE,AVRO,RCFILE,ORC和PARQUET等6种文件格式。
长较瘦·2019-12-12 14:53

一次设计演进之旅

需求背景：我们需要实现对存储在HDFS中的Parquet文件执行数据查询，并通过RESTAPI暴露给前端以供调用。由于查询的结果可能数量较大，要求API接口能够提供分页查询。
_张逸_·2019-12-07 03:58

parquet学习总结

深入分析Parquet列式存储格式Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目，最新的版本是
时待吾·2019-12-01 09:04

部分spark参数解析

配置值说明spark.sql.parquet.adaptiveFileSplittrue不知道spark.sql.adaptive.hashJoin.enabledtrue标准的shufflejoin自动转成
cheng_e819·2019-11-22 16:51

Hive性能调优（一）----文件存储格式及压缩方式选择

合理使用文件存储格式建表时，尽量使用orc、parquet这些列式存储格式，因为列式存储的表，每一列的数据在物理上是存储在一起的，Hive查询时会只遍历需要列数据，大大减少处理的数据量。
海贼王一样的男人·2019-11-20 16:00

使用parquet-hadoop.jar包解析hive parquet文件时，遇到FIXED_LEN_BYTE_ARRAY转换为Decimal 以及 INT96转换为timestamp问题

在使用parquet-hadoop.jar包解析parquet文件时，遇到decimal类型的数据为乱码，具体解决方法如下：使用parquet-Hadoop.jar解析httpfs服务提供的parquet
七星6609·2019-11-18 09:00

四、spark--sparkSQL原理和使用

2、统一的数据访问方式：JDBC、JSON、Hive、parquet文件（一种列式存储
隔壁小白·2019-11-15 18:38

PySpark存储Hive数据的两种方式

背景：Hive的CREATETABLEAS和PySpark的.write.saveAsTable存储之后产生的数据类型并不一样，前者存储的方式是Text形式的，后者的存储形式是parquet形式。
小甜瓜Melon·2019-10-31 05:05

spark读取parquet文件报错：Unable to infer schema when loading Parquet file

出现这种问题通常是由于：parquet路径存在，但是该路径中没有parquet文件。
alexlee666·2019-10-29 13:27

06 ，spark 提速手段 ： 16G 文件读取耗时

1，普通数据格式：非压缩(我们用csv)Sparksupportsmanyformats,suchascsv,json,xml,parquet,orc,andavro.Sparkcanbeextendedtosupportmanymoreformatswithexternaldatasources-formoreinformation2
孙砚秋·2019-10-20 22:51

Spark 系列（八）—— Spark SQL 之 DataFrame 和 Dataset

它具有以下特点：能够将SQL查询与Spark程序无缝混合，允许您使用SQL或DataFrameAPI对结构化数据进行查询；支持多种开发语言；支持多达上百种的外部数据源，包括Hive，Avro，Parquet
heibaiying·2019-09-23 08:38

数据计算中间件技术综述

对于数据存储，目前Apache社区提供了多种存储引擎的选择，除了传统的HDFS文件和H，还提供了Kudu、ORC、Parquet等列式存储，大家可以根据自身的需求特点进行选择。在这之
·2019-09-23 06:55

22-SparkSQL03

ExternalDataSourceAPI外部数据源MapReduceHiveSpark加载数据格式：json、parquet、text、jdbc......
CrUelAnGElPG·2019-09-21 22:21

22-SparkSQL03

ExternalDataSourceAPI外部数据源MapReduceHiveSpark加载数据格式：json、parquet、text、jdbc......
CrUelAnGElPG·2019-09-21 22:21

Spark & Hive 关于parquet格式文件的区别

因为数据之前一直都在MySQL库中保存，现在需要将部分数据移到hive库中，由于数据在MySQL是分库分表存储的，试了很多方式直接从MySQL到Hive库中都没有成功，于是，采用spark读取MySQL数据输出到parquet
嘘、不语·2019-09-18 10:42

大数据基础-数据存储组件介绍

Impala支持的格式-HBase支持的格式-应用场景-实时数据平台目标分类WOS（WriteOptimizedStore）采⽤用kudu表⽀持实时导⼊ROS（ReadOptimizedStore）采⽤Parquet
coding-now·2019-09-02 13:43

Hive文件存储格式

hive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)-支持有限5、Parquet-主要是用在ClouderaImpala
BabyFish13·2019-08-18 16:43

Spark的UI优化+gc优化

集群环境集群环境可以看到集群一个有280G内存，120核数，5个节点spark-submit--启动命令含义：spark-submitclasscn.dmp.tools.Bzip2Parquet\类的main
静静七分醉·2019-08-15 13:04

Spark 系列（八）—— Spark SQL 之 DataFrame 和 Dataset

它具有以下特点：能够将SQL查询与Spark程序无缝混合，允许您使用SQL或DataFrameAPI对结构化数据进行查询；支持多种开发语言；支持多达上百种的外部数据源，包括Hive，Avro，Parquet
黑白影·2019-08-12 07:00

Kudu 创建主键

Impala操作/读写Kudu，使用druid连接池Kudu原理、API使用、代码KuduJavaAPI条件查询spark读取kudu表导出数据为parquet文件（sparkkuduparquet）kudu
日萌社·2019-08-09 23:48

Hive文件格式-textfile，sequencefile，rcfile，orcfile， Parquet

目录概述hive文件存储格式包括以下几类一、TEXTFILE二、SEQUENCEFILE三、RCFile文件格式概述历史RCFile使用基于行存储的优点和缺点基于列存储的优点和缺点源码分析1.Writer2.appendRCFile的索引机制flushRecords的具体逻辑RCFile的Sync机制RCFileclose过程数据读取和Lazy解压行组大小四、ORC文件格式ORCFile格式的优点
静静七分醉·2019-08-04 16:43

大数据入门之分布式计算框架Spark(2) -- Spark SQL

1.SparkSQL概述一个运行在Spark上执行sql的处理框架，可以用来处理结构化的数据【外部数据源（访问hive、json、parquet等文件的数据）】。
Kiku_xq·2019-08-01 18:24

spark程序打包为jar包，并且导出所有第三方依赖的jar包

Impala操作/读写Kudu，使用druid连接池Kudu原理、API使用、代码KuduJavaAPI条件查询spark读取kudu表导出数据为parquet文件（sparkkuduparquet）kudu
日萌社·2019-07-31 12:47

4. Spark SQL数据源

把DataFrame注册为临时表之后，就可以对该DataFrame执行SQL查询SparkSQL的默认数据源为Parquet格式。
铖歌·2019-07-26 09:00

MaxCompute技术人背后的故事：从ApacheORC到AliORC

本文整理自阿里巴巴计算平台事业部高级技术专家吴刚的专访，将为大家介绍ApacheORC开源项目、主流的开源列存格式ORC和Parquet的区别以及MaxCompute选择ORC的原因。
阿里云云栖社区·2019-07-25 00:00

Kudu 分页查询的两种方式

Impala操作/读写Kudu，使用druid连接池Kudu原理、API使用、代码KuduJavaAPI条件查询spark读取kudu表导出数据为parquet文件（sparkkuduparquet）kudu
日萌社·2019-07-22 17:51

【2019-01-04】Spark 程序在driver卡住

基本信息:组件版本模块Spark1.5.1dataframe.write.mode(SaveMode.Overwrite).parquet(path)核心业务代码：dataFrame.write.mode
学师大术·2019-07-09 09:27

scala，实现case class类的时候 业务字段过多导致的异常。不能超过22个字段

一、背景1、在scala-2.10.x版本种，caseclass的元素超过22个以后即会编译报错2、有些业务场景下，需要超过22个元素的值我们项目当中日志一共有105个字段，在对原始日志进行处理转换成parquet
ZhuangYQ丶·2019-07-02 20:32

hive建表插入元数据表过程

#table_name：表名#column：列名->类型#location：数据存储位置#partitionColumn：分区名->类型#field_delimit：列分隔符#is_parquet_type
cxy1991xm·2019-06-30 16:54

Spark SQL常见4种数据源详解

SparkSQL的默认数据源为Parquet格式。数据源为Parquet文件时，SparkSQL可以方便的执行所有的操作。修改配置项spark.
Stitch_x·2019-06-25 08:38

Spark每日半小时（24）——数据源：一般文件加载保存方法、Parquet文件

通用加载/保存功能在最简单的形式中，默认数据源（parquet除非另有配置spark.sql.sourcess.default）将用于所有操作。DatasetusersDF=spark.read().
DK_ing·2019-06-24 11:41

Spark每日半小时（24）——数据源：一般文件加载保存方法、Parquet文件

通用加载/保存功能在最简单的形式中，默认数据源（parquet除非另有配置spark.sql.sourcess.default）将用于所有操作。DatasetusersDF=spark.read().
DK_ing·2019-06-24 11:41

Spark SQL常见4种数据源(详细)

SparkSQL的默认数据源为Parquet格式。数据源为Parquet文件时，SparkSQL可以方便的执行所有的操作。修改配置项spark.
Stitch_x·2019-06-21 10:26

Impala性能优化总结

Impala性能优化要点:1.为数据存储选择合适的文件格式(如:Parquet)  通常对于大数据量来说，Parquet文件格式是最佳的2.防止入库时产生大量的小文件(insert...values会产生大量小文件
写Bug的张小天·2019-06-05 18:35

Hive存储格式跟压缩对比(各种技术都在这里)

存储:1TextFile2SequenceFile3RCFile4OrcFile5Parquet6Avro6种性能测试textfile默认格式；存储方式为行存储；磁盘开销大数据解析开销大；但使用这种方式
Hellooorld·2019-06-01 13:39

Hive的parquet表导入多分区时OOM问题

场景有一个parquet的表table_A，然后创建一个多分区表table_BA表的数据大小大约是1.21G（parquet压缩之后的大小，数据记录大概有270W条。
芹菜学长·2019-05-12 22:24

Spark Sql教程(7）———Parquet文件

SparkSql的默认数据格式是Parquet文件，SparkSQL能够方便点的进行去读，甚至能够在Parquet文件上执行查询操作。
辜智强 -buaa·2019-05-07 15:19

X-Pack Spark归档POLARDB数据做分析

X-PackSpark为数据库提供分析引擎，旨在打造数据库闭环，借助X-PackSpark可以将POLARDB数据归档至列式存储Parquet文件，一条SQL完成复杂数据分析，并将分析结果回流到业务库提供查询
阿里云云栖社区·2019-05-07 00:00

Spark SQL数据源操作

概述：本文介绍SparkSQL操作parquet、hive及mysql的方法，并实现Hive和MySql两种不同数据源的连接查询1、操作parquet（1）编程实现#启动spark-shell.
JeeThink·2019-05-04 20:20
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他