Parquet

spark读取json，parquet文件

spark支持的一些常见的格式：文本文件，无任何的格式json文件，半结构化parquet，一种流行的列式存储格式sequencefile，一种用于key－value的hadoop文件格式，如果需要读hdfs
zzzzzzzzzzzzzzzzzxs·2020-06-30 12:55

一种解决Impala自定义属性查询的方案

背景在使用Impala做自助分析的过程中，我们经常发现自定义属性的需求，通常情况下用户会将这种不确定key的字段全部塞到一个MAP字段中，然后通过Impala的复杂结构查询语法进行查询，目前Impala只支持Parquet
教练_我要踢球·2020-06-30 09:23

Impala高性能探秘之HDFS数据访问

对于HDFS上的数据，Impala支持多种文件格式，目前可以访问Parquet、TEXT、avro、sequencefile等。
教练_我要踢球·2020-06-30 09:22

Parquet与ORC：高性能列式存储格式

级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、SparkSQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet
教练_我要踢球·2020-06-30 09:52

Spark--Spark SQL

SparkSQLDataFrame什么是DataFrameDataFrame与RDD的区别DataFrame与RDD的优缺点读取数据源创建DataFrame读取文本文件创建DataFrame读取json文件创建DataFrame读取parquet
youAreRidiculous·2020-06-30 08:28

Hive文件格式（表stored as 的五种类型）

hive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)5、PARQUET1、其中TEXTFILE为默认格式，建表时不指定默认为这个格式
小飞猪666·2020-06-30 06:22

sparkSQL读取hive分区表的问题追踪

根目录下所有的目录和文件信息，然后生成file的FakeFileStatus信息，用于生成table的schema信息，并且每次查询table都会判断该table的schema的信息是否有变化，如果有变化则从parquet
xiaolinzi007·2020-06-30 00:37

获得parquet文件的rows和filesize

publicstaticvoidgetParquetFileSizeAndRowCount()throwsException{PathinputPath=newPath("/user/hive/warehouse/user_parquet
woloqun·2020-06-29 20:53

大数据什锦_ORC&PARQUET_按列存储_Columnar VS Row-based

按列存储使用的是企业中最长见的ORC和PARQUET。这里不讲解对于Hive的使用。ColumnarVSRow-based行存储和
pomelorange·2020-06-29 18:19

sparkSQL---不同数据源的读写操作

sparkSQl可以读取不同数据源的数据，比如jdbc,json,csv,parquet执行读操作就用sparkSession.read.文件类型，执行写操作就用SparkSession.write.文件类型首先创建一个
weixin_43866709·2020-06-29 10:58

Netflix开源技术介绍

Netflix不仅使用Hadoop、Hive、Pig、Parquet、Presto以及Spark等被广泛采用的开源技术，同时还开发并贡献了一些其他的工具和服务。
weixin_34395205·2020-06-28 18:40

大数据：Hive - ORC 文件存储格式

和Parquet类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内进行按列存储。ORC文件是自描述的，它的元数据
weixin_33810302·2020-06-28 05:59

深入分析Parquet列式存储格式

转自：http://www.infoq.com/cn/articles/in-depth-analysis-of-parquet-column-storage-formatParquet是面向分析型业务的列式存储格式
weixin_30564785·2020-06-27 21:49

Spark-SQL之DataFrame操作大全

一、DataFrame对象的生成Spark-SQL可以以其他RDD对象、parquet文件、json文件、hive表，以及通过JDBC连接到
weixin_30355437·2020-06-27 18:50

大数据ETL实践探索（3）---- 大数据ETL利器之pyspark

Elasticsearchdataframe及环境初始化清洗及写入数据到ElasticsearchsparkSQLDataframe操作加载大文件遍历增删改查空值处理更改dataframe列类型wherejoin及聚集函数列式数据存储格式parquet
shiter·2020-06-27 13:26

Apache iceberg：Netflix 数据仓库的基石

本文由RyanBlue分享，他在Netflix从事开源数据项目，是ApacheIceberg的最初创建者之一，也是ApacheSpark,Parquet,以及Avr
过往记忆·2020-06-27 12:55

csv、parquet、orc读写性能和方式

索引：1.背景2.存储方式3.存储效率4.读写方式5.结论6.其他格式背景最近在做一个大数据分析平台的项目，项目开发过程中使用spark来计算工作流工程中的每一个计算步骤，多个sparksubmit计算提交，构成了一个工作流程的计算。其中使用csv来作为多个计算步骤之间的中间结果存储文件，但是csv作为毫无压缩的文本存储方式显然有些性能不够，所以想要寻找一个存储文件效率更高或者执行效率更高的文件格
beTree_fc·2020-06-27 07:52

一、HiveSQL基本操作

文章目录一、Hive数据类型1、基本类型2、复杂类型二、存储格式1、textfile2、SequenceFile3、RCFile4、ORCFile5、Parquet三、操作数据库1、创建数据库2、删除数据库
Wells·Lee·2020-06-27 05:50

ICT实习第二周第一天

getsplits和getrecordreader的东东，让我去看hive源码，找出outformat和recordwriter中关于string编码的部分，此是基于orcfile的，另外去github调研parquet
Nazroo·2020-06-27 05:23

spark知识点

_valmyDF=sqlContext.parquetFile("hdfs:/to/my/file.parquet")valcoder:(Int=>String)=(arg:Int)=>{if(arg<
lansane·2020-06-27 05:51

hadoop平台存储文件格式的概念及对比

orc格式和parquet格式哪个好？该怎么去选择这些格式，这些格式的文件都有什么优缺点？Hbase和ElasticSearch为什么也是文件存储格式的一种？kudu又是什么？事实上，
fly_air·2020-06-27 04:49

hive 文件存储parquet格式, sparkSql解析部分字段为null

hive版本2.1.0，hdfs上同一份数据（1）用hive建表，部分字段hive读取有值，sparksql读取值为nullCREATEEXTERNALTABLEbusiness_log.rule_business_log2(idbigint,businessCodeString,businessDescString,commentString,orderNoString,idCardString
蓝天688·2020-06-27 02:38

Kylin on Parquet 介绍和快速上手

ApacheKylinonApacheHBase方案经过长时间的发展已经比较成熟，但是存在着一定的局限性。Kylin查询节点当前主要的计算是在单机节点完成的，存在单点问题。而且由于HBase非真正列存的问题，Cuboids信息需要压缩编码，读取HBase数据的时候再反序列化、分割，额外增加了计算压力。另外，HBase运维难度比较大，不便于上云。面对以上问题，Kyligence推出了KylinonP
大数据技术架构·2020-06-27 01:44

报错信息：Error: Error while compiling statement

建表语句：createexternaltabletable_sample(v1string,v2string,v3string)STOREDASPARQUETTBLPROPERTIES('parquet.compression
ai2018·2020-06-27 01:06

DataFrame和Parquet

下面我们来介绍如何把一个表存储为Parquet和如何加载。首先建立一个表格：first_na
jacksu在简书·2020-06-26 23:38

Flink实时数据的预处理-架构-分主题写入Hdfs（文本和Parquet格式）

文章目录一、架构图二、数据及思路三、代码1、主线代码2、主线代码中用到的ToJSONMapFunction类3、主线代码中用的FlinkUtils4、ToJSONMapFunction用到的GeoUtils类5、LogBean四、技术点五、Maven依赖相关一、架构图①flume将埋点日志采集到kafka中②从kafka中拉取数据，完成数据的过滤、维度的关联、主题的拆分③在关联地理位置信息时，将查
IT_但丁·2020-06-26 22:16

Parquet文件读写与合并小Parquet文件

目录一、简介二、schema(MessageType)三、MessageType获取3.1从字符串构造3.2从代码创建3.3通过Parquet文件获取3.4完整示例四、Parquet读写4.1读写本地文件
trayvontang·2020-06-26 20:08

Hadoop 压缩格式

使用容器文件格式，例如顺序文件、Avro数据文件、ORCFiles或者Parquet文件，所有这些文件格式同时支持压缩和切分。通常最好与一个快速压缩工具联合使用，例如LZO，LZ4，或者Snappy。
天地不仁以万物为刍狗·2020-06-26 19:58

impala parquet实现分桶查询

由于impala是没有分桶表的，但是会遇同一个partition中数据量非常巨大，但是某些查询只需要取出个别记录，就需要从海量数据中查询出一两条数据，这样就会造成资源浪费。于是就需要有一种机制，像hive表中可以实现分桶查询：createtableteacher(idint,namestring)clusteredby(id)into4buckets但是impala不支持分桶建表，所以，只能从另外
§蜗牛§·2020-06-26 17:48

入门大数据---SparkSQL_Dataset和DataFrame简介

它具有以下特点：能够将SQL查询与Spark程序无缝混合，允许您使用SQL或DataFrameAPI对结构化数据进行查询；支持多种开发语言；支持多达上百种的外部数据源，包括Hive，Avro，Parquet
一线大数据·2020-06-26 10:00

Hive底层文件存储类型parquet

我在这稍微提及一下，主要想分享我在使用sqoop抽取数据时进行文件类型转换（parquet）遇到的坑，共享出来希
resin_404·2020-06-26 05:45

Spark SQL基础概述

数据抽象DataFrameDataSetRDD、DataFrame、DataSet的区别第二章SparkSQL初体验入口-SparkSession创建DataFrame读取文本文件读取json文件读取parquet
九月木樨·2020-06-26 04:40

Hive第五天：解决数据倾斜问题、Hive并行优化、严格模式、JVM重用、推测执行、Hive压缩、执行计划（Explain）、Hive实战项目谷粒影音、Hive常见错误及解决方案、yarn内存溢出

接上篇第9章的9.3.10：Hive第四天：Hive函数、Hive压缩配置、Hive文件存储格式、Orc与Parquet、Hive企业级调优、Hive大小表Join、MapJoin、GroupBy、行列过滤去重统计
Doug Lea Mr concuren·2020-06-26 01:41

Spark - SQL查询文件数据

>有时候有没有这么一种情况，我拿到了一个sql,csv,parquet文件，一起来就想写sql，不想写那些乱七八糟的的东西，只是想快速实现我要的聚合查询数据。
kikiki4·2020-06-25 23:22

（2）source和sink详解

1.source目前支持的内置source有：1）FileSource从给定的目录读取数据，目前支持的格式有text,csv,json,parquet。
longdada007·2020-06-25 00:52

Parquet 学习笔记

Parquet是Dremel的开源实现，作为一种列式存储文件格式，2015年称为Apache顶级项目，后来被Spark项
铁头乔·2020-06-24 21:55

python读取hdfs上的parquet文件方式

在使用python做大数据和机器学习处理过程中，首先需要读取hdfs数据，对于常用格式数据一般比较容易读取，parquet略微特殊。
·2020-06-24 17:12

Parquet文件格式简介

parquet发展parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，Parquet的灵感来自于2010年Google发表的Dremel论文，文中介绍了一种支持嵌套结构的存储格式
newbieli·2020-06-24 17:42

Kylin 的架构和原理

从算法角度讲，现有的大数据框架可分为以下几类：1.并行计算：mapreduce、spark2.列式存储：parquet，节省IO3.
平生在翠微·2020-06-24 10:31

Hadoop Parquet File 文件的读取

产生parquet数据这里通过SparkSQL来从CSV文件中读取数据，然后把这些数据存到parquet文件去。
leishenop·2020-06-24 03:41

数据仓库工具之hive调优(4)

大数据分析利器之hive1.hive表的文件存储格式1.1列式存储和行式存储1.2TEXTFILE格式1.3ORC格式1.4PARQUET格式1.5主流文件存储格式对比1.5.1TextFile1.5.2ORC
Hansionz·2020-06-23 12:46

大数据技术之_08_Hive学习_04_压缩和存储（Hive高级）+ 企业级调优（Hive优化）

支持的压缩编码8.2.2压缩参数配置8.3开启Map输出阶段压缩8.4开启Reduce输出阶段压缩8.5文件存储格式8.5.1列式存储和行式存储8.5.2TextFile格式8.5.3Orc格式8.5.4Parquet
aodawu2891·2020-06-22 14:33

Spark - SQL查询文件数据

>有时候有没有这么一种情况，我拿到了一个sql,csv,parquet文件，一起来就想写sql，不想写那些乱七八糟的的东西，只是想快速实现我要的聚合查询数据。
kikiki4·2020-06-22 02:32

SparkSQL下Parquet中PushDown的实现

SparkSQL实现了PushDown，在Parquet文件中实现PushDown具有很重要的意义。PushDown是一种SQL优化方式，通常用在查询。
囧芝麻·2020-06-21 20:23

上海沙龙回顾 | Apache Kylin 原理介绍与新架构分享（Kylin On Parquet）

10月26日，字节跳动技术沙龙|大数据架构专场在上海字节跳动总部圆满结束。我们邀请到字节跳动数据仓库架构负责人郭俊，Kyligence大数据研发工程师陶加涛，字节跳动存储工程师徐明敏，阿里云高级技术专家白宸和大家进行分享交流。以下是Kyligence大数据研发工程师陶加涛的分享主题沉淀，《ApacheKylin原理介绍与新架构分享（KylinOnParquet）》。大家好，我是来自Kyligenc
字节跳动技术团队·2020-06-21 17:49

十三（1）、sqoop遇到的问题

1、从mysql抽数到hive，hive表为parquet存储格式，导入语句为：sqoopimport–connectjdbc:mysql://${MYSQL_HOST}{MYSQL_PORT}/sx_channel
Angular_need·2020-06-21 16:05

读写parquet格式文件的几种方式

摘要本文将介绍常用parquet文件读写的几种方式1.用spark的hadoopFileapi读取hive中的parquet格式文件2.用sparkSql读写hive中的parquet格式3.用新旧MapReduce
woloqun·2020-06-21 14:13

去 HBase，Kylin on Parquet 性能表现如何？

KylinonHBase方案经过长时间的发展已经比较成熟，但也存在着局限性，因此，Kyligence推出了KylinonParquet方案（了解详情戳此处）。通过标准数据集测试，与仍采用KylinonHBase方案的Kylin3.0相比，KylinonParquet的构建引擎性能有了很大的提升，对于复杂查询也有更好的性能表现。本篇文章主要通过使用标准SSB数据集和TPC-H数据集，来分别获取Kyl
Kyligence·2020-06-21 12:06

Kylin on Parquet 介绍和快速上手

ApacheKylinonApacheHBase方案经过长时间的发展已经比较成熟，但是存在着一定的局限性。Kylin查询节点当前主要的计算是在单机节点完成的，存在单点问题。而且由于HBase非真正列存的问题，Cuboids信息需要压缩编码，读取HBase数据的时候再反序列化、分割，额外增加了计算压力。另外，HBase运维难度比较大，不便于上云。面对以上问题，Kyligence推出了KylinonP
Kyligence·2020-06-21 12:06

Spark - SQL查询文件数据

>有时候有没有这么一种情况，我拿到了一个sql,csv,parquet文件，一起来就想写sql，不想写那些乱七八糟的的东西，只是想快速实现我要的聚合查询数据。
kikiki4·2020-06-21 12:58
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他