Parquet

SparkSQL之DataSource

文章目录Parquet文件加载Parquet文件PartitionDiscovery分区探测Schema合并ORC文件Hive表用JDBC读其它数据库PerformanceTuning性能优化CachingDataInMemoryOtherConfigurationOptionsBroadcastHintforSQLQueries
liweihope·2020-08-20 06:04

Spark - SQL查询文件数据

>有时候有没有这么一种情况，我拿到了一个sql,csv,parquet文件，一起来就想写sql，不想写那些乱七八糟的的东西，只是想快速实现我要的聚合查询数据。
kikiki4·2020-08-19 21:28

Spark SQL 外部数据源（External DataSource）以及常用操作

使得SparkSQL可以加载任何地方的数据，例如mysql，hive，hdfs，hbase等，而且支持很多种格式如json,parquet,avro,csv格式。
爆发的~小宇宙·2020-08-18 12:13

Spark Sql常见的几种数据源

SparkSQL的默认数据源格式为Parquet文件格式，修改配置项spark.sql.sources.default即可更改默认的数据源格式。
不将就的cris·2020-08-18 12:43

SparkSql读取外部数据源

1、产生背景用户需求：方便快速从不同的数据源(json、parquet、rdbms)，经过混合处理(jsonjoinparquet)，再将处理结果以特定的格式(son、Parquet)写回指定的系统(HDFS
BUPT-WT·2020-08-18 12:01

Spark之SparkSQL数据源

SparkSQL的默认数据源为Parquet格式。数据源为Parquet文件时，Sp
清风笑丶·2020-08-18 12:50

CDH 安装 presto-server-0.216

它可以共享Hive的元数据，然后直接访问HDFS中的数据，同时支持Hadoop中常见的文件格式比如文本，ORC和Parquet。
jaysen1005·2020-08-18 12:09

Spark SQL多数据源交互_第四章

SparkSQL可以与多种数据源交互，如普通文本、json、parquet、csv、MySQL等1.写入不同数据源2.读取不同数据源写数据:packagecn.itcast.sqlimportjava.util.Propertiesimportorg.apache.spark.SparkContextimportorg.apache.spark.rdd.RDDimportorg.apache.sp
……utf-8·2020-08-18 11:27

Spark从入门到精通8 -- Spark SQL

SparkSQLSparkSQL简介SparkSQL是用来操作结构化数据的程序包，支持多种数据源(Hive表、Parquet、JSON),可以基于SparkSQL进行数据的查询，为数据计算提供数据入口。
开着小马奔腾哟·2020-08-18 11:50

SparkSQL的几种输出格式及压缩方式

1、json默认不压缩可用压缩格式：none,bzip2,gzip,lz4,snappy,deflate2、parquet默认压缩格式：snappy可用压缩格式：none,snappy,gzip,lzovalPARQUET_COMPRESSION
机智的大脚猴·2020-08-18 11:01

spark读取的源+mysql+hive+jison+parquet+csv+hbase

连接这些数据源，请参考mysql+hive+jison+parquethttps://blog.csdn.net/qq_18603599/article/details/799518102.csvhttps://blog.csdn.net/fei_tian123/article/details/80624937?utm_medium=distribute.pc_aggpage_search_res
hyy1568786·2020-08-18 11:58

Hadoop集群数仓迁移——distcp命令、分区修复

一、建表hive重建表比较简单，首先showcreatetabletablename;然后把建表语句拷贝下来即可，这里要注意的是，特殊分割符和存储文件格式（默认textfile,项目中设计parquet
清平の乐·2020-08-18 10:47

【SparkSQL】SparkSQL与多数据源交互的操作

目录介绍写数据读数据总结介绍SparkSQL可以与多种数据源交互，如普通文本、json、parquet、csv、MySQL等1.写入不同数据源2.读取不同数据源写数据//创建SparkSessionvalspark
没去过埃及的法老·2020-08-18 10:37

22 ，sparkSql ： 数据源，内置格式，读数据，存数据，运行 sql文件上，spark on hive

一，数据源：1，默认数据源：Parquet格式修改默认格式：spark.sql.sources.default例子：packageday05_sparkSqlimportorg.apache.spark.sql.SparkSessionobjectDemo03Parqut
孙砚秋·2020-08-18 10:02

使用Spark SQL读取Hive上的数据

SparkSQL主要目的是使得用户可以在Spark上使用SQL，其数据源既可以是RDD，也可以是外部的数据源（比如Parquet、Hive、Json等）。
qq_duhai·2020-08-18 10:29

两种数据格式（Parquet/ORCfile）浅析

一、首先来看下ORCfile。Orcfile(OptimizedRowColumnar)是hive0.11版里引入的新的存储格式，是对之前的RCFile存储格式的优化，是HortonWorks开源的。看下orcfile的存储格式：可以看到每个Orc文件由1个或多个stripe组成，每个stripe250MB大小，这个Stripe实际相当于之前的rcfile里的RowGroup概念，不过大小由4MB
young-ming·2020-08-16 21:00

Dremel made simple with Parquet（CN）

使用Twitter上的Parquet，我们在大型数据集上的大小减少了三分之一。在仅需要一部分列的常见情况下，扫描时间也减少到原始时间的一小部分。原理很简单：代替传统的行布局，将数据一次写入一列。
limstorm·2020-08-16 00:14

Parquet列式文件存储格式

一、Parquet是什么Parquet的灵感来自于2010年Google发表的Dremel论文，文中介绍了一种支持嵌套结构的存储格式，并且使用了列式存储的方式提升查询性能，在Dremel论文中还介绍了Google
limstorm·2020-08-16 00:14

Dremel made simple with Parquet

DremelmadesimplewithParquetBy‎@J_‎Wednesday,11September2013ColumnarstorageisapopulartechniquetooptimizeanalyticalworkloadsinparallelRDBMs.Theperformanceandcompressionbenefitsforstoringandprocessinglar
limstorm·2020-08-16 00:14

Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的对比）

Hive文件存储格式（TEXTFILE、ORC、PARQUET三者的对比）综述：HIve的文件存储格式有四种：TEXTFILE、SEQUENCEFILE、ORC、PARQUET，前面两种是行式存储，后面两种是列式存储
寞恒·2020-08-15 13:29

Spark RDD 分区数

分区数基础知识本地模式伪集群模式其他模式产生rdd的几种方式：通过scala集合方式parallelize生成rdd通过textFile方式生成的rdd从HBase的数据表转换为RDD通过获取json（或者parquet
爱吃甜食_·2020-08-14 09:26

Parquet 写数据过程及源代码分析

Parquet写数据过程及源代码分析本文主要从parquet写数据的角度进行分析，主要涉及parquet从拿到数据模型到最终将一条记录经过计算、编码、压缩等过程写入内存的过程（暂时没有包括写入文件的过程
xingtanzjr·2020-08-14 01:49

hive文件存储格式orc,parquet,avro对比

文件结构如下ORC文件：保存在文件系统上的普通二进制文件，一个ORC文件中可以包含多个stripe，每一个stripe包含多条记录，这些记录按照列进行独立存储，对应到Parquet中的rowgroup的概念
zdsg1024·2020-08-14 01:37

Sqoop同步hive的parquet数据问题

目前通过Sqoop从Hive的parquet推数据到关系型数据库时，会报kitesdk找不到文件的错，这是Sqoop的BUG,错误信息如下：ERRORsqoop.Sqoop:GotexceptionrunningSqoop
Sin_Geek·2020-08-14 01:14

sqoop从mysql导入hive parquet表timestamp,decimal转换问题

、date，time以上时间类型会被sqoop转成int,long型，无法直接转成时间类型如果要转的有两个办法：1）转成long型，再用from_unixtime转回来，才能看时间（太麻烦）-----parquet
chen_jiangtao·2020-08-14 00:32

0657-6.2.0-Sqoop导入Parquet文件Hive查询为null问题

fayson/cdhproject推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f1问题重现1.在MySQL中建表，一个bigint字段，二个varchar字段2.在Hive中建Parquet
Hadoop_SC·2020-08-14 00:03

Sqoop导入文件格式对比Text、Parquet、Avro、Sequence

Text19/09/0516:47:35INFOmapreduce.ImportJobBase:Transferred242.2289MBin21.3893seconds(11.3248MB/sec)Parquet19
刘李404not found·2020-08-14 00:30

【Sqoop】数据同步

HDFS数据导入Mysql实践源数据是SparkSQLjob生成的，基于Sqoop将数据同步到MysqlHDFS文件类型默认是parquet压缩格式是snappySparkSQL写入HDFS，如果路径不存在
我是旺领导·2020-08-13 14:06

Spark学习总结

spark.sql.functions.regexp_extract5、sparkSql语法糖6、sparkSql的filter坑1、SparkSql读取文件\qquadspark读取文件，可以读取格式csv、json、parquet
搏击俱乐部_·2020-08-13 10:05

Flink读取HDFS上的Parquet文件生成DataSet

首先打开Flink的官方网站，查看一下DataSet已支持的数据源：1、File-Based：readTextFile(path)/TextInputFormat-ReadsfileslinewiseandreturnsthemasStrings.readTextFileWithValue(path)/TextValueInputFormat-Readsfileslinewiseandreturn
赶路人儿·2020-08-11 22:06

创建parquet类型的hive外表

前面一篇文章中，介绍过如何使用flink，消费kafka数据，并且将数据以parquet格式sink到hdfs上，并且sink的时候使用了天、小时的方式进行了分桶策略。
赶路人儿·2020-08-11 21:35

SparkSQL数据源

SparkSQL的输入输出1.对于SparkSQL的输入需要使用sparkSession.read方法语法sparkSession.read.format(“json”).load(“path”)支持类型：(parquet
王十二i·2020-08-11 05:21

【spark】七 DataFrame的repartition、partitionBy、coalesce区别

环境：spark2…3.1python2.7问题：发现sparkDataFrame.write无论format(“csv”).save(hdfsPath)中是csv、parquet、json，或者使用write.csv
百物易用是苏生·2020-08-10 01:34

SPARK APP压测--清理检查相关SHELL（1）

压力测试过程中需要定期检查PARQUET文件生成情况、报表生成情况、HBASE数据生成情况、是否有SPARKAPPFAILED、收集错误日志等。
Younge__·2020-08-09 18:49

CDH 5.16.2 异常踩坑

0523:52:24WARNCorruptStatistics:Ignoringstatisticsbecausecreated_bycouldnotbeparsed(seePARQUET-251):parquet-mrorg.apache.parquet.VersionParser
渊云·2020-08-09 11:23

impala presto SparkSql性能测试对比

目标是为测试impalaprestoSparkSql谁的性能更佳，以下结果底层查询的都是普通textfilesnappy压缩后数据，规模为15台机器，若以orcfile、parquet速度能快数倍impala
young-ming·2020-08-08 22:51

Hive中压缩使用详解与性能分析

参考大佬这篇注意:如果文件格式不是textfile(比如parquet),做测试的时候可能最终输出的文件后缀名效果不明显,例如:createexternaltabledws_s_oaczrzst_zb33
江湖峰哥·2020-08-08 20:21

Hive的架构剖析

的架构架构中的相关组件介绍HQL的查询阶段Hive的架构hive的基本架构图如下图所示：相关组件介绍数据存储Hive中的数据可以存储在任意与Hadoop兼容的文件系统，其最常见的存储文件格式主要有ORC和Parquet
西贝木土·2020-08-08 15:42

hdfs TEXTFILE和PARQUET 格式推送数据到mysql

首先清理mysql目标表sqoopeval-drivercom.mysql.jdbc.Driver\--connectjdbc:mysql://****:3306/basicdata?characterEncoding=UTF-8\--usernameroot\--password'****'\--query"TRUNCATETABLEDAILY_RATES"textfile文件推送sqoopex
xuyingzhong·2020-08-07 22:17

Parquet与ORC：高性能列式存储格式

级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、SparkSQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet
残阙的歌·2020-08-06 10:06

Hive-数据压缩格式，存储格式(行式存储、列式存储)，相关参数配置，详细分析

文章目录1数据压缩配置1.1MR支持的压缩编码1.2压缩参数配置设置Map输出阶段压缩设置Reduce输出阶段压缩2文件存储格式2.1列式存储和行式存储TextFile格式Orc格式Parquet格式3
Demik·2020-08-06 10:17

Spark SQL

(1)SparkSQL可以从各种结构化数据源(例如JSON、Hive、Parquet等)中读
tracy_668·2020-08-05 22:35

比较impala，SparkSql，Hive以及交互式查询,OLAP概念

整合遗留的数据格式，例如：将CSV数据转换为Avro；将一个用户自定义的内部格式转换为Parquet等。
Share-Get·2020-08-05 20:14

Hive的数据压缩与数据存储

目录一、hive的数据压缩MR支持的压缩编码压缩配置参数开启Map输出阶段压缩开启Reduce输出阶段压缩二、hive的数据存储格式列式存储和行式存储TEXTFILE格式ORC格式PARQUET格式三、
L00918·2020-08-05 16:32

Hive的压缩与存储

开启Map输出阶段的压缩2.2、开启Reduce输出阶段压缩三、文件存储格式3.1、列式存储和行式存储3.1.1、行存储的特点3.2、列存储的特点3.3、TextFile格式3.4、Orc格式3.5、Parquet
chbxw·2020-08-05 16:17

Carbondata 存储结构

数据文件结构如下：image.pngimage.png索引文件结构相对比效简单，没有直接画出,可以直接查看原码(AbstractFactDataWriter#writeIndexFile)相对Parquet
ni_d58f·2020-08-05 10:11

Apache Drill Architecture Introduction

Drill也很适合大数据的即席查询，支持嵌套格式的数据查询，例如:JSON、Parquet，可以发现动态的模式。Drill不要求有一个中心化的元数据库。Dril
昨日西风紧·2020-08-04 22:03

day63-Spark SQL下Parquet内幕深度解密

大数据梦工厂联系方式：新浪微博：www.weibo.com/ilovepains/微信公众号：DT_Spark博客：http://.blog.sina.com.cn/ilovepains一：sparkSQL下的Parquet
黄色沙琪玛·2020-08-04 22:38

Drill查询复杂数据

嵌套的数据格式，如JSON(JavaScript对象表示法)文件和Parquet文件
花泽啸·2020-08-04 20:24

Drill官网文档翻译一 基本架构

Drill也适用到在大规模数据集场景下进行简单而迅速的查询.Drill能够查询像是JSON或是Parquet
weixin_33701294·2020-08-04 20:37
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他