parquet

Hive文件存储格式详解

0.行式存储和列式存储Hive中常用的存储格式有TEXTFILE、SEQUENCEFILE、AVRO、RCFILE、ORCFILE、PARQUET等，其中TEXTFILE、SEQUENCEFILE和AVRO
LannisterWF·2020-11-28 22:08

Java mapreduce解析parquet日志

1.单输入格式指定输入格式ParquetInputFormat//指定输入格式job.setMapperClass(ParquetMap.class);job.setInputFormatClass(ParquetInputFormat.class);ParquetInputFormat.addInputPath(job,newPath(args[1]));ParquetInputFormat.s
杜杜501·2020-11-27 01:39

Hive 表之间数据处理，Int 类型字段部分字段出现 NULL情况

背景hive中有一张待处理的分区表，存储的方式是parquet，处理之后的目标表是一张非分区的外部表，并且分隔方式为“,”。
张德恒·2020-11-13 11:23

Java mapreduce解析parquet日志

1.单输入格式指定输入格式ParquetInputFormat//指定输入格式job.setMapperClass(ParquetMap.class);job.setInputFormatClass(ParquetInputFormat.class);ParquetInputFormat.addInputPath(job,newPath(args[1]));ParquetInputFormat.s
杜杜501·2020-11-13 11:40

Spark Parquet详解

Spark-Parquet概述ApacheParquet属于Hadoop生态圈的一种新型列式存储格式，既然属于Hadoop生态圈，因此也兼容大多圈内计算框架（Hadoop、Spark），另外Parquet
HoLoong·2020-09-29 16:00

Spark SQL快速入门（进阶）

show()2.printSchema()3.获取指定字段的统计信息4.获取数据操作5.查询操作6.过滤操作7.排序操作8.统计操作0x03执行SQL语句0x04保存DataFrame为其他格式1.默认为Parquet
邵奈一·2020-09-17 05:32

1、Apache Hudi简介

Hudi数据集通过自定义的InputFormat与当前的Hadoop生态系统（Hive、parquet、spark）集成，使该框架对
星星木有夜·2020-09-17 05:38

基因数据处理73之从HDFS读取fasta文件存为Adam的parquet文件

1.GRCH38chr14：hadoop@Master:~/xubo/project/load$./load.shstart:1SLF4J:Failedtoloadclass"org.slf4j.impl.StaticLoggerBinder".SLF4J:Defaultingtono-operation(NOP)loggerimplementationSLF4J:Seehttp://www.sl
KeepLearningBigData·2020-09-17 02:09

pyspark读写hdfs，parquet文件

SparkSession.builder.master("yarn-client").appName("test").getOrCreate()#读取数据，数据位置‘hdfs://bd01:8020/a/b/part*.parquet
土豆土豆，我是洋芋·2020-09-17 02:22

python读取hdfs上的parquet文件

python读取hdfs上的parquet文件在使用python做大数据和机器学习处理过程中，首先需要读取hdfs数据，对于常用格式数据一般比较容易读取，parquet略微特殊。
zkq_1986·2020-09-17 02:06

基因数据处理75之从HDFS读取vcf文件存为Adam的parquet文件（成功）

1.参考：packageorg.bdgenomics.adam.cliclassFlattenSuiteextendsADAMFunSuite{valloader=Thread.currentThread().getContextClassLoadervalinputPath=loader.getResource("small.vcf").getPathvaloutputFile=File.cre
KeepLearningBigData·2020-09-17 02:12

基因数据处理74之从HDFS读取vcf文件存为Adam的parquet文件（有问题）

1.small.vcf:没记录2.读取：5loadtime:3287ms{"variant":{"variantErrorProbability":139,"contig":{"contigName":"1","contigLength":null,"contigMD5":null,"referenceURL":null,"assembly":null,"species":null,"refere
KeepLearningBigData·2020-09-17 02:33

HiveQL之数据类型和存储格式

目录一、数据类型1、基本数据类型2、复杂类型二、存储格式（1）textfile（2）SequenceFile（3）RCFile（4）ORCFile（5）Parquet三、数据格式正文回到顶部一、数据类型
*MuYu*·2020-09-16 23:54

java操作parquet文件，添加字段

1、从原parquet文件中读出schemaConfigurationconfiguration=newConfiguration(true);ParquetMetadatareadFooter=null
yingkongshi99·2020-09-16 19:11

parquet与avro嵌套列存结构比较

paruet列存文件结构图：如上图，文件由一个或者多个行组RowGroup组成，每个行组由多个列组成，每个列由多个页面组成，页面由其头部和Repetitionlevels、Definitionlevels和列的值values组成。以上结构可以在加载时追加record，record首先存在内存中，当内存不够用时，将此时内存中所有的record组成一个行组RowGroup输出到文件中，内存清空。而在a
iyoungyes·2020-09-16 19:51

Structured Streaming如何实现Parquet存储目录按时间分区

缘由StreamingPro现在支持以SQL脚本的形式写StructuredStreaming流式程序了：mlsql-stream。不过期间遇到个问题，我希望按天进行分区，但是这个分区比较特殊，就是是按接收时间来落地进行分区，而不是记录产生的时间。当然，我可以新增一个时间字段，然后使用partitionBy动态分区的方式解决这个问题，但是使用动态分区有一个麻烦的地方是，删除数据并不方便。流式程序会
祝威廉·2020-09-16 11:37

Hive调优

优化建表时要进行分区、分桶、拆分优化SQL(能不shuffle就不shuffle，能在map端提前处理的不要reduce处理)合并小文件map阶段和reduce阶段的输出尽量采用snappy数据压缩和(parquet
马上要秃头的我·2020-09-16 02:48

Hive中的各种存储格式的区别

hive包含的文件存储格式有：textFile、SequenceFile、RCfile、ORCFile，parquet。textFile：默认的文件格式，行存储。
ChanKamShing·2020-09-16 00:48

列式存储格式：Parquet

原作者：https://blog.csdn.net/yu616568/article/details/51868447什么是列式存储OLAP查询的特点，列式存储可以提升其查询性能，如何做到？一般关系型数据库都是行存储，日常工作中我们又是仅需要某一列的数据，如果按行存储的化我们需要扫描每一行才能获取列。这样就大大的耗费了成本。而列式存储都是按列进行顺序存储的（每一列都是文件？？）所以：查询时不需要扫
卷曲的葡萄藤·2020-09-15 18:28

Parquet 列式存储格式

Parquet列式存储格式参考文章：https://blog.csdn.net/kangkangwanwan/article/details/78656940http://parquet.apache.org
weixin_30527551·2020-09-15 18:25

Hadoop学习笔记 --- 深入理解 parquet 列式存储格式

最近在总结parquet相关的资料，这里对网上资料以及自己的思考做一个总结。
杨鑫newlfe·2020-09-15 18:46

pyspark入门系列 - 02 pyspark.sql入口 SparkSession简介与实践

SparkSesson对象可以创建DataFrame，将Dataframe注册为表，并在表上执行SQL、缓存表、读parquet文件等，通过下面的方式创建SparkSessonfrompyspark.sqlimportSparkSessionspark
铁甲大宝·2020-09-15 17:00

Parquet列式存储格式

列式存储列式存储和行式存储相比有哪些优势呢？可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量。压缩编码可以降低磁盘存储空间。由于同一列的数据类型是一样的，可以使用更高效的压缩编码（例如RunLengthEncoding和DeltaEncoding）进一步节约存储空间。只读取需要的列，支持向量运算，能够获取更好的扫描性能。当时Twitter的日增数据量达到压缩之后的100TB+，存储在HD
孝林·2020-09-15 16:07

Spark+Parquet分片规则

之前提到parquet.block.size所控制的parquetrowgroup大小是一个需要调优的spark参数。其中重要一点，就是控制任务的并发度。
就问你吃不吃药·2020-09-15 16:14

SparkSql-数据源

常用加载/保存默认数据源是parquet，除非用spark.sql.sources.default配置参数定义为其他。
.Mr Zhang·2020-09-15 16:42

Spark SQL 外部数据源

SparkSQL外部数据源1.概述外部数据源API方便快速从不同的数据源（json,parquet,rdbms)引入处理数据，经过混合处理，写回到指定文件系统上去。
wtzhm·2020-09-15 15:06

Parquet性能测试调优及其优化建议

Parquet性能测试调优及其优化建议一、我们为什么选择parquet1、选择parquet的外部因素（1）我们已经在使用spark集群，spark原本就支持parquet，并推荐其存储格式（默认存储为
weixin_33963594·2020-09-15 15:45

Parquet介绍及简单使用

==>什么是parquetParquet是列式存储的一种文件类型==>官网描述：ApacheParquetisacolumnarstorageformatavailabletoanyprojectintheHadoopecosystem,regardlessofthechoiceofdataprocessingframework,datamodelorprogramminglanguage无论数据
weixin_33726318·2020-09-15 15:33

Hadoop数据存储orc与parquet格式的选择

对于orc与parquet这两种列式存储格式，网上能找到大量的介绍以及对比，此处简单总结一下：orcVSparquet：默认情况下orc存储压缩率比parquet要高（压缩格式也可以更改，同样的压缩格式下
zx_love·2020-09-15 15:46

Spark 系列（八）SparkSQL和集成数据源-及简单优化方案----简化工作的利器！！

及简单优化：SparkSQL优化器--CatalystOptimizer具体流程：SparkSQLAPI：具体优化流程：原流程：优化流程：DataSet与DataFrame操作SparkSQL操作外部数据源Parquet
NICEDAYSS·2020-09-15 14:53

Spark SQL读取外部数据源

SparkSQL读取外部数据源1、SparkSQL可以加载任何地方的数据，例如mysql，hive，hdfs，hbase等，而且支持很多种格式如json,parquet,avro,csv格式。
明天你好lk·2020-09-15 14:36

SparkSql 处理各种数据源

文章目录SparkSql的各种数据源1.JDBC2.csv3.Json4.parquet5.HiveSparkSql的各种数据源1.JDBC首先创建程序入口和jdbc连接：得到的是DataFrame类型数据
Icedzzz·2020-09-15 13:25

为什么我们选择parquet

为什么我们选择parquet前用的hadoop，一直有个疑惑。
wulantian·2020-09-15 13:47

Spark系列--SparkSQL(六)数据源

前言SparkSQL的数据源：结构化的文件（json，parquet），或者是Hive的表，或者是外部的数据库（mysql），也或者是已经存在的RDD。
淡淡的倔强·2020-09-15 13:47

SparkSQL外部数据源

场景介绍：大数据MapReduce,Hive,Spark作业,首先需要加载数据,数据的存放源可能是HDFS、HBase、S3、OSSmongoDB;数据格式也可能为json、text、csv、parquet
csdn3993023·2020-09-15 13:44

SparkSQL数据源

SparkSQL的默认数据源为Parquet格式。数据源为Parquet文件时，SparkSQL可以方便的执行所有的操作。修改配置项spark.
不稳定记忆·2020-09-15 12:52

SparkSQL各种数据源相关操作

目录JSON文件文本文件parquet文件JSON转parquetMySQL文件Hive文件JSON文件defjson(spark:SparkSession):Unit={valjsonDF:DataFrame
程研板·2020-09-15 12:59

Spark SQL笔记——技术点汇总

2.SparkSQL特点a)数据兼容：可从Hive表、外部数据库（JDBC）、RDD、Parquet文件、JSON文件获取数据，可通过Scala方法或SQL方式操作这些数据，并把结果转回RDD。
专注于大数据技术栈·2020-09-15 02:08

数仓建设过程中DB层增量到ODS层情况解析

to_date(days_sub(NOW(),1))前一天日期背景：每5个小时抽取一次oracle里面6个小时内的数据到DB层，抽完之后，将数据增量到ODS层DB层是textfile文件表，ODS层是parquet
xuyingzhong·2020-09-15 01:36

impala用parquet格式，hive用orc格式

1.impala用parquet格式，hive用orc格式。Impala不支持orcfile，orcfile的确很好
hunter127·2020-09-14 22:17

sparkSQL sparkSQL之DataFrame和DataSet

DataFrame是什么DataFrame的优点DataFrame和RDD的优缺点RDDDataFrame读取文件构建DataFrame读取文本文件创建DataFrame读取json文件创建DataFrame读取parquet
爱吃甜食_·2020-09-14 18:29

大数据高频面试题-项目中常见问题

8.6Kafka数据重复8.7Mysql高可用8.8自定义UDF和UDTF解析和调试复杂字段8.9Sqoop数据导出Parquet8.10Sqoop数据导出控制8.11Sqoop数据导出一致性问题8.12SparkStreamin
Mr.WiG·2020-09-14 16:03

利用spark基于parquet或者orc文件直接建hive表

如何快速的基于一个parquet文件进行建表？
玉羽凌风·2020-09-14 05:57

Parquet格式描述

Parquet是Dremel的开源实现，作为一种列式存储文件格式，2015年称为Apache顶级项目，后来被Spark项
一缕阳光a·2020-09-14 05:18

Parquet与ORC性能测试报告

一、环境说明Hadoop集群：使用测试Hadoop集群，节点：hadoop230hadoop231hadoop232hadoop233这几台机器配置一样，具体参数可参考如下：CPU数量：2个CPU线程数：32个内存：128GB磁盘：48TB使用测试机群上的同一个队列，使用整个集群的资源，所有的查询都是无并发的。Hive使用官方的hive1.2.1版本，使用hiveserver2的方式启动，使用本机
教练_我要踢球·2020-09-14 05:08

Hive格式 Parquet与ORC性能测试报告

2019独角兽企业重金招聘Python工程师标准>>>一、环境说明Hadoop集群：使用测试Hadoop集群，节点：hadoop230hadoop231hadoop232hadoop233这几台机器配置一样，具体参数可参考如下：CPU数量：2个CPU线程数：32个内存：128GB磁盘：48TB使用测试机群上的同一个队列，使用整个集群的资源，所有的查询都是无并发的。Hive使用官方的hive1.2.
weixin_34378767·2020-09-14 05:19

parquet嵌套数据结构

1，原文翻译原文http://lastorder.me/tag/parquet.html英文原文https://blog.twitter.com/2013/dremel-made-simple-with-parquet2
大数据星球-浪尖·2020-09-14 04:52

hive作为数仓，各个层次的存储格式

hive作为数仓，分为1、业务数据的数仓，来源于mysql2、用户行为数仓（日志），来源于采集系hive：ods层：用sqoop将mysql的数据导入到hdfs创建Snappy压缩格式的Parquet结构的表
qq_37301790·2020-09-14 04:36

【数仓】数据存储格式的选择：Parquet与ORC

这次要讲讲数据存储格式Parquet和ORC之间的选择！平时呢，我也会加一些有的没有的交流群，主要还是日常潜水看看里面有没有大佬！
lsr40·2020-09-14 03:19

spark-shell查看parquet文件内容

/spark-shell2、执行以下操作读取parquet文件valsqlContext=neworg.apache.spark.sql.SQLContext(sc)valparquetFile=sqlContext.parquetFile
cuiwenxu1·2020-09-13 19:58
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他