Parquet

hdfs TEXTFILE和PARQUET 格式推送数据到mysql

首先清理mysql目标表sqoopeval-drivercom.mysql.jdbc.Driver\--connectjdbc:mysql://****:3306/basicdata?characterEncoding=UTF-8\--usernameroot\--password'****'\--query"TRUNCATETABLEDAILY_RATES"textfile文件推送sqoopex
xuyingzhong·2020-08-07 22:17

Parquet与ORC：高性能列式存储格式

级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、SparkSQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet
残阙的歌·2020-08-06 10:06

Hive-数据压缩格式，存储格式(行式存储、列式存储)，相关参数配置，详细分析

文章目录1数据压缩配置1.1MR支持的压缩编码1.2压缩参数配置设置Map输出阶段压缩设置Reduce输出阶段压缩2文件存储格式2.1列式存储和行式存储TextFile格式Orc格式Parquet格式3
Demik·2020-08-06 10:17

Spark SQL

(1)SparkSQL可以从各种结构化数据源(例如JSON、Hive、Parquet等)中读
tracy_668·2020-08-05 22:35

比较impala，SparkSql，Hive以及交互式查询,OLAP概念

整合遗留的数据格式，例如：将CSV数据转换为Avro；将一个用户自定义的内部格式转换为Parquet等。
Share-Get·2020-08-05 20:14

Hive的数据压缩与数据存储

目录一、hive的数据压缩MR支持的压缩编码压缩配置参数开启Map输出阶段压缩开启Reduce输出阶段压缩二、hive的数据存储格式列式存储和行式存储TEXTFILE格式ORC格式PARQUET格式三、
L00918·2020-08-05 16:32

Hive的压缩与存储

开启Map输出阶段的压缩2.2、开启Reduce输出阶段压缩三、文件存储格式3.1、列式存储和行式存储3.1.1、行存储的特点3.2、列存储的特点3.3、TextFile格式3.4、Orc格式3.5、Parquet
chbxw·2020-08-05 16:17

Carbondata 存储结构

数据文件结构如下：image.pngimage.png索引文件结构相对比效简单，没有直接画出,可以直接查看原码(AbstractFactDataWriter#writeIndexFile)相对Parquet
ni_d58f·2020-08-05 10:11

Apache Drill Architecture Introduction

Drill也很适合大数据的即席查询，支持嵌套格式的数据查询，例如:JSON、Parquet，可以发现动态的模式。Drill不要求有一个中心化的元数据库。Dril
昨日西风紧·2020-08-04 22:03

day63-Spark SQL下Parquet内幕深度解密

大数据梦工厂联系方式：新浪微博：www.weibo.com/ilovepains/微信公众号：DT_Spark博客：http://.blog.sina.com.cn/ilovepains一：sparkSQL下的Parquet
黄色沙琪玛·2020-08-04 22:38

Drill查询复杂数据

嵌套的数据格式，如JSON(JavaScript对象表示法)文件和Parquet文件
花泽啸·2020-08-04 20:24

Drill官网文档翻译一 基本架构

Drill也适用到在大规模数据集场景下进行简单而迅速的查询.Drill能够查询像是JSON或是Parquet
weixin_33701294·2020-08-04 20:37

Drill 大数据高级查询工具

简介ApacheDrill是一个低延迟的分布式海量数据（涵盖结构化、半结构化以及嵌套数据）交互式查询引擎，使用ANSISQL兼容语法，支持本地文件、HDFS、HBase、MongoDB等后端存储，支持Parquet
supingemail·2020-08-04 18:47

Spark读取Parquet格式的数据为Dataframe

SaveMode指定文件保存时的模式：OverWrite覆盖Append追加ErrorIfExists如果存在就报错Ignore如果存在就忽略valspark=SparkSession.builder().master("local").appName("schema").getOrCreate()valdataFrame=spark.read.json("./data/json")//首先保存成
墨玉浮白·2020-08-04 16:54

Parquet

Parquet是可用于Hadoop生态系统中任何项目的开源文件格式。与基于行的文件（例如CSV或TSV文件）相比，ApacheParquet旨在提供高效且高性能的扁平列式数据存储格式。
独孤风·2020-08-04 15:00

实时查询引擎 - Apache Drill 介绍与应用

它以兼容ANSISQL语法作为接口，支持对本地文件，HDFS,HIVE,HBASE,MongeDB作为存储的数据查询，文件格式支持Parquet，CSV,TSV,以及JSON这种
CQ阿甘·2020-08-04 14:49

Apache Dril l和 Prestodb是合并多租数据源户统一查询

ApacheDrillApacheDrill是一个低延迟的分布式海量数据（涵盖结构化、半结构化以及嵌套数据）交互式查询引擎，使用ANSISQL兼容语法，支持本地文件、HDFS、HBase、MongoDB等后端存储，支持Parquet
ejinxian·2020-08-04 14:51

parquet.io.ParquetDecodingException: Can not read value at 0 in block -1 in file 记录解决办法

该问题出现原因：该问题出现在aws数据导入到我自己平台的hive仓库过程中出现的，AWS上该表的加工过程我也不清楚，只知道存储格式是parquet。
Rigenyi·2020-08-04 00:22

java写parquet

hive表结构CREATEEXTERNALTABLEparquet(idint,test_int32int,test_int64bigint,test_booleanboolean,test_stringstring,test_floatfloat,test_doubledouble,test_binarybinary)storedasparquetlocation'/user/hackcoder
hackcoder·2020-08-03 19:14

spark中的Dataset和DataFrame

从结构化数据文件中读取#pysparkdf=spark.read.parquet("xxx.p
YangJianShuai·2020-08-03 09:17

Spark SQL组件源码分析

其二，支持Parquet文件的读写，且保留Schema。其三，能在Scala代码里访问Hive元数据，能执行Hive语句，并且把结果取回作为
iteye_13202·2020-08-02 20:24

Flink读取kafka数据并以parquet格式写入HDFS

flink作为中间件消费kafka数据并进行业务处理；处理完成之后的数据可能还需要写入到数据库或者文件系统中，比如写入hdfs中；目前基于spark进行计算比较主流，需要读取hdfs上的数据，可以通过读取parquet
大数据技术与架构·2020-08-01 02:42

[spark] SparkSQL知识点全集整理

目录简介DataFrame对比RDD：DataFrame常见创建方式：SparkSQL读写数据1、与RDD交互2、读写本地文件3、读写parquet4、读写json5、读写mysqlsparkonhivesparkSQL
蛮子72·2020-07-30 17:48

Hive将csv导入表后以parquet格式存储

场景我在AWS的S3里面创建了两个文件夹，分别代表着存储csv文件和parquet格式的文件，首先我需要把csv文件导到hive表中，这里直接创建表建立映射路径即可：CREATEEXTERNALTABLEIFNOTEXISTS
luyanbin_lqq·2020-07-30 15:25

Spark SQL常见4种数据源(详细)

SparkSQL的默认数据源为Parquet格式。数据源为Parquet文件时，SparkSQL可以方便的执行所有的操作。修改配置项spark.
bingshi7573·2020-07-30 14:49

SparkSQL核心知识

http://spark.apache.org/sql/SparkSQL是Spark用来处理结构化数据（结构化数据可以来自外部结构化数据源也可以通过RDD获取）的一个模块外部的结构化数据源包括Json,parquet
逆水行舟如何·2020-07-30 13:29

Spark结构化API—DataFrame，SQL和Dataset

一、结构化API概述1.结构化API是处理各种数据类型的工具，可处理非结构化的日志文件、半结构化的CSV文件以及高度结构化的Parquet文件。
书忆江南·2020-07-30 11:30

CDH 安装 Flume、Kafka、Kudu

CDH6系列（CDH6.0、CHD6.1等）安装和使用Impala操作/读写Kudu，使用druid连接池Kudu原理、API使用、代码KuduJavaAPI条件查询spark读取kudu表导出数据为parquet
あずにゃん·2020-07-30 06:43

sqoop无法导出parquet文件到mysql

1.问题描述在CDH集群中我们需要将Hive表的数据导入到RDBMS数据库中，使用Sqoop工具可以方便的将Hive表数据抽取到RDBMS数据库中，在使用Sqoop抽取HiveParquet表时作业执行异常。Sqoop抽数脚本：sqoopexport\--connectjdbc:mysql://localhost:3306/test_db\--usernameroot\--password1234
明星it·2020-07-29 02:43

python语言 pyspark中dataframe修改列名

df=sqlContext.read.parquet("/user/用户名/123.parquet")##########df数据实例linkPhph123456##########把列名分别修改为name
yepeng2007fei·2020-07-29 01:15

Spark处理Log文件写成Parquet文件的两种方式

我们都知道Parquet的基于列式存储的文件详情参看：https://blog.csdn.net/weixin_39043567/article/details/89874304虽然log文件是有一定的规律
卷曲的葡萄藤·2020-07-28 20:59

spark sql中的first函数在多个字段使用实例

data_type`string,`soft_version`string,`ua`string,`mos`string)ROWFORMATSERDE'org.apache.hadoop.hive.ql.io.parquet
weixin_34260991·2020-07-28 19:14

学习Parquet文件格式

文章目录学习目的Parquet文件存储结构学习目的parquet文件作为列存的存储结构parquet文件的读写主要流程和调用接口spark对parquet文件读写的优化spark是如何实现向量化数据读取的
wankunde·2020-07-28 15:58

Spark TroubleShooting整理

文章目录ShutdownHook导致SparkDriverOOM问题发现和定位解决办法FileSourceScanExec进行Parquet文件Split策略有问题问题描述：Debug日志相关排查日志动态插入分区表任务执行失败失败错误分析
wankunde·2020-07-28 15:58

pyspark系列--读写dataframe

连接spark2.创建dataframe2.1.从变量创建2.2.从变量创建2.3.读取json2.4.读取csv2.5.读取MySQL2.6.从pandas.dataframe创建2.7.从列式存储的parquet
振裕·2020-07-28 12:44

Flink-Table连接到外部系统（八）

根据源和汇的类型，它们支持不同的格式，如CSV、Parquet或ORC。本页描述如何声明内置的表源和/或表汇，并在Flink中注册它们。注册源或接收器后，可以通过表API&SQL语句访问
springk·2020-07-28 11:44

Spark学习笔记：Spark进阶

目录Spark进阶一.在Sparkshell中使用不同的数据源1.通用Load/Save函数2.掌握Parquet文件3.SparkSQLJDBC4.HiveOnSpark二.SparkSQL开发三.SparkSQL
SetsunaMeow·2020-07-28 02:29

Hive无法读取Parquet

查询Hive表，报错：Failedwithexceptionjava.io.IOException:parquet.io.ParquetDecodingException:Cannotreadvalueat0inblock
Michael-JOE·2020-07-28 01:38

Apache+Hudi入门指南（含代码示例）

Hudi就是采用重写方式)使用Hudi的优点使用Bloomfilter机制+二次查找，可快速确定记录是更新还是新增更新范围小，是文件级别，不是表级别文件大小与hdfs的Blocksize保持一致数据文件使用parquet
别过来胖到我了·2020-07-27 22:56

Hadoop学习之-Parquet

ApacheParquet关于Parquet1.Parquet的特点2.Parquet数据类型2-1.基本数据类型2-2.Parquet的逻辑类型2-3.嵌套编码3.Parquet文件格式4.Parquet
leonardy·2020-07-27 16:51

RC ORC Parquet之大数据文件存储格式的一哥之争

而如何减少存储空间又提升计算效率，一直是大数据集群老生常谈的问题，今天就一起聊聊最基本的大数据文件存储格式的区别对比，尤其是Hive建表的时候需要选择文件存储格式最为常用，  而为什么单独拎出来说RC,ORC,Parquet
╭⌒若隐_RowYet·2020-07-27 16:30

Hive 或 Impala 的数据类型与 对应底层的 Parquet schema的数据类型不兼容

背景：修改了hive表的某些字段的数据类型，如从String->Double，此时，该表所对应的底层文件格式为Parquet，修改之后，更新Impala索引，然后查询修改数据类型的字段，会出现与Parquetschema
Ego_Bai·2020-07-27 15:26

Apache Spark Delta Lake 写数据使用及实现原理代码解析

DeltaLake写数据是其最基本的功能，而且其使用和现有的Spark写Parquet文件基本一致，在介绍DeltaLake实现原理之前先来看看如何使用它，具体使用如下：DeltaLake写数据原理前面简单了解了如何使用
Hadoop技术博文·2020-07-27 11:50

不通过 Spark 获取 Delta Lake Snapshot

DeltaLake进行数据删除或更新操作时实际上只是对被删除数据文件做了一个remove标记，在进行vacuum前并不会进行物理删除，因此一些例如在web上获取元数据或进行部分数据展示的操作如果直接从表路径下获取parquet
breeze_lsw·2020-07-27 11:10

Spark Sql教程(8）———读取形式多样的文件类型

SparkSQL默认读取的是parquet文件，使用的方法是save和load,如果要读取其他格式的文件，需要制定资源的格式名，如果是parquet格式的文件，我们可以直接在文件上进行查询操作。
辜智强 -buaa·2020-07-16 03:08

pyspark 学习 pyspark.sql module

pyspark.sql.SparkSession作用：创建DF、将DF注册为一张table，在table上执行sql，读取列式存储文件（parquet格式）注意parquet文件是一种以列式结构存储的数据
赵小丽的推荐系统学习之路·2020-07-16 02:30

大数据系列：Spark 常用数据格式介绍CSV、JSON、Avro、Parquet

在本文中，我们将使用ApacheSpark来介绍这四种格式的特性-CSV，JSON，Parquet和Avro。CSVCSV（逗号分隔值）文件通常用于在使用纯文本的系统之间交换表格数据。CSV
3d游戏建模经验交流·2020-07-15 22:03

解决hive查询parquet表报错NullPointerException异常问题(ProjectionPusher.java:118)

这个问题在hive3.1已经解决，但是我查看源码之后发现hive2.3.6还是没解决，其实解决办法很简单，不知道为什么一直不更新，对应hivebug是HIVE-16958，我的报错信息如下DiagnosticMessagesforthisTask:Error:java.io.IOException:java.lang.reflect.InvocationTargetExceptionatorg.a
ciqingloveless·2020-07-15 21:18

Spark SQL数据的读取和存储

这些数据源包括Hive表、JSON和Parquet文件。
似梦似意境·2020-07-15 18:40

Spark SQL 本地开发环境搭建和案例分析

通过SparkSQL，可以实现多种大针数据业务，比如对PG/TG级别的数据分析、分析预测并推荐、对不同格式的数据执行ETL操作（如JSON，Parquet，MySQL）然后完成特定的查询操作。
Kartty_·2020-07-15 17:11
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他