Parquet

Python 将parquet文件转换为csv文件

Python将parquet文件转换为csv文件使用pyarrow插件将parquet文件转换为csv使用pyarrow插件将parquet文件转换为csv```pythonimportosimportpyarrow.parquetaspqfromconcurrent.futuresimportThreadPoolExecutorimportcsvimporttime
一个小坑货·2024-09-14 15:10

Pandas教程：Pandas各种数据源操作大全

SQL数据库3.1介绍3.2操作方法3.3转换4.JSON文件4.1介绍4.2操作方法4.3转换5.HTML文件5.1介绍5.2操作方法5.3转换6.HDF5文件6.1介绍6.2操作方法6.3转换7.Parquet
旦莫·2024-09-05 00:35

大数据学习｜理解和对比 Apache Hive 和 Apache Iceberg

文章目录数据模型与存储事务支持性能优化使用场景总结数据模型与存储Hive:Hive使用的是传统的关系型数据模型，数据存储在Hadoop分布式文件系统(HDFS)中，通常是以文本格式（如CSV或TSV）或者二进制格式（如Parquet
进击的小白菜·2024-09-04 16:50

Hive的存储格式

存储结构TextFileSequenceFileHive的存储格式1.存储格式简介Hive支持的存储数的格式主要有：TEXTFILE(默认格式)、SEQUENCEFILE、RCFILE、ORCFILE、PARQUET
百流·2024-09-03 12:16

Spark - SQL查询文件数据

有时候有没有这么一种情况，我拿到了一个sql,csv,parquet文件，一起来就想写sql，不想写那些乱七八糟的的东西，只是想快速实现我要的聚合查询数据。
kikiki5·2024-09-03 07:39

【大数据面试题】006介绍一下Parquet存储格式的优势

同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python等都支持，所以Parquet
Jiweilai1·2024-02-19 13:34

(10)Hive的相关概念——文件格式和数据压缩

目录一、文件格式1.1列式存储和行式存储1.1.1行存储的特点1.1.2列存储的特点1.2TextFile1.3SequenceFile1.4Parquet1.5ORC二、数据压缩2.1数据压缩-概述2.1.1
爱吃辣条byte·2024-02-19 13:21

Pandas实践经验汇总

目录DataFrame去重drop_duplicates加载parquet文件加载XLSX文件报错DataFrame去重drop_duplicates参考：官方文档-pandas.DataFrame.drop_duplicates
November丶Chopin·2024-02-10 08:30

Apache Iceberg 是什么？

可以将其视为物理数据文件（用Parquet或ORC等编写）以及它们如何结构形成表之间的抽象
Shockang·2024-02-07 10:57

使用python打开parquet文件

Parquet是一种用于列式存储和压缩数据的文件格式，广泛应用于大数据处理和分析中。Python提供了多个库来处理Parquet文件，例如pyarrow和fastparquet。
Yorelee.·2024-02-04 18:09

spark题06

2.讲讲列式存储的parquet文件底层格式？3.dataset和dataframe？4scala中trait特征和用法？5.redis和memcache的区别？
博弈史密斯·2024-02-02 09:59

【SparkML系列2】DataSource读取图片数据

除了一些通用的数据源，如Parquet、CSV、JSON和JDBC外，我们还提供了一些专门用于机器学习的数据源。
周润发的弟弟·2024-02-01 07:01

【Spark系列6】如何做SQL查询优化和执行计划分析

一、查询优化示例1：过滤提前未优化的查询valsalesData=spark.read.parquet("hdfs://sales_data.parquet")valresult=salesData.groupBy
周润发的弟弟·2024-01-31 08:01

PiflowX组件-FileRead

hdfs://server1:8020/flink/test/text.txtformatformat“”Set(“json”,“csv”,“avro”,“parquet”,“orc”,“r
PiflowX·2024-01-29 18:03

PiflowX组件-FileWrite

hdfs://server1:8020/flink/test/text.txtformatformat“”Set(“json”,“csv”,“avro”,“parquet”,“orc”,“
PiflowX·2024-01-29 18:29

Apache Impala 4.1概览

新版本在Iceberg集成、Catalog优化、Parquet/ORC读取性能、嵌套类型等方面都有较大进展。
stiga-huang·2024-01-28 12:36

《向量数据库指南》——Milvus Cloud支持上万个 Collection、新增 Accesslog 功能……

为此，MilvusCloud新增了许多易用性功能，比如：可追踪外部接口调用的accesslog；对parquet数据格式的导入做了支持；引入了更清晰的错误消息；更快
LCHub低代码社区·2024-01-26 23:06

通过duckdb读写parquet

importduckdbif__name__=='__main__':con=duckdb.connect(database=':memory:')con.execute("CREATETABLEitems(itemVARCHAR,valueDECIMAL(10,2),countINTEGER)")con.execute("INSERTINTOitemsVALUES('jeans',20.1,1)
国强_dev·2024-01-25 14:02

python导出数据为parquet格式

importduckdbimportpandasaspdfromsqlalchemyimportcreate_engine#定义连接到您的MySQL或PostgreSQL数据库的参数db_type='mysql'#或'postgresql'user='your_username'password='your_password'host='your_host'port='your_port'data
国强_dev·2024-01-25 14:00

111.Parquet表的使用

Parquet格式：数据模型:Avro,Thrift,ProtocolBuffers,POJOs查询引擎:Hive,Impala,Pig,Presto,Drill,Tajo,HAWQ,IBMBigSQL
大勇任卷舒·2024-01-21 02:33

Milvus 上新：支持上万个 Collection、新增 Accesslog 功能……

为此，Milvus新增了许多易用性功能，比如：可追踪外部接口调用的accesslog；对parquet数据格式的导入做了支持；引入了更清晰的错误消息；更快的加载速度以及更好的查询分片平衡能力。在
Zilliz Planet·2024-01-20 04:20

记csv、parquet数据预览一个bug的解决

文章目录一、概述二、实现过程1.业务流程如图：2.业务逻辑3.运行结果三、bug现象1.单元测试2.运行结果三、流程梳理1.方向一2.方向二一、概述工作中遇到通过sparksession解析csv、parquet
爱码少年·2024-01-14 08:49

Spark - SQL查询文件数据

>有时候有没有这么一种情况，我拿到了一个sql,csv,parquet文件，一起来就想写sql，不想写那些乱七八糟的的东西，只是想快速实现我要的聚合查询数据。
kikiki4·2024-01-09 09:18

Iceberg: 列式读取Parquet数据

通过Spark读取Parquet文件的基本流程SQL==>Spark解析SQL生成逻辑计划树LogicalPlan==>Spark创建扫描表/读取数据的逻辑计划结点DataSourceV2ScanRelation
Dreammmming Time·2024-01-05 14:55

impala + kudu | 大数据实时计算踩坑优化指南

一开始需要全量导入kudu，这时候我们先用sqoop把关系数据库数据导入临时表，再用impala从临时表导入kudu目标表由于sqoop从关系型数据直接以parquet格式导入hive会有问题，这里默认
王知无(import_bigdata)·2024-01-04 23:41

备份kudu表数据（Kudu导入导出）

方法0：最简单的方法是建好一张和需要备份的表一样的kudu表INSERTINTOTABLEsome_parquet_tableSELECT*FROMkudu_table方法一：(在Hue中进行即可）1,
冬瓜螺旋雪碧·2024-01-04 23:38

Spark - SQL查询文件数据

有时候有没有这么一种情况，我拿到了一个sql,csv,parquet文件，一起来就想写sql，不想写那些乱七八糟的的东西，只是想快速实现我要的聚合查询数据。
大猪大猪·2024-01-04 07:02

大数据系列之：读取parquet文件统计数据量

大数据系列之：读取parquet文件统计数据量一、Spark读取parquet文件统计数据量二、parquet-tools统计parquet文件数据量三、实际应用案例一、Spark读取parquet文件统计数据量首先
最笨的羊羊·2024-01-03 16:49

sqoop（DataX）-MySQL导入HIVE时间格问题

这里写自定义目录标题问题1：测试MySQL数据信息HIVE数据信息hive中用parquet（orc）列式文件格式存储解决方法问题2：解决方法问题1：用公司的大数据平台（DataX）导数，已经开发上线一个多月的一批报表
浊酒南街·2024-01-02 15:02

【遇见Doris】Apache Doris Parquet文件读取的设计与实现

今天是Doris的Contributor徐小冰同学代表搜狐带来的关于ApacheDoris(incubating)Parquet文件读取的设计与实现。所有
ApacheDoris·2023-12-31 03:44

Spark - SQL查询文件数据

有时候有没有这么一种情况，我拿到了一个sql,csv,parquet文件，一起来就想写sql，不想写那些乱七八糟的的东西，只是想快速实现我要的聚合查询数据。
kikiki2·2023-12-30 07:34

S3 调用次数减少 98% | 探索 OpenDAL RangeReader 的奥秘

前段时间同事告诉我：数据库执行`CopyFrom`语句从S3导入一个800KiB的Parquet文件需要10s；经过一些调查，又研读了相关`Reader`的文档和具体实现后（暴露了之前没有RTFSC）；
Greptime·2023-12-29 05:00

自动分区推断

SparkSQL中的Parquet数据源，支持自动根据目录名推断出分区信息。例如，如果将人口数据存储在分区表中，并且使用性别和国家作为分区列。
一个人一匹马·2023-12-29 05:04

Spark - SQL查询文件数据

>有时候有没有这么一种情况，我拿到了一个sql,csv,parquet文件，一起来就想写sql，不想写那些乱七八糟的的东西，只是想快速实现我要的聚合查询数据。
kikiki4·2023-12-28 03:49

【Hive_04】分区分桶表以及文件格式

3）分区表基本操作1.2二级分区1.3动态分区2、分桶表2.1分桶表的基本语法2.2分桶排序表3、文件格式与压缩3.1Hadoop压缩概述3.2Hive文件格式（1）TextFile（2）ORC（3）Parquet3.3
温欣2030·2023-12-24 16:41

Hive 存储与压缩

文章目录存储格式行存储与列存储存储格式解析TextFile格式ORC格式Parquet格式存储效率对比TextFile格式ORC格式（推荐）Parquet格式对比压缩ORC——ZLIB压缩ORC——SNAPPY
月亮给我抄代码·2023-12-23 22:28

Hive存储格式和压缩算法

Hive存储格式和压缩算法在实际的项目开发当中，hive表的存储格式一般选择：ORC或PARQUET，压缩算法一般选择Zlib和SNAPPY存储格式分类逻辑表中的数据，最终需要落到磁盘上，以文件的形式存储
Kazi_1024·2023-12-23 22:58

讲道理，Hive文件存储与压缩还是挺重要的

压缩和存储1、文件存储格式Hive支持的存储数的格式主要有：TEXTFILE、SEQUENCEFILE、ORC、PARQUET。
看朱成碧_·2023-12-23 22:27

【004hive基础】hive的文件存储格式与压缩

文章目录一.hive的行式存储与列式存储二.存储格式1.TEXTFILE2.ORC格式3.PARQUET格式ing三.Hive压缩格式1.mr支持的压缩格式:2.hive配置压缩的方式:2.1.开启map
roman_日积跬步-终至千里·2023-12-23 22:56

Hive文件格式与压缩

Hive文件格式与压缩Hive支持的存储数据格式主要有：文本格式（TEXTFILE）、二进制序列化文件（SEQUENCEFILE）、行列式文件（RCFile）、优化的行列式文件（ORC）、PARQUET
会撸代码的懒羊羊·2023-12-23 22:56

hive数据存储与压缩

存储文件压缩比总结：ORC>Parquet>textFile存储文件的查询速度总结：（selectcount（*））ORC>TextFile>Parquet存储方式和压缩总结：在实际的项目开发当中，hive
Anla Likes Sunshine·2023-12-23 22:55

Spark - SQL查询文件数据

有时候有没有这么一种情况，我拿到了一个sql,csv,parquet文件，一起来就想写sql，不想写那些乱七八糟的的东西，只是想快速实现我要的聚合查询数据。
kikiki5·2023-12-20 08:02

Linux 常用命令

Top命令PIDUSERPRNIVIRTRESSHRS%CPU%MEMTIME+COMMAND198445root200815802867221508R97.30.013:04.45parquet-arrow-p
zhixingheyi_tian·2023-12-17 17:20

Spark

RDD可以包含各种类型的数据，例如CSV格式、JSON格式、Parquet格式等，因此，RD
编织幻境的妖·2023-12-16 20:22

hive 常见存储格式和应用场景

1.存储格式textfile、sequencefile、orc、parquetsequencefile很少使用（不介绍了），常见的主要就是orc和parquet建表声明语句是：storedastextfile
Logan_addoil·2023-12-16 07:13

理解 Spark 写入 API 的数据处理能力

它始于对写入数据的API调用，支持的格式包括CSV、JSON或Parquet。流程根据选择的保存模式（追加、覆盖、忽略或报错）而分岔。每种模式执行必要的检查和操作，例如分区和数据写入处理。
小技术君·2023-12-14 12:23

Spark - SQL查询文件数据

有时候有没有这么一种情况，我拿到了一个sql,csv,parquet文件，一起来就想写sql，不想写那些乱七八糟的的东西，只是想快速实现我要的聚合查询数据。
kikiki2·2023-12-06 11:16

hive文件存储格式orc和parquet详解

hive支持的文件类型：textfile、sequencefile（二进制序列化文件）、rcfile（行列式文件）、parquet、orcfile（优化的行列式文件）一、orc文件带有描述式的行列式存储文件
！@123·2023-12-06 07:32

Windows系统查看parquet文件

一、背景最近项目上数据导入redshift是从s3，并且s3上文件格式为parquet。
某可儿同学的博客·2023-12-06 06:27

pandas parquet文件读取pyarrow、feather文件保存与读取；requests 或wget下载图片文件

**pandas读取文件填写绝对路径，相对路径可能出错读不了安装fastparquet库，需要安装python-snappy,一直安装错误，所以使用了pyarrowpipinstallpyarrow参考：https://arrow.apache.org/docs/python/importglobimportpandasaspdimportpyarrow.parquetaspqaaaaa=glob
loong_XL·2023-12-06 06:27
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他