parquet存储格式

大数据之flink与hive

这也是我需要补的地方，没有条件创造条件，先来一篇吧flink：高性能低延迟流批一体的分布式计算框架基于事件时间对实时数据精准处理快速响应支持批处理，高效离线分析和数据挖掘数据仓库的引擎丰富数据源/接收器，集成多种数据存储格式和源
星辰_mya·2024-09-14 21:17

Protobuf学习 - 入门

GoogleProtocolBuffer(简称Protobuf)是一种轻便高效的结构化数据存储格式，平台无关、语言无关、可扩展，可用于通讯协议和数据存
weixin_30892987·2024-09-14 20:40

Python 将parquet文件转换为csv文件

Python将parquet文件转换为csv文件使用pyarrow插件将parquet文件转换为csv使用pyarrow插件将parquet文件转换为csv```pythonimportosimportpyarrow.parquetaspqfromconcurrent.futuresimportThreadPoolExecutorimportcsvimporttime
一个小坑货·2024-09-14 15:10

深入理解Java虚拟机：Jvm总结-类文件结构以及类加载机制

6.2无关性的基石实现语言无关性的基础仍然是虚拟机和字节码存储格式。Java虚拟机不与包括Java语言在内的任何程序语言绑定，它只与“Class文件”这种特定的二进制文件格式所关联。
Ty_1106·2024-09-12 00:53

hive表格统计信息不准确

问题描述有个hive分区表，orc存储格式，有个分区，查询selectcount(1)fromtablewheredt='yyyyMMdd'结果是0，但查询select*fromtablewheredt
weixin_41956627·2024-09-11 09:37

Python + Pandas : 轻松搞定CSV文件

1.概述CSV（Comma-SeparatedValues，逗号分隔值）格式是一种广泛使用的数据存储格式，它以纯文本形式存储表格数据。
快乐星球没有乐·2024-09-06 23:21

Pandas教程：Pandas各种数据源操作大全

SQL数据库3.1介绍3.2操作方法3.3转换4.JSON文件4.1介绍4.2操作方法4.3转换5.HTML文件5.1介绍5.2操作方法5.3转换6.HDF5文件6.1介绍6.2操作方法6.3转换7.Parquet
旦莫·2024-09-05 00:35

大数据学习｜理解和对比 Apache Hive 和 Apache Iceberg

文章目录数据模型与存储事务支持性能优化使用场景总结数据模型与存储Hive:Hive使用的是传统的关系型数据模型，数据存储在Hadoop分布式文件系统(HDFS)中，通常是以文本格式（如CSV或TSV）或者二进制格式（如Parquet
进击的小白菜·2024-09-04 16:50

Hive的存储格式

文章目录Hive的存储格式1.存储格式简介2.行存储与列存储行式存储列式存储混合的PAX存储结构TextFileSequenceFileHive的存储格式1.存储格式简介Hive支持的存储数的格式主要有
百流·2024-09-03 12:16

Spark - SQL查询文件数据

有时候有没有这么一种情况，我拿到了一个sql,csv,parquet文件，一起来就想写sql，不想写那些乱七八糟的的东西，只是想快速实现我要的聚合查询数据。
kikiki5·2024-09-03 07:39

iniparser 使用方法介绍

一、iniparser的概述INI（InitializationFile）文件是一种简单直观的数据存储格式，常用于配置应用程序的初始化设置。
kunsir_·2024-09-02 05:38

稀疏矩阵的常用存储格式（COO、CSR、CSC）

图结构数据图是用于描述对象间关系的基本结构，顶点表示对象，边表示连接关系。根据连接关系的紧密可以将图分为稀疏图和稠密图，两者是相对的概念，并不存在明确的划分界限。稀疏图可以理解为仅有少部分对象间存在关联，稠密图反之。实际应用中的图往往都是稀疏图。采用直观的办法来存储图往往会造成极大的空间浪费，如邻接矩阵（稀疏图对应的邻接矩阵中绝大部分的元素为零，无实际意义）。因此需要考虑寻求其它格式来进行高效存储
每天学一点吧·2024-09-02 05:37

SpringBoot依赖之Spring Data Redis的功能抽离公共服务

前几期我们针对在SpringBoot中的SpringDataRedis依赖对Redis不同类型的存储格式进行了细分学习，今天在这里进行汇总，当然如果你的项目使用的是SpringDataRedis这个原生官方以来
ahauedu·2024-08-28 02:44

【大数据】数据仓库的定义、数据模型及其建设与设计

1.数据仓库1.1定义数据仓库不是数据的简单堆积，而是从大量的事务型数据库中抽取数据，并将其清理、转换为新的存储格式,即为决策目标把数据聚合在一种特殊的格式中。
牧心.·2024-08-27 07:10

pytest-yaml学习以及json、xml数据存储格式对比

1、简介是一个数据文件，支持注释、换行、裸字符串等2、用途2.1用于全局的配置文件：环境、数据库信息、账号信息、日志格式、报告名称2.2用于接口自动化里面的多接口串联2.3用于编写接口测试用例3、语法规则3.1区分大小写3.2通过缩进的方式表示层级关系，不同的是：yaml只能用空格缩进，不能使用tab键，和缩进多少层无关，只看是否对齐3.3#表示注释4、例子#yaml语法格式：是一种存储数据的格式
不要问我y·2024-08-25 00:19

ARM工作模式

ARMARM架构ARM七个工作模式寄存器异常向量表存储格式（内存大小端）汇编指令ARM架构RAM：随机访问存储器ROM：只读访问存储器AHB：先进高速总线APB：先进外设总线USB：统一串行总线norflash
八嘎喵·2024-08-23 16:28

04. Redis基础-持久化

为什么要持久化防止数据的意外丢失，确保数据的安全性持久化过程保存了什么RDBRDB是以快照形式保存，保存当前数据状态，存储数据结果，存储格式简单，关注点再数据AOFAOF是以日志形式保存，保存数据的操作过程
王茗渠·2024-03-15 13:12

Hive 基于MapReduce引擎 map和reduce数的参数控制原理与调优经验

1.概述主要对基于MR的map数和reduce数测试与调优2.数据准备（1）表信息本次测试的表和sql都是使用的TPC-DS，表文件存储格式为text表名是否压缩总数占用空间文件数date_dim否730499.8M1item
abcdggggggg·2024-02-20 20:03

离线地图瓦片跟矢量数据下载

离线地图2D瓦片跟3D矢量数据下载工具使用介绍一、离线地图的各类自定义地图瓦片样式（可以随意根据自己喜欢进行配置）1）、进入软件首页，选择行政区域下载瓦片（如下图）2）、选择下载参数，勾选地图下载的级别，存储格式可选
YTW·2024-02-20 16:24

一文搞懂 MySQL、debezium 和 ElasticSearch 的时间格式

date定义：只表示日期存储格式：YYYY-MM-DD取值范围：1000-
程序员白总·2024-02-20 09:58

Go语言使用protobuf快速入门

前言protobuf即ProtocolBuffers，是一种轻便高效的结构化数据存储格式，与语言、平台无关，可扩展可序列化。protobuf性能和效率大幅度优于JSON、XML等其他的结构化数据格式。
汀风说后端·2024-02-19 16:05

【大数据面试题】006介绍一下Parquet存储格式的优势

同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python等都支持，所以Parquet
Jiweilai1·2024-02-19 13:34

(10)Hive的相关概念——文件格式和数据压缩

目录一、文件格式1.1列式存储和行式存储1.1.1行存储的特点1.1.2列存储的特点1.2TextFile1.3SequenceFile1.4Parquet1.5ORC二、数据压缩2.1数据压缩-概述2.1.1
爱吃辣条byte·2024-02-19 13:21

单片机学习笔记---DS18B20温度传感器

DS18B20内部结构框图暂存器内部单总线介绍单总线电路规范单总线时序结构初始化发送一位发送一个字节接收一位接收一个字节DS18B20操作流程指令介绍ROM指令功能指令DS18B20数据帧温度变换温度读取温度存储格式
Vera工程师养成记·2024-02-14 06:08

《深入理解 Java 虚拟机》读书笔记：类文件结构

2、无关性的实现基础各种不同平台的虚拟机所有平台都统一使用的字节码存储格式二、Class类文件的结构Class类文件是一组以8字节为基础单位的二进制流，各个数据项目严格按照顺序紧凑地排列在Class文
惊却一目·2024-02-13 05:48

VMware安装OpenWrt

image-20200913094529987因为这里是VMware安装，所以下载x86-64，下载链接关于OpenWrt/LEDE固件的一些说明：combined-ext4.img.gz（rootfs工作区存储格式为
不忘初心_fb28·2024-02-12 01:50

###C语言程序设计-----C语言学习（11）#数据的存储和基本数据类型

首先介绍整型数据的存储格式，不妨假设每个整数在内存中占用两个字节存储，最左边的一位（最高位）是符号位，0代表正数，1代表负数。数值可以采用原码，反码，补码等不同的
袁满满满满·2024-02-11 22:26

chap6 类文件结构

1.无关性的基石java虚拟机提供的语言无关性的基础是虚拟机和存储格式。java虚拟机不和任何语言绑定，仅与“class文件”这种特定的二进制文件格式相关联。
菜鸟乱撞·2024-02-11 20:20

视频处理学习笔记1：YUYV422、NV12和h264

工作中用到的是YUYV422存储格式。存储的就是裸流YUYV422格式文件。
hongel110·2024-02-10 18:55

Pandas实践经验汇总

目录DataFrame去重drop_duplicates加载parquet文件加载XLSX文件报错DataFrame去重drop_duplicates参考：官方文档-pandas.DataFrame.drop_duplicates
November丶Chopin·2024-02-10 08:30

基础-2

结构体结构体也是一种类型，它可以存储不同的数据类型，定义在函数外部：type结构体名struct{}typeStudentstruct{idintnamestringsexbyte}结构体是一种数据存储格式
hellomyshadow·2024-02-09 15:11

JPEG图像的压缩标准（1）

分3个博客详细介绍JPEG图像的压缩标准，包含压缩和解压缩流程，熵编码过程和文件存储格式。
凌峰的博客·2024-02-09 09:55

MySQL篇----第十一篇

三、MyISAM表格将在哪里存储，并且还提供其存储格式？四、MySQL如何优化DISTINCT？五、如何显示前50行？
数据大魔王·2024-02-08 10:57

音视频色彩：RGB/YUV

分类1.2.1RGB161)RGB5652)RGB5551.2.2RGB241.2.3RGB2222.YUV2.1介绍2.2分类2.2.1YUV4442.2.2YUV4222.2.3YUV4202.3存储格式
孙八瓶·2024-02-08 10:40

学习MySQL必须掌握的13个关键字，你get了吗？

在满足第一范式的基础上，每个表都要保持唯一性，也就是表的非主键字段完全依赖于主键字段；第三范式：在满足第一范式和第二范式的基础上，表中不能产生传递关系，要消除表中的冗余性；2、字符集字符集规定了字符在数据库中的存储格式
Java码农·2024-02-08 03:21

Apache Iceberg 是什么？

可以将其视为物理数据文件（用Parquet或ORC等编写）以及它们如何结构形成表之间的抽象
Shockang·2024-02-07 10:57

Java 集合List Set Map、字典Map、泛型T

目录集合循环遍历map的3种方法JavaLinkedList的实现泛型是java，jdk5引入的集合whenwherewhy因为数组的长度是固定的，所以出现了集合编程时，如果要存储多个数据，使用长度固定的数组存储格式
二十英里法则·2024-02-07 06:21

单细胞分析——深入理解 AnnData 数据结构

高效开发环境：Pycharm+Anaconda二、安装scanpypipinstallscanpy三、AnnData1、AnnData介绍与结构AnnData是用于存储数据的对象，一般作为scanpy的数据存储格式
春娃赛如花·2024-02-07 05:15

MySql数据在磁盘上到底是怎么存储的？被存储的数据怎么查找？

Innodb的存储格式我们知道，关于Mysql这种关系型数据库，里面保
Emily-C·2024-02-07 05:10

Webserver笔记

//定义一个字符数组str_t，用于存储格式化后的时间字符串
Dominiczz·2024-02-07 02:46

Webserver笔记

//定义一个字符数组str_t，用于存储格式化后的时间字符串
Dominiczz·2024-02-07 02:42

OpenCV学习笔记：如何扫描图像、利用查找表和计时

但若是三通道图像，这种存储格式的颜色数就太多了（确切地说，有一千六百多万种）。用如此之多的颜色可能会对我们的
weixin_33772645·2024-02-06 05:33

C# 中的 BitmapImage 与 BitmapSource 接口的区别对比解析

尽管这两个接口在许多方面有着紧密的联系，但它们在数据表示、存储格式、使用场景以及编码解码方面存在显著差异。本文将深入探讨这些区别，并通过具体例子加以说明。1、数据表
白话Learning·2024-02-05 18:16

Kafka系列（二）将消息数据写入Kafka系统--生产者【异步发送、同步发送、单线程发送、多线程发送、配置生产者属性、自定义序列化、自定义主题分区】

Kafka系列发送消息到Kafka主题了解异步模式了解同步模式线程发送消息的步骤生产者用单线程发送消息生产者用多线程发送消息配置生产者属性保存对象的各个属性一序列化序列化一个对象序列化对象的存储格式自己实现序列化的步骤
_蓝天IT_·2024-02-05 05:06

使用python打开parquet文件

Parquet是一种用于列式存储和压缩数据的文件格式，广泛应用于大数据处理和分析中。Python提供了多个库来处理Parquet文件，例如pyarrow和fastparquet。
Yorelee.·2024-02-04 18:09

数仓治理-存储资源治理

临时数据表下线评估3.2表及分区的生命周期评估3.3存储及压缩格式评估3.4根据业务场景实现节省存储评估四、治理后的成效如何评估一、存储资源治理的背景由于早期数仓的存储资源比较充裕，没有考虑到后续集群扩容、存储格式等因素造成的资源紧张的局面
爱吃辣条byte·2024-02-03 13:51

浅谈JSON DATA TYPE

优化的存储格式，存储在JSON列中的JSON数据被转换成内部的存储格式。其允许快速读取。可以修改特定的键
稀里糊涂司小呆·2024-02-02 22:16

MySQL的存储格式，MySQL的触发器

1，MySQL的存储格式在MySQL中，创建存储函数使用createfunction关键字，其基本形式如下:createfunctionfunc_name([param_nametype[,...]])
湯沫·2024-02-02 19:11

spark题06

2.讲讲列式存储的parquet文件底层格式？3.dataset和dataframe？4scala中trait特征和用法？5.redis和memcache的区别？
博弈史密斯·2024-02-02 09:59

【SparkML系列2】DataSource读取图片数据

除了一些通用的数据源，如Parquet、CSV、JSON和JDBC外，我们还提供了一些专门用于机器学习的数据源。
周润发的弟弟·2024-02-01 07:01
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他