parquet存储格式

【Codecs】颜色空间转换CSconvert：YUV420转YUV444

2、YUV的存储格式：YUV在存储时是以数组的形式存储的，可以看做连续的
M1379·2020-08-16 18:09

音视频编解码: YUV存储格式中的YUV420P,YUV420SP,NV12, NV21理解(转)

概述之前介绍了YUV码流的采样格式，下面分析下YUV码流的存储格式，YUV码流的存储格式与采样格式息息相关。
weixin_30507481·2020-08-16 15:57

深入分析Druid存储结构

文章作者：吴建超作者博客：jackywoo.cn内容来源：作者授权出品平台：DataFunTalk导读：ApacheDruid是一款优秀的OLAP引擎，众所周知数据存储格式对一款存储系统来说是最核心的组件
大数据星球-浪尖·2020-08-16 14:02

文档字符集导致的脚本错误

如下面的HTML页面（文件的实际存储格式为UTF-8）：中文
pingqingbo·2020-08-16 13:32

【音视频基础】(十五)： I420、YV12、NV12、NV21等常见的YUV420存储格式

然而在实际的开发、应用中，我们仅仅知道采样格式是不够的，我们还需要知道采样格式下的存储格式。
houxiaoni01·2020-08-16 12:03

TensorFlow 2.0 常用模块5：@tf.function

在上一篇文章中，我们介绍了TensorFlow的数据集存储格式TFRecord。本篇文章我们将介绍在TensorFlow2.0中调用图模式的方法。
狙击 妳吢·2020-08-16 10:22

Hive和Impala加载和存储数据功能曝光

在其他的数据库中，表都是以自己特定的文件格式来存储的，比如Oracle有自己的存储格式，而对Hive而言，一个表就是包含一个或多个文件的HDFS目录，这
weixin_34138255·2020-08-16 09:24

【TensorFlow】将数据集保存为TFRecords格式的文件

一个TFRecords文件包含一个带有CRC散列的字符串序列，其存储格式有如下四种：uint64lengthuint32masked_crc32_of_lengthbytedata[length]uint32masked_crc32
ncc1995·2020-08-16 07:40

关于cifar-10数据集读取问题

每个文件中数据存储格式为dict字典，键值为b’data’的为图片数据，是一个10000*3072（32*32*3）的numpy向量，10000表示图片张数，3072中前1024个表示Red通道数据，中间
月夜22·2020-08-16 05:45

Redis 持久化

为什么要进行持久化防止数据的意外丢失，确保数据安全性持久化过程保存什么将当前数据状态进行保存，快照形式，存储数据结果，存储格式简单，关注点在数据RDB将数据的操作过程进行保存，日志形式，存储操作过程，存储格式复杂
天色渐暗叶微凉·2020-08-16 03:21

torch THTensorApply.h关于Tensor计算

1、首先有必要了解一下c语言的数组存储格式问题。c存储2、然后有必要了解一下访问数组c底层对于数组的访问会查看内存存储的地方是否连续，将对连续的进行集中访问，节省时间。
枯叶蝶KYD·2020-08-16 02:28

顺序表实现栈的基本操作

顺序表是一种存储格式与链表处于同一层次，可以用来实现一些结构，比如栈等。
蜗牛or·2020-08-16 00:59

Dremel made simple with Parquet（CN）

使用Twitter上的Parquet，我们在大型数据集上的大小减少了三分之一。在仅需要一部分列的常见情况下，扫描时间也减少到原始时间的一小部分。原理很简单：代替传统的行布局，将数据一次写入一列。
limstorm·2020-08-16 00:14

Parquet列式文件存储格式

一、Parquet是什么Parquet的灵感来自于2010年Google发表的Dremel论文，文中介绍了一种支持嵌套结构的存储格式，并且使用了列式存储的方式提升查询性能，在Dremel论文中还介绍了Google
limstorm·2020-08-16 00:14

Dremel made simple with Parquet

DremelmadesimplewithParquetBy‎@J_‎Wednesday,11September2013ColumnarstorageisapopulartechniquetooptimizeanalyticalworkloadsinparallelRDBMs.Theperformanceandcompressionbenefitsforstoringandprocessinglar
limstorm·2020-08-16 00:14

protobuf序列化协议介绍

ProtocolBuffer简介GoogleProtocolBuffer（简称Protobuf）是Google公司内部的混合语言数据标准，是一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，或者说序列化
Oragen·2020-08-15 23:17

使用openlayers3加载png格式图片

1.官方实例tiff是图片的一种格式，与png相比，主要有以下区别：PNG，图像文件存储格式，其目的是试图替代GIF和TIFF文件格式，同时增加一些GIF文件格式所不具备的特性。
haha_ying_haha·2020-08-15 19:20

osgEarth MBTiles瓦片加载案例 21.mb_tiles.earth

是由SQLite数据库定义的地图瓦片存储标准，对地图投影、瓦片行列及层级，有标准化定义，成为一个标准的瓦片数据存储格式。通过数据库索引的方式提高瓦片索引的效率。用单个文件，
osgEarthGUI·2020-08-15 19:50

彩色BMP转换成灰度图的原理

彩色图转换灰度图的原理如下：我们知道彩色位图是由R/G/B三个分量组成，其文件存储格式为BITMAPFILEHEADER+BITMAPINFOHEADER，紧跟后面的可能是:如果是24位真彩图，则每个点是由三个字节分别表示
wesleyluo·2020-08-15 17:03

opencv图像格式

命名规则通用的参数命名格式为：CV_{元素比特数}{元素类型}C{通道数}1最常见的CV_8UC3就表示为3通道Unsigned8bits格式的矩阵8U：8bitunsignedC3：通道数为32有些图片存储格式是
小蜗牛叽咕往前·2020-08-15 15:00

Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的对比）

Hive文件存储格式（TEXTFILE、ORC、PARQUET三者的对比）综述：HIve的文件存储格式有四种：TEXTFILE、SEQUENCEFILE、ORC、PARQUET，前面两种是行式存储，后面两种是列式存储
寞恒·2020-08-15 13:29

Google Protocol Buffer 的使用和原理

原文链接：http://www.ibm.com/developerworks/cn/linux/l-cn-gpb/ProtocolBuffers是一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化
whiteinblue·2020-08-15 12:28

浅析 FAT32 存储格式

1.基本概念（1）主引导记录（2）分区启动扇区（3）文件分配表（4）短文件名目录项2.分析理解（1）存储区域的基本分布（2）为什么需要FAT表文件系统的最小存储单元为簇（Cluster）。文件可以是多个簇组成，但是如果连续的储存同一文件的簇会产生许多问题。所以同属于一个文件的簇应该以类似单链表的形式不连续的存储在磁盘上。FAT表就扮演着同一文件簇单链表中的“链”关系。（3）数据区域存储的内容内容可
Anti_Bird·2020-08-15 10:44

bmp 和JPG有什么区别

BMP是windows的标准图像格式，而JPG是JPEG（号称什么“联合图像专家小组”，很多图像编码的国际标准都是这个地方制定的）推出的，采用高压缩比技术的图像存储格式。
weichaoer·2020-08-15 08:46

浮点数(floating-point number)二进制存储格式

定义浮点数就是小数点位置不固定的数，也就是说与定点数不一样，浮点数的小数点后的小数位数可以是任意的，根据IEEE754-1985(也叫IEEEStandardforBinaryFloating-PointArithmetic)的定义，浮点数的类型有两种:单精度类型(用4字节存储)和双精度类型(用8字节存储)。存储方式要理解浮点数的存储方式，首先要从科学技术法讲起。对于十进制数345.67用科学计数
chaoguo1234·2020-08-15 07:55

常用的浮点数存储格式：32-bit IEEE-754 floating-point format

IAR支持这种数据格式对于大小为32-bit的浮点数（32-bit为单精度，64-bit浮点数为双精度，80-bit为扩展精度浮点数），1、其第31bit为符号位，为0则表示正数，反之为负数，其读数值用s表示；2、第30～23bit为幂数，其读数值用e表示；3、第22～0bit共23bit作为系数，视为二进制纯小数，假定该小数的十进制值为x；十进制转浮点数的计算方法：则按照规定，十进制的值用浮点数
Big_Huang_JS·2020-08-15 06:28

Java深度历险（十）——Java对象序列化与RMI

这种做法一般涉及到自定义存储格式以及繁琐的数据转换。对象关系映射（Object-relationalmapping）是一种典型的用关系数据库来持久化对象的方式，也存在很多直接存储对象的对象数
weixin_33877092·2020-08-15 03:25

对象序列化

持久化对象时通常涉及自定义存储格式。使用文件存储时可以基于标准的文件格式，如XML、JSON和CSV等，也可以使用自定义的文本或二进制格式。使用数据库存储时需要定义数据库的
我叫王哈哈·2020-08-15 03:37

iOS Protobuf和TCP与服务器交互

Protobuf是谷歌公司提供的一种数据化结构存储格式，
草莓卷子kaka·2020-08-15 02:34

在Node中基于Mongoose对MongoDB进行增删查改（CRUD）操作（一）

mongodb安装mongoose使用robomongomongoose的CRUD操作mongoose的查询，增加，修改，删除工具介绍MongoDBMongoDB是基于Javascript语言的数据库，存储格式是
weixin_34144450·2020-08-15 00:31

PyInstaller生成的exe文件结构

文件说明exe格式(onefile)exe格式(onedir)各文件存储格式说明PyInstallerexe(onefile)执行过程主进程子进程exe(onefile)和exe(onedir)比较关于
张栈不全·2020-08-14 21:18

图片识别（灰度化）

图片存储格式。根据linux的哲学“一切
weixin_30429201·2020-08-14 20:18

Protobuf 完整解析 - 公司最常用的数据交互协议

Protobuf完整解析-公司最常用的数据交互协议GoogleProtocolBuffer(简称Protobuf)是一种轻便高效的结构化数据存储格式，平台无关、语言无关、可扩展，可用于通讯协议和数据存储等领域
郑宏鑫·2020-08-14 20:07

Redis入门到精通2---（数据类型）

Redis数据存储格式String（字符串）类型String类型的基本操作单数据操作和多数据操作的选择单指令1条数据发送（set）指令，执行指令查询一条数据，返回（result）结果。总共三个步骤，假
A.夕阳·2020-08-14 19:38

ffmpeg-sws_scale用法

sws_scale()作用简单说来就是转变图片的存储格式使用步骤首先初始化sws_getContext。使用sws_scale转化。
爱自在·2020-08-14 14:07

MySQL 数据类型篇（四）

MySQL数据类型每一个常量，变量和参数都有数据类型，它用来指定一定的存储格式、约束和有效范围。MySQL供了多种数据类型，主要包括数值型、字符串类型、日期和时间类型。
码农新锐·2020-08-14 10:49

javascript解析XML文档和XML字符的方法

XML一种带标签的数据存储格式，需要特殊的解析，前后端都可以解析，不同的语言不同的解析办法，这里记录的是javascript中的解析方法也是利用XMLHttpResquest对象来解析不同的浏览器，对象不同
猫爷001·2020-08-14 10:31

pg_upgrade 版本升级

--对于小版本的升级，内部存储格式是兼容的，大版本不一定兼容--小版本可以直接替换二进制文件，大版本需要导出与导入升级Minorreleasesneverchangetheinternalstorageformatandarealwayscompatiblewithearlierandlaterminorreleasesofthesamemajorversionnumber
rudy_gao·2020-08-14 10:57

mysql binlog文件格式详解

暂且不管这三种格式的区别，看看binlog的存储格式是什么样的。binlog是一个二进制文件集合，当然除了
do better myself·2020-08-14 09:08

YUV像素和ycbcr

这个大小跟多少个像素点和数据的存储格式有关。下面简述yuv与像素的关系：YUV与像素的关系：YUV是利用一个亮度（Y）、两个色差(U,V)来代替传统的RGB三原色
a623277405·2020-08-14 09:00

Spark RDD 分区数

分区数基础知识本地模式伪集群模式其他模式产生rdd的几种方式：通过scala集合方式parallelize生成rdd通过textFile方式生成的rdd从HBase的数据表转换为RDD通过获取json（或者parquet
爱吃甜食_·2020-08-14 09:26

Hive调优相关总结

前言我们都知道Hive默认的执行引擎是MR，在没有对Hive执行引擎改造之前（如HDP的TEZ，HiveonSpark项目），我们对Hive的调优依然只能围绕Hive本身支持的如存储格式，压缩，参数，SQL
banana`·2020-08-14 09:27

Google protocol buffer 使用和原理浅析 And 进阶使用方式之PbCodec

ProtocolBuffer  GoogleProtocolBuffer又简称Protobuf，它是一种很高效的结构化数据存储格式，一般用于结构化数据的串行化，简单说就是我们常说的数据序列化。
来自星星的松子·2020-08-14 07:05

QT:笔记1，文件存储格式，QMainwindow中的布局错误

1，我在继承QMainWindow的子类中去布局，出现错误，虽然工程能运行起来，但是并没有相应的显示效果。当使用qt布局时候出现错误 QLayout:AttemptingtoaddQLayout""toMainWindow"",whichalreadyhasalayout. 的时候,处理方法如下：QWidget*widget=newQWidget();//新添加的内容创建一个QWidget实例th
wel_silian·2020-08-14 04:51

Parquet 写数据过程及源代码分析

Parquet写数据过程及源代码分析本文主要从parquet写数据的角度进行分析，主要涉及parquet从拿到数据模型到最终将一条记录经过计算、编码、压缩等过程写入内存的过程（暂时没有包括写入文件的过程
xingtanzjr·2020-08-14 01:49

hive文件存储格式orc,parquet,avro对比

orc文件存储格式ORC文件也是以二进制方式列式存储的，所以是不可以直接读取，ORC文件也是自解析的，它包含许多的元数据，这些元数据都是同构ProtoBuffer进行序列化的。
zdsg1024·2020-08-14 01:37

Sqoop同步hive的parquet数据问题

目前通过Sqoop从Hive的parquet推数据到关系型数据库时，会报kitesdk找不到文件的错，这是Sqoop的BUG,错误信息如下：ERRORsqoop.Sqoop:GotexceptionrunningSqoop
Sin_Geek·2020-08-14 01:14

sqoop从mysql导入hive parquet表timestamp,decimal转换问题

、date，time以上时间类型会被sqoop转成int,long型，无法直接转成时间类型如果要转的有两个办法：1）转成long型，再用from_unixtime转回来，才能看时间（太麻烦）-----parquet
chen_jiangtao·2020-08-14 00:32

原创 C++应用程序在Windows下的编译、链接：第二部分COFF/PE文件结构

2.1概述在windows操作系统下，可执行文件的存储格式是PE格式；在Linux操作系统下，可执行文件的存储格式的WLF格式。它们都是COFF格式文件的变种，都是从COFF格式的文件演化而来的。
advpf4370·2020-08-14 00:29

0657-6.2.0-Sqoop导入Parquet文件Hive查询为null问题

fayson/cdhproject推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f1问题重现1.在MySQL中建表，一个bigint字段，二个varchar字段2.在Hive中建Parquet
Hadoop_SC·2020-08-14 00:03
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他