ORC

hive表格统计信息不准确

问题描述有个hive分区表，orc存储格式，有个分区，查询selectcount(1)fromtablewheredt='yyyyMMdd'结果是0，但查询select*fromtablewheredt
weixin_41956627·2024-09-11 09:37

大数据学习｜理解和对比 Apache Hive 和 Apache Iceberg

文章目录数据模型与存储事务支持性能优化使用场景总结数据模型与存储Hive:Hive使用的是传统的关系型数据模型，数据存储在Hadoop分布式文件系统(HDFS)中，通常是以文本格式（如CSV或TSV）或者二进制格式（如Parquet或ORC
进击的小白菜·2024-09-04 16:50

Proto3: Generating Your Classes - 生成你的类

TogeneratetheJava,Kotlin,Python,C++,Go,Ruby,Objective-C,orC#codeyouneedtoworkwiththemessagetypesdefinedina.protofile
Upping8·2024-08-31 02:21

一分钟英语趣问答 134

Wasitin:a)1944,b)1954,orc)1964?译句：第一个商业机器人是在哪一年被造出来的？
GBmelody·2024-08-29 16:34

寒假养成计划——Day4

andtherestofthecellsarecoloredwhite.Inoneoperation,youcanselectsomeblackcellanddoexactlyoneofthefollowing:colorallcellsinitsrowblack,orc
BrilliantWilliam·2024-02-19 21:03

(10)Hive的相关概念——文件格式和数据压缩

目录一、文件格式1.1列式存储和行式存储1.1.1行存储的特点1.1.2列存储的特点1.2TextFile1.3SequenceFile1.4Parquet1.5ORC二、数据压缩2.1数据压缩-概述2.1.1
爱吃辣条byte·2024-02-19 13:21

Apache Iceberg 是什么？

可以将其视为物理数据文件（用Parquet或ORC等编写）以及它们如何结构形成表之间的抽象
Shockang·2024-02-07 10:57

python文字识别

Tesseract文字识别是ORC的一部分内容，ORC的意思是光学字符识别，通俗讲就是文字识别。Tesseract是一个用于文字识别的工具。
初学小白Lu·2024-02-06 08:08

Hive调优

开启或者增大某些设置(配置).负载均衡,严格模式(禁用低效SQL),动态分区数...关闭或者减小某些设置(配置).严格模式(动态分区),推测执行...减少IO传输.Input(输入)/Output(输出),列存储orc
我走之後·2024-02-02 14:25

spark写hive的ORC表，count(*)没数据

使用spark向hive中插入数据，hive表是ORC表spark.sql("insertoverwritetableods.ods_aaapartition(pt,id)\n"+"select\n"+
青云游子·2024-01-30 09:49

PiflowX组件-FileRead

hdfs://server1:8020/flink/test/text.txtformatformat“”Set(“json”,“csv”,“avro”,“parquet”,“orc”,“r
PiflowX·2024-01-29 18:03

PiflowX组件-FileWrite

hdfs://server1:8020/flink/test/text.txtformatformat“”Set(“json”,“csv”,“avro”,“parquet”,“orc”,“
PiflowX·2024-01-29 18:29

Apache Impala 4.1概览

新版本在Iceberg集成、Catalog优化、Parquet/ORC读取性能、嵌套类型等方面都有较大进展。
stiga-huang·2024-01-28 12:36

FastDeploy项目简介，使用其进行（图像分类、目标检测、语义分割、文本检测|orc部署）

FastDeploy是一款全场景、易用灵活、极致高效的AI推理部署工具，支持云边端部署。提供超过160+Text，Vision，Speech和跨模态模型开箱即用的部署体验，并实现端到端的推理性能优化。包括物体检测、字符识别（OCR）、人脸、人像扣图、多目标跟踪系统、NLP、StableDiffusion文图生成、TTS等几十种任务场景，满足开发者多场景、多硬件、多平台的产业部署需求。1、FastD
万里鹏程转瞬至·2024-01-26 09:52

Hive 拉链表详解及实例

hive0.14slowlychangingdimension=>hive2.6.0merge事务管理原来采用分区表，用户分区存储历史增量数据，缺点是重复数据太多定义：数仓用于解决持续增长且存在一定时间时间范围内重复的数据存储：创建拉链表时使用列式存储ORC
Byyyi耀·2024-01-23 06:45

什么是铭文？什么是符文？写在RUNEs符文大爆发前夕。

Runes的目标是为Ordinals、ORC-20、BRC-20和Stamps等已有的代币化协议提供一种用户友好的、基于UTXO（未花费交易输出）的替代方案。符文代币在比特币网络
白马Block·2024-01-14 20:27

比特币铭文和符文有什么区别？简单梳理一下Ordinals、BRC20、Stamps、Atomcial、Runes、Pipe

最近很多新投资者可能对比特币生态中的各种铭文、符文感到困扰，尤其是那些以“20”结尾的概念，如BRC-20、ARC-20、SRC-20、DRC-20、ORC-20、PRC-20、ASC-20等。
白马Block·2024-01-14 20:27

Vim 用法详解

一、命令C：删除–>剪切–>进入插入模式c命令详解：Corc$表示修改当前行上光标后面的部分.进入编辑状态.c0orc^表示从光标处到当前行行首的部分进行修改，^代表首个非空格处。
戴国进·2024-01-13 14:39

【发票识别】支持pdf、ofd、图片格式（orc、信息提取）的发票

背景为了能够满足识别各种发票的功能，特地开发了当前发票识别的功能，当前的功能支持pdf、ofd、图片格式的发票识别，使用到的技术包括文本提取匹配、ocr识别和信息提取等相关的技术，用到机器学习和深度学习的相关技术。体验体验地址：https://invoice.behappyto.cn/invoice-service/体验地址上面有示例的发票，可以下载上传识别或者复制url地址进行识别。技术栈Spr
比嗨皮兔·2024-01-13 07:53

ORA-00257: Archiver error. Connect AS SYSDBA only until resolved错误解决

解决办法：1、删除以前的日志2、增大归档日志的容量3、关闭归档模式一、删除以前的容量1、登录账号后，查看ORACLE_BASE目录[oracle@localhost~]$echo$ORACLE_BASE;/orc
ok060·2024-01-13 03:10

Hive命令调优大全

–explain语法查询**–explain解析执行计划–以下优化为hive层面优化,常开****–读取零拷贝sethive.exec.orc.zerocopy=true;–默认false–关联优化器sethive.optimize.correlation
祈愿lucky·2024-01-12 08:28

分布式数据库原理及技术题目汇总（上）

A.HIVE中createtable命令使用时，表类型可以存储为ORC。B.HIVE中createtable命令使用时，必须包含rowformatdelimited。
小伍_Five·2024-01-11 22:03

5分钟使用Hologres实时湖仓加速分析挑战赛来袭

活动简介5分钟快速使用Hologres实时湖仓能力，加速分析数据湖OSS上Hudi、Delta、Paimon、ORC等格式数据，赢取精美礼品活动入口：Hologres实时湖仓分析挑战赛-阿里云开发者社区或点击文末
阿里云大数据AI技术·2024-01-08 19:50

sqoop（DataX）-MySQL导入HIVE时间格问题

这里写自定义目录标题问题1：测试MySQL数据信息HIVE数据信息hive中用parquet（orc）列式文件格式存储解决方法问题2：解决方法问题1：用公司的大数据平台（DataX）导数，已经开发上线一个多月的一批报表
浊酒南街·2024-01-02 15:02

【hive】hive的调优经验

三、数据格式hive提供text，sequenceFile，RCFile，ORC，Parquest等
kiraraLou·2023-12-27 18:49

orc小文件合并趣谈

进而，有了今天的这个主题ORC小文件合并趣谈。核心问题这里，首先治理的是实时导入数据的目录。这里增量数据采用SparkSQL以动态分区增量写入的方
艾伦_alan·2023-12-27 01:02

电商数仓项目----笔记七(数仓DIM层)

所谓的维度层其实就是分析数据的角度，维度层保存的表其实是分析数据的角度，比如：--性别，年龄，品牌，品类这层的表主要用于统计分析，因此DIM层的数据存储格式为orc列式存储+snappy压缩（时间短）orc
zmx_messi·2023-12-26 17:16

条件覆盖和条件组合覆盖测试设计-实验八例题

实验过程：条件覆盖条件覆盖（ConditionCoverage）指的是设计足够多的测试用例，使判定语句中的每个逻辑条件取真值与取假值至少出现一次，例如，在上一个实验的案例中，对于判定语句IF(a>1ORc1
Giperxr·2023-12-26 06:07

【Hive_04】分区分桶表以及文件格式

分区表读写数据（3）分区表基本操作1.2二级分区1.3动态分区2、分桶表2.1分桶表的基本语法2.2分桶排序表3、文件格式与压缩3.1Hadoop压缩概述3.2Hive文件格式（1）TextFile（2）ORC
温欣2030·2023-12-24 16:41

Hive 存储与压缩

文章目录存储格式行存储与列存储存储格式解析TextFile格式ORC格式Parquet格式存储效率对比TextFile格式ORC格式（推荐）Parquet格式对比压缩ORC——ZLIB压缩ORC——SNAPPY
月亮给我抄代码·2023-12-23 22:28

Hive存储格式和压缩算法

Hive存储格式和压缩算法在实际的项目开发当中，hive表的存储格式一般选择：ORC或PARQUET，压缩算法一般选择Zlib和SNAPPY存储格式分类逻辑表中的数据，最终需要落到磁盘上，以文件的形式存储
Kazi_1024·2023-12-23 22:58

讲道理，Hive文件存储与压缩还是挺重要的

压缩和存储1、文件存储格式Hive支持的存储数的格式主要有：TEXTFILE、SEQUENCEFILE、ORC、PARQUET。
看朱成碧_·2023-12-23 22:27

【004hive基础】hive的文件存储格式与压缩

文章目录一.hive的行式存储与列式存储二.存储格式1.TEXTFILE2.ORC格式3.PARQUET格式ing三.Hive压缩格式1.mr支持的压缩格式:2.hive配置压缩的方式:2.1.开启map
roman_日积跬步-终至千里·2023-12-23 22:56

Hive文件格式与压缩

Hive文件格式与压缩Hive支持的存储数据格式主要有：文本格式（TEXTFILE）、二进制序列化文件（SEQUENCEFILE）、行列式文件（RCFile）、优化的行列式文件（ORC）、PARQUET
会撸代码的懒羊羊·2023-12-23 22:56

hive数据存储与压缩

存储文件压缩比总结：ORC>Parquet>textFile存储文件的查询速度总结：（selectcount（*））ORC>TextFile>Parquet存储方式和压缩总结：在实际的项目开发当中，hive
Anla Likes Sunshine·2023-12-23 22:55

ClickHouse(19)ClickHouse集成Hive表引擎详细解析

文章目录Hive集成表引擎创建表使用示例如何使用HDFS文件系统的本地缓存查询ORC输入格式的Hive表在Hive中建表在ClickHouse中建表查询Parquest输入格式的Hive表在Hive中建表在
张飞的猪大数据·2023-12-23 20:37

提升Hive效能：实用技巧与最佳实践

目录优化Hive查询性能分区（Partitioning）代码示例分桶（Bucketing）代码示例使用合适的文件格式ORC文件格式使用Vectorization管理和优化表结构动态分区（DynamicPartitioning
昊昊该干饭了·2023-12-22 07:33

Proto3: Generating Your Classes - 生成你的类

TogeneratetheJava,Kotlin,Python,C++,Go,Ruby,Objective-C,orC#codeyouneedtoworkwiththemessagetypesdefinedina.protofile
Upping8·2023-12-21 22:16

RAC集群启动实例遭遇PRCR-1079、CRS-5017、ORA-01102cannot mount database in EXCLUSIVE mode

]$srvctlstartdatabase-dorclPRCR-1079:Failedtostartresourceora.orcl.dbCRS-5017:Theresourceaction"ora.orc
qq_28538637·2023-12-19 13:04

【星环云课堂大数据实验】InceptorSQL使用方法

文章目录一、InceptorSQL概述二、实验环境三、实验准备四、实验目的五、实验步骤5.1使用Waterdrop连接Inceptor5.2、WordCount5.3、外部表与内部表5.4、普通ORC表
生生不息~·2023-12-17 20:46

hive 常见存储格式和应用场景

1.存储格式textfile、sequencefile、orc、parquetsequencefile很少使用（不介绍了），常见的主要就是orc和parquet建表声明语句是：storedastextfile
Logan_addoil·2023-12-16 07:13

外部文件数据写入hive

会出现的问题：ORC格式是列式存储的表，不能直接从本地文件导入数据，只有当数据源表也是ORC格式存储时，才可以直接加载，否则会出现上述报错。
小赵要加油·2023-12-14 19:24

hive文件存储格式orc和parquet详解

hive支持的文件类型：textfile、sequencefile（二进制序列化文件）、rcfile（行列式文件）、parquet、orcfile（优化的行列式文件）一、orc文件带有描述式的行列式存储文件
！@123·2023-12-06 07:32

【黑马甄选离线数仓day06_核销主题域开发】

层操作数据存储层:==OperateDataStore==核心理念:几乎和源数据保持一致,粒度相同注意事项:==同步方式(全量同步,全量覆盖,增量仅新增,增量新增和更新)+内部表+分区表(部分)+指定字符分隔符+orc
LKL1026·2023-12-05 21:00

Spark-03: Spark SQL 基础编程

目录1.SparkSQL简介2.SparkSession3.SparkSQL数据的读写3.1读写TXT文件3.2读写CSV文件3.3读写JSON文件3.4读写Parquet文件3.5读写ORC文件3.6
m0_37559973·2023-12-05 18:17

python之ddddocr快速识别

pipinstallddddocr-ihttp://pypi.douban.com/simple/--trusted-hostpypi.douban.com2.编写代码importddddocr#导入orc
米 柴·2023-12-04 23:12

调优--学习笔记

2）使用列式存储Presto对ORC文件读取做了特定优化，因此在Hive中创建Presto使用的表时，建议采用ORC格式存储。相对于Parquet，Presto对ORC支持更好。
祈愿lucky·2023-12-04 09:14

Doris 数据导入一：Broker Load 方式

其中Brokerload还支持parquet和orc数据格式。1）
shangjg3·2023-12-02 10:18

Hive 数据库索引解析：提升查询速度的方法

而不是对整个表进行索引通过createindex语句可以创建索引，createindexindex_nameontable_name(column_name)hive的行组索引前提条件：1、存储格式为orc2
linbokang·2023-11-27 19:15

Apache Iceberg核心原理分析文件存储及数据写入流程

第一部分：Iceberg文件存储格式ApacheIceberg作为一款新兴的数据湖解决方案在实现上高度抽象，在存储上能够对接当前主流的HDFS，S3文件系统并且支持多种文件存储格式，例如Parquet、ORC
王知无(import_bigdata)·2023-11-27 19:25
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他