ORC

Spark学习:如何创建DataFrame？

如何创建DataFrame一、从RBDMS(关系型数据库)创建DataFrame二、从Driver端创建DataFrame三、从csv文件中创建DataFrame四、从Parquet/ORC创建DataFrame
我爱夜来香A·2022-11-20 17:13

【知识图谱】

抽取三元组工具OCR图文转换推荐使用百度orc在线转换工具百度ORC在线https://console.bce.baidu.com/ai-engine/ocr/con
xyh@华子·2022-11-20 14:36

记忆化搜索--Function Run Fun

Considerathree-parameterrecursivefunctionw(a,b,c):ifa20orb>20orc>20,thenw(a,b,c)returns:w(20,20,20)ifa
空景 Sadnes╰つ677·2022-11-19 12:28

opencv+paddle orc 识别图片提取表格信息

参考：python-opencv表格识别思路：1.提取出横线2.提取出纵线3.得到交叉点，删除错误的交叉点，两个交叉点距离小于10，取坐标值小的那个交叉点，得到表格行列4.对每个单元格使用paddleocr提取文字在原文代码基础上修改了2点1.pytesseract识别准确率不高，使用paddleocr代替pytesseract2.识别出的表格交叉点有些并非真实交叉点，通过判断该行像素点个数，丢掉
路新航·2022-11-19 05:00

Hive——Hive/HiveSQL性能优化

文章目录Partition分区1.静态分区StaticPartition2.动态分区DynamicPartitionBucket分桶使用Spark作为执行引擎使用压缩使用ORC格式Join优化1.STREAMTABLE2
aof_·2022-11-18 09:21

hive与impala相关

hive与impala相关hive的orc格式详解ORC（TheOptimizedRowColumnar），被设计用来给hive提供更高效的数据存储格式。
岁月的眸·2022-11-01 10:13

hive 读取sparksql的orc文件报ArrayIndexOutOfBoundsException：6

报错日志如下可以看出报错的地方再OrcFile的WriterVersion的from方法，定位代码发生在下面代码的values[val]代码段。values的值从代码可以看出values的数据应该为5，见下图代码而传过来的val是6，向上看代码，version来源是文件的meta，应该是spark版本的原因导致hive不支持的version。解决修改OrcFile文件的WriterVersion的
wang972779876·2022-10-30 19:48

spark sql读取不到orc格式hive表数据问题

1、问题在做spark数据对账时，对于部分orc格式的hive表，会有sparksql读取表数据为空的情况排查过程中发现是因为使用了tez作为hive的执行引擎，然后执行insertselectunionall
Java小田·2022-10-30 19:16

Spark3.0 Sql 使用HiveTableScanExec 读取Hive orc表源码分析及参数调优

Spark3.0Sql使用HiveTableScanExec读取Hiveorc表源码分析及参数调优1环境准备1.1示例代码importorg.apache.spark.sql.SparkSessionobjectSparkSqlHive{defmain(args:Array[String]):Unit={valss=SparkSession.builder().master("local[2]")
fir_dameng·2022-10-30 19:15

数据计算中间件技术综述

对于数据存储，目前Apache社区提供了多种存储引擎的选择，除了传统的HDFS文件和HBase，还提供了Kudu、ORC、Parquet等列式存储，大家可以根据自身的需求特点进行选择
cowjlymz7800977460·2022-10-24 10:11

Hudi源码|bootstrap源码分析总结（写Hudi）

前言ApacheHudibootstrap源码简要走读，不了解Hudibootstrap的可以参考：利用HudiBootstrap转化现有Hive表的parquet/orc文件为Hudi表版本Hudi0.12.0Spark2.4.4
董可伦·2022-10-18 17:47

Clickhouse系列之整合Hive数据仓库示例详解

目录前言正文实战案例ORC数据格式Parquet数据格式TextFile数据格式总结前言什么是Hive？ApacheHive数据仓库软件便于使用SQL读取、写入和管理驻留在分布式存储中的大型数据集。
·2022-10-14 23:41

深入理解ORC文件结构

官方原文如下，本文附加了一些通俗理解：EvolvingDraftforORCSpecificationv2https://orc.apache.org/specification/ORCv2/ORC文件的总体结构如下
书忆江南·2022-09-25 10:59

Hive数据格式-ORC

按行存储则如下所示逻辑存储格式大数据引擎存储中，大部分都是采用列式存储，比如Hive、Hbasea、b、c各列数据会集中存放在一起，如下所示标准列式存储Hive中textfile作为缺省的存储格式，采用列式存储，Hive也提供了ORC
那些年搬过的砖·2022-09-24 21:27

9.数据仓库搭建之DIM层搭建

2）在我们该项目当中，DIM层的数据存储格式为orc列式存储+snappy压缩。3）DIM层表名的命名规范为dim_表名_全量表或者拉链表标识（full/zip）。
Mmj666·2022-09-23 15:48

hdfswriter优化之提高写速度

以orc文件为例。
cclovezbf·2022-09-21 13:33

Hive-文件存储格式+压缩算法

image.png前置知识点行存储:适合插入列存储:适合查询存储格式textFile文本sequenceFile二进制parquet列式存储二进制(自带索引)orc格式(最好)ORC不是一个单纯的列式存储格式
Eqo·2022-09-17 11:01

hive查询报错：Invalid postscript

目录问题描述：定位原因：解决方案：问题描述：sqoop命令导入数据后查询数据表报错Invalidpostscript定位原因：要导入的表是以orc格式存储的，直接导入的数据是txt文件解决方案：将导入的表改为
chimchim66·2022-09-15 12:44

技术分享 | orchetrator--安装一个高可用 orchestrator

参考：https://github.com/openark/or...https://github.com/openark/or...https://github.com/github/orc...htt
·2022-09-08 00:43

BigData File Viewer工具介绍

p=591.概述BigDataFileViewer时一个跨平台（例如Windows，MAC，Linux等）的桌面应用程序，它用于查看常见的大数据二进制格式，例如Parquet，ORC，AVRO
小城老街·2022-09-04 18:30

Hive中的文件存储格式TEXTFILE、SEQUENCEFILE、RCFILE、ORCFILE、Parquet 和 AVRO使用与区别详解

前言Hive中常用的文件存储格式有：TEXTFILE、SEQUENCEFILE、RCFILE、ORC、PARQUET，AVRO。
皮哥四月红·2022-08-25 10:53

Hive存储格式之ORC File详解，什么是ORC File

文章目录概述文件存储结构StripeIndexDataRowDataStripeFooter两个补充名词RowGroupStreamFileFooter条纹信息列统计元数据类型信息复杂数据类型Postscript数据读取位置指针三层过滤文件级Stripe级Row级数据读取索引行组索引布隆过滤器事务支持压缩内存管理Hive中使用ORCHive使用Hive参数设置概述本文基于上一篇文章Hive存储格式
鲁边·2022-08-25 10:22

Hive数仓建表该选用ORC还是Parquet，压缩选LZO还是Snappy？

因为上一篇文章中提到我在数仓的ods层因为使用的是STOREDASINPUTFORMAT'com.hadoop.mapred.DeprecatedLzoTextInputFormat'OUTPUTFORMAT'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'存储模式，但是遇到了count(*)统计结果与select*不一样的情况
_Kafka_·2022-08-25 10:49

Hive存储格式之ORC File详解，什么是ORC File

ORC文件是以二进制的方式存储的，不可以直接读取，但由于ORC的自描述特性，其读写不依赖于HiveMetastore或任何其他外部元数据。本身存储了文件数据、数据类型及编码信息。
鲁边·2022-08-25 09:00

Spark3.x入门到精通-阶段四(SparkSql详解&java&scala实战)

它具有以下特点：能够将SQL查询与Spark程序无缝混合，允许您使用SQL或DataFrameAPI对结构化数据进行查询；支持多种开发语言；支持多达上百种的外部数据源，包括Hive，Avro，Parquet，ORC
顶尖高手养成计划·2022-08-18 20:44

详解hive常见表结构

hive简介1.外部表2.内部表3.分区表1.静态分区2.动态分区4.分桶表1.抽样2.map-sidejoin5.表的文件存储格式1.TEXTFILE2.SEQUENCEFILE3.RCFILE4.ORC5
·2022-08-11 11:16

hive常见表结构

目录1.外部表2.内部表3.分区表1.静态分区2.动态分区4.分桶表1.抽样2.map-sidejoin5.表的文件存储格式1.TEXTFILE2.SEQUENCEFILE3.RCFILE4.ORC5.
q495673918·2022-08-10 13:03

Hive基于UDF进行文本分词

Hive系列文章Hive表的基本操作Hive中的集合数据类型Hive动态分区详解hive中orc格式表的数据导入Java通过jdbc连接hive通过HiveServer2访问HiveSpringBoot
忍者1·2022-08-08 21:18

python图片验证码识别-基于机器学习的muggle_ocr图片验证码识别

开源项目muggle-orc感谢原作者的辛苦创作感谢阿J大佬的分享（白嫖）这是一个为麻瓜设计的本地OCR模块只需要简单几步操作即可拥有两大通用识别模块，让你在工作中畅通无阻。
未来的地中海·2022-08-01 07:09

引起索引失效的原因

aandbandc用到，candbanda用到，b用不到，c用不到，bandc用不到，candb用不到，aorb用不到，borc用不到,aorborc用不到，(aorb)andc用不到，(aandb)orc
Aaronmumu·2022-07-26 17:37

opencv联合python1——文档扫描OCR识别，角点检测，图像拼接

超市小票的ORC识别opencv4.0版本以后，图像寻找边缘后返回的参数只有两个边缘检测轮廓检测变换（平移，旋转）OCR识别透视变换原理#1.读入图像，获得图像缩小放大时的比例，重新定义大小#2.预处理
123梦野·2022-07-20 07:49

Meta项目功能测试 | 开启PrestoDB和Aria扫描优化

概要速览PrestoDB的Aria项目曾于2020年发布过一组实验性功能，用来提高对表（通过Hive连接器连接并以ORC格式存储数据）的扫描性能。
·2022-07-15 16:35

数据湖之 Flink Spark 集成 iceberg

iceberg表一、iceberg优点提供ACID事物，上游数据写入即可见，提供了upsert、mergeinto能力支持计算引擎有Spark、Flink、Presto以及Hive支持Parquet、Avro以及ORC
爱搬数据的米老鼠·2022-07-13 08:33

大数据之Hive实践分享之存储和压缩问题的详解

在我实际查看以后，发现集群的文件存储格式为Parquet，一种列式存储引擎，类似的还有ORC。
xinxindsj·2022-07-12 09:24

Hive存储格式对执行效率的影响

因为orc存储格式或者parquet格式不能直接load，所以我们一般都是先创建一个存储格式为text的临时表，通过in
数仓白菜白·2022-07-12 09:52

HIVE存储格式详解

目前hive常用的存储格式STOREDAS(TextFile|RCFile|SequenceFile|AVRO|ORC|Parquet)TEXTFILE,SEQUENCEFILE,RCFILE,ORC,
weixin_30551947·2022-07-12 09:50

Hive 文件格式详解

file_formatSEQUENCEFILE：生产中绝对不会用，k-v格式，比源文本格式占用磁盘更多TEXTFILE：生产中用的多，行式存储RCFILE：生产中用的少，行列混合存储，OCR是他得升级版ORC
beautiful_huang·2022-07-12 09:16

通用印刷体识别 php,实战腾讯云ORC文字识别

本帖最后由792858525于2019-11-816:16编辑之前弄服务器的时候无意间看到腾讯云有文字识别类的产品，在好奇的驱动下我点了进去，让就一发不可收拾。。。。。。。废话不多说，直接开整首先打开腾讯云的官网：https://cloud.tencent.com/在云产品里找到文字识别界面.jpg(144.2KB,下载次数:0)2019-11-814:02上传开通业务后，可以在右上角找到武林秘籍
最近一直忙于睡觉·2022-07-09 07:06

mac os 使用tesseract 进行ORC识别

需求最近要做保单识别,调研了下很多收费的服务,本着开源的精神,打算使用开源tesseract来做个服务。使用JAVA+IDEA+MACOS开发;安装tesseract执行brewreinstalltesseract验证tesseract--version显示安装成功!下载中文库下载中文训练库放到/usr/local/share/tessdata目录下测试图片识别执行tesseract图片地址输出文
·2022-06-27 14:47

HIVE3 深度剖析 (上篇)

整个系列分为上下两篇文章，涵盖以下章节：1.从HIVE架构的演进看HIVE的发展趋势2.盘点下HIVE3.X和HIVE2.X的那些重大差异点3.HIVE3.X的ORC事务表详解4.HIVE3.X的LEGACY
Michael_Li·2022-06-21 16:21

关于百度ORC识别SDK"AipOcrSdk"无法使用模拟器编译的解决办法

ifTARGET_IPHONE_SIMULATORelse[[AipOcrServiceshardService]authWithAK:kBAIDU_ORC_API_KEYandSK:kBAIDU_ORC_SECRET_KEY
幻风0628·2022-06-13 09:09

elasticsearch-spark用法

目前spark支持的数据源有：（1）文件系统：LocalFS、HDFS、Hive、text、parquet、orc、json、csv（2）数据RDBMS：mysq
wwwwwzh·2022-05-22 21:43

hive从入门到放弃(六)——常用文件存储格式

hive存储格式有很多，但常用的一般是TextFile、ORC、Parquet格式，在我们单位最多的也是这三种hive默认的文件存储格式是TextFile。
大数据的奇妙冒险·2022-05-19 19:00

pyspark--读取数据

文章目录pyspark读取数据参数介绍formatschemaloadtableoption读取文件jsoncsvparquet和orc读取数据表hivejdbcpyspark读取数据参数介绍formatDataFrameReader.format
囊萤映雪的萤·2022-04-26 12:12

OpenCV身份证离线识别技术实战(一)

本地ORC使用tess-two来完成，Tesseract是C++实现的OCR引擎，在Android中使用不是很方便，需要封装JavaAPI才能在Android平台中进行调用，然而tess-two已经帮我们做好了这些事情
老贡讲Python·2022-04-10 07:09

ubuntu18.04配置ORB-SLAM3（包含ROS）完整版教程

ORB_SLAM3安装教程ORB_SLAM3安装准备1、C++11orC++0xCompiler2、Pangolin==**出现的问题**==3、OpenCV安装4、Eigen安装5、boost安装6、
黄宏智·2022-04-04 07:46

使用VMware编译openEuler的内核过程中的问题

.内核编译大体流程2.各种找不到命令3.致命错误：openssl/opensslv.h：没有这样的文件或目录4.CannotgenerateORCmetadataforCONFIG_UNWINDER_ORC
一夜下梦成空_此后无声·2022-03-25 08:58

解决【dev-c++】 c语言项目报错‘for‘ loop initial declarations are only allowed in C99 or C1

解决【dev-c++】c语言项目报错’for’loopinitialdeclarationsareonlyallowedinC99orC11mode报错提示解决方法在项目管理中，点击当前项目名称，右键编译器
cly0216·2022-03-17 17:51

【无标题】

数据格式txtdoc文本文件xml/html标签的结构化数据存储配置信息jsoncsvparquet列式存储格式orc列式存储格式hdfs文件存储格式hdfs文件存储格式分为两大类行存储和列存储行存储,
jiayeliDoCn·2022-03-16 06:45

Python实现PDF扫描件生成DOCX或EXCEL功能

如PDF中表格图片图-1效果生成图-2图-1图-22.实现流程整个步骤为：读取PDF文件->生成图片->ORC获取图片内容->写入Excel3.功能代码
·2022-03-05 13:28
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他