ORC

CDH 安装 presto集成hive和mysql

它可以共享Hive的元数据，然后直接访问HDFS中的数据，同时支持Hadoop中常见的文件格式比如文本，ORC和Parquet。
时间_实践·2019-03-02 16:09

hive3.0.0 新建orc表以便支持 delete 问题 及sql语句调优

说明：之前查了资料得到hive3.0及以上版本是支持ACID的，但是在实际操作中并没有实现delete功能，为了节省时间之间将原来存储格式为textfile格式的内部表修改为存储格式为orcfile的orc
卢子墨·2019-02-22 11:30

读取本地ORC文件，返回OrcStruct列表

importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.hive.ql.exec.vector.VectorizedRowBatch;importorg.apache.orc.OrcFil
Jtnarata·2019-02-21 16:25

DATAX hdfsreader orc格式读取丢数问题修复及验证

生产上出现了问题：datax从hdfs读orc数据导入mongodb，有时会产生数据的丢失针对这个问题在github上提了个问题。然后两个月后，大神们修复了这个问题。
bulbcat·2019-02-12 15:41

hbase实现TXT,CSV,ORC和Parquet格式数据的导入和导出代码

下面纯属原创，只是实现其功能，性能上对于大规模数据尚有欠缺，直接上代码：导入：publicImportDataResponseimportData(StringconnectionID,StringdataBase,StringtableName,StringsourceFileType,StringsourceFilePath)throwsException{ImportDataResponse
qiangzi_lg·2019-01-28 14:03

Oracle对象管理

一、用户管理1、创建表空间createtablespaceschool#指定表空间名称datafile'/orc/app/oracle/oradata/school01.dbf'#指定数据文件路径size200M
居思涵·2019-01-28 02:24

hive事务讲解

hive事务的限制条件1.在现在的版本中，只支持ORC文件格式。2.默认情况下，hive的事务性是关闭的，开启需要设置transactional=true。3.表必须是Bucket表。
maixia24·2019-01-27 23:17

oracle之表空间

1、创建表空间sqlplus/assysdba//以dba的身份进库startup//开启数据库createtablespacedb_work//创建名为db_work的表空间datafile'/orc
居思涵·2019-01-25 23:40

Python使用pytesseract库识别图片文字

在写一个需要用到ORC的小工具，试了一下Tesseract，中文的效果差强人意，已弃坑，转用百度API，但是还是要做一下笔记。
At5uto·2019-01-22 21:40

一文学会绕过Hive存储和压缩的坑

在我实际查看以后，发现集群的文件存储格式为Parquet，一种列式存储引擎，类似的还有ORC。而文件的压缩形式为Snappy。具体的操作形式如下：①创建Parq
假的鱼·2019-01-21 20:28

Hive调优

Hive存储格式选择和Hive相关优化：压缩参考Hive支持的存储数的格式主要有：TEXTFILE、SEQUENCEFILE、ORC、PARQUET。
cpongo333·2019-01-18 00:24

算法：记忆化搜索算法

二：应用实例题目描述对于一个递归函数w(a,b,c)如果a20orb>20orc>20就返回w(20,20,20)如果a2#include3#inc
JYRoy·2019-01-15 22:00

洛谷P1464 Function -python 解答

题目描述对于一个递归函数w(a,b,c)如果a≤0orb≤0orc≤0就返回值1.如果a>20orb>20orc>20就返回w(20,20,20)如果a20orb>20orc>20:returnhelp_func
contr4l_·2019-01-02 22:03

Impala 简单使用指南

//不支持orc5.可以访问hive
123.56.119.133:8090·2018-12-26 19:33

大数据文件格式揭秘：Parquet、Avro、ORC

Parquet、Avro、ORC格式相同点基于Hadoop文件系统优化出的存储结构提供高效的压缩二进制存储格式文件可分割，具有很强的伸缩性和并行处理能力使用schema进行自我描述属于线上格式，可以在Hadoop
AlferWei·2018-12-17 20:28

ORC文件格式

ORC文件格式https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC在Hive版本0.11.0中引入。
hxhh·2018-12-17 10:12

MR优化总结

优化前1.熟知业务要求2.熟知数据分布状态（是否倾斜、是否是多个小文件等），可以使用采样来了解数据通用型优化策略1.文件存储格式使用更加优化的格式的文件，例如Parquet、ORC，综合来说，ORC最优
夏橙、·2018-12-10 19:54

大数据：Hive - ORC 文件存储格式

一、ORCFile文件结构ORC的全称是(OptimizedRowColumnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自ApacheHive，用于降低
guicaizhou·2018-12-06 11:15

Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的存储格式的压缩对比和查询速度对比）

综述：HIve的文件存储格式有四种：TEXTFILE、SEQUENCEFILE、ORC、PARQUET，前面两种是行式存储，后面两种是列式存储；所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式
isea_you·2018-12-06 11:06

csv、parquet、orc读写性能和方式

背景最近在做一个大数据分析平台的项目，项目开发过程中使用spark来计算工作流工程中的每一个计算步骤，多个sparksubmit计算提交，构成了一个工作流程的计算。其中使用csv来作为多个计算步骤之间的中间结果存储文件，但是csv作为毫无压缩的文本存储方式显然有些性能不够，所以想要寻找一个存储文件效率更高或者执行效率更高的文件格式作为替代品。存储方式csvcsv数据文件属于文本存储方式，spark
guicaizhou·2018-12-05 17:03

Hive建表中ORC格式的使用

refer:https://blog.csdn.net/longshenlmj/article/details/51702343#Hive建外部External表（外部表externaltable）：CREATEEXTERNALTABLE`table_name`(`column1`string,`column2`string,`column3`string)PARTITIONEDBY(`proc_
liuzx32·2018-11-26 17:12

大数据中常用的几种数据格式对比(avro、orc、parquet)

不同数据格式特点1).AVRO:主要为行存储设计的主要目标是为了满足schemaevolutionschema和数据保存在一起2).ORC：面向列的存储格式由Hadoop中RCfiles发展而来，比RCfile
~shallot~·2018-11-26 17:18

mybatis报错：org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.reflectio

fromt_subregionsLeftJoint_zd_mainplanttypemOns.MainPlantTypelId=m.MainPlantTypelIdwhere1=1ands.OrchardBaseInfoId=#{orc
ArchitectDream·2018-11-14 18:13

创建ORC结果表

原文链接：https://yq.aliyun.com/articles/669130本页目录创建ORC结果表DDL定义WITH参数创建ORC结果表ORC(OptimizedRowColumnar)是Hadoop
weixin_34064653·2018-11-14 13:40

遭受刷验证码攻击后的企安建设规划感想

背景公司上市不到两周，便遭受到了黑客攻击，其中笔者团队的验证码比较容易识别，攻击者通过ORC识别刷了10几万的短信，除了造成一笔资金开销外，也给服务器带来了很大的压力；并且在阿里云的控制台当中每天都能看到很多攻击信息
·2018-11-13 00:00

Spark Hive 导入数据到 HBase

HBase，上一篇博客中已经做了介绍MapReduceHive导入数据到HBase，MR这种方式有两个缺点，一是当数据量特别大的时候，执行较慢，hive中表的存储格式有多种，除了上面两种，还有常用的两种就是ORC
HG_Harvey·2018-11-06 15:50

hive 常用知识点

UDAF用法hivehbase关联hive-e用法字段变更添加字段删除字段hive-1.2.1支持`insert,update,delete`的配置hive表中的锁基本知识导入数据到hive表load命令orc
ikeguang·2018-11-04 21:02

Spark SQL中RDDs转化为DataFrame（详细全面）

除了调用SparkSesion.read().json/csv/orc/parqutjdbc方法从各种外部结构化数据源创建DataFrame对象外，SparkSQL还支持将已有的RDD转化为DataFrame
大鱼-瓶邪·2018-11-04 12:32

hive 项目实战(2)

因为这里创建的表要使用orc的压缩方式，而不使用默认的textfile的方式，orc的压缩方式要想向表中导入数据需要使用子查询的方式导入，即把从另一张表中查询到的数据插入orc压缩格式的表汇中，所以这里需要四张表
mmalan·2018-11-01 18:33

Spark SQL介绍和DataFrame概念以及其API的应用示范（详细全面）

SparkSQL介绍：SparkSOL是用于结构化数据、半结构化数据处理的Spark高级模块，可用于从各种结构化数据源，例如JISON(半结构化)文件、CSV文件、ORC文件(ORC文件格式是一种Hive
大鱼-瓶邪·2018-10-19 17:38

数据计算中间件技术综述

对于数据存储，目前Apache社区提供了多种存储引擎的选择，除了传统的HDFS文件和HBase，还提供了Kudu、ORC、Parquet等列式存储，大家可以根据自身的需求特点进行
chaochao52001·2018-10-18 23:11

Oracle12c表空间管理脚本

-----------创建表空间tbs_work(大小10M自动扩展)--------------------SQL>CREATETABLESPACEtbs_work2DATAFILE'/orc/app
qq5b28bb0dddd33·2018-10-14 15:40

parquet

参考大数据开源列式存储引擎Parquet和ORC新型列式存储格式Parquet详解读写parquet格式文件的几种方式Parquetfileoptionalfielddoesnotexistparquet
羽溪夜·2018-10-11 17:19

Oracle12c操作命令

Oracle操作命令1、创建用户需要先创建表空间SQL>createtablespacework#创建work表空间2datafile'/orc/app/oracle/oradata/work01.dbf
丁香花下·2018-10-10 11:50

Oracle基础操作——CDB-PDB

CON_IDCON_NAMEOPENMODERESTRICTED2PDB$SEEDREADONLYNO3ORCLPDBMOUNTEDSQL>alterpluggabledatabaseorclpdbopen;//修改可插拔库orc
恒小白·2018-10-10 10:01

Oracle12c安装脚本

以及相关功能和增强性安全功能systemctldisablefirewalld.servicesystemctlstopfirewalld.servicesetenforce0创建xfs文件系统并且进行挂载不少于15G/orc
qq5b28bb0dddd33·2018-10-08 17:06

Hive的压缩和存储

压缩和存储数据压缩开启Map输出阶段压缩开启Reduce输出阶段压缩数据存储格式创建一个SNAPPY压缩的ORC存储方式的表数据压缩hive和hadoop一样，也可以使用压缩来节省我们的MR处理的网络带宽
Fenggms·2018-09-28 20:46

【SparkSQL详解】

简单介绍sparksql是spark的一个重要的组件，该组件主要是处理结构化的数据，从外部数据源（hive,json,.csv,parquet,orc等）读取到内存中，在内存中以DataFrame形式存在
热血趁年华·2018-09-26 16:33

余热回收系统：ORC低温余热发电原理

典型ORC低温余热发电原理利用一系列低沸点有机物为介质-取决于余热的具体温度ORC余热发电系统通常通常在比蒸汽低的温度工作ORC余热发电系统属于分布式发电系统(功率可达2MW)ORC余热发电系统结构简单完整的余热发电机解决方案
速科德高速主轴·2018-09-13 15:58

tesseract-orc训练 结合python3图像识别验证码

##前言其实就是用到tesseract-ocr这个引擎来识别，只不过我们需要做一些在此之前的工作将图片用pillow进行初步处理，将图片中的验证码显示的清晰一些，关于这些教程可以查看我的另一篇文章（现在还没写）然后用tesseract-ocr将处理完的图片进行识别，当然不训练tesseract-ocr是不行的，还需要对其进行训练，后面我会说明怎么训练windows平台1.安装######安装tes
Hello_wshuo·2018-09-11 18:32

ORC Files

ORC全称是OptimizedRowColumnar，意思是优化的RCfile，优化行列式。ORC文件格式提供了一个很高效的方式来存储hive数据。它旨在克服其他hive文件格式的限制。
koushr·2018-09-05 14:00

【Python爬虫】 验证码图像识别 --- 第二弹 (点触验证码识别和打码平台介绍)

上一次介绍的是ORC技术对图片进行识别,不过识别率并不是很理想,接下来在这里介绍几个自己觉得好用的打码平台供大家参考一丶baidu-aip:通用文字识别官网有教程:接入指南:https://ai.baidu.com
bmx_rikes·2018-09-04 00:48

Java API 读取Hive Orc文件

Orc是Hive特有的一种列式存储的文件格式，它有着非常高的压缩比和读取效率，因此很快取代了之前的RCFile，成为Hive中非常常用的一种文件格式。
mnasd·2018-08-16 09:04

Hive数据仓库ORC格式数据

Failedwithexceptionjava.io.IOException:java.io.IOException:MalformedORCfile且Causedby:java.io.IOException:MalformedORCfilehdfs://master.hadoop:8020/user/hive/warehouse/shopcn_prodInvalidpostscript.这是由于
Joseph25·2018-08-13 16:44

hive 建表语句（外部表）

CREATEEXTERNALTABLE`ias.tbl_ex_pengpai_topic_data_origin_orc`(`record_time`string,`trace_id`string,`template_version
MR_REN019235·2018-07-31 20:47

hive 压缩全解读(hive表存储格式以及外部表直接加载压缩格式数据)；HADOOP存储数据压缩方案对比（LZO,gz，ORC）

数据做压缩和解压缩会增加CPU的开销，但可以最大程度的减少文件所需的磁盘空间和网络I/O的开销，所以最好对那些I/O密集型的作业使用数据压缩，cpu密集型，使用压缩反而会降低性能。而hive中间结果是map输出传给reduce，所以应该使用低cpu开销和高压缩效率，一般最好使用snappy。------------------------------------------------------
Ctt8912·2018-07-22 23:28

hive 压缩全解读(hive表存储格式以及外部表直接加载压缩格式数据)；HADOOP存储数据压缩方案对比（LZO,gz，ORC）

数据做压缩和解压缩会增加CPU的开销，但可以最大程度的减少文件所需的磁盘空间和网络I/O的开销，所以最好对那些I/O密集型的作业使用数据压缩，cpu密集型，使用压缩反而会降低性能。而hive中间结果是map输出传给reduce，所以应该使用低cpu开销和高压缩效率，一般最好使用snappy。------------------------------------------------------
Ctt8912·2018-07-22 23:28

将传统数仓(mysql)数据导入hive中

步骤：一：建表1.获取建表语句（例dim_area），代码如下注意：如果不设置建表格式为orc文件,txt文件loaddata到orc中会出错。
-dimension·2018-07-17 12:37

HDP HELLO WORLD案例

第一个HDP应用（物联网案例）摘要准备sandboxHadoop生态传输数据样本到HDFS使用Hive做ETLHive知识点创建ORC文件格式：验证查询数据Hive设置分析数据创建TRUCK_MILEAGE
JLOGAN·2018-07-15 22:12

CentOS7.3上部署安装Oracle12c

systemctldisablefirewalld.servicesystemctlstopfirewalld.servicesetenforce02.创建xfs文件系统并且进行挂载不少于15G，挂载目录不妨为/orc
ZhangXuPercy·2018-07-12 23:38
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他