ORC

Java API 读取Hive Orc文件

Orc是Hive特有的一种列式存储的文件格式，它有着非常高的压缩比和读取效率，因此很快取代了之前的RCFile，成为Hive中非常常用的一种文件格式。
赶路人儿·2017-11-23 19:21

MapReduce 读取ORC格式文件

1、创建orc格式hive表：createtabletest_orc(namestring,ageint)storedasorc2、查看表结构：showcreatetabletest_orcCREATETABLE
赶路人儿·2017-11-23 18:30

spark 读取ORC文件时间太长（计算Partition时间太长）且产出orc单个文件中stripe个数太多问题解决方案

1、背景：控制上游文件个数每天7000个，每个文件大小小于256M，50亿条+，orc格式。
aijiudu·2017-11-23 16:49

numpy矩阵相关计算

#orc=np.dot(a,a)#matrixmultiplication#ord=anp.dot(a,a,d)#matrixmultiplicati
正在充电Loading·2017-10-01 10:52

numpy矩阵相关计算

#orc=np.dot(a,a)#matrixmultiplication#ord=anp.dot(a,a,d)#matrixmultiplicati
正在充电Loading·2017-10-01 10:52

Hive报错整理之Malformed ORC file 、Invalid postscript.

Causedby:java.io.IOException:MalformedORCfile将本地文件的数据加载到hive的ORC格式表时，出现以下报错：DiagnosticMessagesforthisTask
数据搬运工·2017-09-14 00:00

Hive调优实践

1文件格式的选择ORC格式确实要比textFile要更适合于hive，查询速度会提高20-40%左右例子1：youtube1的文件格式是TextFIle，youtube3的文件格式是orchive>selectvideoId
_和·2017-08-25 20:45

trafodion导入ORC文件压缩方式是snappy

1.在hive里面创建一个外表：createexternaltable`orc_03`(`id`int,`bid`string,`code`string,`name`string,`info`string
freedom_824·2017-08-24 23:24

Parquet与ORC性能测试报告

一、环境说明Hadoop集群：使用测试hadoop集群，节点：hadoop230hadoop231hadoop232hadoop233这几台机器配置一样，具体参数可参考如下：CPU数量：2个CPU线程数：32个内存：128GB磁盘：48TB使用测试机群上的同一个队列，使用整个集群的资源，所有的查询都是无并发的。Hive使用官方的hive1.2.1版本，使用hiveserver2的方式启动，使用本机
leoIsCoding·2017-08-22 17:45

Hive的行级acid事务处理

//所有事务都是自动提交，并且存储文件只能是orc文件,而且只能在桶表中使用。
缘定三石·2017-08-21 22:20

三目运算符

aandb)orca为条件语句true或者false当a为true则把b赋给value，当a为false则把c赋给value逻辑运算符跳转地址↑如果逻辑运算符没弄清楚的先看如上地址逻辑拆分(aandb)orc
YellowFish·2017-08-14 16:13

hive中的存储方式

之前在进行存储空间统计的时候发现ORC格式可以节省很多存储空间，于是上网查了一些这个格式的相关信息。
制杖大师·2017-08-10 14:55

记忆化搜索的学习经历——洛谷P1464：Function详解

前两天，我在刷洛谷题的时候，遇见了这样一道题，题目是这样的：题目描述对于一个递归函数w(a,b,c)如果a20orb>20orc>20就返回w(20,20,20)如果a20||b>20||c>20)s[
dw8wb·2017-07-29 08:59

hdu1331 Function Run Fun

Considerathree-parameterrecursivefunctionw(a,b,c):ifa20orb>20orc>20,thenw(a,b,c)returns:w(20,20,20)ifa
科学旅行者·2017-07-12 09:30

hdu1331 Function Run Fun

Considerathree-parameterrecursivefunctionw(a,b,c):ifa20orb>20orc>20,thenw(a,b,c)returns:w(20,20,20)ifa
科学旅行者·2017-07-12 09:30

Hive文件压缩测试

hive上可以使用多种格式，比如纯文本，lzo、orc等，为了搞清楚它们之间的关系，特意做个测试。
alexanda2000·2017-06-29 00:59

Hive学习笔记 --- ORCFile介绍

ORCFile，它的全名是OptimizedRowColumnar(ORC)file，其实就是对RCFile做了一些优化。据官方文档介绍，这种文件格式可以提供一种高效的方法来存储Hive数据。
杨鑫newlfe·2017-06-02 11:39

Android中使用orc实现文字识别实例

一、什么是orc?
_陈小平·2017-05-31 10:41

JS实现列表页面隔行变色效果

(){varotab=document.getElementById('tab1');varthiscolor='';for(vari=0;i种族名称种族简称英雄人类联盟HUM代表性英雄：AM兽人部落ORC
good8888job·2017-03-25 09:17

Sqoop 加载数据到ORC表

sqoop目前支持直接从RDBMS加载数据到Hive的ORC表，这可以通过两种方式实现。
post_yuan·2017-03-21 17:58

MAC限免-PDF to Word Converter - Support DOC/RTF

软件介绍PDFtoWordConverter-SupportDOC/RTFWord开发者：AiseesoftPDF转word文件，支持ORC识别功能，不错的软件.限免信息：原价￥98，限免0元要下赶早！
云端漫步的太阳·2017-02-23 23:47

DOTA十年

大一一帮人进了WAR3的坑，然后是RPG，然后是ORC3C，接
哼哈蘸酱·2017-02-04 16:46

text、RC、Parquet、ORC

数据格式：text、RC、Parquet、ORC相同大小的原始数据集，转换成相应的格式之后的文件大小：Text>RC>Parquet>ORCText/CSVcsv文件不支持块压缩，所以在Hadoop中使用压缩的
蜗牛爱上星星·2017-02-02 10:46

ue4-Network相关-rpc调用

蓝图orc++的rpc调用蓝图的Rpc调用RunOnServer（蓝图）蓝图中如果指定这个方法为RunOnServer，那么只会在服务端执行，客户端不会执行，比如spawn一个粒子特效，只会在服务端生产
墨痕_·2017-01-28 15:32

C# 中文字符比较 or C#汉字比较 or C# 中文字符串比较 or C#中文名字比较

C#中文字符比较orC#汉字比较orC#中文字符串比较orC#中文名字比较//////类扩展///publicstaticclassStringEx{//////比较中文字符是否相等//////////
绀目澄清·2016-12-21 12:25

（二）位运算，计算机不会做加法

将每一位进行and运算，如果都是1那么结果为1，否则0AND01001101C语言:1=77&100000001----------------------00000001可以判断第几位是0还是1OR汇编：orC
aochicong0476·2016-12-19 17:00

RC ORC Parquet 格式比较和性能测试

RCORCParquet格式比较和性能测试作者：刘旭晖Raymond转载请注明出处Email：colorantat163.comBLOG：http://blog.csdn.net/colorant/为什么要比较这三者为什么要比较，起因是为了提高Hadoop集群的存储和计算效率，尤其是离线Hive作业的效率，为什么比较的是这三者，是因为三者是目前Hive离线作业中正在大规模使用或可能大规模使用的三种
彩色蚂蚁·2016-12-16 21:37

RC ORC Parquet 格式比较和性能测试

RCORCParquet格式比较和性能测试作者：刘旭晖Raymond转载请注明出处Email：colorantat163.comBLOG：http://blog.csdn.net/colorant/为什么要比较这三者为什么要比较，起因是为了提高Hadoop集群的存储和计算效率，尤其是离线Hive作业的效率，为什么比较的是这三者，是因为三者是目前Hive离线作业中正在大规模使用或可能大规模使用的三种
colorant·2016-12-16 21:00

spark写orc格式文件

orccreatetableuser(idint,namestring)storedasorc;spark写文件    val jsons = "hdfs://localhost:9000/test/artist_orc.json
xiaobin0303·2016-12-13 16:42

Hive Streaming 追加 ORC 文件

而在Hive中，有一种ORC文件格式可以极大的减少存储的容量成本。今天，笔者就为大家分享如何实现流式数据追加到HiveORC表中。2.内容2.1ORC这里，我们首先需要知道Hive的ORC是什么。
哥不是小萝莉·2016-12-07 12:00

问题分析报告--读取ORC文件报seek错误

问题分析报告--读取ORC文件报seek错误1、问题描述1.1基本信息[BasicInformation]集群规模：37+3台物理机，每台128G内存；CPU：2*16C；SATA磁盘，2T*12hadoop
CristianT·2016-11-12 14:29

OCP-1Z0-051 62题个人理解

ViewtheExhibitandexaminethestructureoftheCUSTOMERStable.YouwanttogenerateareportshowingthelastnamesandcreditlimitsofallcustomerswhoselastnamesstartwithA,B,orC
misterfzw·2016-10-22 18:43

Hive优化--关键参数配置指导

【如何调优】默认：4096MBmapreduce.map.memory.mb控制每个map任务的内存大小，默认值为4G，对于当前任务是内存密集型任务（如ORC文件读取/写入、全局排序）的场景，建议增大内存值
CristianT·2016-10-20 23:16

通过Spark结合使用Hive和ORC存储格式

访问Hive的数据，主要分享以下几点内容：1.如何通过SparkShell交互式访问Spark2.如何读取HDFS文件和创建一个RDD3.如何通过SparkAPI交互式地分析数据集4.如何创建Hive的ORC
Free World·2016-09-19 16:42

JAVA-反射机制

Classc1=Foo.class;已经知道该类的对象通过getClass方法Foofoo1=newFoo；Classc2=foo1.getClass();不管c1orc2都代表了Fool类的类类型。
Zebra_ljx·2016-08-31 10:37

iOS byte byte数组的相关操作

-(void)bytesplit2byte:(Byte[])srcorc:(Byte[])orcbegin:(NSInteger)begincount:(NSInteger)count{memset(orc
Erice_e·2016-08-02 14:17

Hive ORC数据格式的MapReduce读写

1，mr代码如下packagecom.test.hadoop;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.NullWritable;importorg.apache.hadoop.io.T
qifengdao·2016-07-27 18:45

Hive ORC数据格式的MapReduce读写

1，mr代码如下packagecom.test.hadoop; importjava.io.IOException; importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.fs.Path; importorg.apache.hadoop.io.NullWritable; importorg.apache.hado
liuzhoulong·2016-07-27 18:00

Hive:ORC与RC存储格式之间的区别

一、定义ORCFile，它的全名是OptimizedRowColumnar(ORC)file，其实就是对RCFile做了一些优化。据官方文档介绍，这种文件格式可以提供一种高效的方法来存储Hive数据。
djd已经存在·2016-07-26 13:44

基于C#技术实现身份证识别功能

最近研究C#相关的ORC技术，图像识别一般C和C++这种底层语言做的比较多，C#主要是依托一些封装好的组件进行调用，这里介绍三种身份证识别的方法。
歌神的卖·2016-07-12 11:58

Spark

SparkSQL定义：Spark的一个针对结构化数据操作的一个模块作用： 1用SQL或者DataFrame进行结构化数据处理在Spark的程序中 2可以处理任何数据源包括：Hive，Parquet，ORC
username2·2016-07-10 15:48

Parquet与ORC：高性能列式存储格式

级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、SparkSQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC
yu616568·2016-07-09 20:00

Hive-ORC文件存储格式（续）

本文在Hive-ORC文件存储格式的理论基础上，进一步分析一个实际的HiveORC表中的数据存储形式。
dabokele·2016-07-02 23:00

hive表的存储格式; ORC格式的使用

hive表的源文件存储格式有几类：1、TEXTFILE默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。源文件可以直接通过hadoopfs-cat查看2、SEQUENCEFILE一种HadoopAPI提供的二进制文件，使用方便、可分割、可压缩等特点。SEQUENCEFILE将数据以的形式序列化到文件中。序列化和反序列化使用Hadoop的标准的Writabl
longshenlmj·2016-06-17 20:22

crontab 定时 hive2Mysql4sqoop

首先我的hive表是orc文件压缩格式，sqoop无法直接读取，所以在清洗时顺便换了文件格式。一部分表是与hbase关联表，所以需要将hbase/lib中的hbase
jueshizhanhun·2016-06-08 16:08

tesseract-orc 合并识别结果

在实际使用tesseract-orc识别库的时候，初次制作的识别库很有可能识别率不太理想，需要后期慢慢补充本文演示如何将多个修正过的box文件合并成一个识别库。
狼人:-)·2016-06-01 07:14

Hive-ORC文件存储格式

ORC文件格式是从Hive-0.11版本开始的。关于ORC文件格式的官方文档，以及基于官方文档的翻译内容这里就不赘述了，有兴趣的可以仔细研究了解一下。
dabokele·2016-05-31 00:00

Hive-ORC文件存储格式

关于ORC文件格式的官方文档，以及基于官方文档的翻译内容这里就不赘述了，有兴趣的可以仔细研究了解一下。
weixin_30279671·2016-05-31 00:00

Hive ORC和Parquet

目前在开源实现中，最有名的列式存储引擎莫过于Parquet和ORC，并且他们都是Apache的顶级项目，在数据存储引擎方面发挥着重要的作用。
Free World·2016-05-21 22:35

Hive ORC和Parquet

目前在开源实现中，最有名的列式存储引擎莫过于Parquet和ORC，并且他们都是Apache的顶级项目，在数据存储引擎方面发挥着重要的作用。
jiangshouzhuang·2016-05-21 22:00
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他