ORC

（二）位运算，计算机不会做加法

将每一位进行and运算，如果都是1那么结果为1，否则0AND01001101C语言:1=77&100000001----------------------00000001可以判断第几位是0还是1OR汇编：orC
aochicong0476·2016-12-19 17:00

RC ORC Parquet 格式比较和性能测试

RCORCParquet格式比较和性能测试作者：刘旭晖Raymond转载请注明出处Email：colorantat163.comBLOG：http://blog.csdn.net/colorant/为什么要比较这三者为什么要比较，起因是为了提高Hadoop集群的存储和计算效率，尤其是离线Hive作业的效率，为什么比较的是这三者，是因为三者是目前Hive离线作业中正在大规模使用或可能大规模使用的三种
彩色蚂蚁·2016-12-16 21:37

RC ORC Parquet 格式比较和性能测试

RCORCParquet格式比较和性能测试作者：刘旭晖Raymond转载请注明出处Email：colorantat163.comBLOG：http://blog.csdn.net/colorant/为什么要比较这三者为什么要比较，起因是为了提高Hadoop集群的存储和计算效率，尤其是离线Hive作业的效率，为什么比较的是这三者，是因为三者是目前Hive离线作业中正在大规模使用或可能大规模使用的三种
colorant·2016-12-16 21:00

spark写orc格式文件

orccreatetableuser(idint,namestring)storedasorc;spark写文件    val jsons = "hdfs://localhost:9000/test/artist_orc.json
xiaobin0303·2016-12-13 16:42

Hive Streaming 追加 ORC 文件

而在Hive中，有一种ORC文件格式可以极大的减少存储的容量成本。今天，笔者就为大家分享如何实现流式数据追加到HiveORC表中。2.内容2.1ORC这里，我们首先需要知道Hive的ORC是什么。
哥不是小萝莉·2016-12-07 12:00

问题分析报告--读取ORC文件报seek错误

问题分析报告--读取ORC文件报seek错误1、问题描述1.1基本信息[BasicInformation]集群规模：37+3台物理机，每台128G内存；CPU：2*16C；SATA磁盘，2T*12hadoop
CristianT·2016-11-12 14:29

OCP-1Z0-051 62题个人理解

ViewtheExhibitandexaminethestructureoftheCUSTOMERStable.YouwanttogenerateareportshowingthelastnamesandcreditlimitsofallcustomerswhoselastnamesstartwithA,B,orC
misterfzw·2016-10-22 18:43

Hive优化--关键参数配置指导

【如何调优】默认：4096MBmapreduce.map.memory.mb控制每个map任务的内存大小，默认值为4G，对于当前任务是内存密集型任务（如ORC文件读取/写入、全局排序）的场景，建议增大内存值
CristianT·2016-10-20 23:16

通过Spark结合使用Hive和ORC存储格式

访问Hive的数据，主要分享以下几点内容：1.如何通过SparkShell交互式访问Spark2.如何读取HDFS文件和创建一个RDD3.如何通过SparkAPI交互式地分析数据集4.如何创建Hive的ORC
Free World·2016-09-19 16:42

JAVA-反射机制

Classc1=Foo.class;已经知道该类的对象通过getClass方法Foofoo1=newFoo；Classc2=foo1.getClass();不管c1orc2都代表了Fool类的类类型。
Zebra_ljx·2016-08-31 10:37

iOS byte byte数组的相关操作

-(void)bytesplit2byte:(Byte[])srcorc:(Byte[])orcbegin:(NSInteger)begincount:(NSInteger)count{memset(orc
Erice_e·2016-08-02 14:17

Hive ORC数据格式的MapReduce读写

1，mr代码如下packagecom.test.hadoop;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.NullWritable;importorg.apache.hadoop.io.T
qifengdao·2016-07-27 18:45

Hive ORC数据格式的MapReduce读写

1，mr代码如下packagecom.test.hadoop; importjava.io.IOException; importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.fs.Path; importorg.apache.hadoop.io.NullWritable; importorg.apache.hado
liuzhoulong·2016-07-27 18:00

Hive:ORC与RC存储格式之间的区别

一、定义ORCFile，它的全名是OptimizedRowColumnar(ORC)file，其实就是对RCFile做了一些优化。据官方文档介绍，这种文件格式可以提供一种高效的方法来存储Hive数据。
djd已经存在·2016-07-26 13:44

基于C#技术实现身份证识别功能

最近研究C#相关的ORC技术，图像识别一般C和C++这种底层语言做的比较多，C#主要是依托一些封装好的组件进行调用，这里介绍三种身份证识别的方法。
歌神的卖·2016-07-12 11:58

Spark

SparkSQL定义：Spark的一个针对结构化数据操作的一个模块作用： 1用SQL或者DataFrame进行结构化数据处理在Spark的程序中 2可以处理任何数据源包括：Hive，Parquet，ORC
username2·2016-07-10 15:48

Parquet与ORC：高性能列式存储格式

级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、SparkSQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC
yu616568·2016-07-09 20:00

Hive-ORC文件存储格式（续）

本文在Hive-ORC文件存储格式的理论基础上，进一步分析一个实际的HiveORC表中的数据存储形式。
dabokele·2016-07-02 23:00

hive表的存储格式; ORC格式的使用

hive表的源文件存储格式有几类：1、TEXTFILE默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。源文件可以直接通过hadoopfs-cat查看2、SEQUENCEFILE一种HadoopAPI提供的二进制文件，使用方便、可分割、可压缩等特点。SEQUENCEFILE将数据以的形式序列化到文件中。序列化和反序列化使用Hadoop的标准的Writabl
longshenlmj·2016-06-17 20:22

crontab 定时 hive2Mysql4sqoop

首先我的hive表是orc文件压缩格式，sqoop无法直接读取，所以在清洗时顺便换了文件格式。一部分表是与hbase关联表，所以需要将hbase/lib中的hbase
jueshizhanhun·2016-06-08 16:08

tesseract-orc 合并识别结果

在实际使用tesseract-orc识别库的时候，初次制作的识别库很有可能识别率不太理想，需要后期慢慢补充本文演示如何将多个修正过的box文件合并成一个识别库。
狼人:-)·2016-06-01 07:14

Hive-ORC文件存储格式

ORC文件格式是从Hive-0.11版本开始的。关于ORC文件格式的官方文档，以及基于官方文档的翻译内容这里就不赘述了，有兴趣的可以仔细研究了解一下。
dabokele·2016-05-31 00:00

Hive-ORC文件存储格式

关于ORC文件格式的官方文档，以及基于官方文档的翻译内容这里就不赘述了，有兴趣的可以仔细研究了解一下。
weixin_30279671·2016-05-31 00:00

Hive ORC和Parquet

目前在开源实现中，最有名的列式存储引擎莫过于Parquet和ORC，并且他们都是Apache的顶级项目，在数据存储引擎方面发挥着重要的作用。
Free World·2016-05-21 22:35

Hive ORC和Parquet

目前在开源实现中，最有名的列式存储引擎莫过于Parquet和ORC，并且他们都是Apache的顶级项目，在数据存储引擎方面发挥着重要的作用。
jiangshouzhuang·2016-05-21 22:00

tesseract-orc 合并识别结果

在实际使用tesseract-orc识别库的时候，初次制作的识别库很有可能识别率不太理想，需要后期慢慢补充本文演示如何将多个修正过的box文件合并成一个识别库。
tdhao·2016-05-02 01:00

[ONTAK2015] [BZOJ4245] OR-XOR - 二进制

Status][Discuss]Description给定一个长度为n的序列a[1],a[2],...,a[n]，请将它划分为m段连续的区间，设第i段的费用c[i]为该段内所有数字的异或和，则总费用为c[1]orc
whzzt·2016-04-25 21:00

Parquet与ORC性能测试报告

一、环境说明Hadoop集群：使用测试Hadoop集群，节点：hadoop230 hadoop231 hadoop232 hadoop233 这几台机器配置一样，具体参数可参考如下：CPU数量：2个CPU线程数：32个内存：128GB磁盘：48TB使用测试机群上的同一个队列，使用整个集群的资源，所有的查询都是无并发的。Hive使用官方的hive1.2.1版本，使用hiveserver2的方式启动，
yu616568·2016-04-19 10:00

Hive数据导入方案—使用ORC格式存储hive数据

推荐使用ORC格式的表存储数据思路：因为在hive指定RCFile格式的表，不能直接load数据，只能通过textfile表进行insert转换。
javastart·2016-03-27 17:27

spark 1.6 下parquet vs orc

背景这都是现在大数据下比较火热的两种存储格式，orc和hive的关系可能要密切一点，但spark对parquet寄予了厚望，最近我们在测一个有join场景下的多个dataset的读取情况，这里简单写一下测试的一个结果
cjuexuan·2016-03-20 13:56

spark 1.6 下parquet vs orc

背景这都是现在大数据下比较火热的两种存储格式，orc和hive的关系可能要密切一点，但spark对parquet寄予了厚望，最近我们在测一个有join场景下的多个dataset的读取情况，这里简单写一下测试的一个结果
cjuexuan·2016-03-20 13:00

Hive优化的五种方式

2.使用ORCFile存储数据Hive支持ORCFile， [codelanguage=”SQL”] CREATETABLEA_ORC(customerIDint,namestring,ageint,
amazon10·2016-03-15 10:05

重启orcl实例

查看监听状态：cmd下lsnrctlstatus 重启orcl实例cmd下，输入sqlplus/assysdba输入showparameterinstance_name检查instance_name是不是orc1
蓝色波斯猫·2016-03-12 19:33

10g RAC的dataguad异常一则

552016ALTERDATABASErecovermanagedstandbydatabaseusingcurrentlogfiledisconnectWedMar 915:32:552016AttempttostartbackgroundManagedStandbyRecoveryprocess(ORC
cainiao315·2016-03-09 16:33

Hive:ORC File Format存储格式详解

一、定义ORCFile，它的全名是OptimizedRowColumnar(ORC)file，其实就是对RCFile做了一些优化。据官方文档介绍，这种文件格式可以提供一种高效的方法来存储Hive
江中炼·2016-03-08 23:00

Android tesseract-orc之扫描身份证号码

踩了不少坑，终于把这个扫描版的身份证识别做出来了，图片识别引擎用的是tesseract，在已经训练好样本的情况下，感觉识别率还是一般般~下面说一说大概几个坑、一、编译tesseract-orcAndroid版本首先你需要Android-ndk工具，Androidndk开发，我们这里不做开发，只需要编译tesseract变成so文件、tesseractAndroid版下载地址，这里只需要编译tess
xingyun1992·2016-02-24 11:00

NodeJS安装全过程

/configure报了以下错误：Checkingforprogramg++orc++              :/usr/bin/g++Checkingforprogramcpp      
zhongchengbin·2016-02-20 14:00

为什么Python类成员的调用和声明必须有"this"？

我们对比Python和C++讨论一下这个问题：Modula-3是上世纪80年代末数字设备公司（DEC）系统研究中心（SRC）和Olivetti研究中心（ORC）设计的一门语言。
xjtuhit·2016-02-17 13:50

Hive使用ORC格式存储离线表

在大数据时代，列式存储变得越来越流行了，当然并不是说行式存储就没落了，只是针对的场景不同，行式存储的代表就是我们大多数时候经常用的数据库，比较适合数据量小，字段数目少，查询性能高的场景，列式存储主要针对大多数互联网公司中的业务字段数目多，数据量规模大，离线分析多的场景，这时候避免大量无用IO扫描，往往提高离线数据分析的性能，而且列式存储具有更高的压缩比，能够节省一定的磁盘IO和网络IO传输。基础环
qindongliang1922·2016-02-15 11:41

2.Spark之简介SQL

统一数据访问：使用相同的方式来连接多种数据源，包括Hive、Avro、Parquet、ORC、JSON和JDBC，甚至还可以跨数据源合并数据。兼容Hive：在现有数据的基础上运行Hive查询。
鞋底留个洞·2016-01-27 10:00

hive 压缩全解读(hive表存储格式以及外部表直接加载压缩格式数据)；HADOOP存储数据压缩方案对比（LZO,gz，ORC）

数据做压缩和解压缩会增加CPU的开销，但可以最大程度的减少文件所需的磁盘空间和网络I/O的开销，所以最好对那些I/O密集型的作业使用数据压缩，cpu密集型，使用压缩反而会降低性能。而hive中间结果是map输出传给reduce，所以应该使用低cpu开销和高压缩效率，一般最好使用snappy。------------------------------------------------------
longshenlmj·2016-01-20 19:44

机器学习基石第四次作业代码

.Q13Q14Q15Q16Q17Q18Q19Q20importsysimporturllib2importnumpyasnp#Downloaddata#url='https://d396qusza40orc.cloudfront.net
爱折腾的猫·2016-01-15 22:18

机器学习基石第四次作业代码

Q13Q14Q15Q16Q17Q18Q19Q20importsys importurllib2 importnumpyasnp #Downloaddata #url='https://d396qusza40orc.cloudfront.net
guang09080908·2016-01-15 22:00

链接收集

一、架构二、算法三、语言四、数据库（一）oracleOracle集群【http://www.cnblogs.com/baiboy/p/orc1.html】五、常去网站（一）极客学院维基极客【http:/
cxm0de·2016-01-14 17:00

机器学习基石第三次课代码

机器学习基石第三次课代码importurllib2 importnumpyasnp frommathimportexp #url='https://d396qusza40orc.cloudfront.net
guang09080908·2016-01-13 00:00

Machine Learning Foundations(NTU) 第一次作业

MachineLearningFoundations(NTU)第一次作业PLADATA:https://d396qusza40orc.cloudfront.net/ntumlone%2Fhw1%2Fhw1
guang09080908·2016-01-07 16:00

数据库oracle 11g 的日志管理

----------------------------------background_dump_deststring/home/oracle/app/oracle/diag/rdbms/orcl/orc
黄国·2015-12-23 16:20

spark、hive、impala、hbase、gbase在结构化数据方面查询原理对比(含parquet/orc)

一、parquet和orc对比我专门查了查parquet和orc，网上很多，我只说关键的。1、parquet和orc都是用于存
fengyun14·2015-12-11 23:49

ASP.NET数据报表之柱状图 ------工作日志

Orchid",//Peru"Orange","Orchid","Gold","Peru","Lime","Tan","Red","GreenYellow","DarkGreen","DimGray","Orc
·2015-12-09 11:48

将怪物外表合理化（二）

这里的“半兽人”，纯取字面上的意思，指一半身体为人一半身体为兽类的怪物，区别于西方经典中的半兽人Orc和兽人Ogre。
CoyYang·2015-11-14 02:50
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他