SerDe

hive 创建表时，orc格式并压缩

requestSTRING,statusSTRING,sizeSTRING,refererSTRING,agentSTRING)ROWFORMATSERDE'org.apache.hadoop.hive.serde2
MahatmaChen·2019-03-27 08:10

Apache Hive 常用的 SerDe

所以我就不才把之前记录的资料跟大家分享一下：SerDe是Serializer和Deserializer的简称。它是Hive用来处理记录并且将它们映射到Hive表中
猫君之上·2019-03-22 19:56

Hive之——JSON SerDe

转载请注明出处：https://blog.csdn.net/l1028386804/article/details/88622207这里，我们列举一个例子，这个Serde用于从JSON数据中抽取出一些域
冰 河·2019-03-17 17:49

Hive之——支持CSV格式

转载请注明出处：https://blog.csdn.net/l1028386804/article/details/88617808csv-serde下载地址：http://ogrodnek.github.io
冰 河·2019-03-17 13:45

Hive之——RegexSerDe来处理标准格式Apache Web日志

SerDe是序列化/反序列化的简写。在内部Hive引擎使用定义的InputFormat来读取一行数据记录。这行记录之后会被传递给SerDe.deserialize()方法进行处理。
冰 河·2019-03-17 13:22

hive元数据信息对应的MySQL数据库表

DATABASE_PARAMS）三、视图相关的元数据表（TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联）四、hive文件存储信息相关的元数据表（SDS、SD_PARAMS、SERDES、SERDE_PARAMS
西瓜和葡萄·2019-03-12 14:25

Hive：Alter Table/Partition/Column

ColumnAlterTable修改表RenameTable重命名表AlterTableProperties修改表属性AlterTableComment修改表注释AddSerDeProperties添加SerDe
qiulinsama·2019-03-11 17:31

Hive：Create/Drop/Truncate Table

Create/Drop/TruncateTableCreateTable创建表ManagedandExternalTables管理表和外部表StorageFormats存储格式RowFormats&SerDe
qiulinsama·2019-02-15 15:40

Hive SerDe

什么是SerDe？SerDe是"SerializerandDeserializer（序列化器和反序列化器）"的缩写。Hive使用SerDe（和FileFormat）读写表的行数据。
qiulinsama·2019-02-14 18:10

Hive 工作流程源码分析

2.7.12.Hive与传统RDBMS的区别3.Hive架构4.Hive源码中3个关键的部分(versionHive-1.2.1):Hive核心三大组件QueryProcessor：查询处理工具，源码ql包SerDe
亚历山大的陀螺·2019-01-04 13:10

hive的正则匹配

t_userSTRING,timeSTRING,requestSTRING,refererSTRING,agentSTRING)ROWFORMATSERDE'org.apache.hadoop.hive.serde2
道法—自然·2018-12-28 23:38

Hive 使用serde 处理分隔符

一Hive用正则表达式处理稍复杂数据的导入文件A正则解析器RegexSerDeregextserde用法使用该解析器来处理ApcheWeb日志数据的一个例子：这个例子好好读读处理web日志这个例子也说明了要想使用该解析器是需要导入相应的jar包的。关于output.format.string"="%1ss%2ss%3ss%4ss%5ss%6ss%7ss%8ss%9$sString.format%1
Fei-joe·2018-11-28 13:42

【五】hive DDL之Alter Table/Partition/Column

AlterTable允许修改已有表的表结构，例如添加、删除列、改变SerDe、重命名表名。
jy02268879·2018-07-31 01:36

kafka-connector源码解读

connector启动后会将share/java下目录为confluent-common、kafka-serde-tools、monitoring-interceptors、kafka-connect-
退潮的贝壳·2018-07-16 22:45

Hive导入不同格式csv

>'org.apache.hadoop.hive.serde2.OpenCSVSerde'..>withSERDEPROPERTIES..>(
黑暗行动·2018-07-11 00:43

Hive导入CSV数据解决乱码

>'org.apache.hadoop.hive.serde2.OpenCSVSerde'..>withSERDEPROPERTIES..
黑暗行动·2018-07-10 23:45

hive 历史数据迁移 一

需要注意的点：1.导出文件的字符集hive中的数据字符集只有utf8,如果导出的文件为GBK,在serde不做特殊处理时，临时表中会存在乱码的情况。3种方案：1.导出文件时，做转码。
小_胖子·2018-05-31 17:23

hive正则匹配

user_dSTRING,timeSTRING,requestSTRING,statusSTRING,sizeSTRING)ROWFORMATSERDE'org.apache.hadoop.hive.serde2
温文尔雅的流氓·2018-04-14 22:44

hive用SERDE解析带引号的数据

文本数据格式如:"100000006","101"使用SERDE解析droptabletesttable;createexternaltabletesttable(iddecimal(18),recordidstring
阿坚1234·2018-04-13 11:23

hiveSQL优化思路

    HiveSQL执行流程：InputFormat、OutputFormat、SerDe理清这三者之间的关系：SerDeisashortnamefor"SerializerandDeserializer
andyliuzhii·2018-04-12 00:00

Hive使用JsonSerDe格式化json数据

hive默认使用分隔符如空格，分号，"|"，制表符\t来格式化数据记录，对于复杂数据类型如json,nginx日志等，就没有办法拆分了，这时候需要更加强大的SerDe来处理复杂数据，如使用JsonSerDe
luffy5459·2018-04-09 19:15

hive建表的标准格式及其建表属性详解2

showcreatetablemy_tmp;CREATETABLE`my_tmp`(`id`int,`ids`string)ROWFORMATSERDE'org.apache.hadoop.hive.serde2
牛大财有大才·2018-03-30 02:31

Hive建立外部表表external table

`column3`string)PARTITIONEDBY(`proc_date`string)ROWFORMATSERDE'org.apache.hadoop.hive.ql.io.parquet.serde.Parqu
zx_love·2018-01-22 14:13

HIVE Row Formats&SerDe(五)

hive使用Serde进行行对象的序列与反序列化。WhatisaSerDe?SerDeisashortnamefor"SerializerandDeserializer."
_final__·2017-12-26 10:27

数据迁移 mysql ——> Hive（按天分区）

int，****varchar（255））PARTITIONEDBY(`store_day`intCOMMENT'存储日期')ROWFORMATSERDE'org.apache.hadoop.hive.serde2
Robust_shlee·2017-12-05 17:31

Hive系列之SerDe

SerDe是Serialize/Deserilize的简称，目的是用于序列化和反序列化。序列化作用序列化是对象转换为字节序列的过程。反序列化是字节序列恢复为对象的过程。
盛装吾步·2017-11-03 10:40

csv文件数据导入到hive操作说明

文件数据导入到hive操作说明1.创建测试表createtablecsv_t1(astring,bstring,cstring)rowformatserde'org.apache.hadoop.hive.serde2
碧水幽幽泉·2017-09-16 00:45

json格式的数据导入到hive表中

这将需要使用第三方的SerDe。第一种方法的的缺点是不能处理复杂类型（如果hive表中字段为array,map等）。
purisuit_knowledge·2017-09-05 15:41

Hive ClassNotFoundException: Class org.apache.hadoop.hive.contrib.serde2.RegexSerDe not found

在Hive的测试中，发现使用正则表达式的字段分隔方式时，总是进行不下去，创建表的语句如下：createtableifnotexistsmy_hive.bf_log_src(remote_addrstring,remote_userstring,time_localstring,requeststring,statusstring,body_bytes_sentstring,request_body
彩笔程序猿zxxxx·2017-08-31 17:27

Hive 中SerDe概述

一、背景1、当进程在进行远程通信时，彼此可以发送各种类型的数据，无论是什么类型的数据都会以二进制序列的形式在网络上传送。发送方需要把对象转化为字节序列才可在网络上传输，称为对象序列化；接收方则需要把字节序列恢复为对象，称为对象的反序列化。2、Hive的反序列化是对key/value反序列化成hivetable的每个列的值。3、Hive可以方便的将数据加载到表中而不需要对数据进行转换，这样在处理海量
远有青山·2017-08-28 09:25

hive serde 解决多字节分隔符

15日21:30:44背景：hive默认只支持单字节的分隔符，有时候我们遇到多字节的时候就麻烦了，一下是解决hive多字节分隔符的问题1.hive有哪些操作支持解析多字节分隔符1、使用hive内置的其他serde
freefish_yzx·2017-08-15 21:38

[Hive]JsonSerde使用指南

注意：重要的是每行必须是一个完整的JSON，一个JSON不能跨越多行，也就是说，serde不会对多行的Json有效。
SunnyYoona·2017-04-14 11:29

hive sql 常见异常

unionLogginginitializedusingconfigurationinfile:/home/xiaoju/hadoop/apache-hive-1.2.1-bin/conf/hive-log4j.propertiesAdded[target/publiclog-serde
李克华·2017-02-22 19:00

Hive配置文件中配置项的含义详解（收藏版）

5.当用户自定义了UDF或者SerDe，这些插件的jar都要放到这个目录下，通过那个
生命不息丶折腾不止·2017-02-07 16:16

Hive多字符分割列

2准备2.1环境说明hive版本:1.1.0-cdh5.4.73使用3.1使用说明方法一)通过org.apache.hadoop.hive.contrib.serde2.RegexSerDe格式的serde
zhengrunjian·2016-11-11 23:21

hive中UDF、UDTF、UDAF快速上手

requestSTRING,statusSTRING,sizeSTRING,refererSTRING,agentSTRING)ROWFORMATSERDE'org.apache.hadoop.hive.serde2
M_SIGNALs·2016-10-24 17:55

Hive中常用的 SerDe 和 当前社区的状态

所以我就不才把之前记录的资料跟大家分享一下：SerDe是Serializer
KSCL·2016-09-25 15:42

hive导入CSV格式的数据

用正则表达式处理2.1)cat/home/alex/test/testdata.txt"1","alex","dba""2","james","dba"2.2)hive>createtabletest_serde
山鹰的天空·2016-07-04 13:09

导入HDFS的数据到Hive

1.通过HiveviewCREATEEXTERNALTABLEifnotexistsfinance.json_serde_optd_table( retCodestring, retMsgstring,
疯吻IT·2016-06-30 22:00

Hive 学习笔记 (二)

对于Hive来说，rowformat的定义由SerDe定义。查询表时，SerDe把文件中字节形式的数据行反序列化为Hive内部操作数据行时所使用的对象形式。
乄浅醉·2016-06-24 18:06

hive的三板斧：内部表和外部表、分区和分桶以及序列化/反序列化(SerDe)

Hive是Hadoop生态圈中实现数据仓库的一项技术。虽然Hadoop和HDFS的设计局限了Hive所能胜任的工作，但是Hive仍然是目前互联网中最适合数据仓库的应用技术。不论从“品相还是举止”，Hive都像一个关系型数据库。用户对数据库、表和列这类术语比较熟悉的话，那么掌握Hive的查询语言HQL也轻而易举。不过，Hive的实现和使用方式与传统的关系数据库相比，有很多不同的地方。我们Hive的第
djd已经存在·2016-06-03 19:45

Spark SQL简单操作演示（含导出表）

SparkSQL只要在编译的时候引入Hive支持，就可以支持Hive表访问，UDF，SerDe，以及HiveQL/HQL启动spark-sqlguo@drguo:/opt/spark-1.6.1-bin-hadoop2.6
光于前裕于后·2016-05-15 22:43

Spark SQL与Hive On MapReduce速度比较

SparkSQL只要在编译的时候引入Hive支持，就可以支持Hive表访问，UDF，SerDe，以及HiveQ
光于前裕于后·2016-05-15 16:24

Hive学习之修改表、分区、列

修改表的语句允许改变现有表的结构，通过该语句可以增加列/分区，修改SerDe，增加表和SerDe的属性或者重命名表。与之类似，修改分区的语句可以改变指定分区的属性。
强子哥哥·2016-04-20 19:00

Hive代码组织及架构简单介绍

hive辅助组件QueryProcessor(hive核心，执行引擎)Compiler流程附带hive执行流程图参考文献hive三个主要组件Serialzers/Deserialzers(trunk/serde
KSCL·2016-03-08 15:26

【apache-hive-1.2.1】hive中reduce的个数

hive> select count(1) from serde_regex; Automatically selecting local only mode for query Query ID =
wilbur·2016-01-25 18:00

hive web interface

hwi(hivewebinterface)是hive命令行接口的一个补充，主要功能包括：1.shemabrowsing：获取table的信息，包括serde、columenname、columntype2
尧山少侠·2015-12-23 13:00

ClassNotFoundException: Class org.apache.hadoop.hive.contrib.serde2.RegexSerDe n

阅读更多今天使用flume采集apacheaccesslog到hive表中，然后使用hiveQL进行日志分析，出现错误：需要修改1,HIVE_HOME/conf/hive-env.sh加上HADOOP_HOME=youhome2,HIVE_HOME/conf/hive-site.xml加上hive.aux.jars.pathfile:///usr/local/hive-0.13.0/lib/hiv
sungang_1120·2015-12-08 13:00

ClassNotFoundException: Class org.apache.hadoop.hive.contrib.serde2.RegexSerDe n

 今天使用flume采集apacheaccesslog到hive表中，然后使用hiveQL进行日志分析，出现错误：  需要修改1,HIVE_HOME/conf/hive-env.sh加上HADOOP_HOME=youhome 2,HIVE_HOME/conf/hive-site.xml加上 hive.aux.jars.path file:///usr/local/hive-0.13.0/lib
sungang_1120·2015-12-08 13:00

Hive中常用的 SerDe 和 当前社区的状态

所以我就不才把之前记录的资料跟大家分享一下：SerDe是Serializer和Deserializer的简称。它是Hive用来处理记录并且将它们映射到Hive表中的字段数据类型。
Mike_H·2015-12-03 15:49
上一页 1 2 3 4 5 6 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他