Hive数据类型

Hive数据类型

本文参考Apache官网，更多内容请参考：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types

1. 数值型

类型	支持范围
TINYINT	1-byte signed integer, from -128 to 127
SMALLINT	2-byte signed integer, from -32,768 to 32,767
INT/INTEGER	4-byte signed integer, from -2,147,483,648 to 2,147,483,647
BIGINT	8-byte signed integer, from -9,223,372,036,854,775,808 to 9,223,372,036,854,775,807
FLOAT	4-byte single precision floating point number
DOUBLE	8-byte double precision floating point number
DOUBLE	PRECISION
DECIMAL	Decimal datatype was introduced in Hive 0.11.0 (HIVE-2693) and revised in Hive 0.13.0 (HIVE-3976)

1. Integral Types (TINYINT, SMALLINT, INT/INTEGER, BIGINT)
默认情况下，整数型为INT型，当数字大于INT型的范围时，会自动解释执行为BIGINT，或者使用以下后缀进行说明。

类型	后缀	例子
TINYINT	Y	100Y
SMALLINT	S	100S
BIGINT	L	100L

INTEGER is introduced as a synonym for INT in Hive 2.2.0 (HIVE-14950).
2. Decimals
Hive的小数型是基于Java BigDecimal做的， BigDecimal在java中用于表示任意精度的小数类型。所有常规数字运算（例如+， - ，*，/）和相关的UDFs（例如Floor，Ceil，Round等等）都使用和支持Decimal。你可以将Decimal和其他数值型互相转换，且Decimal支持科学计数法和非科学计数法。因此，无论您的数据集是否包含如4.004E + 3（科学记数法）或4004（非科学记数法）或两者的组合的数据，可以使用Decimal。
从Hive 0.13开始，用户可以使用DECIMAL(precision, scale) 语法在创建表时来定义Decimal数据类型的precision和scale。 如果未指定precision，则默认为10。如果未指定scale，它将默认为0（无小数位）。

CREATE TABLE foo (
a DECIMAL, – Defaults to decimal(10,0)
b DECIMAL(9, 7)
)

大于BIGINT的数值，需要使用BD后缀以及Decimal(38,0)来处理，例：

select CAST(18446744073709001000BD AS DECIMAL(38,0)) from my_table limit 1;

Decimal在Hive 0.12.0 and 0.13.0之间是不兼容的，故0.12前的版本需要迁移才可继续使用，具体情况参见官网。

2. 日期型

类型	支持版本
TIMESTAMP	Note: Only available starting with Hive 0.8.0
DATE	Note: Only available starting with Hive 0.12.0
INTERVAL	Note: Only available starting with Hive 1.2.0

1. Timestamps
支持传统的UNIX时间戳和可选的纳秒精度。
- 支持的转化：
- 整数数字类型：以秒为单位解释为UNIX时间戳
- 浮点数值类型：以秒为单位解释为UNIX时间戳，带小数精度
- 字符串：符合JDBC java.sql.Timestamp格式“YYYY-MM-DD HH：MM：SS.fffffffff”（9位小数位精度）
时间戳被解释为无时间的，并被存储为从Unix纪元的偏移量。 提供了用于转换到和从时区转换的便捷UDFs（to_utc_timestamp，from_utc_timestamp）。
所有现有的日期时间UDFs（月，日，年，小时等）都使用TIMESTAMP数据类型。
Text files中的时间戳必须使用格式yyyy-mm-dd hh:mm:ss [.f …]。 如果它们是另一种格式，请将它们声明为适当的类型（INT，FLOAT，STRING等），并使用UDF将它们转换为时间戳。
在表级别上，可以通过向SerDe属性”timestamp.formats”（自版本1.2.0 with HIVE-9298）提供格式来支持备选时间戳格式。 例如，yyyy-MM-dd’T’HH:mm:ss.SSS，yyyy-MM-dd’T’HH:mm:ss。
2. Dates
DATE值描述特定的年/月/日，格式为YYYY-MM-DD。 例如，DATE’2013-01-01’。 日期类型没有时间组件。 Date类型支持的值范围是0000-01-01到9999-12-31，这取决于Java Date类型的原始支持。
Date types只能在Date, Timestamp, or String types之间转换。

转换类型	结果
cast(date as date)	Same date value
cast(date as string)	The year/month/day represented by the Date is formatted as a string in the form ‘YYYY-MM-DD’.
cast(date as timestamp)	A timestamp value is generated corresponding to midnight of the year/month/day of the date value, based on the local timezone.
cast(string as date)	If the string is in the form ‘YYYY-MM-DD’, then a date value corresponding to that year/month/day is returned. If the string value does not match this formate, then NULL is returned.
cast(timestamp as date)	The year/month/day of the timestamp is determined, based on the local timezone, and returned as a date value.

3. Intervals
时间间隔在1.2.0之后版本支持，在2.2.0版本上进行了扩展，具体情况参见官网。

3. 字符型

1.Strings
字符串文字可以用单引号（’）或双引号（“）表示。Hive在字符串中使用C风格的转义。
2. Varchar
Varchar类型使用长度说明符（介于1和65355之间）创建，它定义字符串中允许的最大字符数。 如果要转换/分配给varchar值的字符串值超过length说明符，则字符串将被静默截断。 字符长度由字符串包含的代码点的数量确定。
像字符串一样，尾部空格在varchar中很重要，并且会影响比较结果。
非通用UDFs不能直接使用varchar类型作为输入参数或返回值。 可以创建字符串UDFs，而varchar值将被转换为strings并传递到UDF。 要直接使用varchar参数或返回varchar值，请创建GenericUDF。
如果基于reflection-based方法来获取数据类型信息，则可能存在不支持varchar的场景。 这包括一些SerDe函数实现。
3. Char
字符类型与Varchar类似，但它们是固定长度的，意味着比指定长度值短的值用空格填充，但尾随空格在比较期间不重要。 最大长度固定为255。

CREATE TABLE foo (bar CHAR(10))

4. 其他

1. BOOLEAN
2. BINARY (Note: Only available starting with Hive 0.8.0)

5. 复杂类型

类型		支持版本
arrays	ARRAY(data_type)	Note: negative values and non-constant expressions are allowed as of Hive 0.14.
maps	MAP(primitive_type, data_type)	Note: negative values and non-constant expressions are allowed as of Hive 0.14.
structs	STRUCTcol_name : data_type [COMMENT col_comment], …)
union	UNIONTYPE(data_type, data_type, …)	Note: Only available starting with Hive 0.7.0.

注：UNIONTYPE目前还没有完全支持，官方建议只用于查看，详见官方文档。