Ta oo
Ta oo

MaxCompute - ODPS重装上阵　第六弹 - User Defined Type

功能简介

MaxCompute中的UDT（User Defined Type）功能支持在SQL中直接引用第三方语言的类或者对象，获取其数据内容或者调用其方法 。

在其他的SQL引擎中也有UDT的概念，但是和MaxCompute的概念有许多差异。很多SQL引擎中的概念比较像MaxCompute的struct复杂类型。而某些语言提供了调用第三方库的功能，如Oracle 的 CREATE TYPE。相比之下，MaxCompute的UDT更像这种CREATE TYPE的概念，Type中不仅仅包含数据域，还包含方法。而且MaxCompute做的更彻底：开发者不需要用特殊的DDL语法来定义类型的映射，而是在SQL中直接使用。

一个简单的例子如下:

set odps.sql.type.system.odps2=true;    -- 打开新类型，因为下面的操作会用到 Integer，即 int类型

SELECT java.lang.Integer.MAX_VALUE;

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-o6DlMiy6-1577083585688)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fkipUBLr-1577083585689)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

上面的例子输出：

+-----------+
| max_value |
+-----------+
| 2147483647 |
+-----------+

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XodFDzEP-1577083585690)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-S0o5mAjo-1577083585690)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

和java语言一样，java.lang这个package是可以省略的。所以上面例子更可以简写为:

set odps.sql.type.system.odps2=true;

SELECT Integer.MAX_VALUE;

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yJWJhTDj-1577083585691)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-219Re2tM-1577083585691)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

可以看到，上面的例子在select列表中直接写上了类似于java表达式的表达式，而这个表达式的确就按照java的语义来执行了。这个例子表现出来的能力就是MaxCompute的UDT。

UDT所提供的所有扩展能力，实际上用UDF都可以实现。譬如上面的例子，如果使用UDF实现，需要做下列操作。

首先，定义一个UDF的类：

package com.aliyun.odps.test;

public class IntegerMaxValue extends com.aliyun.odps.udf.UDF {
  public Integer evaluate() {
    return Integer.MAX_VALUE;
  } 
}

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-beJg1DcY-1577083585692)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XVVtaoAR-1577083585693)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

然后，将上面的UDF编译，并打成jar包。然后再上传jar包，并创建function

add jar odps-test.jar;
create function integer_max_value as 'com.aliyun.odps.test.IntegerMaxValue' using 'odps-test.jar';

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WL45hijy-1577083585693)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TmPLLsbc-1577083585693)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

最后才可以在sql中使用

select integer_max_value();

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rXhrvQXT-1577083585694)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Rsf5RjHu-1577083585694)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

UDT相当于简化了上述一系列的过程，让开发者能够轻松简单地用其他语言扩展SQL的功能。

上述例子表现的是java静态域访问的能力，而UDT的能力远不限于此。譬如下面的例子：

-- 示例数据
@table1 := select * from values ('100000000000000000000') as t(x);
@table2 := select * from values (100L) as t(y);

-- 代码逻辑
@a := select new java.math.BigInteger(x) x from @table1;          -- new创建对象
@b := select java.math.BigInteger.valueOf(y) y from @table2;      -- 静态方法调用
select /*+mapjoin(b)*/ x.add(y).toString() from @a a join @b b;   -- 实例方法调用

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KycEbw9A-1577083585696)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-T6agt9wz-1577083585696)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

上述例子输出结果 100000000000000000100。

这个例子还表现了一种用UDF比较不好实现的功能：子查询的结果允许UDT类型的列。例如上面变量a的x列是java.math.BigInteger类型，而不是内置类型。UDT类型的数据可以被带到下一个operator中再调用其他方法，甚至能参与数据shuffle。比如上面的例子，在MaxCompute studio中的执行图如下：

MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第1张图片

可以看出图中共有三个STAGE: M1, R2 和 J3。熟悉MapReduce原理的用户会知道，由于join的存在需要做数据reshuffle，所以会出现多个stage。一般情况下，不同stage不仅是在不同进程，甚至是在不同物理机器上运行的。双击代表M1的方块，显示如下：

MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第2张图片

可以看到，M1仅仅执行了 new java.math.BigInteger(x) 这个操作。而同样点开代表J3的方块，可以看到 J3 在不同的阶段执行了 java.math.BigInteger.valueOf(y) 的操作，和 x.add(y).toString() 的操作：

MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第3张图片

这几个操作不仅仅是分阶段执行的，甚至是在不同进程，不同物理机器上执行的。但是UDT把这个过程封装起来，让用户看起来和在同一个JVM中执行的效果几乎一样。

UDT同样允许用户上传自己的jar包，并且直接引用。如上面UDF的jar包。用UDT来使用:

set odps.sql.type.system.odps2=true;
set odps.sql.session.resources=odps-test.jar; --指定要引用的jar，这些jar一定要事先上传到project，并且需要是jar类型的资源

select new com.aliyun.odps.test.IntegerMaxValue().evaluate();

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Tae4RqCS-1577083585698)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TZ76ROIu-1577083585699)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

如果觉得写 package全路径麻烦，还可以像java的import一样，用flag来指定默认的package。

set odps.sql.type.system.odps2=true;
set odps.sql.session.resources=odps-test.jar;
set odps.sql.session.java.imports=com.aliyun.odps.test.*;  -- 指定默认的package

select new IntegerMaxValue().evaluate();

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OxYTOnlo-1577083585699)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bm90ZKyz-1577083585700)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

详细说明

  • 目前UDT 只支持java语言。

  • 提供一些提升使用效率的flag：

    • odps.sql.session.resources :指定引用的资源，可以指定多个，用英文逗号隔开：set odps.sql.session.resources=foo.sh,bar.txt;注意这个flag和SELECT TRANSFORM中指定资源的flag相同，所以这个flag会同时影响SELECT TRANSFORM和UDT两个功能。
    • odps.sql.session.java.imports ：指定默认的package，可以指定多个，用逗号隔开。和java的import语句类似，可以提供完整类路径，如 java.math.BigInteger，也可以使用 *。暂不支持static import。

  • UDT支持的操作包括：

    • 实例化对象的new操作。

    • 实例化数组的new操作，包括使用初始化列表创建数组，如new Integer[] { 1, 2, 3 }。

    • 方法调用，包括静态方法调用（因此能用工厂方法构建对象）.

    • 域访问，包括静态域。

    • 注意:

      • 只支持公有方法和共有域的访问。
      • UDT中的标识符是大小写敏感的，包括package，类名，方法名，域(field)名。
      • UDT支持类型转换，但限于SQL形式，如 cast(1 as java.lang.Object)。不支持java形式的类型转换，如（Object)1。
      • 暂不支持匿名类和lambda表达式（后续版本可能会支持）。
      • 暂不支持无返回值的函数调用（这个是因为UDT都是出现在expression中，没有返回值的函数调用无法嵌入到expression中，这个问题在后续的版本中可能会有解决方案）。

  • Java SDK 的类都是默认可用的。但是需要注意目前runtime使用的JDK版本是JDK1.8，比该版本更新的JDK功能可能不支持。

  • 需要特别注意的是， 所有的运算符都是MaxCompute SQL的语义，不是UDT的语义 。如 String.valueOf(1) + String.valueOf(2)的结果是 3 (string隐式转换为double，并且double相加），而不是’12’ (java中string相加是concatenate的语义）。
    除了string的相加操作比较容易混淆外，另一个比较容易混淆的是 = 操作。SQL中的=不是赋值 而是判断相等。而对于java对象来说，判断相等应该用equals方法，通过等号判断的相等无法保证其行为（在UDT场景下，同一对象的概念是不能保证的，具体原因参考下述第8点）。

  • 内置类型与特定java类型有一一映射关系，见UDF类型映射。这个映射在UDT也有效：

    • 内置类型的数据能够直接调用其映射到的Java类型的方法，如 '123'.length() , 1L.hashCode()。
    • UDT类型能够直接参与内置函数或者UDF的运算， 如 chr(Long.valueOf('100'))，其中 Long.valueOf 返回的是 java.lang.Long 类型的数据，而内置函数chr接受的数据类型是内置类型BIGINT。
    • Java的primitive类型可以自动转化为其boxing类型，并应用上面两条规则
    • 注意：某些内置类型是需要 set odps.sql.type.system.odps2=true;才能使用的。否则会报错。

  • UDT对泛型有比较完整的支持，如 java.util.Arrays.asList(new java.math.BigInteger('1'))，编译器能够根据参数类型知道该方法的返回值是 java.util.List类型
    注意构造函数需要指定类型参数，否则使用java.lang.Object，这一点和java保持一致:

new java.util.ArrayList(java.util.Arrays.asList('1', '2'))的结果是 java.util.ArrayList类型;
而 new java.util.ArrayList(java.util.Arrays.asList('1', '2'))的结果是 java.util.ArrayList类型。

  • UDT对 “同一对象” 的概念是模糊的。这是由数据的reshuffle导致的。从上面第一部分的join的示例可以看出，对象有可能会在不同进程，不同物理机器之间传输，在传输过程中同一个对象的两个引用后面可能分别引用了不同的对象（比如对象先被shuffle到两台机器，然后下次又shuffle回一起）。

    • 在使用UDT的时候，应该避免使用 = operator来判断相等，而是使用 equals 方法。
    • 某行某列的对象，其内部包含的各个数据对象的相关性是可以保证的。不能保证的是不同行或者不同列的对象的数据相关性。

  • 目前UDT不能用作shuffle key：包括join，group by，distribute by，sort by, order by, cluster by 等结构的key
    并不是说UDT不能用在这些结构里面，UDT可以在expression中间的任意阶段使用，只是不能作为最终输出。比如虽然不能 group by new java.math.BigInteger('123')，但是可以 group by new java.math.BigInteger('123').hashCode()。因为hashCode的返回值是int.class类型可以当做内置类型int来使用(应上述“内置类型与特定java类型映射”的规则)。

注意：这个限制未来的版本会计划去掉。

  • UDT扩展了类型转换规则：

    • UDT对象能够被隐式类型转换为其基类对象。
    • UDT对象能够被强制类型转换为其基类或子类对象。
    • 没有继承关系的两个对象之间遵守原来的类型转换规则，注意这时候可能会导致内容变化，比如java.lang.Long类型的数据是可以强制转换为java.lang.Integer的，应用的是内置类型的bigint强制转换为int的过程，而这个过程会真的导致数据内容的变化，甚至可能会有精度损失。

  • 目前UDT对象不能落盘。这意味着不能将UDT对象insert到表中（实际上DDL不支持UDT，创建不出来这样的表），当然，隐式类型转换变成了内置类型的除外。同时，屏显的最终结果也不能是UDT类型，对于屏显的场景，由于所有的java类都有toString()方法，而java.lang.String类型是合法的。所以debug的时候，可以用这种方法来观察UDT的内容。

    • 可以设置 set odps.sql.udt.display.tostring=true; 这样MaxCompute会自动把所有的以UDT为最终输出的列wrap上 java.util.Objects.toString(...)，从而方便调试。这个flag只对屏显语句生效，对insert语句不生效，所以专门用在调试中。
    • 内置类型支持binary或者string类型，因此可自定义实现serialize的过程，将byte[]的数据落盘。下次读出来的时候再还原回来。见后面的例子
    • 某些类可能自带序列化和反序列化的方法，如protobuffer。目前UDT依旧支持落盘，还是需要自行调用序列化反序列化方法，变成binary数据类型来落盘。

  • UDT不仅能够实现scalar函数的功能，配合着内置函数collect_list和explode（doc），完全能够实现 aggregator和table function的功能。

更多示例

使用Java数组

set odps.sql.type.system.odps2=true;
set odps.sql.udt.display.tostring=true;

select
    new Integer[10],    -- 创建一个10个元素的数组
    new Integer[] {c1, c2, c3},  -- 通过初始化列表创建一个长度为3的数组
    new Integer[][] { new Integer[] {c1, c2}, new Integer[] {c3, c4} },  -- 创建多维数组
    new Integer[] {c1, c2, c3} [2], -- 通过下标操作访问数组元素
    java.util.Arrays.asList(c1, c2, c3);    -- 这个创建了一个 List，这个也能当做array来用，所以这是另一个创建内置array数据的方法
from values (1,2,3,4) as t(c1, c2, c3, c4);

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1OpXkMgW-1577083585700)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-e3Jr09XX-1577083585701)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

JSON用户的福音

UDT的runtime自带一个gson的依赖(2.2.4)。因此用户可以直接使用gson

set odps.sql.type.system.odps2=true;
set odps.sql.session.java.imports=java.util.*,java,com.google.gson.*; -- 同时import多个package，用逗号隔开

@a := select new Gson() gson;   -- 构建gson对象

select 
  gson.toJson(new ArrayList(Arrays.asList(1, 2, 3))),       -- 将任意对象转成 json 字符串
  cast(gson.fromJson('["a","b","c"]', List.class) as array)  -- 反序列化json字符串, 注意gson的接口，直接反序列化出来是List类型，所以这里强转成了 List，方便后续使用
from @a;
 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-v273x6Lo-1577083585704)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2LnsetqN-1577083585704)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
相比于get_json_object，上述用法不仅仅是使用方便了，在需要对json字符串多个部分做内容提取时，先将gson字符串反序列成格式化数据，其效率要高得多。
 
  
除了GSON, MaxCompute runtime自带的依赖还包括： commons-logging（1.1.1）， commons-lang（2.5）， commons-io（2.4），protobuf-java（2.4.1）。
 
  
复杂类型操作
 
  
内置类型array和map 与 java.util.List 和 java.util.Map 存在映射关系。结果就是:
 
  
     
   
  • Java中实现了java.util.List 或者 java.util.Map 接口的类的对象，都可以参与MaxComputeSQL的复杂类型操作。
    •  
   
  • MaxCompute 中 array, map的数据，能够直接调用 List 或者 Map 的接口。
    •  
  
 
  
set odps.sql.type.system.odps2=true;
set odps.sql.session.java.imports=java.util.*;

select
    size(new ArrayList()),        -- 对 ArrayList数据调用内置函数size
    array(1,2,3).size(),                   -- 对内置类型array调用 List的方法
    sort_array(new ArrayList()),  -- 对 ArrayList 的数据进行排序
    al[1],                                 -- 虽然java的List不支持下标操作，但是别忘了array是支持的
    Objects.toString(a)),        -- 过去不支持将array类型cast成string，现在有绕过方法了
    array(1,2,3).subList(1, 2)             -- 求subList
from (select new ArrayList(array(1,2,3)) as al, array(1,2,3) as a) t;

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tZ6dVDY6-1577083585705)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YDtZpDBU-1577083585705)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
还可以实现一些特殊的功能，比如 array的distinct
 
  
select cast (new java.util.ArrayList(new java.util.HashSet(array(1L, 2L, 2L))) as array);   -- 输出 [1, 2] 

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-e4JptnFY-1577083585706)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-foHgPUXP-1577083585706)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
聚合操作的实现
 
  
UDT实现聚合的原理是，先用COLLECT_SET 或 COLLECT_LIST 函数将数据转变成 List, 之后对该List应用UDT的标量方法求得这一组数据的聚合值。
 
  
如用下面的示例实现对BigInteger求中位数（由于数据是 java.math.BigInteger类型的，所以不能直接用内置的median函数）
 
  
set odps.sql.session.java.imports=java.math.*;
@test_data := select * from values (1),(2),(3),(5) as t(value);

@a := select collect_list(new BigInteger(value)) values from @test_data;  -- 先把数据聚合成list
@b := select sort_array(values) as values, values.size() cnt from @a;  -- 求中位数的逻辑，先将数据排序
@c := select if(cnt % 2 == 1, new BigDecimal(values[cnt div 2]), new BigDecimal(values[cnt div 2 - 1].add(values[cnt div 2])).divide(new BigDecimal(2))) med from @b;

-- 最终结果
select med.toString() from @c;

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gSkXgCDS-1577083585707)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-synKlGnD-1577083585707)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
由于collect_list会先把所有数据都收集到一块，是没有办法实现partial aggregate的，所以这个做法的效率会比内置的aggregator或者udaf低，所以 在内置aggregator能实现的情况下，应尽量使用内置的aggregator 。同时把一个group的所有数据都收集到一起的做法，会增加数据倾斜的风险。
 
  
但是另一方面，如果UDAF本身的逻辑就是要将所有数据收集到一块（比如类似wm_concat的功能），此时使用上述方法，反而可能比UDAF（注意不是内置aggregator）高。
 
  
表值函数的实现
 
  
表值函数允许输入多行多列数据，输出多行多列数据。可以按照下述原理实现：
 
  
     
   
  • 对于输入多行多列数据，可以参考聚合函数实现的示例。
    •  
   
  • 要实现多行的输出，可以让UDT方法输出一个Collection类型的数据（List 或者 Map)，然后调用explode函数，将Collections展开成多行。
    •  
   
  • UDT本身就可以包含多个数据域，通过调用不同的getter方法来获取各个域的内容即可展开成多列。
    •  
  
 
  
下述示例实现将一个json字符串的内容展开出来的功能
 
  
@a := select '[{"a":"1","b":"2"},{"a":"1","b":"2"}]' str; -- 示例数据
@b := select new com.google.gson.Gson().fromJson(str, java.util.List.class) l from @a; -- 反序列化json
@c := select cast(e as java.util.Map) m from @b lateral view explode(l) t as e;  -- 用explode打成多行
@d := select m.get('a') as a, m.get('b') as b from @c; -- 展开成多列

select a.toString() a, b.toString() b from @d; -- 最终结果输出(注意变量d的输出中a, b两列是Object类型）

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7plXcdes-1577083585708)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-egdaOrxc-1577083585709)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
读取资源文件
 
  
我们知道在UDF中可以通过ExecutionContext对象来读取资源文件。现在UDT也可以通过 com.aliyun.odps.udt.UDTExecutionContext.get()方法来或者这样的一个 ExecutionContext 对象。
 
  
下述示例将资源文件 1.txt 读取到一个string对象中，并输出：
 
  
set odps.sql.session.resources=1.txt;

select new String(com.aliyun.odps.udt.UDTExecutionContext.get().readResourceFile('1.txt')) text;

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7OwtVNsZ-1577083585709)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1uYWWvun-1577083585710)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
UDT对象持久化
 
  
UDT对象默认是不支持落盘的。但是有方法能够把UDT的对象持久化。基本的思想是将数据序列化成为binary或者string来做持久化，或者将udt对象展开，持久化里面的能转成内置类型的关键数据。
 
  
如下UDT定义：
 
  
public class Shape
{
    public List points;
    public Shape(List points)
    {
        this.points = points;
    }
}

public class Point
{
    public int x;
    public int y;

    public Point(int x, int y)
    {
        this.x = x;
        this.y = y;
    }
}

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oYnqcLwl-1577083585710)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oCjiuPfg-1577083585711)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
将对象展开成内置类型:
 
  

@data := select key, shape from ...;

@exploded := select key, point from @data lateral view explode(shape.points) t as point;
@expanded := select key, point.x, point.y from @exploded;

insert into table points select * from @expanded;


 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uWXmK25K-1577083585712)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-O9YmRK4U-1577083585712)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
需要用时再重新构造:
 
  
select key, new Shape(collect_list(new Point(x, y))) as shape from points group by key;

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-U0rZcat9-1577083585715)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nHBryB7z-1577083585716)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
或者将对象serialize成binary。
 
  
平展开的最大问题是，序列化和反序列化的麻烦。当然可以直接转成binary。如改造Shape类:
 
  
-- 改造 Shape 类
  public com.aliyun.odps.data.Binary serialize() {
    ByteBuffer buffer = ByteBuffer.allocate(points.size() * 8 + 4);
    buffer.putInt(points.size());
    for (Point point : points) {
      buffer.putInt(point.x);
      buffer.putInt(point.y);
    }
    return new com.aliyun.odps.data.Binary(buffer.array());
  }

  public static Shape deserialize(com.aliyun.odps.data.Binary bytes) {
    ByteBuffer buffer = ByteBuffer.wrap(bytes.data());
    int size = buffer.getInt();
    List points = new ArrayList<>(size);
    for (int i = 0; i < size; i++) {
      points.add(new Point(buffer.getInt(), buffer.getInt()));
    }
    return new Shape(points);
  }

-- 需要持久化的时候，调用serialize() 
select key, shape.serialize() data from ...

-- 需要读取的时候，调用deserialize方法
select key, Shape.deserialize(data) as Shape from ...

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ALlOscBF-1577083585716)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9hzmuVgE-1577083585717)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
如果直接利用已有的框架，也许会更方便。如 Shape 是用 ProtoBuffer 定义的
 
  
-- shape 的定义
message Point
{
    required int32 x = 1;
    required int32 y = 2;
}

message Shape
{
    repeated Point points = 1;
}

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-M8GE1Kni-1577083585717)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-l0qyYQEG-1577083585718)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
SQL中直接调用pb的方法
 
  
select key, new com.aliyun.odps.data.Binary(shape.toByteArray()) from ...

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WSpocsWJ-1577083585718)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a6VaUJ8F-1577083585718)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
MaxCompute Studio的支持
 
  
本功能和 MaxCompute Studio 搭配着使用，才能发挥其最大的价值。
 
  
     
   
  • MaxCompute Studio 智能提示能够大大提升编码效率。
    •  
  
 
  
MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第4张图片
 
  
MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第5张图片
 
  
     
   
  • MaxCompute Studio 的类型推导过程，能让您知道某个表达式是什么类型。
     MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第6张图片
    •  
   
  • MaxCompute Studio 的实时语法检查，能快速定位问题语法问题。
     MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第7张图片
    •  
  
 
  
功能，性能与安全性
 
  
功能方面，UDT的优势是显而易见的：
 
  
     
   
  • 使用简单，不需要定义任何function。
    •  
   
  • 支持JDK的所有功能，从而扩展了SQL的能力。
    •  
   
  • 代码直接和SQL放在一块，便于管理。
    •  
   
  • 其它类库拿来即用，代码重用率高。
    •  
   
  • 可以使用面向对象的思想设计某些功能。
    •  
  
 
  
在性能方面，UDT执行过程和UDF非常接近，其性能与UDF几乎是一致的，而且产品针对UDT做了很多优化，在某些场景下UDT的性能甚至略高一筹：
 
  
     
   
  • 对象在一个进程内实际上是不需要做列化反序列化的，只有跨进程的时候才需要。简单地说，就是在没有join或者aggregator等需要做数据reshuffle的情况下，UDT并没有序列化反序列化的开销。
    •  
   
  • UDT的Runtime实现是基于codegen，而不是反射，所以不会存在反射带来的性能损失
    •  
   
  • 连续的多个UDT的操作，实际上会合并在一起，在一个FunctionCall里一起执行，如上述例子中values[x].add(values[y]).divide(java.math.BigInteger.valueOf(2)) 这个看似存在多次UDT方法调用的操作，实际上只有一次调用。所以虽然UDT操作的单元都比较小，但是并不会因此造成多次函数调用的接口上的额外开销。
    •  
  
 
  
在安全控制方面，UDT和UDF完全一样。即都会受到沙箱policy的限制。所以如果要使用受限的操作，需要打开沙箱隔离，或者申请沙箱白名单。
 
  
总结
 
  
本文从使用的角度介绍了UDT的功能。UDT能够在SQL中直接写java的表达式，并可以引用jdk中的类。这一功能极大地方便扩展SQL的功能。
 
  
当然，UDT的功能还有许多功能还有待完善。文中也提到了几点有待完善的功能：
 
  
     
   
  • 支持无返回值的函数调用（或者有返回值，但是忽略返回值，直接取操作数本身，如调用List的add方法，结束后返回执行完add操作的List）。
    •  
   
  • 支持匿名类和lambda表达式。
    •  
   
  • 支持用作shuffle key。
    •  
   
  • 支持JAVA外的其他语言，如python。
    •  
  
 
  
原文链接
 
  
本文为阿里云内容，未经允许不得转载。
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(MaxCompute - ODPS重装上阵　第六弹 - User Defined Type)

        

            

                
    
                    
  • 【操作系统概念】【恐龙书】笔记六——第六章 进程同步
                        我岂是非人哉
计算机操作系统
                        
    Chapter6:ProcessSynchronization问题的提出：彼此合作的进程之间可以用共享逻辑地址空间的方式来实现，共享逻辑地址空间，也就是共享代码区和数据区，会导致数据不一致，所以介绍一些避免数据不一致的机制。6.1BackgroundConcurrentaccesstoshareddatamayresultindatainconsistencyMaintainingdatacons
    
                    
    • 
                    
  • Python第六章08：元组操作练习题
                        苹果.Python.八宝粥
python开发语言
                        
    #元组定义操作练习题"""定义一个元组，内容是：('周杰伦',11,['football','music'])，记录一个学生的信息（姓名、年龄、爱好）请通元组（tuple）的功能，对其进行如下操作：1.查询其年龄所在的下标位置2.查询学生的姓名3.删除学生爱好中的football4.增加爱好：coding"""my_tuple=('周杰伦',11,['football','music'])#1.查
    
                    
    • 
                    
  • Python第六章07：元组的定义和操作
                        苹果.Python.八宝粥
python前端开发语言
                        
    #tuple元组的定义和操作#tuple元组定义用小括号：(1,2,3,4,5),可以是不同类型元素#给变量定义元组时，写括号不写tuple：a=(1,2,3,4,5)#变量=（）变量=tuple（）空元组变量#tuple元组定义完成后，不可以修改，但是，如果元组中嵌套了一个列表时，元组中列表的内容可以修改#封装数据后，不希望被篡改数据，就使用元组tuple#1.定义一个元组t1=("halibo
    
                    
    • 
                    
  • Mac安装 brew
                        潇凝子潇
macosbrew
                        
    MacBook-Pro.ssh%/bin/bash-c"$(curl-fsSLhttps://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"==>Checkingfor`sudo`access(whichmayrequestyourpassword)...Password:==>Thisscriptwillinstall:/
    
                    
    • 
                    
  • Mac 清理 maven仓库无效引用
                        潇凝子潇
macosmaven
                        
    clean_maven_repo.sh#!/bin/bash#设置Maven仓库路径MAVEN_REPO="$HOME/.m2/repository"echo"$MAVEN_REPO"#进入Maven仓库目录cd"$MAVEN_REPO"||exit#查找并删除无效的引用find.-name"*.lastUpdated"-execrm{}\;#查找并删除空目录find.-typed-empty-d
    
                    
    • 
                    
  • Ubuntu常用命令大全 | 零基础快速上手指南
                        算法练习生
Linux--Ubuntuubuntu开发语言笔记算法linux
                        
    Ubuntu常用命令大全|零基础快速上手指南目录文件与目录操作文本查看与编辑权限管理系统管理网络操作磁盘与文件系统软件包管理压缩与解压其他实用命令1.文件与目录操作基础命令命令功能示例cd切换目录cd~(切换到用户主目录)pwd显示当前路径pwd→/home/userls列出目录内容ls-lh(显示详细文件大小)示例代码：ls-alh运行效果：drwxr-xr-x2usergroup4.0KOct
    
                    
    • 
                    
  • springCloud集成tdengine(原生和mapper方式) 其一
                        张小娟
springcloudtdenginemybatis
                        
    第一种mapper方式，原生方式在主页看第二章一、添加pom文件com.zaxxerHikariCPcom.taosdata.jdbctaos-jdbcdriver3.5.3二、在nacos中配置好数据库连接spring:datasource:url:jdbc:TAOS://localhost:6030/testusername:rootpassword:yourPassWorddriver-cl
    
                    
    • 
                    
  • Visual Studio Code官网下载地址及使用技巧（含常用的拓展插件推荐）
                        ITCTCSDN
vscodeide编辑器
                        
    VisualStudioCode（简称“VSCode”）是Microsoft于2015年4月发布的可运行于MacOS、Windows和Linux之上的跨平台源代码编辑器，它具有对JavaScript，TypeScript和Node.js的内置支持，并具有丰富的其他语言（例如C++，C＃，Java，Python，PHP，Go）和运行时（例如.NET和Unity）扩展的生态系统。VisualStudi
    
                    
    • 
                    
  • springCloud集成tdengine(原生和mapper方式) 其二 原生篇
                        张小娟
springcloudtdenginespring
                        
    mapper篇请看另一篇文章一、引入pom文件com.taosdata.jdbctaos-jdbcdriver3.5.3二、在nacos中填写数据库各种value值tdengine:datasource:location:yourLocationusername:rootpassword:yourPassword三、编写TDengineUtil文件下方util文件里面，包含创建database的方
    
                    
    • 
                    
  • Linux 常用命令 - last 【显示历史登录用户列表】
                        WKJay_
Linux常用命令linux服务器
                        
    简介last命令源自英文单词“last”，意为“最后”。该命令用于显示系统中用户的登录和注销记录，以及系统的重启和关机记录。它通过读取/var/log/wtmp文件来获取这些信息，wtmp文件记录了所有用户的登录和注销活动。使用方式last[options][username...][tty...]lastb[options][username...][tty...]常用选项-a,--hostla
    
                    
    • 
                    
  • ts之变量声明以及语法细节，ts小白初学ing
                        菥菥爱嘻嘻
小白学习tstypescript前端
                        
    TypeScript用js编写的项目虽然开发很快，但是维护是成本很高，而且js不报错啊啊啊啊啊！！！以js为基础进行扩展的给变量赋予了类型语法、实战(ts+vue3)TypeScript是JavaScript的一个超集，支持ECMAScript6标准（ES6教程）。TypeScript由微软开发的自由和开源的编程语言，在JavaScript的基础上增加了静态类型检查的超集。TypeScript设计
    
                    
    • 
                    
  • 【TypeScript学习】TypeScript基础学习总结二
                        JAMJAM_NoName
typescript学习前端
                        
    主要记录ts中的类、接口与泛型1.类无论是在哪种语言中，类都是面向对象编程(OOP)的一个主要实现方式。能够实现代码更加灵活，更具有结构化。类作用都是提供一个模板，通过类可以创建多个具有相同结构的对象。//类的定义，与对象的声明classStudent{id:stringname:stringage:numberconstructor(id:string,name:string,age:numbe
    
                    
    • 
                    
  • WEBGL 2D游戏引擎研发系列 第二章 <显示图片>
                        小鬼编程
游戏web开发webglhtml5html5游戏开发扩展游戏2dhtml5前端游戏开发
                        
    WEBGL2D游戏引擎研发系列第二章~\(≥▽≤)/~HTML5游戏开发者社区（群号：326492427）转载请注明出处:http://html5gamedev.org/目录HTML52D游戏引擎研发系列第一章HTML52D游戏引擎研发系列第二章HTML52D游戏引擎研发系列第三章HTML52D游戏引擎研发系列第四章HTML52D游戏引擎研发系列第五章HTML52D游戏引擎研发系列第六章HTML5
    
                    
    • 
                    
  • 【Unity网络同步框架 - Nakama研究(二)】
                        归海_一刀
unity网络游戏引擎
                        
    Unity网络同步框架-Nakama研究(二)虽说官方文档和网站以及论坛建立的不错，而且还有中文翻译且质量也不错，但是总会遇到一些词不达意，说了但是依旧没懂的部分，甚至问AI也问不出什么东西，所以需要有一些比较明显的博客来记录实战部分服务端搭建使用官方推荐的Docker进行安装在将Docker软件下载到Windows环境后，请确保已安装node-js、typescript、lua和Go等环境（后续
    
                    
    • 
                    
  • 数据库设计20条军规：血泪教训换来的实战指南
                        潘多编程
数据库
                        
    优秀的数据库设计不是炫技，而是用最低的成本规避最痛的坑。在经历过数百次深夜故障复盘后，我总结了这些真正经得起生产环境考验的铁律：一、基础生存法则第三范式是起点不是终点订单表里的收货地址必须拆成独立地址表？先看业务场景：日均10万订单的电商系统，拆分会带来3表关联查询，不拆可能存储冗余。实战解法：高频查询字段适当冗余，低频字段严格范式化。命名规范要强制执行user_order_2023比tbl_us
    
                    
    • 
                    
  • React状态管理
                        她的双马尾
Reactreact.js前端javascript
                        
    状态管理概念状态管理是指如何高效地管理和共享组件中的状态。React提供了useState和useReducer来管理本地状态，而对于全局状态，可以使用ContextAPI或第三方库（如Redux）。用法本地状态：使用useState或useReducer。全局状态：使用ContextAPI或Redux。使用场景本地状态：组件内部的状态，如表单输入、按钮点击。全局状态：需要跨组件共享的状态，如用户
    
                    
    • 
                    
  • 最常用的Linux指令手册
                        忍界英雄
linux运维服务器
                        
    最常用的Linux指令手册一、远程连接1.连接远程服务器[email protected]二、文件与目录操作2.查看目录内容ls：查看目录内容、ls-l：显示详细信息、ls-al/home：包含隐藏文件3.显示当前路径pwd4.切换目录cd/var/www/html5.创建文件touchfile1.txtfile2.txt、touchlinode{1..10}.txt:创建文件6.写入文件
    
                    
    • 
                    
  • 202.HarmonyOS NEXT系列教程之图案锁错误处理机制详解
                        
harmonyos-next
                        
    温馨提示：本篇博客的详细代码已发布到git:https://gitcode.com/nutpi/HarmonyosNext可以下载运行哦！HarmonyOSNEXT系列教程之图案锁错误处理机制详解效果预览1.错误处理架构1.1错误类型定义//振动功能错误处理try{vibrator.startVibration({type:'preset',effectId:'haptic.clock.timer
    
                    
    • 
                    
  • 194.HarmonyOS NEXT系列教程之图案锁交互反馈系统详解
                        
harmonyos-next
                        
    温馨提示：本篇博客的详细代码已发布到git:https://gitcode.com/nutpi/HarmonyosNext可以下载运行哦！HarmonyOSNEXT系列教程之图案锁交互反馈系统详解效果预览1.交互反馈系统概述1.1反馈类型//反馈类型定义interfaceFeedbackTypes{visual:boolean;//视觉反馈haptic:boolean;//触觉反馈message:
    
                    
    • 
                    
  • 若依框架二次开发——启动 RuoYi-Cloud 微服务项目
                        bjzhang75
项目开发实践微服务若依
                        
    文章目录前期准备第一步：拉取RuoYi-Cloud项目源码第二步：初始化数据库1.创建数据库2.导入数据第三步：配置Nacos并启用持久化1.下载并解压Nacos2.启动Nacos3.访问Nacos控制台第四步：安装并运行Redis1.安装Redis2.启动Redis第五步：修改后端配置第六步：启动后端服务第七步：启动前端项目1.进入前端项目目录2.安装前端依赖3.启动前端第八步：访问系统总结Ru
    
                    
    • 
                    
  • SSH监控
                        野猪佩挤
systemShellssh运维
                        
    创建/etc/ssh/sshrc文件写入以命令echo"=====系统状态====="uptimefree-h每次登录会显示如果在sshrc文件加入以下脚本每次登录就是执行这个脚本#cat/etc/ssh/sshrcecho"=====系统状态====="uptimefree-h/usr/local/bin/monit.sh以下脚本内容#!/bin/bash#获取登录信息USER_LOGIN="$
    
                    
    • 
                    
  • MySQL密码修改的全部方式一篇详解
                        1加1等于
MySQLmysql数据库
                        
    本文将详细介绍多种修改MySQL密码的方式。本文目录一、alteruser语句操作步骤二、setpassword操作步骤三、直接修改mysql.user表操作步骤一、alteruser语句当你以root用户或者拥有足够权限的用户登录MySQL时，可以使用ALTERUSER语句来修改密码。这种方式适用于MySQL5.7及以上版本，简单直接，且符合MySQL的标准操作规范。操作步骤首先，使用以下命令登
    
                    
    • 
                    
  • 假如我有一台新电脑, 我要做些什么?
                        t.y.Tang
随笔闲谈经验分享
                        
    有时候我要重装系统,或者买了一台新电脑,或者帮别人清理电脑,我个人感觉是有一条还算清晰的整理思路的.今天把它写下来做个备份,方便以后年龄大了记不清事情了还能查阅.所以以后想到什么补充的也会添加进来.本人常用的是windows系统,所以说的也是windows系统.目录安装过程中电脑分区分区方案初始设置进入系统后更新系统处理一些设置项更新MicrosoftStore应用卸载不用的预装应用文件资源管理器
    
                    
    • 
                    
  • 使用 Airbyte Typeform 加载器进行数据文档化
                        shuoac
python
                        
    在数据集成的世界中，Airbyte是一个非常强大的平台，它为我们的ETL管道提供了从API、数据库和文件到数据仓库和湖泊的连接器。但是，随着技术的快速发展，某些工具和方法可能会被弃用，例如AirbyteTypeform加载器。不过这并不意味着不能使用其他更好的解决方案。因此，这篇文章就带大家一起了解如何使用Airbyte原生支持的加载器来处理Typeform的数据文档化。技术背景介绍Airbyte
    
                    
    • 
                    
  • 数据结构-----队列
                        磨十三
数据结构算法linux
                        
    顺序队列（Queue）一、队列核心概念1.基本特性先进先出（FIFO）：最早入队的元素最先出队操作限制：队尾（Rear）：唯一允许插入的位置队头（Front）：唯一允许删除的位置2.顺序队列结构typedefintDATATYPE;typedefstructqueue{DATATYPE*ptr;//存储空间基地址inttlen;//队列总容量inthead;//队头索引inttail;//队尾索引
    
                    
    • 
                    
  • Android :实现登录功能的思路
                        前期后期
android
                        
    android的登录功能和前端一样，需要保存登录的用户信息。创建一个工具类//用户工具类，用于管理用户登录状态和用户信息objectAppUserUtil{//常量定义privateconstvalLOGGED_FLAG="logged_flag"//登录状态的键名privateconstvalUSER_INFO="user_info"//用户信息的键名privateconstvalTAG="Ap
    
                    
    • 
                    
  • Graylog日志系统超详细部署和配置
                        kim_liao123
部署elasticsearchdocker
                        
    Graylog日志系统部署和配置1.软件介绍：Graylog是一个开源的日志聚合、分析、审计、展现和预警工具。功能上和ELK类似，但又比ELK要简单，依靠着更加简洁，高效，部署使用简单；官方文档：https://docs.graylog.org/en/3.3/pages/users_and_roles.html以下所有部署方式都来源与官方文档2.软件准备：服务端：Mongo：存储graylog的一
    
                    
    • 
                    
  • debian(ubuntu) 系统 vsftpd 配置虚拟帐号
                        eli960
LINUXvsftpdftp
                        
    首先说明帐号的认证通过pam认证方式,采用pam的mysql插件.安装libpam-mysql和vsftpdapt-getinstalllibpam-mysqlapt-getinstallvsftpdmysql的库,表,字段,假设如下:库名DBV表名TB字段USER和PASSWORD数据库的帐号密码DBUSERDBPASSWROD/etc/pam.d/vsftpd的内容如下authrequired
    
                    
    • 
                    
  • 【终极解决方案】基于pm2来运行ts文件【和运行js差距很大哦】TypeError [ERR_UNKNOWN_FILE_EXTENSION]: Unknown file extension “.ts“
                        weixin_43343144
javascript前端开发语言
                        
    GPT最开始推荐的方案是：pm2startxx.ts--interpreterts-node-esm但是使用你用的是--interpreterts-node-esm但仍然报TypeError[ERR_UNKNOWN_FILE_EXTENSION]:Unknownfileextension".ts"最终的解决方案：pm2startxx.ts--namexx--interpreternode--nod
    
                    
    • 
                    
  • 第二十二章: 静态多态与动态多态的衔接_《C++ Templates》notes
                        郭涤生
c/c++c++开发语言笔记
                        
    静态多态与动态多态的衔接核心知识点代码示例与测试用例测试用例输出多选题设计题关键技术总结核心知识点静态多态vs动态多态静态多态：编译期多态，通过模板实现，代码生成效率高，但灵活性差。动态多态：运行期多态，通过虚函数实现，灵活性高，但存在虚表开销。类型擦除（TypeErasure）核心思想：将不同类型的对象统一为通用接口，隐藏具体类型信息。实现方式：通常结合基类指针和模板注册机制。桥接模式（Brid
    
                    
    • 
                                
  • scala的option和some
                                    矮蛋蛋
编程scala
                                    
    原文地址： 
http://blog.sina.com.cn/s/blog_68af3f090100qkt8.html 
对于学习 Scala 的 Java™ 开发人员来说，对象是一个比较自然、简单的入口点。在 本系列 前几期文章中，我介绍了 Scala 中一些面向对象的编程方法，这些方法实际上与 Java 编程的区别不是很大。我还向您展示了 Scala 如何重新应用传统的面向对象概念，找到其缺点
    
                                
    • 
                                
  • NullPointerException
                                    Cb123456
androidBaseAdapter
                                    
      
  java.lang.NullPointerException: Attempt to invoke virtual method 'int android.view.View.getImportantForAccessibility()' on a null object reference 
  
  出现以上异常.然后就在baidu上
    
                                
    • 
                                
  • PHP使用文件和目录
                                    天子之骄
php文件和目录读取和写入php验证文件php锁定文件
                                    
    PHP使用文件和目录 
1.使用include()包含文件 
(1)：使用include()从一个被包含文档返回一个值 
(2)：在控制结构中使用include() 
  
include_once()函数需要一个包含文件的路径，此外，第一次调用它的情况和include()一样，如果在脚本执行中再次对同一个文件调用，那么这个文件不会再次包含。 
  
在php.ini文件中设置
    
                                
    • 
                                
  • SQL SELECT DISTINCT 语句
                                    何必如此
sql
                                    
    SELECT DISTINCT 语句用于返回唯一不同的值。 
 
SQL SELECT DISTINCT 语句 
在表中，一个列可能会包含多个重复值，有时您也许希望仅仅列出不同（distinct）的值。 
 
DISTINCT 关键词用于返回唯一不同的值。 
 
SQL SELECT DISTINCT 语法 
 
SELECT DISTINCT column_name,column_name 
F
    
                                
    • 
                                
  • java冒泡排序
                                    3213213333332132
java冒泡排序
                                    
    package com.algorithm;

/**
 * @Description 冒泡
 * @author FuJianyong
 * 2015-1-22上午09:58:39
 */
public class MaoPao {
	public static void main(String[] args) {
		int[] mao = {17,50,26,18,9,10
    
                                
    • 
                                
  • struts2.18 +json,struts2-json-plugin-2.1.8.1.jar配置及问题！
                                    7454103
DAOspringAjaxjsonqq
                                    
    struts2.18  出来有段时间了！ （貌似是 稳定版） 
  
闲时研究下下！  貌似 sruts2 搭配 json 做 ajax 很吃香！ 
  
实践了下下！ 不当之处请绕过！ 呵呵 
  
网上一大堆 struts2+json  不过大多的json 插件 都是 jsonplugin.34.jar  
  
strut
    
                                
    • 
                                
  • struts2 数据标签说明
                                    darkranger
jspbeanstrutsservletScheme
                                    
    数据标签主要用于提供各种数据访问相关的功能，包括显示一个Action里的属性，以及生成国际化输出等功能 
数据标签主要包括： 
action ：该标签用于在JSP页面中直接调用一个Action，通过指定executeResult参数，还可将该Action的处理结果包含到本页面来。 
bean ：该标签用于创建一个javabean实例。如果指定了id属性，则可以将创建的javabean实例放入Sta
    
                                
    • 
                                
  • 链表.简单的链表节点构建
                                    aijuans
编程技巧
                                    
    /*编程环境WIN-TC*/ #include "stdio.h" #include "conio.h" 
#define NODE(name, key_word, help) \  Node name[1]={{NULL, NULL, NULL, key_word, help}} 
typedef struct node {  &nbs
    
                                
    • 
                                
  • tomcat下jndi的三种配置方式
                                    avords
tomcat
                                    
    jndi(Java Naming and Directory Interface，Java命名和目录接口)是一组在Java应用中访问命名和目录服务的API。命名服务将名称和对象联系起来，使得我们可以用名称 
访问对象。目录服务是一种命名服务，在这种服务里，对象不但有名称，还有属性。 
         tomcat配置
    
                                
    • 
                                
  • 关于敏捷的一些想法
                                    houxinyou
敏捷
                                    
    从网上看到这样一句话：“敏捷开发的最重要目标就是：满足用户多变的需求，说白了就是最大程度的让客户满意。” 
感觉表达的不太清楚。 
感觉容易被人误解的地方主要在“用户多变的需求”上。 
第一种多变，实际上就是没有从根本上了解了用户的需求。用户的需求实际是稳定的，只是比较多，也比较混乱，用户一般只能了解自己的那一小部分，所以没有用户能清楚的表达出整体需求。而由于各种条件的，用户表达自己那一部分时也有
    
                                
    • 
                                
  • 富养还是穷养，决定孩子的一生
                                    bijian1013
教育人生
                                    
        是什么决定孩子未来物质能否丰盛？为什么说寒门很难出贵子，三代才能出贵族？真的是父母必须有钱，才能大概率保证孩子未来富有吗？-----作者：@李雪爱与自由
    事实并非由物质决定，而是由心灵决定。一朋友富有而且修养气质很好，兄弟姐妹也都如此。她的童年时代，物质上大家都很贫乏，但妈妈总是保持生活中的美感，时不时给孩子们带回一些美好小玩意，从来不对孩子传递生活艰辛、金钱来之不易、要懂得珍惜
    
                                
    • 
                                
  • oracle 日期时间格式转化
                                    征客丶
oracle
                                    
    oracle 系统时间有 SYSDATE 与 SYSTIMESTAMP； 
SYSDATE：不支持毫秒，取的是系统时间； 
SYSTIMESTAMP：支持毫秒，日期，时间是给时区转换的，秒和毫秒是取的系统的。 
 
日期转字符窜： 
一、不取毫秒： 
TO_CHAR(SYSDATE, 'YYYY-MM-DD HH24:MI:SS') 
简要说明， 
YYYY 年 
MM   月
    
                                
    • 
                                
  • 【Scala六】分析Spark源代码总结的Scala语法四
                                    bit1129
scala
                                    
    1. apply语法 
  
FileShuffleBlockManager中定义的类ShuffleFileGroup，定义： 
  
private class ShuffleFileGroup(val shuffleId: Int, val fileId: Int, val files: Array[File]) {
  ...
  def apply(bucketId
    
                                
    • 
                                
  • Erlang中有意思的bug
                                    bookjovi
erlang
                                    
      
代码中常有一些很搞笑的bug，如下面的一行代码被调用两次（Erlang beam） 
  
commit f667e4a47b07b07ed035073b94d699ff5fe0ba9b
Author: Jovi Zhang <[email protected]>
Date:   Fri Dec 2 16:19:22 2011 +0100

    erts:
    
                                
    • 
                                
  • 移位打印10进制数转16进制-2008-08-18
                                    ljy325
java基础
                                    
    
/**

 * Description 移位打印10进制的16进制形式

 * Creation Date 15-08-2008 9:00

 * @author 卢俊宇

 * @version 1.0

 *

 */

public class PrintHex {

 

    // 备选字符

    static final char di
    
                                
    • 
                                
  • 读《研磨设计模式》-代码笔记-组合模式
                                    bylijinnan
java设计模式
                                    
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ 
 
 
 


import java.util.ArrayList;
import java.util.List;

abstract class Component {
	
	public abstract void printStruct(Str
    
                                
    • 
                                
  • 利用cmd命令将.class文件打包成jar
                                    chenyu19891124
cmdjar
                                    
    cmd命令打jar是如下实现： 
在运行里输入cmd，利用cmd命令进入到本地的工作盘符。(如我的是D盘下的文件有此路径 D:\workspace\prpall\WEB-INF\classes) 
现在是想把D:\workspace\prpall\WEB-INF\classes路径下所有的文件打包成prpall.jar。然后继续如下操作： 
cd D: 回车 
cd workspace/prpal
    
                                
    • 
                                
  • [原创]JWFD v0.96 工作流系统二次开发包 for Eclipse 简要说明
                                    comsci
eclipse设计模式算法工作swing
                                    
         
 
                  JWFD v0.96 工作流系统二次开发包 for Eclipse 简要说明 
 
    &nb
    
                                
    • 
                                
  • SecureCRT右键粘贴的设置
                                    daizj
secureCRT右键粘贴
                                    
    一般都习惯鼠标右键自动粘贴的功能，对于SecureCRT6.7.5 ，这个功能也已经是默认配置了。 
老版本的SecureCRT其实也有这个功能，只是不是默认设置，很多人不知道罢了。 
 
菜单： 
Options->Global Options ...->Terminal 
 
右边有个Mouse的选项块。 
Copy on Select 
Paste on Right/Middle
    
                                
    • 
                                
  • Linux 软链接和硬链接
                                    dongwei_6688
linux
                                    
    1.Linux链接概念Linux链接分两种，一种被称为硬链接（Hard Link），另一种被称为符号链接（Symbolic Link）。默认情况下，ln命令产生硬链接。 
【硬连接】硬连接指通过索引节点来进行连接。在Linux的文件系统中，保存在磁盘分区中的文件不管是什么类型都给它分配一个编号，称为索引节点号(Inode Index)。在Linux中，多个文件名指向同一索引节点是存在的。一般这种连
    
                                
    • 
                                
  • DIV底部自适应
                                    dcj3sjt126com
JavaScript
                                    
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml&q
    
                                
    • 
                                
  • Centos6.5使用yum安装mysql——快速上手必备
                                    dcj3sjt126com
mysql
                                    
    第1步、yum安装mysql
[root@stonex ~]#  yum -y install mysql-server
安装结果：
Installed:
    mysql-server.x86_64 0:5.1.73-3.el6_5                   &nb
    
                                
    • 
                                
  • 如何调试JDK源码
                                    frank1234
jdk
                                    
    相信各位小伙伴们跟我一样，想通过JDK源码来学习Java，比如collections包，java.util.concurrent包。 
 
可惜的是sun提供的jdk并不能查看运行中的局部变量，需要重新编译一下rt.jar。 
 
下面是编译jdk的具体步骤： 
        1.把C:\java\jdk1.6.0_26\sr
    
                                
    • 
                                
  • Maximal Rectangle
                                    hcx2013
max
                                    
    Given a 2D binary matrix filled with 0's and 1's, find the largest rectangle containing all ones and return its area. 
  
public class Solution {
    public int maximalRectangle(char[][] matrix)
    
                                
    • 
                                
  • Spring MVC测试框架详解——服务端测试
                                    jinnianshilongnian
spring mvc test
                                    
    随着RESTful Web Service的流行，测试对外的Service是否满足期望也变的必要的。从Spring 3.2开始Spring了Spring Web测试框架，如果版本低于3.2，请使用spring-test-mvc项目（合并到spring3.2中了）。 
  
Spring MVC测试框架提供了对服务器端和客户端（基于RestTemplate的客户端）提供了支持。 
&nbs
    
                                
    • 
                                
  • Linux64位操作系统（CentOS6.6）上如何编译hadoop2.4.0
                                    liyong0802
hadoop
                                    
    一、准备编译软件 
  1.在官网下载jdk1.7、maven3.2.1、ant1.9.4，解压设置好环境变量就可以用。 
    环境变量设置如下： 
  
（1）执行vim /etc/profile
（2）在文件尾部加入:
   export JAVA_HOME=/home/spark/jdk1.7
   export MAVEN_HOME=/ho
    
                                
    • 
                                
  • StatusBar 字体白色
                                    pangyulei
status
                                    
    
[[UIApplication sharedApplication] setStatusBarStyle:UIStatusBarStyleLightContent];
/*you'll also need to set UIViewControllerBasedStatusBarAppearance to NO in the plist file if you use this method
    
                                
    • 
                                
  • 如何分析Java虚拟机死锁
                                    sesame
javathreadoracle虚拟机jdbc
                                    
    英文资料：  
Thread Dump and Concurrency Locks  
  
Thread dumps are very useful for diagnosing synchronization related problems such as deadlocks on object monitors. Ctrl-\ on Solaris/Linux or Ctrl-B
    
                                
    • 
                                
  • 位运算简介及实用技巧（一）：基础篇
                                    tw_wangzhengquan
位运算
                                    
    http://www.matrix67.com/blog/archives/263 
   去年年底写的关于位运算的日志是这个Blog里少数大受欢迎的文章之一，很多人都希望我能不断完善那篇文章。后来我看到了不少其它的资料，学习到了更多关于位运算的知识，有了重新整理位运算技巧的想法。从今天起我就开始写这一系列位运算讲解文章，与其说是原来那篇文章的follow-up，不如说是一个r
    
                                
    • 
                                
  • jsearch的索引文件结构
                                    yangshangchuan
搜索引擎jsearch全文检索信息检索word分词
                                    
    jsearch是一个高性能的全文检索工具包，基于倒排索引，基于java8，类似于lucene，但更轻量级。 
  
jsearch的索引文件结构定义如下： 
    1、一个词的索引由=分割的三部分组成：        第一部分是词        第二部分是这个词在多少
    
                                
    •