Ta oo
Ta oo

MaxCompute - ODPS重装上阵　第六弹 - User Defined Type

功能简介

MaxCompute中的UDT（User Defined Type）功能支持在SQL中直接引用第三方语言的类或者对象，获取其数据内容或者调用其方法 。

在其他的SQL引擎中也有UDT的概念，但是和MaxCompute的概念有许多差异。很多SQL引擎中的概念比较像MaxCompute的struct复杂类型。而某些语言提供了调用第三方库的功能，如Oracle 的 CREATE TYPE。相比之下，MaxCompute的UDT更像这种CREATE TYPE的概念，Type中不仅仅包含数据域，还包含方法。而且MaxCompute做的更彻底：开发者不需要用特殊的DDL语法来定义类型的映射，而是在SQL中直接使用。

一个简单的例子如下:

set odps.sql.type.system.odps2=true;    -- 打开新类型，因为下面的操作会用到 Integer，即 int类型

SELECT java.lang.Integer.MAX_VALUE;

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-o6DlMiy6-1577083585688)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fkipUBLr-1577083585689)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

上面的例子输出：

+-----------+
| max_value |
+-----------+
| 2147483647 |
+-----------+

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XodFDzEP-1577083585690)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-S0o5mAjo-1577083585690)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

和java语言一样，java.lang这个package是可以省略的。所以上面例子更可以简写为:

set odps.sql.type.system.odps2=true;

SELECT Integer.MAX_VALUE;

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yJWJhTDj-1577083585691)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-219Re2tM-1577083585691)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

可以看到，上面的例子在select列表中直接写上了类似于java表达式的表达式，而这个表达式的确就按照java的语义来执行了。这个例子表现出来的能力就是MaxCompute的UDT。

UDT所提供的所有扩展能力，实际上用UDF都可以实现。譬如上面的例子，如果使用UDF实现，需要做下列操作。

首先，定义一个UDF的类：

package com.aliyun.odps.test;

public class IntegerMaxValue extends com.aliyun.odps.udf.UDF {
  public Integer evaluate() {
    return Integer.MAX_VALUE;
  } 
}

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-beJg1DcY-1577083585692)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XVVtaoAR-1577083585693)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

然后，将上面的UDF编译，并打成jar包。然后再上传jar包，并创建function

add jar odps-test.jar;
create function integer_max_value as 'com.aliyun.odps.test.IntegerMaxValue' using 'odps-test.jar';

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WL45hijy-1577083585693)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TmPLLsbc-1577083585693)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

最后才可以在sql中使用

select integer_max_value();

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rXhrvQXT-1577083585694)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Rsf5RjHu-1577083585694)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

UDT相当于简化了上述一系列的过程，让开发者能够轻松简单地用其他语言扩展SQL的功能。

上述例子表现的是java静态域访问的能力，而UDT的能力远不限于此。譬如下面的例子：

-- 示例数据
@table1 := select * from values ('100000000000000000000') as t(x);
@table2 := select * from values (100L) as t(y);

-- 代码逻辑
@a := select new java.math.BigInteger(x) x from @table1;          -- new创建对象
@b := select java.math.BigInteger.valueOf(y) y from @table2;      -- 静态方法调用
select /*+mapjoin(b)*/ x.add(y).toString() from @a a join @b b;   -- 实例方法调用

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KycEbw9A-1577083585696)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-T6agt9wz-1577083585696)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

上述例子输出结果 100000000000000000100。

这个例子还表现了一种用UDF比较不好实现的功能：子查询的结果允许UDT类型的列。例如上面变量a的x列是java.math.BigInteger类型，而不是内置类型。UDT类型的数据可以被带到下一个operator中再调用其他方法，甚至能参与数据shuffle。比如上面的例子，在MaxCompute studio中的执行图如下：

MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第1张图片

可以看出图中共有三个STAGE: M1, R2 和 J3。熟悉MapReduce原理的用户会知道，由于join的存在需要做数据reshuffle，所以会出现多个stage。一般情况下，不同stage不仅是在不同进程，甚至是在不同物理机器上运行的。双击代表M1的方块，显示如下：

MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第2张图片

可以看到，M1仅仅执行了 new java.math.BigInteger(x) 这个操作。而同样点开代表J3的方块，可以看到 J3 在不同的阶段执行了 java.math.BigInteger.valueOf(y) 的操作，和 x.add(y).toString() 的操作：

MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第3张图片

这几个操作不仅仅是分阶段执行的，甚至是在不同进程，不同物理机器上执行的。但是UDT把这个过程封装起来，让用户看起来和在同一个JVM中执行的效果几乎一样。

UDT同样允许用户上传自己的jar包，并且直接引用。如上面UDF的jar包。用UDT来使用:

set odps.sql.type.system.odps2=true;
set odps.sql.session.resources=odps-test.jar; --指定要引用的jar，这些jar一定要事先上传到project，并且需要是jar类型的资源

select new com.aliyun.odps.test.IntegerMaxValue().evaluate();

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Tae4RqCS-1577083585698)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TZ76ROIu-1577083585699)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

如果觉得写 package全路径麻烦，还可以像java的import一样，用flag来指定默认的package。

set odps.sql.type.system.odps2=true;
set odps.sql.session.resources=odps-test.jar;
set odps.sql.session.java.imports=com.aliyun.odps.test.*;  -- 指定默认的package

select new IntegerMaxValue().evaluate();

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OxYTOnlo-1577083585699)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bm90ZKyz-1577083585700)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

详细说明

  • 目前UDT 只支持java语言。

  • 提供一些提升使用效率的flag：

    • odps.sql.session.resources :指定引用的资源，可以指定多个，用英文逗号隔开：set odps.sql.session.resources=foo.sh,bar.txt;注意这个flag和SELECT TRANSFORM中指定资源的flag相同，所以这个flag会同时影响SELECT TRANSFORM和UDT两个功能。
    • odps.sql.session.java.imports ：指定默认的package，可以指定多个，用逗号隔开。和java的import语句类似，可以提供完整类路径，如 java.math.BigInteger，也可以使用 *。暂不支持static import。

  • UDT支持的操作包括：

    • 实例化对象的new操作。

    • 实例化数组的new操作，包括使用初始化列表创建数组，如new Integer[] { 1, 2, 3 }。

    • 方法调用，包括静态方法调用（因此能用工厂方法构建对象）.

    • 域访问，包括静态域。

    • 注意:

      • 只支持公有方法和共有域的访问。
      • UDT中的标识符是大小写敏感的，包括package，类名，方法名，域(field)名。
      • UDT支持类型转换，但限于SQL形式，如 cast(1 as java.lang.Object)。不支持java形式的类型转换，如（Object)1。
      • 暂不支持匿名类和lambda表达式（后续版本可能会支持）。
      • 暂不支持无返回值的函数调用（这个是因为UDT都是出现在expression中，没有返回值的函数调用无法嵌入到expression中，这个问题在后续的版本中可能会有解决方案）。

  • Java SDK 的类都是默认可用的。但是需要注意目前runtime使用的JDK版本是JDK1.8，比该版本更新的JDK功能可能不支持。

  • 需要特别注意的是， 所有的运算符都是MaxCompute SQL的语义，不是UDT的语义 。如 String.valueOf(1) + String.valueOf(2)的结果是 3 (string隐式转换为double，并且double相加），而不是’12’ (java中string相加是concatenate的语义）。
    除了string的相加操作比较容易混淆外，另一个比较容易混淆的是 = 操作。SQL中的=不是赋值 而是判断相等。而对于java对象来说，判断相等应该用equals方法，通过等号判断的相等无法保证其行为（在UDT场景下，同一对象的概念是不能保证的，具体原因参考下述第8点）。

  • 内置类型与特定java类型有一一映射关系，见UDF类型映射。这个映射在UDT也有效：

    • 内置类型的数据能够直接调用其映射到的Java类型的方法，如 '123'.length() , 1L.hashCode()。
    • UDT类型能够直接参与内置函数或者UDF的运算， 如 chr(Long.valueOf('100'))，其中 Long.valueOf 返回的是 java.lang.Long 类型的数据，而内置函数chr接受的数据类型是内置类型BIGINT。
    • Java的primitive类型可以自动转化为其boxing类型，并应用上面两条规则
    • 注意：某些内置类型是需要 set odps.sql.type.system.odps2=true;才能使用的。否则会报错。

  • UDT对泛型有比较完整的支持，如 java.util.Arrays.asList(new java.math.BigInteger('1'))，编译器能够根据参数类型知道该方法的返回值是 java.util.List类型
    注意构造函数需要指定类型参数，否则使用java.lang.Object，这一点和java保持一致:

new java.util.ArrayList(java.util.Arrays.asList('1', '2'))的结果是 java.util.ArrayList类型;
而 new java.util.ArrayList(java.util.Arrays.asList('1', '2'))的结果是 java.util.ArrayList类型。

  • UDT对 “同一对象” 的概念是模糊的。这是由数据的reshuffle导致的。从上面第一部分的join的示例可以看出，对象有可能会在不同进程，不同物理机器之间传输，在传输过程中同一个对象的两个引用后面可能分别引用了不同的对象（比如对象先被shuffle到两台机器，然后下次又shuffle回一起）。

    • 在使用UDT的时候，应该避免使用 = operator来判断相等，而是使用 equals 方法。
    • 某行某列的对象，其内部包含的各个数据对象的相关性是可以保证的。不能保证的是不同行或者不同列的对象的数据相关性。

  • 目前UDT不能用作shuffle key：包括join，group by，distribute by，sort by, order by, cluster by 等结构的key
    并不是说UDT不能用在这些结构里面，UDT可以在expression中间的任意阶段使用，只是不能作为最终输出。比如虽然不能 group by new java.math.BigInteger('123')，但是可以 group by new java.math.BigInteger('123').hashCode()。因为hashCode的返回值是int.class类型可以当做内置类型int来使用(应上述“内置类型与特定java类型映射”的规则)。

注意：这个限制未来的版本会计划去掉。

  • UDT扩展了类型转换规则：

    • UDT对象能够被隐式类型转换为其基类对象。
    • UDT对象能够被强制类型转换为其基类或子类对象。
    • 没有继承关系的两个对象之间遵守原来的类型转换规则，注意这时候可能会导致内容变化，比如java.lang.Long类型的数据是可以强制转换为java.lang.Integer的，应用的是内置类型的bigint强制转换为int的过程，而这个过程会真的导致数据内容的变化，甚至可能会有精度损失。

  • 目前UDT对象不能落盘。这意味着不能将UDT对象insert到表中（实际上DDL不支持UDT，创建不出来这样的表），当然，隐式类型转换变成了内置类型的除外。同时，屏显的最终结果也不能是UDT类型，对于屏显的场景，由于所有的java类都有toString()方法，而java.lang.String类型是合法的。所以debug的时候，可以用这种方法来观察UDT的内容。

    • 可以设置 set odps.sql.udt.display.tostring=true; 这样MaxCompute会自动把所有的以UDT为最终输出的列wrap上 java.util.Objects.toString(...)，从而方便调试。这个flag只对屏显语句生效，对insert语句不生效，所以专门用在调试中。
    • 内置类型支持binary或者string类型，因此可自定义实现serialize的过程，将byte[]的数据落盘。下次读出来的时候再还原回来。见后面的例子
    • 某些类可能自带序列化和反序列化的方法，如protobuffer。目前UDT依旧支持落盘，还是需要自行调用序列化反序列化方法，变成binary数据类型来落盘。

  • UDT不仅能够实现scalar函数的功能，配合着内置函数collect_list和explode（doc），完全能够实现 aggregator和table function的功能。

更多示例

使用Java数组

set odps.sql.type.system.odps2=true;
set odps.sql.udt.display.tostring=true;

select
    new Integer[10],    -- 创建一个10个元素的数组
    new Integer[] {c1, c2, c3},  -- 通过初始化列表创建一个长度为3的数组
    new Integer[][] { new Integer[] {c1, c2}, new Integer[] {c3, c4} },  -- 创建多维数组
    new Integer[] {c1, c2, c3} [2], -- 通过下标操作访问数组元素
    java.util.Arrays.asList(c1, c2, c3);    -- 这个创建了一个 List，这个也能当做array来用，所以这是另一个创建内置array数据的方法
from values (1,2,3,4) as t(c1, c2, c3, c4);

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1OpXkMgW-1577083585700)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-e3Jr09XX-1577083585701)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

JSON用户的福音

UDT的runtime自带一个gson的依赖(2.2.4)。因此用户可以直接使用gson

set odps.sql.type.system.odps2=true;
set odps.sql.session.java.imports=java.util.*,java,com.google.gson.*; -- 同时import多个package，用逗号隔开

@a := select new Gson() gson;   -- 构建gson对象

select 
  gson.toJson(new ArrayList(Arrays.asList(1, 2, 3))),       -- 将任意对象转成 json 字符串
  cast(gson.fromJson('["a","b","c"]', List.class) as array)  -- 反序列化json字符串, 注意gson的接口，直接反序列化出来是List类型，所以这里强转成了 List，方便后续使用
from @a;
 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-v273x6Lo-1577083585704)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2LnsetqN-1577083585704)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
相比于get_json_object，上述用法不仅仅是使用方便了，在需要对json字符串多个部分做内容提取时，先将gson字符串反序列成格式化数据，其效率要高得多。
 
  
除了GSON, MaxCompute runtime自带的依赖还包括： commons-logging（1.1.1）， commons-lang（2.5）， commons-io（2.4），protobuf-java（2.4.1）。
 
  
复杂类型操作
 
  
内置类型array和map 与 java.util.List 和 java.util.Map 存在映射关系。结果就是:
 
  
     
   
  • Java中实现了java.util.List 或者 java.util.Map 接口的类的对象，都可以参与MaxComputeSQL的复杂类型操作。
    •  
   
  • MaxCompute 中 array, map的数据，能够直接调用 List 或者 Map 的接口。
    •  
  
 
  
set odps.sql.type.system.odps2=true;
set odps.sql.session.java.imports=java.util.*;

select
    size(new ArrayList()),        -- 对 ArrayList数据调用内置函数size
    array(1,2,3).size(),                   -- 对内置类型array调用 List的方法
    sort_array(new ArrayList()),  -- 对 ArrayList 的数据进行排序
    al[1],                                 -- 虽然java的List不支持下标操作，但是别忘了array是支持的
    Objects.toString(a)),        -- 过去不支持将array类型cast成string，现在有绕过方法了
    array(1,2,3).subList(1, 2)             -- 求subList
from (select new ArrayList(array(1,2,3)) as al, array(1,2,3) as a) t;

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tZ6dVDY6-1577083585705)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YDtZpDBU-1577083585705)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
还可以实现一些特殊的功能，比如 array的distinct
 
  
select cast (new java.util.ArrayList(new java.util.HashSet(array(1L, 2L, 2L))) as array);   -- 输出 [1, 2] 

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-e4JptnFY-1577083585706)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-foHgPUXP-1577083585706)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
聚合操作的实现
 
  
UDT实现聚合的原理是，先用COLLECT_SET 或 COLLECT_LIST 函数将数据转变成 List, 之后对该List应用UDT的标量方法求得这一组数据的聚合值。
 
  
如用下面的示例实现对BigInteger求中位数（由于数据是 java.math.BigInteger类型的，所以不能直接用内置的median函数）
 
  
set odps.sql.session.java.imports=java.math.*;
@test_data := select * from values (1),(2),(3),(5) as t(value);

@a := select collect_list(new BigInteger(value)) values from @test_data;  -- 先把数据聚合成list
@b := select sort_array(values) as values, values.size() cnt from @a;  -- 求中位数的逻辑，先将数据排序
@c := select if(cnt % 2 == 1, new BigDecimal(values[cnt div 2]), new BigDecimal(values[cnt div 2 - 1].add(values[cnt div 2])).divide(new BigDecimal(2))) med from @b;

-- 最终结果
select med.toString() from @c;

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gSkXgCDS-1577083585707)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-synKlGnD-1577083585707)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
由于collect_list会先把所有数据都收集到一块，是没有办法实现partial aggregate的，所以这个做法的效率会比内置的aggregator或者udaf低，所以 在内置aggregator能实现的情况下，应尽量使用内置的aggregator 。同时把一个group的所有数据都收集到一起的做法，会增加数据倾斜的风险。
 
  
但是另一方面，如果UDAF本身的逻辑就是要将所有数据收集到一块（比如类似wm_concat的功能），此时使用上述方法，反而可能比UDAF（注意不是内置aggregator）高。
 
  
表值函数的实现
 
  
表值函数允许输入多行多列数据，输出多行多列数据。可以按照下述原理实现：
 
  
     
   
  • 对于输入多行多列数据，可以参考聚合函数实现的示例。
    •  
   
  • 要实现多行的输出，可以让UDT方法输出一个Collection类型的数据（List 或者 Map)，然后调用explode函数，将Collections展开成多行。
    •  
   
  • UDT本身就可以包含多个数据域，通过调用不同的getter方法来获取各个域的内容即可展开成多列。
    •  
  
 
  
下述示例实现将一个json字符串的内容展开出来的功能
 
  
@a := select '[{"a":"1","b":"2"},{"a":"1","b":"2"}]' str; -- 示例数据
@b := select new com.google.gson.Gson().fromJson(str, java.util.List.class) l from @a; -- 反序列化json
@c := select cast(e as java.util.Map) m from @b lateral view explode(l) t as e;  -- 用explode打成多行
@d := select m.get('a') as a, m.get('b') as b from @c; -- 展开成多列

select a.toString() a, b.toString() b from @d; -- 最终结果输出(注意变量d的输出中a, b两列是Object类型）

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7plXcdes-1577083585708)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-egdaOrxc-1577083585709)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
读取资源文件
 
  
我们知道在UDF中可以通过ExecutionContext对象来读取资源文件。现在UDT也可以通过 com.aliyun.odps.udt.UDTExecutionContext.get()方法来或者这样的一个 ExecutionContext 对象。
 
  
下述示例将资源文件 1.txt 读取到一个string对象中，并输出：
 
  
set odps.sql.session.resources=1.txt;

select new String(com.aliyun.odps.udt.UDTExecutionContext.get().readResourceFile('1.txt')) text;

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7OwtVNsZ-1577083585709)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1uYWWvun-1577083585710)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
UDT对象持久化
 
  
UDT对象默认是不支持落盘的。但是有方法能够把UDT的对象持久化。基本的思想是将数据序列化成为binary或者string来做持久化，或者将udt对象展开，持久化里面的能转成内置类型的关键数据。
 
  
如下UDT定义：
 
  
public class Shape
{
    public List points;
    public Shape(List points)
    {
        this.points = points;
    }
}

public class Point
{
    public int x;
    public int y;

    public Point(int x, int y)
    {
        this.x = x;
        this.y = y;
    }
}

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oYnqcLwl-1577083585710)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oCjiuPfg-1577083585711)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
将对象展开成内置类型:
 
  

@data := select key, shape from ...;

@exploded := select key, point from @data lateral view explode(shape.points) t as point;
@expanded := select key, point.x, point.y from @exploded;

insert into table points select * from @expanded;


 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uWXmK25K-1577083585712)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-O9YmRK4U-1577083585712)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
需要用时再重新构造:
 
  
select key, new Shape(collect_list(new Point(x, y))) as shape from points group by key;

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-U0rZcat9-1577083585715)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nHBryB7z-1577083585716)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
或者将对象serialize成binary。
 
  
平展开的最大问题是，序列化和反序列化的麻烦。当然可以直接转成binary。如改造Shape类:
 
  
-- 改造 Shape 类
  public com.aliyun.odps.data.Binary serialize() {
    ByteBuffer buffer = ByteBuffer.allocate(points.size() * 8 + 4);
    buffer.putInt(points.size());
    for (Point point : points) {
      buffer.putInt(point.x);
      buffer.putInt(point.y);
    }
    return new com.aliyun.odps.data.Binary(buffer.array());
  }

  public static Shape deserialize(com.aliyun.odps.data.Binary bytes) {
    ByteBuffer buffer = ByteBuffer.wrap(bytes.data());
    int size = buffer.getInt();
    List points = new ArrayList<>(size);
    for (int i = 0; i < size; i++) {
      points.add(new Point(buffer.getInt(), buffer.getInt()));
    }
    return new Shape(points);
  }

-- 需要持久化的时候，调用serialize() 
select key, shape.serialize() data from ...

-- 需要读取的时候，调用deserialize方法
select key, Shape.deserialize(data) as Shape from ...

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ALlOscBF-1577083585716)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9hzmuVgE-1577083585717)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
如果直接利用已有的框架，也许会更方便。如 Shape 是用 ProtoBuffer 定义的
 
  
-- shape 的定义
message Point
{
    required int32 x = 1;
    required int32 y = 2;
}

message Shape
{
    repeated Point points = 1;
}

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-M8GE1Kni-1577083585717)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-l0qyYQEG-1577083585718)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
SQL中直接调用pb的方法
 
  
select key, new com.aliyun.odps.data.Binary(shape.toByteArray()) from ...

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WSpocsWJ-1577083585718)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a6VaUJ8F-1577083585718)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
MaxCompute Studio的支持
 
  
本功能和 MaxCompute Studio 搭配着使用，才能发挥其最大的价值。
 
  
     
   
  • MaxCompute Studio 智能提示能够大大提升编码效率。
    •  
  
 
  
MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第4张图片
 
  
MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第5张图片
 
  
     
   
  • MaxCompute Studio 的类型推导过程，能让您知道某个表达式是什么类型。
     MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第6张图片
    •  
   
  • MaxCompute Studio 的实时语法检查，能快速定位问题语法问题。
     MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第7张图片
    •  
  
 
  
功能，性能与安全性
 
  
功能方面，UDT的优势是显而易见的：
 
  
     
   
  • 使用简单，不需要定义任何function。
    •  
   
  • 支持JDK的所有功能，从而扩展了SQL的能力。
    •  
   
  • 代码直接和SQL放在一块，便于管理。
    •  
   
  • 其它类库拿来即用，代码重用率高。
    •  
   
  • 可以使用面向对象的思想设计某些功能。
    •  
  
 
  
在性能方面，UDT执行过程和UDF非常接近，其性能与UDF几乎是一致的，而且产品针对UDT做了很多优化，在某些场景下UDT的性能甚至略高一筹：
 
  
     
   
  • 对象在一个进程内实际上是不需要做列化反序列化的，只有跨进程的时候才需要。简单地说，就是在没有join或者aggregator等需要做数据reshuffle的情况下，UDT并没有序列化反序列化的开销。
    •  
   
  • UDT的Runtime实现是基于codegen，而不是反射，所以不会存在反射带来的性能损失
    •  
   
  • 连续的多个UDT的操作，实际上会合并在一起，在一个FunctionCall里一起执行，如上述例子中values[x].add(values[y]).divide(java.math.BigInteger.valueOf(2)) 这个看似存在多次UDT方法调用的操作，实际上只有一次调用。所以虽然UDT操作的单元都比较小，但是并不会因此造成多次函数调用的接口上的额外开销。
    •  
  
 
  
在安全控制方面，UDT和UDF完全一样。即都会受到沙箱policy的限制。所以如果要使用受限的操作，需要打开沙箱隔离，或者申请沙箱白名单。
 
  
总结
 
  
本文从使用的角度介绍了UDT的功能。UDT能够在SQL中直接写java的表达式，并可以引用jdk中的类。这一功能极大地方便扩展SQL的功能。
 
  
当然，UDT的功能还有许多功能还有待完善。文中也提到了几点有待完善的功能：
 
  
     
   
  • 支持无返回值的函数调用（或者有返回值，但是忽略返回值，直接取操作数本身，如调用List的add方法，结束后返回执行完add操作的List）。
    •  
   
  • 支持匿名类和lambda表达式。
    •  
   
  • 支持用作shuffle key。
    •  
   
  • 支持JAVA外的其他语言，如python。
    •  
  
 
  
原文链接
 
  
本文为阿里云内容，未经允许不得转载。
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(MaxCompute - ODPS重装上阵　第六弹 - User Defined Type)

        

            

                
    
                    
  • JQ实现异步请求的几种方法
                        CsharpDev-奶豆哥
开发语言javascript
                        
    在jQuery中，实现异步请求（AJAX）有多种方法。以下是几种常见的实现方式及其示例代码。1.$.ajax()方法$.ajax()是jQuery中最通用的AJAX方法，支持高度定制化。示例$.ajax({url:'你的请求地址',//请求URLmethod:'GET',//请求方法dataType:'json',//预期返回的数据类型success:function(response){cons
    
                    
    • 
                    
  • 使用Java实现Oracle表结构转换为PostgreSQL的示例方案(AI)
                        秉承初心
AI创造javaoraclepostgresql
                        
    核心代码importjava.sql.*;importjava.util.ArrayList;importjava.util.HashMap;importjava.util.List;importjava.util.Map;publicclassOracleToPGConverter{//类型映射表privatestaticfinalMapTYPE_MAPPING=newHashMapcolumn
    
                    
    • 
                    
  • 自己搭建react + antd + less + ts项目
                        可缺不可滥
react框架逻辑前端项目框架reactantdlessts
                        
    文章目录第一步通过官方的create-react-app，找个喜欢的目录，执行：第二步暴露配置的文件，执行：第三步支持less第四步创建路由第五步解决跨域问题第六步实现mockjs分离式开发第七步axios请求后台接口或mock接口第八步（可选）：配置antd，及其按需加载第九步将项目改造为typescript第一步通过官方的create-react-app，找个喜欢的目录，执行：/**最后面是项
    
                    
    • 
                    
  • 题目 3161: 蓝桥杯2023年第十四届省赛真题-子矩阵
                        Kent_J_Truman
算法蓝桥杯矩阵算法
                        
    题目代码#includeusingnamespacestd;typedeflonglongll;constintN=1010,mod=998244353;intg[N][N];intrmin[N][N],rmax[N][N];llmmin[N][N],mmax[N][N];intq[N*N];inthh,tt;intn,m,a,b;intmain(){cin>>n>>m>>a>>b;for(int
    
                    
    • 
                    
  • MySQL中，性别列（男，女）为什么不适合建索引？
                        程序员猫哥
MySQLmysql数据库
                        
    文章目录在MySQL中，性别列（如仅包含"男"和"女"的列）不适合单独建立索引的主要原因如下：低区分度问题当某个列的唯一值比例（Cardinality）过低时（如性别列仅有2种值），索引的筛选效率会显著下降假设表中有100万条数据，使用性别索引查询时：SELECT*FROMusersWHEREgender='男'可能返回约50万条记录，此时：索引需要执行50万次回表查询（随机I/O）全表扫描只需一
    
                    
    • 
                    
  • C语言每日一练——day_6
                        Run_Teenage
C语言入门练习题c语言开发语言
                        
    引言针对初学者，每日练习几个题，快速上手C语言。第六天。（连续更新中）采用在线OJ的形式什么是在线OJ？在线判题系统（英语：OnlineJudge，缩写OJ）是一种在编程竞赛中用来测试参赛程序的在线系统，也可以用于平时的练习。详细内容可以看一下这篇博客：关于C/C++语言的初学者在哪刷题，怎么刷题-CSDN博客https://blog.csdn.net/2401_88433210/article/
    
                    
    • 
                    
  • 10 分钟学会SpringValidation数据校验和全局异常处理
                        ohn.yu
springspringbootjava
                        
    以下是一个使用Spring开发的简单RESTAPI小程序，通过对一张user表进行操作，代码演示如何RestAPI开发中实现数据校验、全局异常处理和返回Json格式数据。使用的核心框架包括SpringBootSpringWebSpringDataJPABeanValidation（JSR-303）Lombok1.项目依赖（pom.xml）创建一个Maven项目，添加以下依赖："xmlns:xsi=
    
                    
    • 
                    
  • 【Vue+TypeScript实战指南：提高代码质量和开发效率】
                        小怪兽9699
typescriptvue.js前端
                        
    前言在现代前端开发中，Vue.js是一个非常流行且强大的框架，而TypeScript则是增强代码类型安全性和可维护性的利器。本文将详细介绍如何结合Vue和TypeScript来构建高质量的应用程序。无论你是有一定基础的开发者还是希望进一步提升技能的高手，本文都将为你提供详细的步骤和代码示例。1.环境搭建首先，确保你已经安装了Node.js和npm。然后，全局安装VueCLI：npminstall-
    
                    
    • 
                    
  • 大厂裁员不断，这个高薪岗位却找不到人？
                        

                        
    大家好，我是陈哥。当下，裁员潮席卷全球：微软裁撤万人级游戏部门，谷歌AI伦理团队被优化，亚马逊用机器人取代数万仓储岗位。然而，DevOps工程师的招聘却逆势而上。据美国在线求职平台FlexJobs数据显示：2024年第一季度，资深DevOps工程师位列全美远程高薪岗位第六位，单季度新增空缺约为1500-2000个。在中国，各企业对DevOps工程师的需求同样旺盛，仅2024年9月单月就新增约120
    
                    
    • 
                    
  • NestJs bull 用法
                        在你之后
node.js
                        
    bull简介队列bullbull用法https://github.com/OptimalBits/bullBulliscurrentlyinmaintenancemode,weareonlyfixingbugs.FornewfeaturescheckBullMQ,amodernrewrittenimplementationinTypescript.Youarestillverywelcometou
    
                    
    • 
                    
  • C++标准模板（STL）- 类型支持 （杂项变换，将 std::remove_cv 与 std::remove_reference 结合，std::remove_cvref）
                        繁星璀璨G
#杂项变换c++标准库模板运行时类型识别杂项变换remove_cvref
                        
    类型特性类型特性定义一个编译时基于模板的结构，以查询或修改类型的属性。试图特化定义于头文件的模板导致未定义行为，除了std::common_type可依照其所描述特化。定义于头文件的模板可以用不完整类型实例化，除非另外有指定，尽管通常禁止以不完整类型实例化标准库模板。杂项变换将std::remove_cv与std::remove_reference结合std::remove_cvreftempla
    
                    
    • 
                    
  • 爬虫基础--request库详解
                        amo的代码园_毕设
Java基础爬虫javaspringbootvue.jspython开发语言
                        
    爬虫基础–request库详解1.requests模块介绍request库中文文档：https://docs.python-requests.org/zh_CN/latest/user/quickstart.htmlrequests是一个非常流行的PythonHTTP第三方库，它允许你发送各种HTTP请求，处理cookies、会话、连接池、重定向、多种认证方式等，使得处理HTTP请求变得非常便捷，
    
                    
    • 
                    
  • 《算法笔记》9.4小节——数据结构专题(2)-＞二叉查找树（BST） 问题 A: 二叉排序树
                        圣保罗的大教堂
《算法笔记》算法
                        
    题目描述输入一系列整数，建立二叉排序数，并进行前序，中序，后序遍历。输入输入第一行包括一个整数n(1#include#include#include#include#include#include#include#include#include#include#include#include#include#defineINF0x3f3f3f3f#definedb1(x)coutleft);Fre
    
                    
    • 
                    
  • uniapp的 安卓app 定位权限被拒绝后，询问是否开启授权并跳转到手机设置页面
                        绣****
前端基础uni-app
                        
    uniapp的安卓app定位权限被拒绝后，询问是否开启授权并跳转到手机设置页面询问是否授权定位->拒绝定位授权->再次访问提示是否打开授权->跳转至手机设置页面uni.getLocation({type:'gcj02',success:res=>{this.latitude=res.latitudethis.longitude=res.longitude},fail:error=>{console
    
                    
    • 
                    
  • thinkphp5模型查询数据库，查出来的字段直接修改成另外的名字
                        知码客
个人随笔thinkphp5php开发
                        
    在ThinkPHP5中，如果你希望在查询数据库时将返回的字段名直接修改为其他名称，可以通过以下几种方式实现：方法1：使用field方法指定字段别名在查询时通过field方法直接为字段指定别名（使用AS关键字）。示例代码：//使用Db类查询$result=Db::name('user')->field('idASuser_id,nameASfull_name')->select();//使用模型查询
    
                    
    • 
                    
  • uniapp报错 Right-hand side of ‘instanceof‘ is not an object
                        学无止境鸭
uni-app前端javascript
                        
    vue3使用vue2的插件组件时,会报这个错,原因是vue2组件内部的props接收属性时的type类型要写成[Srting,Number]数组的形式,而不是'String|Number'如图所示;
    
                    
    • 
                    
  • JavaScript typeof 运算符详解
                        wjs2024
开发语言
                        
    JavaScripttypeof运算符详解概述在JavaScript中，typeof是一个一元运算符，用于检测给定变量的数据类型。它是JavaScript中最常用的类型检查方法之一。本文将详细解释typeof运算符的用法、返回值以及其局限性。typeof运算符的用法typeof运算符后面跟一个要检查类型的变量或表达式。它不区分大小写，以下是其基本用法：leta=10;console.log(typ
    
                    
    • 
                    
  • 如何实现一个apply函数？
                        风茫
Javascriptjavascriptapply
                        
    在JavaScript中，apply是一个非常有用的方法，它允许你调用一个函数，并显式地指定该函数内部的this值。与call方法不同，apply方法接受参数的方式是一个数组或类数组对象。我们将手动实现一个类似apply的函数，以深入理解其工作原理。实现步骤1.定义myApply方法首先，我们需要在Function.prototype上定义一个新的方法myApply，这样所有的函数都可以调用它。F
    
                    
    • 
                    
  • @RequestParam、@RequestBody、@PathVariable
                        YUELEI118
Javaspringboot
                        
    1.@RequestParam@RequestParam：get请求时如果用不到它的3个属性，可以省略；其他请求如果是通过param传送数据，必须使用该注释要点：可用于任何类型的请求（get请求数据在请求行中，post请求数据在请求体中）无论时在请求行还是请求体，格式都是：[email protected]属性v
    
                    
    • 
                    
  • 更新私有库
                        男子峰
GitcocoaPods创建私有仓库IOS工具类ios开发swift
                        
    一、创建私有库二、更新代码将需要替换的文件、.a、.plist、.h文件、.bundle文件放置到文件夹中。接下来就是配置文件三、配置spec文件Pod::Spec.newdo|s|s.name='XXX'//名字s.version='1.0.0'//版本号s.ios.deployment_target='8.0's.license={:type=>"Copyright",:text=>"中国XX
    
                    
    • 
                    
  • 005 Redis 都有哪些数据类型？分别在哪些场景下使用比较合适？
                        专注_每天进步一点点
08RedisRedisStringlisthashset
                        
    读读Redis的官网，学第一手的资料：Redid官方文档地址Redis中国-文档网址：Redis中国-文档地址或者看看书《Redis深度历险：核心原理和应用实践》1、Redis官网中介绍各种数据类型官方地址：RedisdatatypesRedisisnotaplainkey-valuestore,itisactuallyadatastructuresserver,supportingdiffere
    
                    
    • 
                    
  • Spring Boot 应用的接口访问从 HTTP 改为 HTTPS
                        day day day ...
httpspringboothttps
                        
    LINUX1.生成SSL证书使用工具（如`keytool`或`openssl`）生成SSL证书。以下以`keytool`为例：keytool-genkeypair-aliasmydomain-keyalgRSA-keysize2048-storetypePKCS12-keystorekeystore.p12-validity3650-输入密码并填写证书信息。-生成的`keystore.p12`文件
    
                    
    • 
                    
  • AttributeError: partially initialized module ‘cv2‘ has no attribute ‘_registerMatType‘ (most likely
                        hunter206206
pythonpyopencvpython
                        
    这个错误表明在导入cv2（OpenCV）模块时，发生了循环导入问题，导致模块未能正确初始化。具体来说，cv2模块在初始化过程中尝试调用_registerMatType方法，但由于循环导入，该方法尚未定义。以下是可能的原因和解决方法：1.OpenCV安装问题可能是OpenCV安装不完整或损坏。可以尝试重新安装OpenCV。解决方法：使用pip重新安装OpenCV：pipuninstallopencv
    
                    
    • 
                    
  • React 相关插件之 Redux 基本使用入门
                        
前端reactredux
                        
    引入和定义首先，你需要创建Store实例并暴露出来：//stores/login.store.jsconstloginInstance=(preState,action)=>{switch(action.type){//修改状态case"changeLoginState":preState.isLogin=action.loginFlag=='YES'?true:falsereturnpreSta
    
                    
    • 
                    
  • 用Typescript写自动化工作流
                        联蔚盘云
typescript自动化
                        
    项目地址：acao挺早之前写过一个工具帮我构建项目并发布到指定平台，主要流程就是获取项目根目录下的配置文件，然后根据配置文件在本地通过docker构建一个镜像然后push到镜像仓库，最后通过ssh连接指定的服务区执行发布任务但是随着需求的增长项目就愈发臃肿，可能会存在多个镜像仓库，发布到多个平台，有可能是通过docker-compose管理也有可能是kubectl要怎么办？于是我在考虑有没有可能有
    
                    
    • 
                    
  • httpcanary动态注入_HttpCanary使用指南——正则匹配注入
                        火锅大魔王
httpcanary动态注入
                        
    HttpCanary于v2.11.0版本上线了正则匹配注入功能。顾名思义，就是使用正则表达式或者匹配字符串，动态修改网络请求数据中的部分数据。举个例子：{"date":"30日星期天","high":"高温30℃","fengli":"","low":"低温23℃","fengxiang":"西南风","type":"多云"}复制代码我们希望将网络请求体中这段数据中的符号℃修改为中文摄氏度，即：{
    
                    
    • 
                    
  • 用 Vue 3.5 TypeScript 重新开发3年前甘特图的核心组件
                        云烟，不再年轻
Vuetypescriptvue.js甘特图
                        
    回顾3年前曾经用Vue2.0开发了一个甘特图组件，如今3年过去了，计划使用Vue3.5TypeScript把组件重新开发，有机会的话再开发一个React版本。关于之前的组件以前文章Vue2.0甘特图组件下面录屏是是用Vue3.5TypeScript开发的目前进展，不再使用Vue2里用过的snapsvg-cjs库，主要是对TypeScript支持的不太好，使用SVG.js库代替snapsvg-cjs
    
                    
    • 
                    
  • ubuntu为pycharm添加系统快捷启动图标
                        金大大诶
Linux
                        
    一、首先，在桌面创建一个文件：pycharm.desktop二、编辑文件，添加以下内容：（Exec是sh文件位置，icon是图标文件位置）[DesktopEntry]Version=1.0Type=ApplicationName=PycharmIcon=/home/du/Documents/pycharm-community-2017.3.3/bin/pycharm.pngExec=/home/d
    
                    
    • 
                    
  • ngx_url_t
                        若云止水
linux运维服务器
                        
    定义在src/core/ngx_inet.htypedefstruct{ngx_str_turl;ngx_str_thost;ngx_str_tport_text;ngx_str_turi;in_port_tport;in_port_tdefault_port;in_port_tlast_port;intfamily;unsignedlisten:1;unsigneduri_part:1;unsi
    
                    
    • 
                    
  • nginx ngx_event_t结构体详解
                        securitysun
nginx开发学习汇总nginxopenresty计算机网络
                        
    结构体EventHandling|NGINXngx_event_t：为添加到循环event事件使用的event事件结构体。typedefstructngx_event_sngx_event_t;结构体声明所在位置ngx_core.h。ngx_event_s结构体所在位置ngx_event.h。structngx_event_s{//事件上下文数据，通常data都是指向ngx_connection_
    
                    
    • 
                                
  • scala的option和some
                                    矮蛋蛋
编程scala
                                    
    原文地址： 
http://blog.sina.com.cn/s/blog_68af3f090100qkt8.html 
对于学习 Scala 的 Java™ 开发人员来说，对象是一个比较自然、简单的入口点。在 本系列 前几期文章中，我介绍了 Scala 中一些面向对象的编程方法，这些方法实际上与 Java 编程的区别不是很大。我还向您展示了 Scala 如何重新应用传统的面向对象概念，找到其缺点
    
                                
    • 
                                
  • NullPointerException
                                    Cb123456
androidBaseAdapter
                                    
      
  java.lang.NullPointerException: Attempt to invoke virtual method 'int android.view.View.getImportantForAccessibility()' on a null object reference 
  
  出现以上异常.然后就在baidu上
    
                                
    • 
                                
  • PHP使用文件和目录
                                    天子之骄
php文件和目录读取和写入php验证文件php锁定文件
                                    
    PHP使用文件和目录 
1.使用include()包含文件 
(1)：使用include()从一个被包含文档返回一个值 
(2)：在控制结构中使用include() 
  
include_once()函数需要一个包含文件的路径，此外，第一次调用它的情况和include()一样，如果在脚本执行中再次对同一个文件调用，那么这个文件不会再次包含。 
  
在php.ini文件中设置
    
                                
    • 
                                
  • SQL SELECT DISTINCT 语句
                                    何必如此
sql
                                    
    SELECT DISTINCT 语句用于返回唯一不同的值。 
 
SQL SELECT DISTINCT 语句 
在表中，一个列可能会包含多个重复值，有时您也许希望仅仅列出不同（distinct）的值。 
 
DISTINCT 关键词用于返回唯一不同的值。 
 
SQL SELECT DISTINCT 语法 
 
SELECT DISTINCT column_name,column_name 
F
    
                                
    • 
                                
  • java冒泡排序
                                    3213213333332132
java冒泡排序
                                    
    package com.algorithm;

/**
 * @Description 冒泡
 * @author FuJianyong
 * 2015-1-22上午09:58:39
 */
public class MaoPao {
	public static void main(String[] args) {
		int[] mao = {17,50,26,18,9,10
    
                                
    • 
                                
  • struts2.18 +json,struts2-json-plugin-2.1.8.1.jar配置及问题！
                                    7454103
DAOspringAjaxjsonqq
                                    
    struts2.18  出来有段时间了！ （貌似是 稳定版） 
  
闲时研究下下！  貌似 sruts2 搭配 json 做 ajax 很吃香！ 
  
实践了下下！ 不当之处请绕过！ 呵呵 
  
网上一大堆 struts2+json  不过大多的json 插件 都是 jsonplugin.34.jar  
  
strut
    
                                
    • 
                                
  • struts2 数据标签说明
                                    darkranger
jspbeanstrutsservletScheme
                                    
    数据标签主要用于提供各种数据访问相关的功能，包括显示一个Action里的属性，以及生成国际化输出等功能 
数据标签主要包括： 
action ：该标签用于在JSP页面中直接调用一个Action，通过指定executeResult参数，还可将该Action的处理结果包含到本页面来。 
bean ：该标签用于创建一个javabean实例。如果指定了id属性，则可以将创建的javabean实例放入Sta
    
                                
    • 
                                
  • 链表.简单的链表节点构建
                                    aijuans
编程技巧
                                    
    /*编程环境WIN-TC*/ #include "stdio.h" #include "conio.h" 
#define NODE(name, key_word, help) \  Node name[1]={{NULL, NULL, NULL, key_word, help}} 
typedef struct node {  &nbs
    
                                
    • 
                                
  • tomcat下jndi的三种配置方式
                                    avords
tomcat
                                    
    jndi(Java Naming and Directory Interface，Java命名和目录接口)是一组在Java应用中访问命名和目录服务的API。命名服务将名称和对象联系起来，使得我们可以用名称 
访问对象。目录服务是一种命名服务，在这种服务里，对象不但有名称，还有属性。 
         tomcat配置
    
                                
    • 
                                
  • 关于敏捷的一些想法
                                    houxinyou
敏捷
                                    
    从网上看到这样一句话：“敏捷开发的最重要目标就是：满足用户多变的需求，说白了就是最大程度的让客户满意。” 
感觉表达的不太清楚。 
感觉容易被人误解的地方主要在“用户多变的需求”上。 
第一种多变，实际上就是没有从根本上了解了用户的需求。用户的需求实际是稳定的，只是比较多，也比较混乱，用户一般只能了解自己的那一小部分，所以没有用户能清楚的表达出整体需求。而由于各种条件的，用户表达自己那一部分时也有
    
                                
    • 
                                
  • 富养还是穷养，决定孩子的一生
                                    bijian1013
教育人生
                                    
        是什么决定孩子未来物质能否丰盛？为什么说寒门很难出贵子，三代才能出贵族？真的是父母必须有钱，才能大概率保证孩子未来富有吗？-----作者：@李雪爱与自由
    事实并非由物质决定，而是由心灵决定。一朋友富有而且修养气质很好，兄弟姐妹也都如此。她的童年时代，物质上大家都很贫乏，但妈妈总是保持生活中的美感，时不时给孩子们带回一些美好小玩意，从来不对孩子传递生活艰辛、金钱来之不易、要懂得珍惜
    
                                
    • 
                                
  • oracle 日期时间格式转化
                                    征客丶
oracle
                                    
    oracle 系统时间有 SYSDATE 与 SYSTIMESTAMP； 
SYSDATE：不支持毫秒，取的是系统时间； 
SYSTIMESTAMP：支持毫秒，日期，时间是给时区转换的，秒和毫秒是取的系统的。 
 
日期转字符窜： 
一、不取毫秒： 
TO_CHAR(SYSDATE, 'YYYY-MM-DD HH24:MI:SS') 
简要说明， 
YYYY 年 
MM   月
    
                                
    • 
                                
  • 【Scala六】分析Spark源代码总结的Scala语法四
                                    bit1129
scala
                                    
    1. apply语法 
  
FileShuffleBlockManager中定义的类ShuffleFileGroup，定义： 
  
private class ShuffleFileGroup(val shuffleId: Int, val fileId: Int, val files: Array[File]) {
  ...
  def apply(bucketId
    
                                
    • 
                                
  • Erlang中有意思的bug
                                    bookjovi
erlang
                                    
      
代码中常有一些很搞笑的bug，如下面的一行代码被调用两次（Erlang beam） 
  
commit f667e4a47b07b07ed035073b94d699ff5fe0ba9b
Author: Jovi Zhang <[email protected]>
Date:   Fri Dec 2 16:19:22 2011 +0100

    erts:
    
                                
    • 
                                
  • 移位打印10进制数转16进制-2008-08-18
                                    ljy325
java基础
                                    
    
/**

 * Description 移位打印10进制的16进制形式

 * Creation Date 15-08-2008 9:00

 * @author 卢俊宇

 * @version 1.0

 *

 */

public class PrintHex {

 

    // 备选字符

    static final char di
    
                                
    • 
                                
  • 读《研磨设计模式》-代码笔记-组合模式
                                    bylijinnan
java设计模式
                                    
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ 
 
 
 


import java.util.ArrayList;
import java.util.List;

abstract class Component {
	
	public abstract void printStruct(Str
    
                                
    • 
                                
  • 利用cmd命令将.class文件打包成jar
                                    chenyu19891124
cmdjar
                                    
    cmd命令打jar是如下实现： 
在运行里输入cmd，利用cmd命令进入到本地的工作盘符。(如我的是D盘下的文件有此路径 D:\workspace\prpall\WEB-INF\classes) 
现在是想把D:\workspace\prpall\WEB-INF\classes路径下所有的文件打包成prpall.jar。然后继续如下操作： 
cd D: 回车 
cd workspace/prpal
    
                                
    • 
                                
  • [原创]JWFD v0.96 工作流系统二次开发包 for Eclipse 简要说明
                                    comsci
eclipse设计模式算法工作swing
                                    
         
 
                  JWFD v0.96 工作流系统二次开发包 for Eclipse 简要说明 
 
    &nb
    
                                
    • 
                                
  • SecureCRT右键粘贴的设置
                                    daizj
secureCRT右键粘贴
                                    
    一般都习惯鼠标右键自动粘贴的功能，对于SecureCRT6.7.5 ，这个功能也已经是默认配置了。 
老版本的SecureCRT其实也有这个功能，只是不是默认设置，很多人不知道罢了。 
 
菜单： 
Options->Global Options ...->Terminal 
 
右边有个Mouse的选项块。 
Copy on Select 
Paste on Right/Middle
    
                                
    • 
                                
  • Linux 软链接和硬链接
                                    dongwei_6688
linux
                                    
    1.Linux链接概念Linux链接分两种，一种被称为硬链接（Hard Link），另一种被称为符号链接（Symbolic Link）。默认情况下，ln命令产生硬链接。 
【硬连接】硬连接指通过索引节点来进行连接。在Linux的文件系统中，保存在磁盘分区中的文件不管是什么类型都给它分配一个编号，称为索引节点号(Inode Index)。在Linux中，多个文件名指向同一索引节点是存在的。一般这种连
    
                                
    • 
                                
  • DIV底部自适应
                                    dcj3sjt126com
JavaScript
                                    
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml&q
    
                                
    • 
                                
  • Centos6.5使用yum安装mysql——快速上手必备
                                    dcj3sjt126com
mysql
                                    
    第1步、yum安装mysql
[root@stonex ~]#  yum -y install mysql-server
安装结果：
Installed:
    mysql-server.x86_64 0:5.1.73-3.el6_5                   &nb
    
                                
    • 
                                
  • 如何调试JDK源码
                                    frank1234
jdk
                                    
    相信各位小伙伴们跟我一样，想通过JDK源码来学习Java，比如collections包，java.util.concurrent包。 
 
可惜的是sun提供的jdk并不能查看运行中的局部变量，需要重新编译一下rt.jar。 
 
下面是编译jdk的具体步骤： 
        1.把C:\java\jdk1.6.0_26\sr
    
                                
    • 
                                
  • Maximal Rectangle
                                    hcx2013
max
                                    
    Given a 2D binary matrix filled with 0's and 1's, find the largest rectangle containing all ones and return its area. 
  
public class Solution {
    public int maximalRectangle(char[][] matrix)
    
                                
    • 
                                
  • Spring MVC测试框架详解——服务端测试
                                    jinnianshilongnian
spring mvc test
                                    
    随着RESTful Web Service的流行，测试对外的Service是否满足期望也变的必要的。从Spring 3.2开始Spring了Spring Web测试框架，如果版本低于3.2，请使用spring-test-mvc项目（合并到spring3.2中了）。 
  
Spring MVC测试框架提供了对服务器端和客户端（基于RestTemplate的客户端）提供了支持。 
&nbs
    
                                
    • 
                                
  • Linux64位操作系统（CentOS6.6）上如何编译hadoop2.4.0
                                    liyong0802
hadoop
                                    
    一、准备编译软件 
  1.在官网下载jdk1.7、maven3.2.1、ant1.9.4，解压设置好环境变量就可以用。 
    环境变量设置如下： 
  
（1）执行vim /etc/profile
（2）在文件尾部加入:
   export JAVA_HOME=/home/spark/jdk1.7
   export MAVEN_HOME=/ho
    
                                
    • 
                                
  • StatusBar 字体白色
                                    pangyulei
status
                                    
    
[[UIApplication sharedApplication] setStatusBarStyle:UIStatusBarStyleLightContent];
/*you'll also need to set UIViewControllerBasedStatusBarAppearance to NO in the plist file if you use this method
    
                                
    • 
                                
  • 如何分析Java虚拟机死锁
                                    sesame
javathreadoracle虚拟机jdbc
                                    
    英文资料：  
Thread Dump and Concurrency Locks  
  
Thread dumps are very useful for diagnosing synchronization related problems such as deadlocks on object monitors. Ctrl-\ on Solaris/Linux or Ctrl-B
    
                                
    • 
                                
  • 位运算简介及实用技巧（一）：基础篇
                                    tw_wangzhengquan
位运算
                                    
    http://www.matrix67.com/blog/archives/263 
   去年年底写的关于位运算的日志是这个Blog里少数大受欢迎的文章之一，很多人都希望我能不断完善那篇文章。后来我看到了不少其它的资料，学习到了更多关于位运算的知识，有了重新整理位运算技巧的想法。从今天起我就开始写这一系列位运算讲解文章，与其说是原来那篇文章的follow-up，不如说是一个r
    
                                
    • 
                                
  • jsearch的索引文件结构
                                    yangshangchuan
搜索引擎jsearch全文检索信息检索word分词
                                    
    jsearch是一个高性能的全文检索工具包，基于倒排索引，基于java8，类似于lucene，但更轻量级。 
  
jsearch的索引文件结构定义如下： 
    1、一个词的索引由=分割的三部分组成：        第一部分是词        第二部分是这个词在多少
    
                                
    •