Ta oo
Ta oo

MaxCompute - ODPS重装上阵　第六弹 - User Defined Type

功能简介

MaxCompute中的UDT（User Defined Type）功能支持在SQL中直接引用第三方语言的类或者对象，获取其数据内容或者调用其方法 。

在其他的SQL引擎中也有UDT的概念，但是和MaxCompute的概念有许多差异。很多SQL引擎中的概念比较像MaxCompute的struct复杂类型。而某些语言提供了调用第三方库的功能，如Oracle 的 CREATE TYPE。相比之下，MaxCompute的UDT更像这种CREATE TYPE的概念，Type中不仅仅包含数据域，还包含方法。而且MaxCompute做的更彻底：开发者不需要用特殊的DDL语法来定义类型的映射，而是在SQL中直接使用。

一个简单的例子如下:

set odps.sql.type.system.odps2=true;    -- 打开新类型，因为下面的操作会用到 Integer，即 int类型

SELECT java.lang.Integer.MAX_VALUE;

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-o6DlMiy6-1577083585688)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fkipUBLr-1577083585689)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

上面的例子输出：

+-----------+
| max_value |
+-----------+
| 2147483647 |
+-----------+

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XodFDzEP-1577083585690)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-S0o5mAjo-1577083585690)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

和java语言一样，java.lang这个package是可以省略的。所以上面例子更可以简写为:

set odps.sql.type.system.odps2=true;

SELECT Integer.MAX_VALUE;

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yJWJhTDj-1577083585691)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-219Re2tM-1577083585691)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

可以看到，上面的例子在select列表中直接写上了类似于java表达式的表达式，而这个表达式的确就按照java的语义来执行了。这个例子表现出来的能力就是MaxCompute的UDT。

UDT所提供的所有扩展能力，实际上用UDF都可以实现。譬如上面的例子，如果使用UDF实现，需要做下列操作。

首先，定义一个UDF的类：

package com.aliyun.odps.test;

public class IntegerMaxValue extends com.aliyun.odps.udf.UDF {
  public Integer evaluate() {
    return Integer.MAX_VALUE;
  } 
}

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-beJg1DcY-1577083585692)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XVVtaoAR-1577083585693)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

然后，将上面的UDF编译，并打成jar包。然后再上传jar包，并创建function

add jar odps-test.jar;
create function integer_max_value as 'com.aliyun.odps.test.IntegerMaxValue' using 'odps-test.jar';

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WL45hijy-1577083585693)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TmPLLsbc-1577083585693)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

最后才可以在sql中使用

select integer_max_value();

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rXhrvQXT-1577083585694)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Rsf5RjHu-1577083585694)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

UDT相当于简化了上述一系列的过程，让开发者能够轻松简单地用其他语言扩展SQL的功能。

上述例子表现的是java静态域访问的能力，而UDT的能力远不限于此。譬如下面的例子：

-- 示例数据
@table1 := select * from values ('100000000000000000000') as t(x);
@table2 := select * from values (100L) as t(y);

-- 代码逻辑
@a := select new java.math.BigInteger(x) x from @table1;          -- new创建对象
@b := select java.math.BigInteger.valueOf(y) y from @table2;      -- 静态方法调用
select /*+mapjoin(b)*/ x.add(y).toString() from @a a join @b b;   -- 实例方法调用

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KycEbw9A-1577083585696)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-T6agt9wz-1577083585696)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

上述例子输出结果 100000000000000000100。

这个例子还表现了一种用UDF比较不好实现的功能：子查询的结果允许UDT类型的列。例如上面变量a的x列是java.math.BigInteger类型，而不是内置类型。UDT类型的数据可以被带到下一个operator中再调用其他方法，甚至能参与数据shuffle。比如上面的例子，在MaxCompute studio中的执行图如下：

MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第1张图片

可以看出图中共有三个STAGE: M1, R2 和 J3。熟悉MapReduce原理的用户会知道，由于join的存在需要做数据reshuffle，所以会出现多个stage。一般情况下，不同stage不仅是在不同进程，甚至是在不同物理机器上运行的。双击代表M1的方块，显示如下：

MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第2张图片

可以看到，M1仅仅执行了 new java.math.BigInteger(x) 这个操作。而同样点开代表J3的方块，可以看到 J3 在不同的阶段执行了 java.math.BigInteger.valueOf(y) 的操作，和 x.add(y).toString() 的操作：

MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第3张图片

这几个操作不仅仅是分阶段执行的，甚至是在不同进程，不同物理机器上执行的。但是UDT把这个过程封装起来，让用户看起来和在同一个JVM中执行的效果几乎一样。

UDT同样允许用户上传自己的jar包，并且直接引用。如上面UDF的jar包。用UDT来使用:

set odps.sql.type.system.odps2=true;
set odps.sql.session.resources=odps-test.jar; --指定要引用的jar，这些jar一定要事先上传到project，并且需要是jar类型的资源

select new com.aliyun.odps.test.IntegerMaxValue().evaluate();

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Tae4RqCS-1577083585698)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TZ76ROIu-1577083585699)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

如果觉得写 package全路径麻烦，还可以像java的import一样，用flag来指定默认的package。

set odps.sql.type.system.odps2=true;
set odps.sql.session.resources=odps-test.jar;
set odps.sql.session.java.imports=com.aliyun.odps.test.*;  -- 指定默认的package

select new IntegerMaxValue().evaluate();

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OxYTOnlo-1577083585699)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bm90ZKyz-1577083585700)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

详细说明

  • 目前UDT 只支持java语言。

  • 提供一些提升使用效率的flag：

    • odps.sql.session.resources :指定引用的资源，可以指定多个，用英文逗号隔开：set odps.sql.session.resources=foo.sh,bar.txt;注意这个flag和SELECT TRANSFORM中指定资源的flag相同，所以这个flag会同时影响SELECT TRANSFORM和UDT两个功能。
    • odps.sql.session.java.imports ：指定默认的package，可以指定多个，用逗号隔开。和java的import语句类似，可以提供完整类路径，如 java.math.BigInteger，也可以使用 *。暂不支持static import。

  • UDT支持的操作包括：

    • 实例化对象的new操作。

    • 实例化数组的new操作，包括使用初始化列表创建数组，如new Integer[] { 1, 2, 3 }。

    • 方法调用，包括静态方法调用（因此能用工厂方法构建对象）.

    • 域访问，包括静态域。

    • 注意:

      • 只支持公有方法和共有域的访问。
      • UDT中的标识符是大小写敏感的，包括package，类名，方法名，域(field)名。
      • UDT支持类型转换，但限于SQL形式，如 cast(1 as java.lang.Object)。不支持java形式的类型转换，如（Object)1。
      • 暂不支持匿名类和lambda表达式（后续版本可能会支持）。
      • 暂不支持无返回值的函数调用（这个是因为UDT都是出现在expression中，没有返回值的函数调用无法嵌入到expression中，这个问题在后续的版本中可能会有解决方案）。

  • Java SDK 的类都是默认可用的。但是需要注意目前runtime使用的JDK版本是JDK1.8，比该版本更新的JDK功能可能不支持。

  • 需要特别注意的是， 所有的运算符都是MaxCompute SQL的语义，不是UDT的语义 。如 String.valueOf(1) + String.valueOf(2)的结果是 3 (string隐式转换为double，并且double相加），而不是’12’ (java中string相加是concatenate的语义）。
    除了string的相加操作比较容易混淆外，另一个比较容易混淆的是 = 操作。SQL中的=不是赋值 而是判断相等。而对于java对象来说，判断相等应该用equals方法，通过等号判断的相等无法保证其行为（在UDT场景下，同一对象的概念是不能保证的，具体原因参考下述第8点）。

  • 内置类型与特定java类型有一一映射关系，见UDF类型映射。这个映射在UDT也有效：

    • 内置类型的数据能够直接调用其映射到的Java类型的方法，如 '123'.length() , 1L.hashCode()。
    • UDT类型能够直接参与内置函数或者UDF的运算， 如 chr(Long.valueOf('100'))，其中 Long.valueOf 返回的是 java.lang.Long 类型的数据，而内置函数chr接受的数据类型是内置类型BIGINT。
    • Java的primitive类型可以自动转化为其boxing类型，并应用上面两条规则
    • 注意：某些内置类型是需要 set odps.sql.type.system.odps2=true;才能使用的。否则会报错。

  • UDT对泛型有比较完整的支持，如 java.util.Arrays.asList(new java.math.BigInteger('1'))，编译器能够根据参数类型知道该方法的返回值是 java.util.List类型
    注意构造函数需要指定类型参数，否则使用java.lang.Object，这一点和java保持一致:

new java.util.ArrayList(java.util.Arrays.asList('1', '2'))的结果是 java.util.ArrayList类型;
而 new java.util.ArrayList(java.util.Arrays.asList('1', '2'))的结果是 java.util.ArrayList类型。

  • UDT对 “同一对象” 的概念是模糊的。这是由数据的reshuffle导致的。从上面第一部分的join的示例可以看出，对象有可能会在不同进程，不同物理机器之间传输，在传输过程中同一个对象的两个引用后面可能分别引用了不同的对象（比如对象先被shuffle到两台机器，然后下次又shuffle回一起）。

    • 在使用UDT的时候，应该避免使用 = operator来判断相等，而是使用 equals 方法。
    • 某行某列的对象，其内部包含的各个数据对象的相关性是可以保证的。不能保证的是不同行或者不同列的对象的数据相关性。

  • 目前UDT不能用作shuffle key：包括join，group by，distribute by，sort by, order by, cluster by 等结构的key
    并不是说UDT不能用在这些结构里面，UDT可以在expression中间的任意阶段使用，只是不能作为最终输出。比如虽然不能 group by new java.math.BigInteger('123')，但是可以 group by new java.math.BigInteger('123').hashCode()。因为hashCode的返回值是int.class类型可以当做内置类型int来使用(应上述“内置类型与特定java类型映射”的规则)。

注意：这个限制未来的版本会计划去掉。

  • UDT扩展了类型转换规则：

    • UDT对象能够被隐式类型转换为其基类对象。
    • UDT对象能够被强制类型转换为其基类或子类对象。
    • 没有继承关系的两个对象之间遵守原来的类型转换规则，注意这时候可能会导致内容变化，比如java.lang.Long类型的数据是可以强制转换为java.lang.Integer的，应用的是内置类型的bigint强制转换为int的过程，而这个过程会真的导致数据内容的变化，甚至可能会有精度损失。

  • 目前UDT对象不能落盘。这意味着不能将UDT对象insert到表中（实际上DDL不支持UDT，创建不出来这样的表），当然，隐式类型转换变成了内置类型的除外。同时，屏显的最终结果也不能是UDT类型，对于屏显的场景，由于所有的java类都有toString()方法，而java.lang.String类型是合法的。所以debug的时候，可以用这种方法来观察UDT的内容。

    • 可以设置 set odps.sql.udt.display.tostring=true; 这样MaxCompute会自动把所有的以UDT为最终输出的列wrap上 java.util.Objects.toString(...)，从而方便调试。这个flag只对屏显语句生效，对insert语句不生效，所以专门用在调试中。
    • 内置类型支持binary或者string类型，因此可自定义实现serialize的过程，将byte[]的数据落盘。下次读出来的时候再还原回来。见后面的例子
    • 某些类可能自带序列化和反序列化的方法，如protobuffer。目前UDT依旧支持落盘，还是需要自行调用序列化反序列化方法，变成binary数据类型来落盘。

  • UDT不仅能够实现scalar函数的功能，配合着内置函数collect_list和explode（doc），完全能够实现 aggregator和table function的功能。

更多示例

使用Java数组

set odps.sql.type.system.odps2=true;
set odps.sql.udt.display.tostring=true;

select
    new Integer[10],    -- 创建一个10个元素的数组
    new Integer[] {c1, c2, c3},  -- 通过初始化列表创建一个长度为3的数组
    new Integer[][] { new Integer[] {c1, c2}, new Integer[] {c3, c4} },  -- 创建多维数组
    new Integer[] {c1, c2, c3} [2], -- 通过下标操作访问数组元素
    java.util.Arrays.asList(c1, c2, c3);    -- 这个创建了一个 List，这个也能当做array来用，所以这是另一个创建内置array数据的方法
from values (1,2,3,4) as t(c1, c2, c3, c4);

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1OpXkMgW-1577083585700)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-e3Jr09XX-1577083585701)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

JSON用户的福音

UDT的runtime自带一个gson的依赖(2.2.4)。因此用户可以直接使用gson

set odps.sql.type.system.odps2=true;
set odps.sql.session.java.imports=java.util.*,java,com.google.gson.*; -- 同时import多个package，用逗号隔开

@a := select new Gson() gson;   -- 构建gson对象

select 
  gson.toJson(new ArrayList(Arrays.asList(1, 2, 3))),       -- 将任意对象转成 json 字符串
  cast(gson.fromJson('["a","b","c"]', List.class) as array)  -- 反序列化json字符串, 注意gson的接口，直接反序列化出来是List类型，所以这里强转成了 List，方便后续使用
from @a;
 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-v273x6Lo-1577083585704)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2LnsetqN-1577083585704)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
相比于get_json_object，上述用法不仅仅是使用方便了，在需要对json字符串多个部分做内容提取时，先将gson字符串反序列成格式化数据，其效率要高得多。
 
  
除了GSON, MaxCompute runtime自带的依赖还包括： commons-logging（1.1.1）， commons-lang（2.5）， commons-io（2.4），protobuf-java（2.4.1）。
 
  
复杂类型操作
 
  
内置类型array和map 与 java.util.List 和 java.util.Map 存在映射关系。结果就是:
 
  
     
   
  • Java中实现了java.util.List 或者 java.util.Map 接口的类的对象，都可以参与MaxComputeSQL的复杂类型操作。
    •  
   
  • MaxCompute 中 array, map的数据，能够直接调用 List 或者 Map 的接口。
    •  
  
 
  
set odps.sql.type.system.odps2=true;
set odps.sql.session.java.imports=java.util.*;

select
    size(new ArrayList()),        -- 对 ArrayList数据调用内置函数size
    array(1,2,3).size(),                   -- 对内置类型array调用 List的方法
    sort_array(new ArrayList()),  -- 对 ArrayList 的数据进行排序
    al[1],                                 -- 虽然java的List不支持下标操作，但是别忘了array是支持的
    Objects.toString(a)),        -- 过去不支持将array类型cast成string，现在有绕过方法了
    array(1,2,3).subList(1, 2)             -- 求subList
from (select new ArrayList(array(1,2,3)) as al, array(1,2,3) as a) t;

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tZ6dVDY6-1577083585705)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YDtZpDBU-1577083585705)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
还可以实现一些特殊的功能，比如 array的distinct
 
  
select cast (new java.util.ArrayList(new java.util.HashSet(array(1L, 2L, 2L))) as array);   -- 输出 [1, 2] 

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-e4JptnFY-1577083585706)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-foHgPUXP-1577083585706)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
聚合操作的实现
 
  
UDT实现聚合的原理是，先用COLLECT_SET 或 COLLECT_LIST 函数将数据转变成 List, 之后对该List应用UDT的标量方法求得这一组数据的聚合值。
 
  
如用下面的示例实现对BigInteger求中位数（由于数据是 java.math.BigInteger类型的，所以不能直接用内置的median函数）
 
  
set odps.sql.session.java.imports=java.math.*;
@test_data := select * from values (1),(2),(3),(5) as t(value);

@a := select collect_list(new BigInteger(value)) values from @test_data;  -- 先把数据聚合成list
@b := select sort_array(values) as values, values.size() cnt from @a;  -- 求中位数的逻辑，先将数据排序
@c := select if(cnt % 2 == 1, new BigDecimal(values[cnt div 2]), new BigDecimal(values[cnt div 2 - 1].add(values[cnt div 2])).divide(new BigDecimal(2))) med from @b;

-- 最终结果
select med.toString() from @c;

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gSkXgCDS-1577083585707)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-synKlGnD-1577083585707)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
由于collect_list会先把所有数据都收集到一块，是没有办法实现partial aggregate的，所以这个做法的效率会比内置的aggregator或者udaf低，所以 在内置aggregator能实现的情况下，应尽量使用内置的aggregator 。同时把一个group的所有数据都收集到一起的做法，会增加数据倾斜的风险。
 
  
但是另一方面，如果UDAF本身的逻辑就是要将所有数据收集到一块（比如类似wm_concat的功能），此时使用上述方法，反而可能比UDAF（注意不是内置aggregator）高。
 
  
表值函数的实现
 
  
表值函数允许输入多行多列数据，输出多行多列数据。可以按照下述原理实现：
 
  
     
   
  • 对于输入多行多列数据，可以参考聚合函数实现的示例。
    •  
   
  • 要实现多行的输出，可以让UDT方法输出一个Collection类型的数据（List 或者 Map)，然后调用explode函数，将Collections展开成多行。
    •  
   
  • UDT本身就可以包含多个数据域，通过调用不同的getter方法来获取各个域的内容即可展开成多列。
    •  
  
 
  
下述示例实现将一个json字符串的内容展开出来的功能
 
  
@a := select '[{"a":"1","b":"2"},{"a":"1","b":"2"}]' str; -- 示例数据
@b := select new com.google.gson.Gson().fromJson(str, java.util.List.class) l from @a; -- 反序列化json
@c := select cast(e as java.util.Map) m from @b lateral view explode(l) t as e;  -- 用explode打成多行
@d := select m.get('a') as a, m.get('b') as b from @c; -- 展开成多列

select a.toString() a, b.toString() b from @d; -- 最终结果输出(注意变量d的输出中a, b两列是Object类型）

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7plXcdes-1577083585708)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-egdaOrxc-1577083585709)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
读取资源文件
 
  
我们知道在UDF中可以通过ExecutionContext对象来读取资源文件。现在UDT也可以通过 com.aliyun.odps.udt.UDTExecutionContext.get()方法来或者这样的一个 ExecutionContext 对象。
 
  
下述示例将资源文件 1.txt 读取到一个string对象中，并输出：
 
  
set odps.sql.session.resources=1.txt;

select new String(com.aliyun.odps.udt.UDTExecutionContext.get().readResourceFile('1.txt')) text;

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7OwtVNsZ-1577083585709)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1uYWWvun-1577083585710)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
UDT对象持久化
 
  
UDT对象默认是不支持落盘的。但是有方法能够把UDT的对象持久化。基本的思想是将数据序列化成为binary或者string来做持久化，或者将udt对象展开，持久化里面的能转成内置类型的关键数据。
 
  
如下UDT定义：
 
  
public class Shape
{
    public List points;
    public Shape(List points)
    {
        this.points = points;
    }
}

public class Point
{
    public int x;
    public int y;

    public Point(int x, int y)
    {
        this.x = x;
        this.y = y;
    }
}

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oYnqcLwl-1577083585710)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oCjiuPfg-1577083585711)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
将对象展开成内置类型:
 
  

@data := select key, shape from ...;

@exploded := select key, point from @data lateral view explode(shape.points) t as point;
@expanded := select key, point.x, point.y from @exploded;

insert into table points select * from @expanded;


 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uWXmK25K-1577083585712)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-O9YmRK4U-1577083585712)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
需要用时再重新构造:
 
  
select key, new Shape(collect_list(new Point(x, y))) as shape from points group by key;

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-U0rZcat9-1577083585715)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nHBryB7z-1577083585716)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
或者将对象serialize成binary。
 
  
平展开的最大问题是，序列化和反序列化的麻烦。当然可以直接转成binary。如改造Shape类:
 
  
-- 改造 Shape 类
  public com.aliyun.odps.data.Binary serialize() {
    ByteBuffer buffer = ByteBuffer.allocate(points.size() * 8 + 4);
    buffer.putInt(points.size());
    for (Point point : points) {
      buffer.putInt(point.x);
      buffer.putInt(point.y);
    }
    return new com.aliyun.odps.data.Binary(buffer.array());
  }

  public static Shape deserialize(com.aliyun.odps.data.Binary bytes) {
    ByteBuffer buffer = ByteBuffer.wrap(bytes.data());
    int size = buffer.getInt();
    List points = new ArrayList<>(size);
    for (int i = 0; i < size; i++) {
      points.add(new Point(buffer.getInt(), buffer.getInt()));
    }
    return new Shape(points);
  }

-- 需要持久化的时候，调用serialize() 
select key, shape.serialize() data from ...

-- 需要读取的时候，调用deserialize方法
select key, Shape.deserialize(data) as Shape from ...

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ALlOscBF-1577083585716)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9hzmuVgE-1577083585717)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
如果直接利用已有的框架，也许会更方便。如 Shape 是用 ProtoBuffer 定义的
 
  
-- shape 的定义
message Point
{
    required int32 x = 1;
    required int32 y = 2;
}

message Shape
{
    repeated Point points = 1;
}

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-M8GE1Kni-1577083585717)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-l0qyYQEG-1577083585718)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
SQL中直接调用pb的方法
 
  
select key, new com.aliyun.odps.data.Binary(shape.toByteArray()) from ...

 
  
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WSpocsWJ-1577083585718)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a6VaUJ8F-1577083585718)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]
 
  
MaxCompute Studio的支持
 
  
本功能和 MaxCompute Studio 搭配着使用，才能发挥其最大的价值。
 
  
     
   
  • MaxCompute Studio 智能提示能够大大提升编码效率。
    •  
  
 
  
MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第4张图片
 
  
MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第5张图片
 
  
     
   
  • MaxCompute Studio 的类型推导过程，能让您知道某个表达式是什么类型。
     MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第6张图片
    •  
   
  • MaxCompute Studio 的实时语法检查，能快速定位问题语法问题。
     MaxCompute - ODPS重装上阵　第六弹 - User Defined Type_第7张图片
    •  
  
 
  
功能，性能与安全性
 
  
功能方面，UDT的优势是显而易见的：
 
  
     
   
  • 使用简单，不需要定义任何function。
    •  
   
  • 支持JDK的所有功能，从而扩展了SQL的能力。
    •  
   
  • 代码直接和SQL放在一块，便于管理。
    •  
   
  • 其它类库拿来即用，代码重用率高。
    •  
   
  • 可以使用面向对象的思想设计某些功能。
    •  
  
 
  
在性能方面，UDT执行过程和UDF非常接近，其性能与UDF几乎是一致的，而且产品针对UDT做了很多优化，在某些场景下UDT的性能甚至略高一筹：
 
  
     
   
  • 对象在一个进程内实际上是不需要做列化反序列化的，只有跨进程的时候才需要。简单地说，就是在没有join或者aggregator等需要做数据reshuffle的情况下，UDT并没有序列化反序列化的开销。
    •  
   
  • UDT的Runtime实现是基于codegen，而不是反射，所以不会存在反射带来的性能损失
    •  
   
  • 连续的多个UDT的操作，实际上会合并在一起，在一个FunctionCall里一起执行，如上述例子中values[x].add(values[y]).divide(java.math.BigInteger.valueOf(2)) 这个看似存在多次UDT方法调用的操作，实际上只有一次调用。所以虽然UDT操作的单元都比较小，但是并不会因此造成多次函数调用的接口上的额外开销。
    •  
  
 
  
在安全控制方面，UDT和UDF完全一样。即都会受到沙箱policy的限制。所以如果要使用受限的操作，需要打开沙箱隔离，或者申请沙箱白名单。
 
  
总结
 
  
本文从使用的角度介绍了UDT的功能。UDT能够在SQL中直接写java的表达式，并可以引用jdk中的类。这一功能极大地方便扩展SQL的功能。
 
  
当然，UDT的功能还有许多功能还有待完善。文中也提到了几点有待完善的功能：
 
  
     
   
  • 支持无返回值的函数调用（或者有返回值，但是忽略返回值，直接取操作数本身，如调用List的add方法，结束后返回执行完add操作的List）。
    •  
   
  • 支持匿名类和lambda表达式。
    •  
   
  • 支持用作shuffle key。
    •  
   
  • 支持JAVA外的其他语言，如python。
    •  
  
 
  
原文链接
 
  
本文为阿里云内容，未经允许不得转载。
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(MaxCompute - ODPS重装上阵　第六弹 - User Defined Type)

        

            

                
    
                    
  • ‌Visual Studio Code（VS Code）支持的编程语言
                        计算机辅助工程
vscode
                        
    ‌JavaScript‌：VSCode原生支持JavaScript，提供语法高亮、代码折叠、自动补全等功能。推荐使用ESLint和Prettier进行代码格式化和错误检查‌。‌TypeScript‌：作为JavaScript的超集，TypeScript在VSCode中也得到原生支持，提供类似的编辑功能‌。‌Python‌：通过安装Python扩展，VSCode支持Python编程，提供调试、Int
    
                    
    • 
                    
  • GDB使用总结
                        mzhan017
gccgdb/coredumplinuxgdb
                        
    文章目录gdb版本信息建议环境变量问题gdb命令的参数--configuration--argskillset设置要调试的文件设置源码路径set还可以设置当前程序变量值如果第一个参数前没有选项-segdbthread类大小端问题调试.gdbinit加载.gdbinit失败设值汇编格式调试daemon程序设置参数dir技巧catchcatchsyscallptypeunionstruct如何查看宏定
    
                    
    • 
                    
  • Spring中的依赖注入、setter与构造器注入、自动装配与集合注入详细描述及使用（XML版中篇）
                        KJ.JK
JavaEE进阶教程系列Spring中的依赖注入setter与构造器注入集合注入Spring的自动装配Spring的四种依赖注入
                        
    文章目录更多相关知识一、setter注入和构造器注入setter注入—引用类型⭐代码演示setter注入—简单类型（八种基本数据类型+String）⭐代码演示构造器注入—引用类型⭐代码演示构造器注入—简单类型⭐代码演示构造器注入—参数适配⭐type属性参数适配代码演示⭐index属性参数适配代码演示⭕setter注入和构造器注入总结二、自动装配自动装配介绍⭐byType装配演示⚡byType装配注
    
                    
    • 
                    
  • Ubuntu 下 nginx-1.24.0 源码分析 - ngx_core_module
                        若云止水
ubuntunginx数据库
                        
    定义在src\core\nginx.cngx_module_tngx_core_module={NGX_MODULE_V1,&ngx_core_module_ctx,/*modulecontext*/ngx_core_commands,/*moduledirectives*/NGX_CORE_MODULE,/*moduletype*/NULL,/*initmaster*/NULL,/*initmo
    
                    
    • 
                    
  • 重置 WSL Ubuntu 的 root 密码步骤
                        四月的我
linuxwindows
                        
    方法一：通过PowerShell直接修改（推荐）以管理员身份打开PowerShell右键点击Windows开始菜单→选择WindowsPowerShell(管理员)。以root用户启动WSL执行命令：powershellwsl--userroot此时会直接进入WSL的root环境，无需输入密码。修改root密码在WSL终端中输入：bashpasswdroot按提示输入新密码并确认（输入时密码不可见
    
                    
    • 
                    
  • Spring Boot 3 中集成 Swagger 问题：Type javax.servlet.http.HttpServletRequest not present
                        我命由我12345
后端-问题清单springbootservlet后端javahttpspringjava-ee
                        
    问题与处理策略问题描述io.springfoxspringfox-swagger23.0.0io.springfoxspringfox-swagger-ui3.0.0在SpringBoot3中集成Swagger时，报如下错误java.lang.TypeNotPresentException:Typejavax.servlet.http.HttpServletRequestnotpresent#翻译
    
                    
    • 
                    
  • field.setAccessible(true)；代码扫描有安全漏洞,解决方案
                        码叔义
常规发表java开发语言
                        
    AccessibleObject类是Field、Method和Constructor对象的基类，能够允许反射对象修改访问权限修饰符，绕过由Java访问修饰符提供的访问控制检查。它让程序员能够更改私有字段或调用私有方法，这在通常情况下是不允许的。例如：以下代码片段中，将Field将accessible标记设置为true。Classclazz=User.class;Fieldfield=clazz.g
    
                    
    • 
                    
  • 在Python中运行sql语句
                        静默追光
sqloracle数据库
                        
    导入pymysql或者是MySQL.connector模快importpymysql#最常用importmysql.connector连接数据库#连接数据库使用pymysql模块db=pymysql.connect(host="192.168.1.110",#数据库主机名user="root",#数据库用户名password="root",#数据库密码database="test",#数据库名称c
    
                    
    • 
                    
  • 解释 TypeScript 中的类型系统，如何定义和使用类型？
                        程序员黄同学
前端开发JavaScripttypescriptubuntujavascript
                        
    1.类型系统的核心作用TypeScript类型系统本质上是JavaScript的静态类型增强方案，提供三个核心价值：开发阶段类型检查（类似编译时eslint）更清晰的API文档（类型即文档）更好的IDE自动补全支持代码示例：//错误示范：未指定类型导致潜在隐患functionadd(a,b){returna+b;}add('hello',123);//运行时错误但编译期不报错//正确类型标注fun
    
                    
    • 
                    
  • ClickOnce布置程序的安装目录
                        曲幽
计算机C#ClickOnce安装目录
                        
    默认路径用户的本地应用程序设置中WinXPC:\DocumentsandSettings\Administrator\LocalSettings\Apps\2.0Win7C:\Users\Administrator\AppData\Local\Apps\2.0
    
                    
    • 
                    
  • Nest.js全栈开发终极实践：TypeORM+微服务+Docker构建高可用企业级应用
                        lifire_H
javascript微服务docker
                        
    文章目录**第一部分：认识Nest.js与基础环境搭建****1.1什么是Nest.js？****1.2环境准备****1.3创建第一个项目****1.4启动开发服务器****1.5核心文件解读****第二部分：基础控制器与路由****2.1控制器的作用****2.2创建自定义控制器****2.3路由参数处理****2.4状态码处理****2.5完整示例****2.6测试你的API****关键概念
    
                    
    • 
                    
  • js触发onclick事件获取文本框中的值value
                        吾与谁归in
Web前端jsjavascripthtml5
                        
    1.首先我们创建一到两个文本框，使用标签用户名：密码：2.接着我们创建script代码，创建函数获取文本框中的值，获取值是通过文本框的id获取的，使用到了标签/**创建函数*/functiononclickFun(){/*通过id获取元素*/varuser=document.getElementById("name")/*警示窗口*/alert("你好【"+user.value+"】，欢迎进入系统
    
                    
    • 
                    
  • 【算法】BFS(最短路径问题、拓扑排序)
                        秦jh_
算法算法数据结构c++
                        
    个人主页：秦jh_-CSDN博客系列专栏：https://blog.csdn.net/qinjh_/category_12862161.html?fromshare=blogcolumn&sharetype=blogcolumn&sharerId=12862161&sharerefer=PC&sharesource=qinjh_&sharefrom=from_link目录边权为1的最短路径问题多源
    
                    
    • 
                    
  • 【Spring】_Spring事务与事务传播机制
                        _周游
SpringJavaEE数据库sql
                        
    目录1.创建项目、数据库及MyBatis配置1.1创建数据库及java实体类1.2使用yml配置MyBatis1.3对应三层架构开发2.Spring编程式事务2.1编写UserController类2.2接口测试2.23关于事务回滚与事务提交的日志3.Spring声明式事务3.1编写TransController类3.2接口测试3.3关于@Transactional实现事务回滚的情况3.3.1重新
    
                    
    • 
                    
  • leetcode-sql数据库面试题冲刺（高频SQL五十题）
                        我想吃烤肉肉
sql测试面试数据库leetcodesql
                        
    题目：2356.每位教师所教授的科目种类的数量表:Teacher±------------±-----+|ColumnName|Type|±------------±-----+|teacher_id|int||subject_id|int||dept_id|int|±------------±-----+在SQL中，(subject_id,dept_id)是该表的主键。该表中的每一行都表示带有t
    
                    
    • 
                    
  • uniapp 滚动尺
                        走，带你去玩
前端javascript开发语言
                        
    scale组件代码（部分class样式使用到了uview1.0的样式）{{item/10}}exportdefault{name:'Scale',components:{},props:{value:{type:String,default:'0.0'},//最小值min:{type:Number,default:0,},//最大值max:{type:Number,default:100,},//
    
                    
    • 
                    
  • centos7使用yum网络安装
                        

                        
    CentOS7Yum网络安装完全指南核心原理分析Yum（YellowdogUpdater,Modified）作为RPM系统的智能化软件包管理工具，通过以下机制实现自动化安装：依赖解析：自动识别软件包的前置依赖关系仓库同步：连接配置的软件仓库（repo）获取元数据事务处理：采用原子化操作保证安装/更新的完整性️全流程安装步骤详解步骤1：连接CentOS7服务器sshusername@server-i
    
                    
    • 
                    
  • Linux目录删除指南：彻底解决“Is a directory”错误
                        
linux运维服务器
                        
    在Linux系统中遇到cannotremove'xxx':Isadirectory错误时，说明你正在尝试删除目录但未正确使用参数。以下是详细解决方案：1.基础命令修正删除空目录rmdir目录名#仅删除空目录删除非空目录rm-r目录名#递归删除（确认目录内容可删）rm-rf目录名#强制递归删除（慎用！）2.权限问题处理查看目录权限ls-ld目录名#输出示例：drwxr-xr-x2useruser40
    
                    
    • 
                    
  • 【软件测试】接口自动化测试用例通常包含哪些要素
                        小马哥编程
自动化测试用例
                        
    接口自动化测试用例通常包含以下要素：用例ID：唯一标识符，便于追踪和管理。用例名称：简要描述测试目的。接口信息：URL：接口地址。请求方法：如GET、POST、PUT、DELETE等。请求参数：Headers：如Content-Type、Authorization等。QueryParameters：GET请求中的查询参数。Body：POST/PUT请求的请求体，通常为JSON或XML。预期结果：状
    
                    
    • 
                    
  • Restful 接口设计规范
                        yqcoder
restful设计规范后端
                        
    一、资源与URL1.使用名词表示资源URL应该以名词为主，用来表示具体的资源，而不是动词。例如，/users表示用户资源集合，/users/{id}表示单个用户资源。2.采用复数形式一般来说，资源的URL应该使用复数形式，这样更符合RESTful的设计理念，也更直观。如/orders而不是/order。3.避免层级过深URL的层级结构不宜过深，尽量保持简洁，以便于理解和使用。例如，/api/v1/
    
                    
    • 
                    
  • ES6之解构
                        Hopebearer_
ES6es6前端javascript开发语言ecmascript
                        
    文章目录ES6之解构一、数组解构1.基本解构2.部分解构3.默认值4.剩余参数5.嵌套解构6.交换变量二、对象解构1.基本解构2.重命名3.默认值4.剩余参数三、函数参数结构1.数组参数解构2.对象参数解构3.默认值四、注意事项1.解构顺序2.undefined情况3.剩余元素4.对象的方法解构ES6之解构解构是JavaScript（ES6及以后版本）中一种非常强大的语法特性，它允许我们按照一定模
    
                    
    • 
                    
  • 一文理清：阿里系数据中台-数据治理工具集(傻傻也能分清楚）
                        Debug_Snail
HadoopBigData技术工具人工智能hadoop数据仓库
                        
    阿里云提供的大数据与数据分析产品种类较多，各产品的定位和核心功能有所不同。以下是对DataWorks、MaxCompute、Dataphin、AnalyticDBforMySQL（ADB）、QuickBI、EMR的详细梳理。一、核心产品定位与功能DataWorks定位：一站式大数据开发治理平台，提供数据集成、开发、调度、治理、服务等全链路能力。核心功能：数据集成：支持异构数据源（如数据库、OSS、
    
                    
    • 
                    
  • 【Unity】灯光Light
                        xiaoaiyu___
unity游戏引擎
                        
    Type：光照类型，一共有四种Directionallight：方向光，类似太阳的日照效果。Pointlight：点光源，类似蜡烛。Spotlight：聚光灯，类似手电筒。AreaLight：区域光，无法用作实时光照，一般用于光照贴图烘培Color：光源的颜色，自己选Mode：光照模式Realtime实时：运行时每帧计算并更新实时灯光。没有预先计算实时灯光。Mixed混合：一种提供烘焙和实时功能的
    
                    
    • 
                    
  • Dify 工作流组件完全开发指南
                        程序员查理
AIweb前端javascriptjavascript前端react.js
                        
    1.如何添加新的工作流节点组件1.1添加新节点的步骤要在Dify工作流中添加一个新的节点类型，需要完成以下步骤：1.1.1更新节点类型枚举首先，在app/components/workflow/types.ts文件中的BlockEnum中添加新节点类型：exportenumBlockEnum{//现有节点类型//...//添加新节点类型NewNodeType='new-node-type',}1.
    
                    
    • 
                    
  • 运行autoreconf -fvi报错configure.ac:29: error: possibly undefined macro: AM_PROG_LIBTOOL
                        爱因斯坦小姐
linux
                        
    报错内容说明configure.ac文件中使用了AM_PROG_LIBTOOL，但autoreconf无法找到它。这是因为libtool没有正确的安装或者配置。首先安装libtool：sudoapt-getupdatesudoapt-getinstalllibtool在项目的根目录下初始化libtool：libtoolize接下来重新运行autoreconf-fvi，或许就没问题啦！
    
                    
    • 
                    
  • vscode mac版本 配置git
                        大波V5
vscodemacosgit
                        
    首先使用type-agit查看git的安装目录然后在vscode中找到settings配置文件，修改git.path
    
                    
    • 
                    
  • 基于HarmonyNext的ArkTS高级实战：构建高性能跨平台应用
                        
harmonyos-next
                        
    基于HarmonyNext的ArkTS高级实战：构建高性能跨平台应用引言随着HarmonyOSNext的发布，ArkTS作为其核心开发语言，为开发者提供了更强大的工具和更高效的开发体验。ArkTS基于TypeScript，结合了HarmonyOS的分布式能力，使得开发者能够轻松构建高性能、跨平台的应用。本文将深入探讨如何使用ArkTS在HarmonyNext平台上进行高级开发，通过实战案例讲解如何
    
                    
    • 
                    
  • VSCode 插件开发实战（十六）：详解插件生命周期
                        乐闻x
VsCode使用手册vscodeide编辑器
                        
    前言VSCode它不仅功能强大，而且可以通过插件进行扩展，以满足不同开发者的需求。那么，VSCode自定义插件的生命周期是如何运行的呢？今天我们就用通俗易懂的方式来讲解一下。什么是VSCode插件？VSCode插件是用来扩展编辑器功能的小程序。通过这些插件，我们可以添加新的语言支持、代码片段、调试支持等。VSCode插件通常是用JavaScript或TypeScript编写的，并打包成VSIX文件
    
                    
    • 
                    
  • 【 ＜一＞ 炼丹初探：JavaWeb 的起源与基础】之 JavaWeb 项目的部署：从开发环境到生产环境
                        Foyo Designer
firefox前端改行学it经验分享学习方法程序人生
                        
    点击此处查看合集https://blog.csdn.net/foyodesigner/category_12907601.html?fromshare=blogcolumn&sharetype=blogcolumn&sharerId=12907601&sharerefer=PC&sharesource=FoyoDesigner&sharefrom=from_link一、开发环境：写代码的“温床”在
    
                    
    • 
                    
  • vscode 插件开发 typescript部分报错 Object is possibly 'undefined'.
                        故事里故去
vscode
                        
    在tsconfig.js中:strict设置false状态{"compilerOptions":{"strict":false,//...}}
    
                    
    • 
                                
  • scala的option和some
                                    矮蛋蛋
编程scala
                                    
    原文地址： 
http://blog.sina.com.cn/s/blog_68af3f090100qkt8.html 
对于学习 Scala 的 Java™ 开发人员来说，对象是一个比较自然、简单的入口点。在 本系列 前几期文章中，我介绍了 Scala 中一些面向对象的编程方法，这些方法实际上与 Java 编程的区别不是很大。我还向您展示了 Scala 如何重新应用传统的面向对象概念，找到其缺点
    
                                
    • 
                                
  • NullPointerException
                                    Cb123456
androidBaseAdapter
                                    
      
  java.lang.NullPointerException: Attempt to invoke virtual method 'int android.view.View.getImportantForAccessibility()' on a null object reference 
  
  出现以上异常.然后就在baidu上
    
                                
    • 
                                
  • PHP使用文件和目录
                                    天子之骄
php文件和目录读取和写入php验证文件php锁定文件
                                    
    PHP使用文件和目录 
1.使用include()包含文件 
(1)：使用include()从一个被包含文档返回一个值 
(2)：在控制结构中使用include() 
  
include_once()函数需要一个包含文件的路径，此外，第一次调用它的情况和include()一样，如果在脚本执行中再次对同一个文件调用，那么这个文件不会再次包含。 
  
在php.ini文件中设置
    
                                
    • 
                                
  • SQL SELECT DISTINCT 语句
                                    何必如此
sql
                                    
    SELECT DISTINCT 语句用于返回唯一不同的值。 
 
SQL SELECT DISTINCT 语句 
在表中，一个列可能会包含多个重复值，有时您也许希望仅仅列出不同（distinct）的值。 
 
DISTINCT 关键词用于返回唯一不同的值。 
 
SQL SELECT DISTINCT 语法 
 
SELECT DISTINCT column_name,column_name 
F
    
                                
    • 
                                
  • java冒泡排序
                                    3213213333332132
java冒泡排序
                                    
    package com.algorithm;

/**
 * @Description 冒泡
 * @author FuJianyong
 * 2015-1-22上午09:58:39
 */
public class MaoPao {
	public static void main(String[] args) {
		int[] mao = {17,50,26,18,9,10
    
                                
    • 
                                
  • struts2.18 +json,struts2-json-plugin-2.1.8.1.jar配置及问题！
                                    7454103
DAOspringAjaxjsonqq
                                    
    struts2.18  出来有段时间了！ （貌似是 稳定版） 
  
闲时研究下下！  貌似 sruts2 搭配 json 做 ajax 很吃香！ 
  
实践了下下！ 不当之处请绕过！ 呵呵 
  
网上一大堆 struts2+json  不过大多的json 插件 都是 jsonplugin.34.jar  
  
strut
    
                                
    • 
                                
  • struts2 数据标签说明
                                    darkranger
jspbeanstrutsservletScheme
                                    
    数据标签主要用于提供各种数据访问相关的功能，包括显示一个Action里的属性，以及生成国际化输出等功能 
数据标签主要包括： 
action ：该标签用于在JSP页面中直接调用一个Action，通过指定executeResult参数，还可将该Action的处理结果包含到本页面来。 
bean ：该标签用于创建一个javabean实例。如果指定了id属性，则可以将创建的javabean实例放入Sta
    
                                
    • 
                                
  • 链表.简单的链表节点构建
                                    aijuans
编程技巧
                                    
    /*编程环境WIN-TC*/ #include "stdio.h" #include "conio.h" 
#define NODE(name, key_word, help) \  Node name[1]={{NULL, NULL, NULL, key_word, help}} 
typedef struct node {  &nbs
    
                                
    • 
                                
  • tomcat下jndi的三种配置方式
                                    avords
tomcat
                                    
    jndi(Java Naming and Directory Interface，Java命名和目录接口)是一组在Java应用中访问命名和目录服务的API。命名服务将名称和对象联系起来，使得我们可以用名称 
访问对象。目录服务是一种命名服务，在这种服务里，对象不但有名称，还有属性。 
         tomcat配置
    
                                
    • 
                                
  • 关于敏捷的一些想法
                                    houxinyou
敏捷
                                    
    从网上看到这样一句话：“敏捷开发的最重要目标就是：满足用户多变的需求，说白了就是最大程度的让客户满意。” 
感觉表达的不太清楚。 
感觉容易被人误解的地方主要在“用户多变的需求”上。 
第一种多变，实际上就是没有从根本上了解了用户的需求。用户的需求实际是稳定的，只是比较多，也比较混乱，用户一般只能了解自己的那一小部分，所以没有用户能清楚的表达出整体需求。而由于各种条件的，用户表达自己那一部分时也有
    
                                
    • 
                                
  • 富养还是穷养，决定孩子的一生
                                    bijian1013
教育人生
                                    
        是什么决定孩子未来物质能否丰盛？为什么说寒门很难出贵子，三代才能出贵族？真的是父母必须有钱，才能大概率保证孩子未来富有吗？-----作者：@李雪爱与自由
    事实并非由物质决定，而是由心灵决定。一朋友富有而且修养气质很好，兄弟姐妹也都如此。她的童年时代，物质上大家都很贫乏，但妈妈总是保持生活中的美感，时不时给孩子们带回一些美好小玩意，从来不对孩子传递生活艰辛、金钱来之不易、要懂得珍惜
    
                                
    • 
                                
  • oracle 日期时间格式转化
                                    征客丶
oracle
                                    
    oracle 系统时间有 SYSDATE 与 SYSTIMESTAMP； 
SYSDATE：不支持毫秒，取的是系统时间； 
SYSTIMESTAMP：支持毫秒，日期，时间是给时区转换的，秒和毫秒是取的系统的。 
 
日期转字符窜： 
一、不取毫秒： 
TO_CHAR(SYSDATE, 'YYYY-MM-DD HH24:MI:SS') 
简要说明， 
YYYY 年 
MM   月
    
                                
    • 
                                
  • 【Scala六】分析Spark源代码总结的Scala语法四
                                    bit1129
scala
                                    
    1. apply语法 
  
FileShuffleBlockManager中定义的类ShuffleFileGroup，定义： 
  
private class ShuffleFileGroup(val shuffleId: Int, val fileId: Int, val files: Array[File]) {
  ...
  def apply(bucketId
    
                                
    • 
                                
  • Erlang中有意思的bug
                                    bookjovi
erlang
                                    
      
代码中常有一些很搞笑的bug，如下面的一行代码被调用两次（Erlang beam） 
  
commit f667e4a47b07b07ed035073b94d699ff5fe0ba9b
Author: Jovi Zhang <[email protected]>
Date:   Fri Dec 2 16:19:22 2011 +0100

    erts:
    
                                
    • 
                                
  • 移位打印10进制数转16进制-2008-08-18
                                    ljy325
java基础
                                    
    
/**

 * Description 移位打印10进制的16进制形式

 * Creation Date 15-08-2008 9:00

 * @author 卢俊宇

 * @version 1.0

 *

 */

public class PrintHex {

 

    // 备选字符

    static final char di
    
                                
    • 
                                
  • 读《研磨设计模式》-代码笔记-组合模式
                                    bylijinnan
java设计模式
                                    
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ 
 
 
 


import java.util.ArrayList;
import java.util.List;

abstract class Component {
	
	public abstract void printStruct(Str
    
                                
    • 
                                
  • 利用cmd命令将.class文件打包成jar
                                    chenyu19891124
cmdjar
                                    
    cmd命令打jar是如下实现： 
在运行里输入cmd，利用cmd命令进入到本地的工作盘符。(如我的是D盘下的文件有此路径 D:\workspace\prpall\WEB-INF\classes) 
现在是想把D:\workspace\prpall\WEB-INF\classes路径下所有的文件打包成prpall.jar。然后继续如下操作： 
cd D: 回车 
cd workspace/prpal
    
                                
    • 
                                
  • [原创]JWFD v0.96 工作流系统二次开发包 for Eclipse 简要说明
                                    comsci
eclipse设计模式算法工作swing
                                    
         
 
                  JWFD v0.96 工作流系统二次开发包 for Eclipse 简要说明 
 
    &nb
    
                                
    • 
                                
  • SecureCRT右键粘贴的设置
                                    daizj
secureCRT右键粘贴
                                    
    一般都习惯鼠标右键自动粘贴的功能，对于SecureCRT6.7.5 ，这个功能也已经是默认配置了。 
老版本的SecureCRT其实也有这个功能，只是不是默认设置，很多人不知道罢了。 
 
菜单： 
Options->Global Options ...->Terminal 
 
右边有个Mouse的选项块。 
Copy on Select 
Paste on Right/Middle
    
                                
    • 
                                
  • Linux 软链接和硬链接
                                    dongwei_6688
linux
                                    
    1.Linux链接概念Linux链接分两种，一种被称为硬链接（Hard Link），另一种被称为符号链接（Symbolic Link）。默认情况下，ln命令产生硬链接。 
【硬连接】硬连接指通过索引节点来进行连接。在Linux的文件系统中，保存在磁盘分区中的文件不管是什么类型都给它分配一个编号，称为索引节点号(Inode Index)。在Linux中，多个文件名指向同一索引节点是存在的。一般这种连
    
                                
    • 
                                
  • DIV底部自适应
                                    dcj3sjt126com
JavaScript
                                    
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml&q
    
                                
    • 
                                
  • Centos6.5使用yum安装mysql——快速上手必备
                                    dcj3sjt126com
mysql
                                    
    第1步、yum安装mysql
[root@stonex ~]#  yum -y install mysql-server
安装结果：
Installed:
    mysql-server.x86_64 0:5.1.73-3.el6_5                   &nb
    
                                
    • 
                                
  • 如何调试JDK源码
                                    frank1234
jdk
                                    
    相信各位小伙伴们跟我一样，想通过JDK源码来学习Java，比如collections包，java.util.concurrent包。 
 
可惜的是sun提供的jdk并不能查看运行中的局部变量，需要重新编译一下rt.jar。 
 
下面是编译jdk的具体步骤： 
        1.把C:\java\jdk1.6.0_26\sr
    
                                
    • 
                                
  • Maximal Rectangle
                                    hcx2013
max
                                    
    Given a 2D binary matrix filled with 0's and 1's, find the largest rectangle containing all ones and return its area. 
  
public class Solution {
    public int maximalRectangle(char[][] matrix)
    
                                
    • 
                                
  • Spring MVC测试框架详解——服务端测试
                                    jinnianshilongnian
spring mvc test
                                    
    随着RESTful Web Service的流行，测试对外的Service是否满足期望也变的必要的。从Spring 3.2开始Spring了Spring Web测试框架，如果版本低于3.2，请使用spring-test-mvc项目（合并到spring3.2中了）。 
  
Spring MVC测试框架提供了对服务器端和客户端（基于RestTemplate的客户端）提供了支持。 
&nbs
    
                                
    • 
                                
  • Linux64位操作系统（CentOS6.6）上如何编译hadoop2.4.0
                                    liyong0802
hadoop
                                    
    一、准备编译软件 
  1.在官网下载jdk1.7、maven3.2.1、ant1.9.4，解压设置好环境变量就可以用。 
    环境变量设置如下： 
  
（1）执行vim /etc/profile
（2）在文件尾部加入:
   export JAVA_HOME=/home/spark/jdk1.7
   export MAVEN_HOME=/ho
    
                                
    • 
                                
  • StatusBar 字体白色
                                    pangyulei
status
                                    
    
[[UIApplication sharedApplication] setStatusBarStyle:UIStatusBarStyleLightContent];
/*you'll also need to set UIViewControllerBasedStatusBarAppearance to NO in the plist file if you use this method
    
                                
    • 
                                
  • 如何分析Java虚拟机死锁
                                    sesame
javathreadoracle虚拟机jdbc
                                    
    英文资料：  
Thread Dump and Concurrency Locks  
  
Thread dumps are very useful for diagnosing synchronization related problems such as deadlocks on object monitors. Ctrl-\ on Solaris/Linux or Ctrl-B
    
                                
    • 
                                
  • 位运算简介及实用技巧（一）：基础篇
                                    tw_wangzhengquan
位运算
                                    
    http://www.matrix67.com/blog/archives/263 
   去年年底写的关于位运算的日志是这个Blog里少数大受欢迎的文章之一，很多人都希望我能不断完善那篇文章。后来我看到了不少其它的资料，学习到了更多关于位运算的知识，有了重新整理位运算技巧的想法。从今天起我就开始写这一系列位运算讲解文章，与其说是原来那篇文章的follow-up，不如说是一个r
    
                                
    • 
                                
  • jsearch的索引文件结构
                                    yangshangchuan
搜索引擎jsearch全文检索信息检索word分词
                                    
    jsearch是一个高性能的全文检索工具包，基于倒排索引，基于java8，类似于lucene，但更轻量级。 
  
jsearch的索引文件结构定义如下： 
    1、一个词的索引由=分割的三部分组成：        第一部分是词        第二部分是这个词在多少
    
                                
    •