卡奥斯道
卡奥斯道

Hive分析窗口函数 LAG,LEAD,FIRST_VALUE,LAST_VALUE

转自：http://lxw1234.com/archives/2015/04/190.htm

数据准备：

   
   
   
   
    
    
    
    
    
  1. cookie1,2015-04-10 10:00:02,url2
    2. 
    
    
    
    
  2. cookie1,2015-04-10 10:00:00,url1
    3. 
    
    
    
    
  3. cookie1,2015-04-10 10:03:04,1url3
    4. 
    
    
    
    
  4. cookie1,2015-04-10 10:50:05,url6
    5. 
    
    
    
    
  5. cookie1,2015-04-10 11:00:00,url7
    6. 
    
    
    
    
  6. cookie1,2015-04-10 10:10:00,url4
    7. 
    
    
    
    
  7. cookie1,2015-04-10 10:50:01,url5
    8. 
    
    
    
    
  8. cookie2,2015-04-10 10:00:02,url22
    9. 
    
    
    
    
  9. cookie2,2015-04-10 10:00:00,url11
    10. 
    
    
    
    
  10. cookie2,2015-04-10 10:03:04,1url33
    11. 
    
    
    
    
  11. cookie2,2015-04-10 10:50:05,url66
    12. 
    
    
    
    
  12. cookie2,2015-04-10 11:00:00,url77
    13. 
    
    
    
    
  13. cookie2,2015-04-10 10:10:00,url44
    14. 
    
    
    
    
  14. cookie2,2015-04-10 10:50:01,url55
    15. 
    
    
    
    
  15.  
    16. 
    
    
    
    
  16. CREATE EXTERNAL TABLE lxw1234 (
    17. 
    
    
    
    
  17. cookieid string,
    18. 
    
    
    
    
  18. createtime string,  --页面访问时间
    19. 
    
    
    
    
  19. url STRING       --被访问页面
    20. 
    
    
    
    
  20. ) ROW FORMAT DELIMITED 
    21. 
    
    
    
    
  21. FIELDS TERMINATED BY ',' 
    22. 
    
    
    
    
  22. stored as textfile location '/tmp/lxw11/';
    23. 
    
    
    
    
  23.  
    24. 
    
    
    
    
  24.  
    25. 
    
    
    
    
  25. hive> select * from lxw1234;
    26. 
    
    
    
    
  26. OK
    27. 
    
    
    
    
  27. cookie1 2015-04-10 10:00:02     url2
    28. 
    
    
    
    
  28. cookie1 2015-04-10 10:00:00     url1
    29. 
    
    
    
    
  29. cookie1 2015-04-10 10:03:04     1url3
    30. 
    
    
    
    
  30. cookie1 2015-04-10 10:50:05     url6
    31. 
    
    
    
    
  31. cookie1 2015-04-10 11:00:00     url7
    32. 
    
    
    
    
  32. cookie1 2015-04-10 10:10:00     url4
    33. 
    
    
    
    
  33. cookie1 2015-04-10 10:50:01     url5
    34. 
    
    
    
    
  34. cookie2 2015-04-10 10:00:02     url22
    35. 
    
    
    
    
  35. cookie2 2015-04-10 10:00:00     url11
    36. 
    
    
    
    
  36. cookie2 2015-04-10 10:03:04     1url33
    37. 
    
    
    
    
  37. cookie2 2015-04-10 10:50:05     url66
    38. 
    
    
    
    
  38. cookie2 2015-04-10 11:00:00     url77
    39. 
    
    
    
    
  39. cookie2 2015-04-10 10:10:00     url44
    40. 
    
    
    
    
  40. cookie2 2015-04-10 10:50:01     url55
    41.

LAG

LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值
第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL）

   
   
   
   
    
    
    
    
    
  1. SELECT cookieid,
    2. 
    
    
    
    
  2. createtime,
    3. 
    
    
    
    
  3. url,
    4. 
    
    
    
    
  4. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
    5. 
    
    
    
    
  5. LAG(createtime,1,'1970-01-01 00:00:00') OVER(PARTITION BY cookieid ORDER BY createtime) AS last_1_time,
    6. 
    
    
    
    
  6. LAG(createtime,2) OVER(PARTITION BY cookieid ORDER BY createtime) AS last_2_time 
    7. 
    
    
    
    
  7. FROM lxw1234;
    8. 
    
    
    
    
  8.  
    9. 
    
    
    
    
  9.  
    10. 
    
    
    
    
  10. cookieid createtime             url    rn       last_1_time             last_2_time
    11. 
    
    
    
    
  11. -------------------------------------------------------------------------------------------
    12. 
    
    
    
    
  12. cookie1 2015-04-10 10:00:00     url1    1       1970-01-01 00:00:00     NULL
    13. 
    
    
    
    
  13. cookie1 2015-04-10 10:00:02     url2    2       2015-04-10 10:00:00     NULL
    14. 
    
    
    
    
  14. cookie1 2015-04-10 10:03:04     1url3   3       2015-04-10 10:00:02     2015-04-10 10:00:00
    15. 
    
    
    
    
  15. cookie1 2015-04-10 10:10:00     url4    4       2015-04-10 10:03:04     2015-04-10 10:00:02
    16. 
    
    
    
    
  16. cookie1 2015-04-10 10:50:01     url5    5       2015-04-10 10:10:00     2015-04-10 10:03:04
    17. 
    
    
    
    
  17. cookie1 2015-04-10 10:50:05     url6    6       2015-04-10 10:50:01     2015-04-10 10:10:00
    18. 
    
    
    
    
  18. cookie1 2015-04-10 11:00:00     url7    7       2015-04-10 10:50:05     2015-04-10 10:50:01
    19. 
    
    
    
    
  19. cookie2 2015-04-10 10:00:00     url11   1       1970-01-01 00:00:00     NULL
    20. 
    
    
    
    
  20. cookie2 2015-04-10 10:00:02     url22   2       2015-04-10 10:00:00     NULL
    21. 
    
    
    
    
  21. cookie2 2015-04-10 10:03:04     1url33  3       2015-04-10 10:00:02     2015-04-10 10:00:00
    22. 
    
    
    
    
  22. cookie2 2015-04-10 10:10:00     url44   4       2015-04-10 10:03:04     2015-04-10 10:00:02
    23. 
    
    
    
    
  23. cookie2 2015-04-10 10:50:01     url55   5       2015-04-10 10:10:00     2015-04-10 10:03:04
    24. 
    
    
    
    
  24. cookie2 2015-04-10 10:50:05     url66   6       2015-04-10 10:50:01     2015-04-10 10:10:00
    25. 
    
    
    
    
  25. cookie2 2015-04-10 11:00:00     url77   7       2015-04-10 10:50:05     2015-04-10 10:50:01
    26. 
    
    
    
    
  26.  
    27. 
    
    
    
    
  27.  
    28. 
    
    
    
    
  28. last_1_time: 指定了往上第1行的值，default为'1970-01-01 00:00:00'  
    29. 
    
    
    
    
  29.              cookie1第一行，往上1行为NULL,因此取默认值 1970-01-01 00:00:00
    30. 
    
    
    
    
  30.              cookie1第三行，往上1行值为第二行值，2015-04-10 10:00:02
    31. 
    
    
    
    
  31.              cookie1第六行，往上1行值为第五行值，2015-04-10 10:50:01
    32. 
    
    
    
    
  32. last_2_time: 指定了往上第2行的值，为指定默认值
    33. 
    
    
    
    
  33. 						 cookie1第一行，往上2行为NULL
    34. 
    
    
    
    
  34. 						 cookie1第二行，往上2行为NULL
    35. 
    
    
    
    
  35. 						 cookie1第四行，往上2行为第二行值，2015-04-10 10:00:02
    36. 
    
    
    
    
  36. 						 cookie1第七行，往上2行为第五行值，2015-04-10 10:50:01
    37.

LEAD

与LAG相反
LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值
第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL）

   
   
   
   
    
    
    
    
    
  1. SELECT cookieid,
    2. 
    
    
    
    
  2. createtime,
    3. 
    
    
    
    
  3. url,
    4. 
    
    
    
    
  4. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
    5. 
    
    
    
    
  5. LEAD(createtime,1,'1970-01-01 00:00:00') OVER(PARTITION BY cookieid ORDER BY createtime) AS next_1_time,
    6. 
    
    
    
    
  6. LEAD(createtime,2) OVER(PARTITION BY cookieid ORDER BY createtime) AS next_2_time 
    7. 
    
    
    
    
  7. FROM lxw1234;
    8. 
    
    
    
    
  8.  
    9. 
    
    
    
    
  9.  
    10. 
    
    
    
    
  10. cookieid createtime             url    rn       next_1_time             next_2_time 
    11. 
    
    
    
    
  11. -------------------------------------------------------------------------------------------
    12. 
    
    
    
    
  12. cookie1 2015-04-10 10:00:00     url1    1       2015-04-10 10:00:02     2015-04-10 10:03:04
    13. 
    
    
    
    
  13. cookie1 2015-04-10 10:00:02     url2    2       2015-04-10 10:03:04     2015-04-10 10:10:00
    14. 
    
    
    
    
  14. cookie1 2015-04-10 10:03:04     1url3   3       2015-04-10 10:10:00     2015-04-10 10:50:01
    15. 
    
    
    
    
  15. cookie1 2015-04-10 10:10:00     url4    4       2015-04-10 10:50:01     2015-04-10 10:50:05
    16. 
    
    
    
    
  16. cookie1 2015-04-10 10:50:01     url5    5       2015-04-10 10:50:05     2015-04-10 11:00:00
    17. 
    
    
    
    
  17. cookie1 2015-04-10 10:50:05     url6    6       2015-04-10 11:00:00     NULL
    18. 
    
    
    
    
  18. cookie1 2015-04-10 11:00:00     url7    7       1970-01-01 00:00:00     NULL
    19. 
    
    
    
    
  19. cookie2 2015-04-10 10:00:00     url11   1       2015-04-10 10:00:02     2015-04-10 10:03:04
    20. 
    
    
    
    
  20. cookie2 2015-04-10 10:00:02     url22   2       2015-04-10 10:03:04     2015-04-10 10:10:00
    21. 
    
    
    
    
  21. cookie2 2015-04-10 10:03:04     1url33  3       2015-04-10 10:10:00     2015-04-10 10:50:01
    22. 
    
    
    
    
  22. cookie2 2015-04-10 10:10:00     url44   4       2015-04-10 10:50:01     2015-04-10 10:50:05
    23. 
    
    
    
    
  23. cookie2 2015-04-10 10:50:01     url55   5       2015-04-10 10:50:05     2015-04-10 11:00:00
    24. 
    
    
    
    
  24. cookie2 2015-04-10 10:50:05     url66   6       2015-04-10 11:00:00     NULL
    25. 
    
    
    
    
  25. cookie2 2015-04-10 11:00:00     url77   7       1970-01-01 00:00:00     NULL
    26. 
    
    
    
    
  26.  
    27. 
    
    
    
    
  27. --逻辑与LAG一样，只不过LAG是往上，LEAD是往下。
    28.

FIRST_VALUE

取分组内排序后，截止到当前行，第一个值

   
   
   
   
    
    
    
    
    
  1. SELECT cookieid,
    2. 
    
    
    
    
  2. createtime,
    3. 
    
    
    
    
  3. url,
    4. 
    
    
    
    
  4. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
    5. 
    
    
    
    
  5. FIRST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS first1 
    6. 
    
    
    
    
  6. FROM lxw1234;
    7. 
    
    
    
    
  7.  
    8. 
    
    
    
    
  8. cookieid  createtime            url     rn      first1
    9. 
    
    
    
    
  9. ---------------------------------------------------------
    10. 
    
    
    
    
  10. cookie1 2015-04-10 10:00:00     url1    1       url1
    11. 
    
    
    
    
  11. cookie1 2015-04-10 10:00:02     url2    2       url1
    12. 
    
    
    
    
  12. cookie1 2015-04-10 10:03:04     1url3   3       url1
    13. 
    
    
    
    
  13. cookie1 2015-04-10 10:10:00     url4    4       url1
    14. 
    
    
    
    
  14. cookie1 2015-04-10 10:50:01     url5    5       url1
    15. 
    
    
    
    
  15. cookie1 2015-04-10 10:50:05     url6    6       url1
    16. 
    
    
    
    
  16. cookie1 2015-04-10 11:00:00     url7    7       url1
    17. 
    
    
    
    
  17. cookie2 2015-04-10 10:00:00     url11   1       url11
    18. 
    
    
    
    
  18. cookie2 2015-04-10 10:00:02     url22   2       url11
    19. 
    
    
    
    
  19. cookie2 2015-04-10 10:03:04     1url33  3       url11
    20. 
    
    
    
    
  20. cookie2 2015-04-10 10:10:00     url44   4       url11
    21. 
    
    
    
    
  21. cookie2 2015-04-10 10:50:01     url55   5       url11
    22. 
    
    
    
    
  22. cookie2 2015-04-10 10:50:05     url66   6       url11
    23. 
    
    
    
    
  23. cookie2 2015-04-10 11:00:00     url77   7       url11
    24.

LAST_VALUE

取分组内排序后，截止到当前行，最后一个值

   
   
   
   
    
    
    
    
    
  1. SELECT cookieid,
    2. 
    
    
    
    
  2. createtime,
    3. 
    
    
    
    
  3. url,
    4. 
    
    
    
    
  4. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
    5. 
    
    
    
    
  5. LAST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS last1 
    6. 
    
    
    
    
  6. FROM lxw1234;
    7. 
    
    
    
    
  7.  
    8. 
    
    
    
    
  8.  
    9. 
    
    
    
    
  9. cookieid  createtime            url    rn       last1  
    10. 
    
    
    
    
  10. -----------------------------------------------------------------
    11. 
    
    
    
    
  11. cookie1 2015-04-10 10:00:00     url1    1       url1
    12. 
    
    
    
    
  12. cookie1 2015-04-10 10:00:02     url2    2       url2
    13. 
    
    
    
    
  13. cookie1 2015-04-10 10:03:04     1url3   3       1url3
    14. 
    
    
    
    
  14. cookie1 2015-04-10 10:10:00     url4    4       url4
    15. 
    
    
    
    
  15. cookie1 2015-04-10 10:50:01     url5    5       url5
    16. 
    
    
    
    
  16. cookie1 2015-04-10 10:50:05     url6    6       url6
    17. 
    
    
    
    
  17. cookie1 2015-04-10 11:00:00     url7    7       url7
    18. 
    
    
    
    
  18. cookie2 2015-04-10 10:00:00     url11   1       url11
    19. 
    
    
    
    
  19. cookie2 2015-04-10 10:00:02     url22   2       url22
    20. 
    
    
    
    
  20. cookie2 2015-04-10 10:03:04     1url33  3       1url33
    21. 
    
    
    
    
  21. cookie2 2015-04-10 10:10:00     url44   4       url44
    22. 
    
    
    
    
  22. cookie2 2015-04-10 10:50:01     url55   5       url55
    23. 
    
    
    
    
  23. cookie2 2015-04-10 10:50:05     url66   6       url66
    24. 
    
    
    
    
  24. cookie2 2015-04-10 11:00:00     url77   7       url77
    25.

如果不指定ORDER BY，则默认按照记录在文件中的偏移量进行排序，会出现错误的结果

   
   
   
   
    
    
    
    
    
  1. SELECT cookieid,
    2. 
    
    
    
    
  2. createtime,
    3. 
    
    
    
    
  3. url,
    4. 
    
    
    
    
  4. FIRST_VALUE(url) OVER(PARTITION BY cookieid) AS first2  
    5. 
    
    
    
    
  5. FROM lxw1234;
    6. 
    
    
    
    
  6.  
    7. 
    
    
    
    
  7. cookieid  createtime            url     first2
    8. 
    
    
    
    
  8. ----------------------------------------------
    9. 
    
    
    
    
  9. cookie1 2015-04-10 10:00:02     url2    url2
    10. 
    
    
    
    
  10. cookie1 2015-04-10 10:00:00     url1    url2
    11. 
    
    
    
    
  11. cookie1 2015-04-10 10:03:04     1url3   url2
    12. 
    
    
    
    
  12. cookie1 2015-04-10 10:50:05     url6    url2
    13. 
    
    
    
    
  13. cookie1 2015-04-10 11:00:00     url7    url2
    14. 
    
    
    
    
  14. cookie1 2015-04-10 10:10:00     url4    url2
    15. 
    
    
    
    
  15. cookie1 2015-04-10 10:50:01     url5    url2
    16. 
    
    
    
    
  16. cookie2 2015-04-10 10:00:02     url22   url22
    17. 
    
    
    
    
  17. cookie2 2015-04-10 10:00:00     url11   url22
    18. 
    
    
    
    
  18. cookie2 2015-04-10 10:03:04     1url33  url22
    19. 
    
    
    
    
  19. cookie2 2015-04-10 10:50:05     url66   url22
    20. 
    
    
    
    
  20. cookie2 2015-04-10 11:00:00     url77   url22
    21. 
    
    
    
    
  21. cookie2 2015-04-10 10:10:00     url44   url22
    22. 
    
    
    
    
  22. cookie2 2015-04-10 10:50:01     url55   url22
    23. 
    
    
    
    
  23.  
    24. 
    
    
    
    
  24. SELECT cookieid,
    25. 
    
    
    
    
  25. createtime,
    26. 
    
    
    
    
  26. url,
    27. 
    
    
    
    
  27. LAST_VALUE(url) OVER(PARTITION BY cookieid) AS last2  
    28. 
    
    
    
    
  28. FROM lxw1234;
    29. 
    
    
    
    
  29.  
    30. 
    
    
    
    
  30. cookieid  createtime            url     last2
    31. 
    
    
    
    
  31. ----------------------------------------------
    32. 
    
    
    
    
  32. cookie1 2015-04-10 10:00:02     url2    url5
    33. 
    
    
    
    
  33. cookie1 2015-04-10 10:00:00     url1    url5
    34. 
    
    
    
    
  34. cookie1 2015-04-10 10:03:04     1url3   url5
    35. 
    
    
    
    
  35. cookie1 2015-04-10 10:50:05     url6    url5
    36. 
    
    
    
    
  36. cookie1 2015-04-10 11:00:00     url7    url5
    37. 
    
    
    
    
  37. cookie1 2015-04-10 10:10:00     url4    url5
    38. 
    
    
    
    
  38. cookie1 2015-04-10 10:50:01     url5    url5
    39. 
    
    
    
    
  39. cookie2 2015-04-10 10:00:02     url22   url55
    40. 
    
    
    
    
  40. cookie2 2015-04-10 10:00:00     url11   url55
    41. 
    
    
    
    
  41. cookie2 2015-04-10 10:03:04     1url33  url55
    42. 
    
    
    
    
  42. cookie2 2015-04-10 10:50:05     url66   url55
    43. 
    
    
    
    
  43. cookie2 2015-04-10 11:00:00     url77   url55
    44. 
    
    
    
    
  44. cookie2 2015-04-10 10:10:00     url44   url55
    45. 
    
    
    
    
  45. cookie2 2015-04-10 10:50:01     url55   url55
    46.

如果想要取分组内排序后最后一个值，则需要变通一下：

   
   
   
   
    
    
    
    
    
  1. SELECT cookieid,
    2. 
    
    
    
    
  2. createtime,
    3. 
    
    
    
    
  3. url,
    4. 
    
    
    
    
  4. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
    5. 
    
    
    
    
  5. LAST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS last1,
    6. 
    
    
    
    
  6. FIRST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime DESC) AS last2 
    7. 
    
    
    
    
  7. FROM lxw1234 
    8. 
    
    
    
    
  8. ORDER BY cookieid,createtime;
    9. 
    
    
    
    
  9.  
    10. 
    
    
    
    
  10. cookieid  createtime            url     rn     last1    last2
    11. 
    
    
    
    
  11. -------------------------------------------------------------
    12. 
    
    
    
    
  12. cookie1 2015-04-10 10:00:00     url1    1       url1    url7
    13. 
    
    
    
    
  13. cookie1 2015-04-10 10:00:02     url2    2       url2    url7
    14. 
    
    
    
    
  14. cookie1 2015-04-10 10:03:04     1url3   3       1url3   url7
    15. 
    
    
    
    
  15. cookie1 2015-04-10 10:10:00     url4    4       url4    url7
    16. 
    
    
    
    
  16. cookie1 2015-04-10 10:50:01     url5    5       url5    url7
    17. 
    
    
    
    
  17. cookie1 2015-04-10 10:50:05     url6    6       url6    url7
    18. 
    
    
    
    
  18. cookie1 2015-04-10 11:00:00     url7    7       url7    url7
    19. 
    
    
    
    
  19. cookie2 2015-04-10 10:00:00     url11   1       url11   url77
    20. 
    
    
    
    
  20. cookie2 2015-04-10 10:00:02     url22   2       url22   url77
    21. 
    
    
    
    
  21. cookie2 2015-04-10 10:03:04     1url33  3       1url33  url77
    22. 
    
    
    
    
  22. cookie2 2015-04-10 10:10:00     url44   4       url44   url77
    23. 
    
    
    
    
  23. cookie2 2015-04-10 10:50:01     url55   5       url55   url77
    24. 
    
    
    
    
  24. cookie2 2015-04-10 10:50:05     url66   6       url66   url77
    25. 
    
    
    
    
  25. cookie2 2015-04-10 11:00:00     url77   7       url77   url77
    26.

提示：在使用分析函数的过程中，要特别注意ORDER BY子句，用的不恰当，统计出的结果就不是你所期望的。


你可能感兴趣的:(hive)

  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • 浅谈MapReduce Android路上的人 Hadoop分布式计算mapreduce分布式框架hadoop
    从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
  • Presto【基础 01】简介+架构+数据源+数据模型 2401_84254343 程序员架构
    一个Catalog包含Schema和Connector。例如，配置JMX的Catalog，通过JXMConnector访问JXM信息。当执行一条SQL语句时，可以同时运行在多个Catalog。Presto处理table时，是通过表的完全限定（fully-qualified）名来找到Catalog。例如，一个表的权限定名是hive.test_data.test，则test是表名，test_data是
  • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能 2401_84572577 程序员大数据hadoop人工智能
    做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
  • 大数据之flink与hive 星辰_mya 大数据flinkhive
    其实吧我不太想写flink，因为线上经验确实不多，这也是我需要补的地方，没有条件创造条件，先来一篇吧flink：高性能低延迟流批一体的分布式计算框架基于事件时间对实时数据精准处理快速响应支持批处理，高效离线分析和数据挖掘数据仓库的引擎丰富数据源/接收器，集成多种数据存储格式和源，比较常见就是咱们今天的主题hive了checkpoint恢复机制，故障恢复快速恢复计算任务分布式弹性扩展，据业务灵活增加
  • hive血缘关系之输入表与目标表的解析 zxfBdd hive大数据治理大数据
    接了一个新需求：需要做数据仓库的血缘关系。正所谓兵来将挡水来土掩，那咱就动手吧。血缘关系是数据治理的一块，其实有专门的第三方数据治理框架，但考虑到目前的线上环境已经趋于稳定，引入新的框架无疑是劳民伤财，伤筋动骨，所以就想以最小的代价把这个事情给做了。目前我们考虑做的血缘关系呢只是做输入表和输出表，最后会形成一张表与表之间的链路图。这个东西的好处就是有助于仓库人员梳理业务，后面可能还会做字段之间的血
  • 初级练习[3]:Hive SQL子查询应用 大数据深度洞察 Hivehivesqlhadoop数据仓库大数据数据库
    目录环境准备看如下链接子查询查询所有课程成绩均小于60分的学生的学号、姓名查询没有学全所有课的学生的学号、姓名解释：没有学全所有课，也就是该学生选修的课程数<总的课程数。查询出只选修了三门课程的全部学生的学号和姓名环境准备看如下链接环境准备https://blog.csdn.net/qq_45115959/article/details/142057624?spm=1001.2014.3001.5
  • Linux下载压缩包：tar.gz、zip、tar.bz2格式全攻略 promise524 Linuxlinux运维服务器后端bashshell
    在Linux中，下载各种格式的压缩包（如.tar.gz、.zip、.tar.bz2等）通常使用命令行工具如wget和curl。1.使用wget下载压缩包wget是Linux中最常用的文件下载工具，支持HTTP、HTTPS、FTP等协议，可以直接从命令行下载文件。基本命令：wget[URL]下载.tar.gz文件wgethttps://test.com/archive.tar.gz此命令将从指定的U
  • Anaconda版本和Python版本对应关系 纬领网络 pythonanaconda3
    官网下载地址：https://repo.anaconda.com/archive/下载地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/anaconda3版本基础python版本Anaconda3-2024.06-1Python3.12.4Anaconda3-2024.02-1Python3.11.7Anaconda3-2023.09
  • R语言包AMORE安装报错问题以及RStudio与Rtools环境配置 卡卡_R-Python R语言数据分析与可视化r语言开发语言
    在使用R语言进行AMORE安装时会遇到报错，这时候需要采用解决办法：'''AMORE包安装，需要离线官网下载安装包：Indexof/src/contrib/Archive/AMORE(r-project.org)https://cran.r-project.org/src/contrib/Archive/AMORE/一、出现的问题最近开始学习R语言，安装了最新版的R4.4.1和RStudio，但安
  • 中级练习[3]：Hive SQL用户行为与商品销售数据分析 大数据深度洞察 Hivehive数据仓库大数据sql
    目录1.用户累计消费金额及VIP等级查询1.1题目需求1.2代码实现2.首次下单后第二天连续下单的用户比率查询2.1题目需求2.2代码实现3.每个商品销售首年的年份、销售数量和销售金额统计3.1题目需求3.2代码实现1.用户累计消费金额及VIP等级查询1.1题目需求从订单信息表(order_info)中统计每个用户截止其每个下单日期的累积消费金额，以及每个用户在其每个下单日期的VIP等级。VIP等
  • Python基础知识进阶之正则表达式_头歌python正则表达式进阶 前端陈萨龙 程序员python学习面试
    最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
  • 编程常用命令总结 Yellow0523 LinuxBigData大数据
    编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令kafka命令Hibench命令MySQL命令3.Linux常用命令Git命令conda命令pip命令查看Linux系统的详细信息查看Linux系统架构(X86还是ARM，两种方法都可)端口号命令L
  • 博客园怎么了？ YYH1992
    新年好，给大家拜个早年！今年来到安徽过年，无聊中，不知不觉中又来到博客园了（忠实粉丝哦），却发现一件奇怪的事情，请看截图难道博客园被挂马了？抑或其它问题？如果真有问题，还请dudu抓紧时间修正，免得影响我们园子的声誉！我要下线了，出去买回家的车票了，只能年后回家了。。。转载于:https://www.cnblogs.com/HollisYao/archive/2008/02/06/1065351.
  • linux下文件的复制、移动与删除 搬砖中年人
    一、文件复制命令cp命令格式：cp[-adfilprsu]源文件(source)目标文件(destination)cp[option]source1source2source3...directory参数说明：-a:是指archive的意思，也说是指复制所有的目录-d:若源文件为连接文件(linkfile)，则复制连接文件属性而非文件本身-f:强制(force)，若有重复或其它疑问时，不会询问用户
  • 2024年最全使用Python求解方程_python解方程(1)，字节面试官迟到 2401_84569545 程序员python学习面试
    最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
  • 兼容 Trino Connector，扩展 Apache Doris 数据源接入能力｜Lakehouse 使用手册 vvvae1234 apache
    ApacheDoris内置支持包括Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC在内的多种Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着ApacheDoris用户的增加，新的数据源连接需求也随之增加。因此，从3.0版本开始，ApacheDoris引入了TrinoConnector兼容框架。Trino/Presto作为业界较早应用
  • SAP HANA makaitai BWsap数据库工具报表layer服务器
    原文地址：http://LiuAlex.com/archives/1776也是刚刚开始学习HANA的一些知识，一边看书一遍做笔记，说到底无非是用自己的语言来理解标准帮组文档所讲解的意思，肯定有理解失误的地方，毕竟没有参加过标准培训，即使有培训，从老师那边来的知识也不可能是完整的传授过来，中间多少的知识遗漏是正常的，所以多看看HELP的文档，应该可以原汁原味的理解作者的意思。这张图片是从SAPHAN
  • Hive SQL查询汇总分析 大数据深度洞察 Hivehivesqlhadoop数据仓库数据库大数据
    目录SQL查询汇总分析成绩查询查询编号为“02”的课程的总成绩查询参加考试的学生个数分组查询查询各科成绩最高和最低的分查询每门课程有多少学生参加了考试（有考试成绩）查询男生、女生人数分组结果的条件查询平均成绩大于60分的学生的学号和平均成绩查询至少选修四门课程的学生学号查询同姓（假设每个学生姓名的第一个字为姓）的学生名单并统计同姓人数大于2的姓查询每门课程的平均成绩，结果按平均成绩升序排序，平均成
  • RMAN-08137 rman delete archivelog force jnrjian 数据库oracle
    deleteforcearchiveloguntiltime'trunc(sysdate-4)'backedup1timestodevicetypedisk;SymptomsDatabaseAClonedtoDatabaseBonCloneserver.GoldenGateisConfiguredonSourcedatbaseA.DatabaseBwhichisclonedfromSourcedo
  • hive表格统计信息不准确 weixin_41956627 hivehivehadoop数据仓库
    问题描述有个hive分区表，orc存储格式，有个分区，查询selectcount(1)fromtablewheredt='yyyyMMdd'结果是0，但查询select*fromtablewheredt='yyyyMMdd'又能查到数据，去hdfs对应目录下查看，也能看到有数据文件解决执行如下sqlANALYZETABLEdb.table1PARTITION(dt='20240908')COMPU
  • Conda创建环境失败：000和404错误 柚柚柚柚柚 conda
    一、首先下载Anaconda1.打开网址Indexof/anaconda/archive/|清华大学开源软件镜像站|TsinghuaOpenSourceMirror，滑到最底部，下载Anaconda3-5.3.1-Linux-x86_64.sh。2.使用winscp拖动本地的Anaconda3-5.3.1-Linux-x86_64.sh到服务器的个人工作目录下。二、安装Anaconda软件，创建虚
  • C#中两个问号的含义 weixin_30363981 测试
    stringstrParam=Request.Params["param"]??"";取??左边的值,如果??左边的值为null则取右边的值转载于:https://www.cnblogs.com/shadowtale/archive/2012/10/19/2731152.html
  • 如何下载各个版本的tomcat-比如tomcat9 耳边轻语999 tomcatjava
    1，找到tomcat官网https://tomcat.apache.org/ApacheTomcat®-Welcome!找到tomcat9，或者archives1.1，找到对应版本1.2，找到小版本1.3，找到bin2，Indexof/dist/tomcat/tomcat-9/v9.0.39/bin2.1，下载对应的解压版本或者安装版本
  • Percona-toolkit工具详解 小一_d28d
    1.pt工具安装[root@master~]#yuminstall-ypercona-toolkit-3.1.0-2.el7.x86_64.rpm2.常用工具使用介绍2.1pt-archiver归档表#重要参数--limit100每次取100行数据用pt-archive处理--txn-size100设置100行为一个事务提交一次，--where'id>/root/db/checksum.logpt
  • Ubuntu更换apt-get的下载源 愤愤的有痣青年
    将以下内容替换/etc/apt/sources.list中的内容deb-srchttp://archive.ubuntu.com/ubuntuxenialmainrestricted#Addedbysoftware-propertiesdebhttp://mirrors.aliyun.com/ubuntu/xenialmainrestricteddeb-srchttp://mirrors.aliy
  • apt 下载指定架构的包及离线安装的方法 错误重复学习记录 linux
    #设置系统架构sudodpkg--add-architectureamd64#安装apt-rdependssudoaptinstallapt-rdepends#创建单独的目录mkdir-p/home/apt/postgresql-client-common#仅下载安装包sudoapt-getinstall--download-onlysudomv/var/cache/apt/archives/*/
  • 游戏运营环节的一些关键转化率 turtle081025 数据分析游戏网络游戏运营
    转载于http://www.gamedatas.com/archives/134转化率这个指标在各行各业的数据分析中运用的非常之广泛，例如：电商中就会存在，点击到订单生成的一系列转化率，传统的销售行业也会在做广告的时候考虑该广告能够转化多少订单，而在游戏行业，转化率同样是一个不容忽视的指标。一般来说，游戏运营的过程中主要会关注到这些转化率：1.下载-安装（激活）转化率；2.安装（激活）-注册转化率
  • Python API操作RocketMQ 京城小筑 #Python编程python
    背景：开发背景:公司相关报表需求需要将订单业务数据同步至RocketMQ中，由于需要保证开发的一致性(多个部门协同开发)，所以采用读取Hive离线数据的方式通过PythonAPI写入RocketMQ中，便于其他开发同事调用~开发环境:本地调试系统MacPython3.7.5rocketmq0.4.4(Python模块)rocketmq-client-python2.0.0(Python模块)服务器
  • hive搭建 -----内嵌模式和本地模式 lzhlizihang hivehadoop
    文章目录一、内嵌模式（使用较少）1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给hdfs创建文件夹7、修改hive-site.xml中的非法字符8、初始化元数据9、测试是否成功10、内嵌模式的缺点二、本地模式（最常用）1、检查mysql是否正常2、上传、解压、重命名3、配置环境变量4、修改c
  • Java序列化进阶篇 g21121 java序列化
            1.transient         类一旦实现了Serializable 接口即被声明为可序列化，然而某些情况下并不是所有的属性都需要序列化，想要人为的去阻止这些属性被序列化，就需要用到transient 关键字。
  • escape()、encodeURI()、encodeURIComponent()区别详解 aigo JavaScriptWeb
    原文：http://blog.sina.com.cn/s/blog_4586764e0101khi0.html   JavaScript中有三个可以对字符串编码的函数，分别是： escape,encodeURI,encodeURIComponent，相应3个解码函数：,decodeURI,decodeURIComponent 。 下面简单介绍一下它们的区别 1 escape()函
  • ArcgisEngine实现对地图的放大、缩小和平移 Cb123456 添加矢量数据对地图的放大、缩小和平移Engine
    ArcgisEngine实现对地图的放大、缩小和平移:  个人觉得是平移，不过网上的都是漫游，通俗的说就是把一个地图对象从一边拉到另一边而已。就看人说话吧.  具体实现: 一、引入命名空间    using ESRI.ArcGIS.Geometry;    using ESRI.ArcGIS.Controls; 二、代码实现.
  • Java集合框架概述 天子之骄 Java集合框架概述
       集合框架 集合框架可以理解为一个容器，该容器主要指映射(map)、集合(set)、数组(array)和列表(list)等抽象数据结构。 从本质上来说，Java集合框架的主要组成是用来操作对象的接口。不同接口描述不同的数据类型。   简单介绍：   Collection接口是最基本的接口，它定义了List和Set，List又定义了LinkLi
  • 旗正4.0页面跳转传值问题 何必如此 javajsp
    跳转和成功提示 a)        成功字段非空forward 成功字段非空forward，不会弹出成功字段，为jsp转发，页面能超链接传值,传输变量时需要拼接。接拼接方式list.jsp?test="+strweightUnit+"或list.jsp?test="+weightUnit+&qu
  • 全网唯一:移动互联网服务器端开发课程 cocos2d-x小菜 web开发移动开发移动端开发移动互联程序员
        移动互联网时代来了！     App市场爆发式增长为Web开发程序员带来新一轮机遇，近两年新增创业者，几乎全部选择了移动互联网项目！传统互联网企业中超过98%的门户网站已经或者正在从单一的网站入口转向PC、手机、Pad、智能电视等多端全平台兼容体系。据统计，AppStore中超过85%的App项目都选择了PHP作为后端程
  • Log4J通用配置|注意问题 笔记 7454103 DAOapachetomcatlog4jWeb
    关于日志的等级 那些去 百度就知道了！ 这几天 要搭个新框架  配置了 日志 记下来 ！做个备忘！ #这里定义能显示到的最低级别,若定义到INFO级别,则看不到DEBUG级别的信息了~! log4j.rootLogger=INFO,allLog # DAO层 log记录到dao.log 控制台 和 总日志文件 log4j.logger.DAO=INFO,dao,C
  • SQLServer TCP/IP 连接失败问题 ---SQL Server Configuration Manager darkranger sqlcwindowsSQL ServerXP
    当你安装完之后,连接数据库的时候可能会发现你的TCP/IP 没有启动.. 发现需要启动客户端协议 : TCP/IP  需要打开 SQL Server Configuration Manager... 却发现无法打开 SQL Server Configuration Manager..?? 解决方法:  C:\WINDOWS\system32目录搜索framedyn.
  • [置顶] 做有中国特色的程序员 aijuans 程序员
    从出版业说起 网络作品排到靠前的，都不会太难看，一般人不爱看某部作品也是因为不喜欢这个类型，而此人也不会全不喜欢这些网络作品。究其原因，是因为网络作品都是让人先白看的，看的好了才出了头。而纸质作品就不一定了，排行榜靠前的，有好作品，也有垃圾。 许多大牛都是写了博客，后来出了书。这些书也都不次，可能有人让为不好，是因为技术书不像小说，小说在读故事，技术书是在学知识或温习知识，有些技术书读得可
  • document.domain 跨域问题 avords document
    document.domain用来得到当前网页的域名。比如在地址栏里输入：javascript:alert(document.domain); //www.315ta.com我们也可以给document.domain属性赋值，不过是有限制的，你只能赋成当前的域名或者基础域名。比如：javascript:alert(document.domain = "315ta.com");
  • 关于管理软件的一些思考 houxinyou 管理
    工作好多看年了,一直在做管理软件,不知道是我最开始做的时候产生了一些惯性的思维,还是现在接触的管理软件水平有所下降.换过好多年公司,越来越感觉现在的管理软件做的越来越乱. 在我看来,管理软件不论是以前的结构化编程,还是现在的面向对象编程,不管是CS模式,还是BS模式.模块的划分是很重要的.当然,模块的划分有很多种方式.我只是以我自己的划分方式来说一下. 做为管理软件,就像现在讲究MVC这
  • NoSQL数据库之Redis数据库管理(String类型和hash类型) bijian1013 redis数据库NoSQL
    一.Redis的数据类型 1.String类型及操作         String是最简单的类型，一个key对应一个value，string类型是二进制安全的。Redis的string可以包含任何数据，比如jpg图片或者序列化的对象。         Set方法：设置key对应的值为string类型的value
  • Tomcat 一些技巧 征客丶 javatomcatdos
    以下操作都是在windows 环境下 一、Tomcat 启动时配置 JAVA_HOME 在 tomcat 安装目录，bin 文件夹下的 catalina.bat 或 setclasspath.bat 中添加 set JAVA_HOME=JAVA 安装目录 set JRE_HOME=JAVA 安装目录/jre 即可； 二、查看Tomcat 版本 在 tomcat 安装目
  • 【Spark七十二】Spark的日志配置 bit1129 spark
    在测试Spark Streaming时，大量的日志显示到控制台，影响了Spark Streaming程序代码的输出结果的查看(代码中通过println将输出打印到控制台上)，可以通过修改Spark的日志配置的方式，不让Spark Streaming把它的日志显示在console   在Spark的conf目录下，把log4j.properties.template修改为log4j.p
  • Haskell版冒泡排序 bookjovi 冒泡排序haskell
    面试的时候问的比较多的算法题要么是binary search，要么是冒泡排序，真的不想用写C写冒泡排序了，贴上个Haskell版的，思维简单，代码简单，下次谁要是再要我用C写冒泡排序，直接上个haskell版的，让他自己去理解吧。     sort [] = [] sort [x] = [x] sort (x:x1:xs) | x>x1 = x1:so
  • java 路径 配置文件读取 bro_feng java
    这几天做一个项目，关于路径做如下笔记，有需要供参考。 取工程内的文件，一般都要用相对路径，这个自然不用多说。 在src统计目录建配置文件目录res,在res中放入配置文件。 读取文件使用方式： 1. MyTest.class.getResourceAsStream("/res/xx.properties") 2. properties.load(MyTest.
  • 读《研磨设计模式》-代码笔记-简单工厂模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * 个人理解：简单工厂模式就是IOC; * 客户端要用到某一对象，本来是由客户创建的，现在改成由工厂创建，客户直接取就好了 */ interface IProduct {
  • SVN与JIRA的关联 chenyu19891124 SVN
    SVN与JIRA的关联一直都没能装成功，今天凝聚心思花了一天时间整合好了。下面是自己整理的步骤： 一、搭建好SVN环境，尤其是要把SVN的服务注册成系统服务 二、装好JIRA，自己用是jira-4.3.4破解版 三、下载SVN与JIRA的插件并解压，然后拷贝插件包下lib包里的三个jar，放到Atlassian\JIRA 4.3.4\atlassian-jira\WEB-INF\lib下，再
  • JWFDv0.96 最新设计思路 comsci 数据结构算法工作企业应用公告
                       随着工作流技术的发展，工作流产品的应用范围也不断的在扩展，开始进入了像金融行业(我已经看到国有四大商业银行的工作流产品招标公告了)，实时生产控制和其它比较重要的工程领域，而
  • vi 保存复制内容格式粘贴 daizj vi粘贴复制保存原格式不变形
        vi是linux中非常好用的文本编辑工具，功能强大无比，但对于复制带有缩进格式的内容时，粘贴的时候内容错位很严重，不会按照复制时的格式排版，vi能不能在粘贴时，按复制进的格式进行粘贴呢？ 答案是肯定的，vi有一个很强大的命令可以实现此功能 。     在命令模式输入:set paste，则进入paste模式，这样再进行粘贴时
  • shell脚本运行时报错误：/bin/bash^M: bad interpreter 的解决办法 dongwei_6688 shell脚本
    出现原因：windows上写的脚本，直接拷贝到linux系统上运行由于格式不兼容导致 解决办法： 1. 比如文件名为myshell.sh，vim myshell.sh 2. 执行vim中的命令 : set ff?查看文件格式，如果显示fileformat=dos，证明文件格式有问题 3. 执行vim中的命令 :set fileformat=unix 将文件格式改过来就可以了，然后:w
  • 高一上学期难记忆单词 dcj3sjt126com wordenglish
    honest 诚实的；正直的 argue 争论 classical 古典的 hammer 锤子 share  分享；共有 sorrow 悲哀；悲痛 adventure 冒险 error 错误；差错 closet 壁橱；储藏室 pronounce 发音；宣告 repeat 重做；重复 majority 大多数；大半   native 本国的，本地的，本国
  • hibernate查询返回DTO对象，DTO封装了多个pojo对象的属性 frankco POJOhibernate查询DTO
          DTO-数据传输对象；pojo-最纯粹的java对象与数据库中的表一一对应。       简单讲：DTO起到业务数据的传递作用，pojo则与持久层数据库打交道。         有时候我们需要查询返回DTO对象，因为DTO
  • Partition List hcx2013 partition
    Given a linked list and a value x, partition it such that all nodes less than x come before nodes greater than or equal to x. You should preserve the original relative order of th
  • Spring MVC测试框架详解——客户端测试 jinnianshilongnian
    上一篇《Spring MVC测试框架详解——服务端测试》已经介绍了服务端测试，接下来再看看如果测试Rest客户端，对于客户端测试以前经常使用的方法是启动一个内嵌的jetty/tomcat容器，然后发送真实的请求到相应的控制器；这种方式的缺点就是速度慢；自Spring 3.2开始提供了对RestTemplate的模拟服务器测试方式，也就是说使用RestTemplate测试时无须启动服务器，而是模拟一
  • 关于推荐个人观点 liyonghui160com 推荐系统关于推荐个人观点
        回想起来，我也做推荐了3年多了，最近公司做了调整招聘了很多算法工程师，以为需要多么高大上的算法才能搭建起来的，从实践中走过来，我只想说【不是这样的】     第一次接触推荐系统是在四年前入职的时候，那时候，机器学习和大数据都是没有的概念，什么大数据处理开源软件根本不存在，我们用多台计算机web程序记录用户行为，用.net的w
  • 不间断旋转的动画 pangyulei 动画
    CABasicAnimation* rotationAnimation; rotationAnimation = [CABasicAnimation animationWithKeyPath:@"transform.rotation.z"]; rotationAnimation.toValue = [NSNumber numberWithFloat: M
  • 自定义annotation sha1064616837 javaenumannotationreflect
    对象有的属性在页面上可编辑，有的属性在页面只可读，以前都是我们在页面上写死的，时间一久有时候会混乱，此处通过自定义annotation在类属性中定义。越来越发现Java的Annotation真心很强大，可以帮我们省去很多代码，让代码看上去简洁。 下面这个例子 主要用到了 1.自定义annotation：@interface，以及几个配合着自定义注解使用的几个注解 2.简单的反射 3.枚举
  • Spring 源码 up2pu spring
    1.Spring源代码 https://github.com/SpringSource/spring-framework/branches/3.2.x 注：兼容svn检出 2.运行脚本 import-into-eclipse.bat 注：需要设置JAVA_HOME为jdk 1.7 build.gradle compileJava { sourceCompatibilit
  • 利用word分词来计算文本相似度 yangshangchuan wordword分词文本相似度余弦相似度简单共有词
    word分词提供了多种文本相似度计算方式： 方式一：余弦相似度，通过计算两个向量的夹角余弦值来评估他们的相似度 实现类：org.apdplat.word.analysis.CosineTextSimilarity 用法如下： String text1 = "我爱购物"; String text2 = "我爱读书"; String text3 =
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他