weixin_34148508

MySQL 8.0新特性--Windows Function(三)

MySQL8.0开始像Oracle一样支持窗口函数了，先来跑个SQL,感受一下窗口函数的魅力。

mysql> create table numbers(val int);
mysql> insert into numbers values(1),(1),(2),(3),(3),(3),(4),(4),(5);
mysql> SELECT
    ->  val,
    ->  ROW_NUMBER()   OVER w AS 'row_number',
    ->  RANK()       OVER w AS 'rank',
    -> DENSE_RANK() OVER w AS 'dense_rank',
    ->  CUME_DIST()    OVER w AS 'cume_dist',
    ->  PERCENT_RANK() OVER w AS 'percent_rank'
    -> FROM numbers
    -> WINDOW w AS (ORDER BY val);
+------+------------+------+------------+--------------------+--------------+
| val  | row_number | rank | dense_rank | cume_dist          | percent_rank |
+------+------------+------+------------+--------------------+--------------+
|    1 |          1 |    1 |          1 | 0.2222222222222222 |            0 |
|    1 |          2 |    1 |          1 | 0.2222222222222222 |            0 |
|    2 |          3 |    3 |          2 | 0.3333333333333333 |         0.25 |
|    3 |          4 |    4 |          3 | 0.6666666666666666 |        0.375 |
|    3 |          5 |    4 |          3 | 0.6666666666666666 |        0.375 |
|    3 |          6 |    4 |          3 | 0.6666666666666666 |        0.375 |
|    4 |          7 |    7 |          4 | 0.8888888888888888 |         0.75 |
|    4 |          8 |    7 |          4 | 0.8888888888888888 |         0.75 |
|    5 |          9 |    9 |          5 |                  1 |            1 |
+------+------------+------+------------+--------------------+--------------+
9 rows in set (0.00 sec)

有了窗口函数，以前一些复制的SQL,可以很简单的实现了，下面分别介绍几种常用的窗口函数。

row_number()

用来求满足特定分组的唯一行数据，它跟group by不同，group by不能返回重复的分组。

例：求每个部门dept_no员工号emp_no最大的员工数据

(1)方法1：使用窗口函数

第一步：
mysql> select t.*,row_number() over(partition by t.dept_no order by t.emp_no desc) rn from t_group t;
+--------+---------+------------+------------+----+
| emp_no | dept_no | from_date  | to_date    | rn |
+--------+---------+------------+------------+----+
|  31112 | d002    | 1986-12-01 | 1993-12-10 |  1 |
|  10004 | d004    | 1986-12-01 | 9999-01-01 |  1 |
|  50449 | d005    | 1986-12-01 | 9999-01-01 |  1 |
|  40983 | d005    | 1986-12-01 | 9999-01-01 |  2 |
|  30970 | d005    | 1986-12-01 | 2017-03-29 |  3 |
|  24007 | d005    | 1986-12-01 | 9999-01-01 |  4 |
|  22744 | d006    | 1986-12-01 | 9999-01-01 |  1 |
|  49667 | d007    | 1986-12-01 | 9999-01-01 |  1 |
|  48317 | d008    | 1986-12-01 | 1989-01-11 |  1 |
|  46554 | d008    | 1986-12-01 | 1992-05-27 |  2 |
+--------+---------+------------+------------+----+
10 rows in set (0.01 sec)

第二步：
mysql> select a.* from (select t.*,row_number() over(partition by t.dept_no order by t.emp_no desc) rn from t_group t)a where a.rn=1;
+--------+---------+------------+------------+----+
| emp_no | dept_no | from_date  | to_date    | rn |
+--------+---------+------------+------------+----+
|  31112 | d002    | 1986-12-01 | 1993-12-10 |  1 |
|  10004 | d004    | 1986-12-01 | 9999-01-01 |  1 |
|  50449 | d005    | 1986-12-01 | 9999-01-01 |  1 |
|  22744 | d006    | 1986-12-01 | 9999-01-01 |  1 |
|  49667 | d007    | 1986-12-01 | 9999-01-01 |  1 |
|  48317 | d008    | 1986-12-01 | 1989-01-11 |  1 |
+--------+---------+------------+------------+----+
6 rows in set (0.00 sec)

(2)方法2：使用传统变量@方法

第一步：
mysql> select t.*, if(@dept_no=t.dept_no, @rn:=@rn+1, @rn:=1)as rn, @dept_no:=t.dept_no as calc_dept_no from (select * from t_group t order by t.dept_no,t.emp_no desc)t, (select @rn:=0 rn, @dept_no:='')b;
+--------+---------+------------+------------+------+--------------+
| emp_no | dept_no | from_date  | to_date    | rn   | calc_dept_no |
+--------+---------+------------+------------+------+--------------+
|  31112 | d002    | 1986-12-01 | 1993-12-10 |    1 | d002         |
|  10004 | d004    | 1986-12-01 | 9999-01-01 |    1 | d004         |
|  50449 | d005    | 1986-12-01 | 9999-01-01 |    1 | d005         |
|  40983 | d005    | 1986-12-01 | 9999-01-01 |    2 | d005         |
|  30970 | d005    | 1986-12-01 | 2017-03-29 |    3 | d005         |
|  24007 | d005    | 1986-12-01 | 9999-01-01 |    4 | d005         |
|  22744 | d006    | 1986-12-01 | 9999-01-01 |    1 | d006         |
|  49667 | d007    | 1986-12-01 | 9999-01-01 |    1 | d007         |
|  48317 | d008    | 1986-12-01 | 1989-01-11 |    1 | d008         |
|  46554 | d008    | 1986-12-01 | 1992-05-27 |    2 | d008         |
+--------+---------+------------+------------+------+--------------+
10 rows in set, 5 warnings (0.00 sec)

第二步：
mysql> select * from (
    -> select t.*, if(@dept_no=t.dept_no, @rn:=@rn+1, @rn:=1)as rn, @dept_no:=t.dept_no as calc_dept_no from (select * from t_group t order by t.dept_no,t.emp_no desc)t, (select @rn:=0 rn, @dept_no:='')b)c where c.rn=1;
+--------+---------+------------+------------+------+--------------+
| emp_no | dept_no | from_date  | to_date    | rn   | calc_dept_no |
+--------+---------+------------+------------+------+--------------+
|  31112 | d002    | 1986-12-01 | 1993-12-10 |    1 | d002         |
|  10004 | d004    | 1986-12-01 | 9999-01-01 |    1 | d004         |
|  50449 | d005    | 1986-12-01 | 9999-01-01 |    1 | d005         |
|  22744 | d006    | 1986-12-01 | 9999-01-01 |    1 | d006         |
|  49667 | d007    | 1986-12-01 | 9999-01-01 |    1 | d007         |
|  48317 | d008    | 1986-12-01 | 1989-01-11 |    1 | d008         |
+--------+---------+------------+------------+------+--------------+
6 rows in set, 5 warnings (0.00 sec)

rank()

同一个分组中，如果排序的列值相同，编号相同；

列值不同，编号跳跃增加,如两个并列第1，那么下一个名次的编号就是3；

如下按照dept_no分组，dept_no='d005'列对应to_date='9999-01-01'有三个1，那么to_date='2017-03-29'跳跃增加的编号就是4；

mysql> select t.*, rank() over(partition by t.dept_no order by t.to_date desc) rn from t_group t;
+--------+---------+------------+------------+----+
| emp_no | dept_no | from_date  | to_date    | rn |
+--------+---------+------------+------------+----+
|  31112 | d002    | 1986-12-01 | 1993-12-10 |  1 |
|  10004 | d004    | 1986-12-01 | 9999-01-01 |  1 |
|  24007 | d005    | 1986-12-01 | 9999-01-01 |  1 |
|  40983 | d005    | 1986-12-01 | 9999-01-01 |  1 |
|  50449 | d005    | 1986-12-01 | 9999-01-01 |  1 |
|  30970 | d005    | 1986-12-01 | 2017-03-29 |  4 |
|  22744 | d006    | 1986-12-01 | 9999-01-01 |  1 |
|  49667 | d007    | 1986-12-01 | 9999-01-01 |  1 |
|  46554 | d008    | 1986-12-01 | 1992-05-27 |  1 |
|  48317 | d008    | 1986-12-01 | 1989-01-11 |  2 |
+--------+---------+------------+------------+----+
10 rows in set (0.00 sec)

dense_rank()

同一个分组中，如果排序的列值相同，编号相同；

列值不同，编号顺序增加,如两个并列第1，那么下一个名次的编号就是2；

mysql> select t.*, dense_rank() over(partition by t.dept_no order by t.to_date desc) rn from t_group t;
+--------+---------+------------+------------+----+
| emp_no | dept_no | from_date  | to_date    | rn |
+--------+---------+------------+------------+----+
|  31112 | d002    | 1986-12-01 | 1993-12-10 |  1 |
|  10004 | d004    | 1986-12-01 | 9999-01-01 |  1 |
|  24007 | d005    | 1986-12-01 | 9999-01-01 |  1 |
|  40983 | d005    | 1986-12-01 | 9999-01-01 |  1 |
|  50449 | d005    | 1986-12-01 | 9999-01-01 |  1 |
|  30970 | d005    | 1986-12-01 | 2017-03-29 |  2 |
|  22744 | d006    | 1986-12-01 | 9999-01-01 |  1 |
|  49667 | d007    | 1986-12-01 | 9999-01-01 |  1 |
|  46554 | d008    | 1986-12-01 | 1992-05-27 |  1 |
|  48317 | d008    | 1986-12-01 | 1989-01-11 |  2 |
+--------+---------+------------+------------+----+
10 rows in set (0.00 sec)

lag(expr,offset,default) over() 返回当前行列对应的上一行数据

lead(expr,offset,default) over() 返回当前行列对应的下一行数据

mysql> select s.*, lag(s.salary,1,null) over(partition by s.emp_no order by s.to_date asc) rn from salaries s where s.emp_no=10001;
+--------+--------+------------+------------+-------+
| emp_no | salary | from_date  | to_date    | rn    |
+--------+--------+------------+------------+-------+
|  10001 |  60117 | 1986-06-26 | 1987-06-26 |  NULL |
|  10001 |  62102 | 1987-06-26 | 1988-06-25 | 60117 |
|  10001 |  66074 | 1988-06-25 | 1989-06-25 | 62102 |
|  10001 |  66596 | 1989-06-25 | 1990-06-25 | 66074 |
|  10001 |  66961 | 1990-06-25 | 1991-06-25 | 66596 |
|  10001 |  71046 | 1991-06-25 | 1992-06-24 | 66961 |
|  10001 |  74333 | 1992-06-24 | 1993-06-24 | 71046 |
|  10001 |  75286 | 1993-06-24 | 1994-06-24 | 74333 |
|  10001 |  75994 | 1994-06-24 | 1995-06-24 | 75286 |
|  10001 |  76884 | 1995-06-24 | 1996-06-23 | 75994 |
|  10001 |  80013 | 1996-06-23 | 1997-06-23 | 76884 |
|  10001 |  81025 | 1997-06-23 | 1998-06-23 | 80013 |
|  10001 |  81097 | 1998-06-23 | 1999-06-23 | 81025 |
|  10001 |  84917 | 1999-06-23 | 2000-06-22 | 81097 |
|  10001 |  85112 | 2000-06-22 | 2001-06-22 | 84917 |
|  10001 |  85097 | 2001-06-22 | 2002-06-22 | 85112 |
|  10001 |  88958 | 2002-06-22 | 9999-01-01 | 85097 |
+--------+--------+------------+------------+-------+
17 rows in set (0.00 sec)

mysql> select s.*, lead(s.salary,1,0) over(partition by s.emp_no order by s.to_date asc) rn from salaries s where s.emp_no=10001;
+--------+--------+------------+------------+-------+
| emp_no | salary | from_date  | to_date    | rn    |
+--------+--------+------------+------------+-------+
|  10001 |  60117 | 1986-06-26 | 1987-06-26 | 62102 |
|  10001 |  62102 | 1987-06-26 | 1988-06-25 | 66074 |
|  10001 |  66074 | 1988-06-25 | 1989-06-25 | 66596 |
|  10001 |  66596 | 1989-06-25 | 1990-06-25 | 66961 |
|  10001 |  66961 | 1990-06-25 | 1991-06-25 | 71046 |
|  10001 |  71046 | 1991-06-25 | 1992-06-24 | 74333 |
|  10001 |  74333 | 1992-06-24 | 1993-06-24 | 75286 |
|  10001 |  75286 | 1993-06-24 | 1994-06-24 | 75994 |
|  10001 |  75994 | 1994-06-24 | 1995-06-24 | 76884 |
|  10001 |  76884 | 1995-06-24 | 1996-06-23 | 80013 |
|  10001 |  80013 | 1996-06-23 | 1997-06-23 | 81025 |
|  10001 |  81025 | 1997-06-23 | 1998-06-23 | 81097 |
|  10001 |  81097 | 1998-06-23 | 1999-06-23 | 84917 |
|  10001 |  84917 | 1999-06-23 | 2000-06-22 | 85112 |
|  10001 |  85112 | 2000-06-22 | 2001-06-22 | 85097 |
|  10001 |  85097 | 2001-06-22 | 2002-06-22 | 88958 |
|  10001 |  88958 | 2002-06-22 | 9999-01-01 |     0 |
+--------+--------+------------+------------+-------+
17 rows in set (0.00 sec)

sum()、min()、max()增强

rows between unbounded preceding and unbounded following 从开始到最后一行

rows between unbounded preceding and current row 从开始到目前行

mysql> select s.*,
    -> sum(s.salary) over(partition by s.emp_no order by s.to_date asc rows between unbounded preceding and unbounded following) s1,
    -> sum(s.salary) over(partition by s.emp_no order by s.to_date asc rows between unbounded preceding and current row) s2
    -> from salaries s where s.emp_no=10001;
+--------+--------+------------+------------+---------+---------+
| emp_no | salary | from_date  | to_date    | s1      | s2      |
+--------+--------+------------+------------+---------+---------+
|  10001 |  60117 | 1986-06-26 | 1987-06-26 | 1281612 |   60117 |
|  10001 |  62102 | 1987-06-26 | 1988-06-25 | 1281612 |  122219 |
|  10001 |  66074 | 1988-06-25 | 1989-06-25 | 1281612 |  188293 |
|  10001 |  66596 | 1989-06-25 | 1990-06-25 | 1281612 |  254889 |
|  10001 |  66961 | 1990-06-25 | 1991-06-25 | 1281612 |  321850 |
|  10001 |  71046 | 1991-06-25 | 1992-06-24 | 1281612 |  392896 |
|  10001 |  74333 | 1992-06-24 | 1993-06-24 | 1281612 |  467229 |
|  10001 |  75286 | 1993-06-24 | 1994-06-24 | 1281612 |  542515 |
|  10001 |  75994 | 1994-06-24 | 1995-06-24 | 1281612 |  618509 |
|  10001 |  76884 | 1995-06-24 | 1996-06-23 | 1281612 |  695393 |
|  10001 |  80013 | 1996-06-23 | 1997-06-23 | 1281612 |  775406 |
|  10001 |  81025 | 1997-06-23 | 1998-06-23 | 1281612 |  856431 |
|  10001 |  81097 | 1998-06-23 | 1999-06-23 | 1281612 |  937528 |
|  10001 |  84917 | 1999-06-23 | 2000-06-22 | 1281612 | 1022445 |
|  10001 |  85112 | 2000-06-22 | 2001-06-22 | 1281612 | 1107557 |
|  10001 |  85097 | 2001-06-22 | 2002-06-22 | 1281612 | 1192654 |
|  10001 |  88958 | 2002-06-22 | 9999-01-01 | 1281612 | 1281612 |
+--------+--------+------------+------------+---------+---------+
17 rows in set (0.00 sec)

mysql> select s.*,
    -> min(s.salary) over(partition by s.emp_no order by s.to_date desc rows between unbounded preceding and unbounded following) m1,
    -> min(s.salary) over(partition by s.emp_no order by s.to_date desc rows between unbounded preceding and current row) m2,
    -> min(s.salary) over(partition by s.emp_no) m3
    -> from salaries s where s.emp_no=10001;
+--------+--------+------------+------------+-------+-------+-------+
| emp_no | salary | from_date  | to_date    | m1    | m2    | m3    |
+--------+--------+------------+------------+-------+-------+-------+
|  10001 |  88958 | 2002-06-22 | 9999-01-01 | 60117 | 88958 | 60117 |
|  10001 |  85097 | 2001-06-22 | 2002-06-22 | 60117 | 85097 | 60117 |
|  10001 |  85112 | 2000-06-22 | 2001-06-22 | 60117 | 85097 | 60117 |
|  10001 |  84917 | 1999-06-23 | 2000-06-22 | 60117 | 84917 | 60117 |
|  10001 |  81097 | 1998-06-23 | 1999-06-23 | 60117 | 81097 | 60117 |
|  10001 |  81025 | 1997-06-23 | 1998-06-23 | 60117 | 81025 | 60117 |
|  10001 |  80013 | 1996-06-23 | 1997-06-23 | 60117 | 80013 | 60117 |
|  10001 |  76884 | 1995-06-24 | 1996-06-23 | 60117 | 76884 | 60117 |
|  10001 |  75994 | 1994-06-24 | 1995-06-24 | 60117 | 75994 | 60117 |
|  10001 |  75286 | 1993-06-24 | 1994-06-24 | 60117 | 75286 | 60117 |
|  10001 |  74333 | 1992-06-24 | 1993-06-24 | 60117 | 74333 | 60117 |
|  10001 |  71046 | 1991-06-25 | 1992-06-24 | 60117 | 71046 | 60117 |
|  10001 |  66961 | 1990-06-25 | 1991-06-25 | 60117 | 66961 | 60117 |
|  10001 |  66596 | 1989-06-25 | 1990-06-25 | 60117 | 66596 | 60117 |
|  10001 |  66074 | 1988-06-25 | 1989-06-25 | 60117 | 66074 | 60117 |
|  10001 |  62102 | 1987-06-26 | 1988-06-25 | 60117 | 62102 | 60117 |
|  10001 |  60117 | 1986-06-26 | 1987-06-26 | 60117 | 60117 | 60117 |
+--------+--------+------------+------------+-------+-------+-------+
17 rows in set (0.00 sec)

mysql> select s.*,
    -> max(s.salary) over(partition by s.emp_no order by s.to_date asc rows between unbounded preceding and unbounded following) m1,
    -> max(s.salary) over(partition by s.emp_no order by s.to_date asc rows between unbounded preceding and current row) m2,
    -> max(s.salary) over(partition by s.emp_no) m3
    -> from salaries s where s.emp_no=10001;
+--------+--------+------------+------------+-------+-------+-------+
| emp_no | salary | from_date  | to_date    | m1    | m2    | m3    |
+--------+--------+------------+------------+-------+-------+-------+
|  10001 |  60117 | 1986-06-26 | 1987-06-26 | 88958 | 60117 | 88958 |
|  10001 |  62102 | 1987-06-26 | 1988-06-25 | 88958 | 62102 | 88958 |
|  10001 |  66074 | 1988-06-25 | 1989-06-25 | 88958 | 66074 | 88958 |
|  10001 |  66596 | 1989-06-25 | 1990-06-25 | 88958 | 66596 | 88958 |
|  10001 |  66961 | 1990-06-25 | 1991-06-25 | 88958 | 66961 | 88958 |
|  10001 |  71046 | 1991-06-25 | 1992-06-24 | 88958 | 71046 | 88958 |
|  10001 |  74333 | 1992-06-24 | 1993-06-24 | 88958 | 74333 | 88958 |
|  10001 |  75286 | 1993-06-24 | 1994-06-24 | 88958 | 75286 | 88958 |
|  10001 |  75994 | 1994-06-24 | 1995-06-24 | 88958 | 75994 | 88958 |
|  10001 |  76884 | 1995-06-24 | 1996-06-23 | 88958 | 76884 | 88958 |
|  10001 |  80013 | 1996-06-23 | 1997-06-23 | 88958 | 80013 | 88958 |
|  10001 |  81025 | 1997-06-23 | 1998-06-23 | 88958 | 81025 | 88958 |
|  10001 |  81097 | 1998-06-23 | 1999-06-23 | 88958 | 81097 | 88958 |
|  10001 |  84917 | 1999-06-23 | 2000-06-22 | 88958 | 84917 | 88958 |
|  10001 |  85112 | 2000-06-22 | 2001-06-22 | 88958 | 85112 | 88958 |
|  10001 |  85097 | 2001-06-22 | 2002-06-22 | 88958 | 85112 | 88958 |
|  10001 |  88958 | 2002-06-22 | 9999-01-01 | 88958 | 88958 | 88958 |
+--------+--------+------------+------------+-------+-------+-------+
17 rows in set (0.00 sec)

还有很多没有提到的窗口函数，可以参考手册。

CUME_DIST()

FIRST_VALUE()

LAST_VALUE()

NTH_VALUE()

NTILE()

参考链接

12.21.1 Window Function Descriptions

转载于:https://blog.51cto.com/darrenmemos/2327611

Google earth studio 简介陟彼高冈yu 旅游
GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
关于提高复杂业务逻辑代码可读性的思考编程经验分享开发经验 java 数据库开发语言
目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
SQL Server_查询某一数据库中的所有表的内容 qq_42772833 SQL Server 数据库 sqlserver
1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库 python
深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
MongoDB Oplog 窗口喝醉酒的小白 MongoDB 运维
在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
【PG】常见数据库、表属性设置江无羡数据库
PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
insert into select 主键自增_mybatis拦截器实现主键自动生成 weixin_39521651 insert into select 主键自增 mybatis delete返回值 mybatis insert返回主键 mybatis insert返回对象 mybatis plus insert返回主键 mybatis plus 插入生成id
前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解秋刀prince mysql mysql 数据库
提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
Java爬虫框架（一）--架构设计狼图腾-狼之传说 java 框架 java 任务 html解析器存储电子商务
一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
MongoDB知识概括 GeorgeLin98 持久层 mongodb
MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
Mongodb Error: queryTxt ETIMEOUT xxxx.wwwdz.mongodb.net 佛一脚 error react mongodb 数据库
背景每天都能遇到奇怪的问题，做个记录，以便有缘人能得到帮助！换了一台电脑开发nextjs程序。需要连接mongodb数据，对数据进行增删改查。上一台电脑好好的程序，新电脑死活连不上mongodb数据库。同一套代码，没任何修改，搞得我怀疑人生了，打开浏览器进入mongodb官网毫无问题，也能进入线上系统查看数据，网络应该是没问题。于是我尝试了一下手机热点，这次代码能正常跑起来，连接数据库了！！！是不
入门MySQL——查询语法练习 K_un
前言：前面几篇文章为大家介绍了DML以及DDL语句的使用方法，本篇文章将主要讲述常用的查询语法。其实MySQL官网给出了多个示例数据库供大家实用查询，下面我们以最常用的员工示例数据库为准，详细介绍各自常用的查询语法。1.员工示例数据库导入官方文档员工示例数据库介绍及下载链接：https://dev.mysql.com/doc/employee/en/employees-installation.h
博客网站制作教程 2401_85194651 java maven
首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
ubuntu安装wordpress lissettecarlr
1安装nginx网上安装方式很多，这就就直接用apt-get了apt-getinstallnginx不用启动啥，然后直接在浏览器里面输入IP:80就能看到nginx的主页了。如果修改了一些配置可以使用下列命令重启一下systemctlrestartnginx.service2安装mysql输入安装前也可以更新一下软件源，在安装过程中将会让你输入数据库的密码。sudoapt-getinstallmy
深入浅出 -- 系统架构之负载均衡Nginx的性能优化 xiaoli8748_软件开发系统架构系统架构负载均衡 nginx
一、Nginx性能优化到这里文章的篇幅较长了，最后再来聊一下关于Nginx的性能优化，主要就简单说说收益最高的几个优化项，在这块就不再展开叙述了，毕竟影响性能都有多方面原因导致的，比如网络、服务器硬件、操作系统、后端服务、程序自身、数据库服务等，对于性能调优比较感兴趣的可以参考之前《JVM性能调优》中的调优思想。优化一：打开长连接配置通常Nginx作为代理服务，负责分发客户端的请求，那么建议开启H
【RabbitMQ 项目】服务端：数据管理模块之绑定管理月夜星辉雪 rabbitmq 分布式
文章目录一.编写思路二.代码实践一.编写思路定义绑定信息类交换机名称队列名称绑定关键字：交换机的路由交换算法中会用到没有是否持久化的标志，因为绑定是否持久化取决于交换机和队列是否持久化，只有它们都持久化时绑定才需要持久化。绑定就好像一根绳子，两端连接着交换机和队列，当一方不存在，它就没有存在的必要了定义绑定持久化类构造函数：如果数据库文件不存在则创建，打开数据库，创建binding_table插入
计算机毕业设计PHP仓储综合管理系统（源码+程序+VUE+lw+部署） java毕设程序源码王哥 php 课程设计 vue.js
该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：phpStudy+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：原生PHP++Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是小皮phpstudy最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
3.增删改查--连接查询问女何所忆
关系型数据库的一个特点就是，多张表之间存在关系，以致于我们可以连接多张表进行查询操作，所以连接查询会是关系型数据库中最常见的操作。连接查询主要分为三种，交叉连接、内连接和外连接，我们一个个说。1、交叉连接交叉连接其实连接查询的第一个阶段，它简单表现为两张表的笛卡尔积形式，具体例子：如果你没学过数学中的笛卡尔积概念，你可以这样简单的理解这里的交叉连接：两张表的交叉连接就是一个连接合并的过程，T1表中
docker from指令的含义_多个FROM-含义 weixin_39722188 docker from指令的含义
小编典典什么是基本图片？一组文件，加上EXPOSE端口ENTRYPOINT和CMD。您可以添加文件并基于该基础图像构建新图像，Dockerfile并以FROM指令开头：后面提到的图像FROM是新图像的“基础图像”。这是否意味着如果我neo4j/neo4j在FROM指令中声明，则在运行映像时，neo数据库将自动运行并且可在端口7474的容器中使用？仅当您不覆盖CMD和时ENTRYPOINT。但是图像
Redis:缓存击穿我的程序快快跑啊缓存 redis java
缓存击穿(热点key)：部分key(被高并发访问且缓存重建业务复杂的)失效,无数请求会直接到数据库，造成巨大压力1.互斥锁：可以保证强一致性线程一：未命中之后，获取互斥锁，再查询数据库重建缓存，写入缓存，释放锁线程二：查询未命中，未获得锁(已由线程一获得)，等待一会，缓存命中互斥锁实现方式：redis中setnxkeyvalue:改变对应key的value,仅当value不存在时执行，以此来实现互
mysql学习教程，从入门到精通，TOP 和MySQL LIMIT 子句（15）知识分享小能手大数据数据库 MySQL mysql 学习 oracle 数据库开发语言 adb 大数据
1、TOP和MySQLLIMIT子句内容在SQL中，不同的数据库系统对于限制查询结果的数量有不同的实现方式。TOP关键字主要用于SQLServer和Access数据库中，而LIMIT子句则主要用于MySQL、PostgreSQL（通过LIMIT/OFFSET语法）、SQLite等数据库中。下面将分别详细介绍这两个功能的语法、语句以及案例。1.1、TOP子句（SQLServer和Access）1.1
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your †徐先森® Oracle数据库 Web相关错误集
createtablestudents(idintunsignedprimarykeyauto_increment,namevarchar(50)notnull,ageintunsigned,highdecimal(3,2),genderenum('男','女','中性','保密','妖')default'保密',cls_idintunsigned);在对数据库插入如上带有中文带有默认值的字段的时
Redis 有哪些危险命令？如何防范？花小疯 redis 缓存数据库危险命令大数据
Redis有哪些危险命令？Redis的危险命令主要有以下几个：1.keys客户端可查询出所有存在的键。2.flushdb删除Redis中当前所在数据库中的所有记录，并且此命令从不会执行失败。3.flushall删除Redis中所有数据库中的所有记录，不止是当前所在数据库，并且此命令从不会执行失败。4.config客户端可修改Redis配置。怎么禁用和重命名危险命令？看下redis.conf默认配置
【Golang】 Golang 的 GORM 库中的 Rows 函数不爱洗脚的小滕 golang 开发语言后端
文章目录前言一、Rows函数解释二、代码实现三、总结前言在使用Go语言进行数据库操作时，GORM（GoObject-RelationalMapping）库是一个常用的工具。它提供了一种简洁和强大的方式来处理数据库操作。本文将介绍GORM库中的Rows函数，这是一个用于执行原生SQL查询并返回结果的函数。一、Rows函数解释在GORM库中，Rows函数用于执行原生SQL查询并返回*sql.Rows结
接口测试如何设计测试用例李蕴Ronnie
接口测试用例设计方式针对每个必填参数，都设计一条参数为空的测试用例必填参数不存在传的参数值在数据库中不存在添加数据接口，传入已有的数据重复添加编辑数据接口，各个字段分别编辑，合并编辑参数数据类型限制，针对每个参数设计一条参数值类型不符合的逆向用例参数自身取值范围，针对所有参数，设计一条每个参数值在取值范围内最大值的正向测试用例是否满足前提条件（token、headers），几个前提条件几条用例针对
Hadoop架构 henan程序媛 hadoop 大数据分布式
一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
非关系型数据库天秤-white nosql
一、为什么要用Nosql1.单机MySQL的时代。一个基本的网站访问量一般不会太大，单个数据库完全足够。那时候更多使用的静态网页html，服务器根本没有太大压力。这时候网站的瓶颈是什么？-数据量如果太大，一个机器放不下。-数据量太大需要建立数据的索引（B+Tree），一个服务器内存放不下。-访问量读写混合，一个服务器承受不了。2.memcached缓存+MySQL+垂直拆分（读写分离）。网站80%
六、全局锁和表锁：给表加个字段怎么有这么多阻碍 nieniemin
数据库锁设计的初衷是处理并发问题。作为多用户共享的资源，当出现并发访问的时候，数据库需要合理地控制资源的访问规则。而锁就是用来实现这些访问规则的重要数据结构。根据加锁的范围，MySQL里面的锁大致可以分成全局锁、表级锁和行锁三类。6.1全局锁全局锁就是对整个数据库实例加锁。MySQL提供了一个加全局读锁的方法，命令是Flushtableswithreadlock(FTWRL)。当你需要让整个库处于
Java实现的基于模板的网页结构化信息精准抽取组件：HtmlExtractor yangshangchuan 信息抽取 HtmlExtractor 精准抽取信息采集
HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件，本身并不包含爬虫功能，但可被爬虫或其他程序调用以便更精准地对网页结构化信息进行抽取。 HtmlExtractor是为大规模分布式环境设计的，采用主从架构，主节点负责维护抽取规则，从节点向主节点请求抽取规则，当抽取规则发生变化，主节点主动通知从节点，从而能实现抽取规则变化之后的实时动态生效。如
java编程思想 -- 多态百合不是茶 java 多态详解
一: 向上转型和向下转型面向对象中的转型只会发生在有继承关系的子类和父类中（接口的实现也包括在这里）。父类：人子类：男人向上转型： Person p = new Man() ; //向上转型不需要强制类型转化向下转型： Man man =
[自动数据处理]稳扎稳打,逐步形成自有ADP系统体系 comsci dp
对于国内的IT行业来讲,虽然我们已经有了"两弹一星",在局部领域形成了自己独有的技术特征,并初步摆脱了国外的控制...但是前面的路还很长.... 首先是我们的自动数据处理系统还无法处理很多高级工程...中等规模的拓扑分析系统也没有完成,更加复杂的
storm 自定义日志文件商人shang storm cluster logback
Storm中的日志级级别默认为INFO，并且，日志文件是根据worker号来进行区分的，这样，同一个log文件中的信息不一定是一个业务的，这样就会有以下两个需求出现： 1. 想要进行一些调试信息的输出 2. 调试信息或者业务日志信息想要输出到一些固定的文件中不要怕，不要烦恼，其实Storm已经提供了这样的支持，可以通过自定义logback 下的 cluster.xml 来输
Extjs3 SpringMVC使用 @RequestBody 标签问题记录 21jhf
springMVC使用 @RequestBody(required = false) UserVO userInfo 传递json对象数据，往往会出现http 415，400,500等错误，总结一下需要使用ajax提交json数据才行，ajax提交使用proxy，参数为jsonData，不能为params；另外，需要设置Content-type属性为json，代码如下：（由于使用了父类aaa
一些排错方法文强chu 方法
1、java.lang.IllegalStateException: Class invariant violation at org.apache.log4j.LogManager.getLoggerRepository(LogManager.java:199)at org.apache.log4j.LogManager.getLogger(LogManager.java:228) at o
Swing中文件恢复我觉得很难小桔子 swing
我那个草了！老大怎么回事，怎么做项目评估的？只会说相信你可以做的，试一下，有的是时间！用java开发一个图文处理工具，类似word，任意位置插入、拖动、删除图片以及文本等。文本框、流程图等，数据保存数据库，其余可保存pdf格式。ok,姐姐千辛万苦，
php 文件操作 aichenglong PHP 读取文件写入文件
1 写入文件 @$fp=fopen("$DOCUMENT_ROOT/order.txt", "ab"); if(!$fp){ echo "open file error" ; exit; } $outputstring="date:"." \t tire:".$tire."
MySQL的btree索引和hash索引的区别 AILIKES 数据结构 mysql 算法
Hash 索引结构的特殊性，其检索效率非常高，索引的检索可以一次定位，不像B-Tree 索引需要从根节点到枝节点，最后才能访问到页节点这样多次的IO访问，所以 Hash 索引的查询效率要远高于 B-Tree 索引。可能很多人又有疑问了，既然 Hash 索引的效率要比 B-Tree 高很多，为什么大家不都用 Hash 索引而还要使用 B-Tree 索引呢
JAVA的抽象--- 接口 --实现百合不是茶
抽象接口实现接口 //抽象类 ,方法 //定义一个公共抽象的类 ,并在类中定义一个抽象的方法体抽象的定义使用abstract abstract class A 定义一个抽象类例如： //定义一个基类 public abstract class A{ //抽象类不能用来实例化，只能用来继承 //
JS变量作用域实例 bijian1013 作用域
<script> var scope='hello'; function a(){ console.log(scope); //undefined var scope='world'; console.log(scope); //world console.log(b);
TDD实践（二） bijian1013 java TDD
实践题目：分解质因数 Step1：单元测试： package com.bijian.study.factor.test; import java.util.Arrays; import junit.framework.Assert; import org.junit.Before; import org.junit.Test; import com.bijian.
[MongoDB学习笔记一]MongoDB主从复制 bit1129 mongodb
MongoDB称为分布式数据库，主要原因是1.基于副本集的数据备份， 2.基于切片的数据扩容。副本集解决数据的读写性能问题，切片解决了MongoDB的数据扩容问题。事实上，MongoDB提供了主从复制和副本复制两种备份方式，在MongoDB的主从复制和副本复制集群环境中，只有一台作为主服务器，另外一台或者多台服务器作为从服务器。本文介绍MongoDB的主从复制模式，需要指明
【HBase五】Java API操作HBase bit1129 hbase
import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.ha
python调用zabbix api接口实时展示数据 ronin47
zabbix api接口来进行展示。经过思考之后，计划获取如下内容： 1、获得认证密钥 2、获取zabbix所有的主机组 3、获取单个组下的所有主机 4、获取某个主机下的所有监控项
jsp取得绝对路径 byalias 绝对路径
在JavaWeb开发中，常使用绝对路径的方式来引入JavaScript和CSS文件，这样可以避免因为目录变动导致引入文件找不到的情况，常用的做法如下：一、使用${pageContext.request.contextPath} 　　代码” ${pageContext.request.contextPath}”的作用是取出部署的应用程序名，这样不管如何部署，所用路径都是正确的。
Java定时任务调度：用ExecutorService取代Timer bylijinnan java
《Java并发编程实战》一书提到的用ExecutorService取代Java Timer有几个理由，我认为其中最重要的理由是：如果TimerTask抛出未检查的异常，Timer将会产生无法预料的行为。Timer线程并不捕获异常，所以 TimerTask抛出的未检查的异常会终止timer线程。这种情况下，Timer也不会再重新恢复线程的执行了;它错误的认为整个Timer都被取消了。此时，已经被
SQL 优化原则 chicony sql
一、问题的提出　在应用系统开发初期，由于开发数据库数据比较少，对于查询SQL语句，复杂视图的的编写等体会不出SQL语句各种写法的性能优劣，但是如果将应用系统提交实际应用后，随着数据库中数据的增加，系统的响应速度就成为目前系统需要解决的最主要的问题之一。系统优化中一个很重要的方面就是SQL语句的优化。对于海量数据，劣质SQL语句和优质SQL语句之间的速度差别可以达到上百倍，可见对于一个系统
java 线程弹球小游戏 CrazyMizzz java 游戏
最近java学到线程，于是做了一个线程弹球的小游戏，不过还没完善这里是提纲 1.线程弹球游戏实现 1.实现界面需要使用哪些API类 JFrame JPanel JButton FlowLayout Graphics2D Thread Color ActionListener ActionEvent MouseListener Mouse
hadoop jps出现process information unavailable提示解决办法 daizj hadoop jps
hadoop jps出现process information unavailable提示解决办法 jps时出现如下信息： 3019 -- process information unavailable3053 -- process information unavailable2985 -- process information unavailable2917 --
PHP图片水印缩放类实现 dcj3sjt126com PHP
<?php class Image{ private $path; function __construct($path='./'){ $this->path=rtrim($path,'/').'/'; } //水印函数，参数：背景图，水印图，位置，前缀,TMD透明度 public function water($b,$l,$pos
IOS控件学习：UILabel常用属性与用法 dcj3sjt126com ios UILabel
参考网站： http://shijue.me/show_text/521c396a8ddf876566000007 http://www.tuicool.com/articles/zquENb http://blog.csdn.net/a451493485/article/details/9454695 http://wiki.eoe.cn/page/iOS_pptl_artile_281
完全手动建立maven骨架 eksliang java eclipse Web
建一个 JAVA 项目： mvn archetype:create -DgroupId=com.demo -DartifactId=App [-Dversion=0.0.1-SNAPSHOT] [-Dpackaging=jar] 建一个 web 项目： mvn archetype:create -DgroupId=com.demo -DartifactId=web-a
配置清单 gengzg 配置
1、修改grub启动的内核版本 vi /boot/grub/grub.conf 将default 0改为1 拷贝mt7601Usta.ko到/lib文件夹拷贝RT2870STA.dat到 /etc/Wireless/RT2870STA/文件夹拷贝wifiscan到bin文件夹，chmod 775 /bin/wifiscan 拷贝wifiget.sh到bin文件夹，chm
Windows端口被占用处理方法 huqiji windows
以下文章主要以80端口号为例，如果想知道其他的端口号也可以使用该方法..........................1、在windows下如何查看80端口占用情况?是被哪个进程占用?如何终止等. 这里主要是用到windows下的DOS工具,点击"开始"--"运行",输入&
开源ckplayer 网页播放器，跨平台(html5, mobile)，flv, f4v, mp4, rtmp协议. webm, ogg, m3u8 ！天梯梦 mobile
CKplayer，其全称为超酷flv播放器，它是一款用于网页上播放视频的软件，支持的格式有：http协议上的flv,f4v,mp4格式，同时支持rtmp视频流格式播放，此播放器的特点在于用户可以自己定义播放器的风格，诸如播放/暂停按钮，静音按钮，全屏按钮都是以外部图片接口形式调用，用户根据自己的需要制作出播放器风格所需要使用的各个按钮图片然后替换掉原始风格里相应的图片就可以制作出自己的风格了，
简单工厂设计模式 hm4123660 java 工厂设计模式简单工厂模式
简单工厂模式（Simple Factory Pattern）属于类的创新型模式，又叫静态工厂方法模式。是通过专门定义一个类来负责创建其他类的实例，被创建的实例通常都具有共同的父类。简单工厂模式是由一个工厂对象决定创建出哪一种产品类的实例。简单工厂模式是工厂模式家族中最简单实用的模式，可以理解为是不同工厂模式的一个特殊实现。
maven笔记 zhb8015 maven
跳过测试阶段： mvn package -DskipTests 临时性跳过测试代码的编译： mvn package -Dmaven.test.skip=true maven.test.skip同时控制maven-compiler-plugin和maven-surefire-plugin两个插件的行为，即跳过编译，又跳过测试。指定测试类 mvn test
非mapreduce生成Hfile，然后导入hbase当中 Stark_Summer map hbase reduce Hfile path实例
最近一个群友的boss让研究hbase，让hbase的入库速度达到5w+/s，这可愁死了，4台个人电脑组成的集群，多线程入库调了好久，速度也才1w左右，都没有达到理想的那种速度，然后就想到了这种方式，但是网上多是用mapreduce来实现入库，而现在的需求是实时入库，不生成文件了，所以就只能自己用代码实现了，但是网上查了很多资料都没有查到，最后在一个网友的指引下，看了源码，最后找到了生成Hfile
jsp web tomcat 编码问题王新春 tomcat jsp pageEncode
今天配置jsp项目在tomcat上，windows上正常，而linux上显示乱码，最后定位原因为tomcat 的server.xml 文件的配置，添加 URIEncoding 属性： <Connector port="8080" protocol="HTTP/1.1" connectionTi

MySQL 8.0新特性--Windows Function(三)

你可能感兴趣的:(数据库)