牙小木木
牙小木木

MySql Binlog statement row mixed 三种模式初探

一句话介绍

以下主要演示了MySql Binlog的row格式和statement内容和相关的知识点，

  • ROW记录包括了是EVENT TYPE，且是基于每行的,即你执行了一个DML操作，binlog中记录的并不是具体的这个sql，而是针对该语句的每一行或者多行记录各自生成记录，这样能有效避免主从下针对同一条sql而产生不同的结果（参考文中force indx的例子），这种方式无疑是最安全的，但是效率和空间上消耗是最大的。
  • STATAMENT 是基于sql执行语句的（显示记录），相对于row占用的存储空间要少。用于数据同步的话还是要谨慎，需要保证主从机器之间的一致性（variables参数，Binlog日志格式参数，表引擎，数据，索引等等），如果不能保证，用于恢复数据的情景还是要慎用（可以参考下面update where limit语句的例子）
  • MIXED格式是自动判断并自动切换行和语句的策略，既然是自动，就不能保证完全符合每个业务场景，除非Server层面能做到绝对安全。。

环境及参数说明

环境参数

mysql> select version();
+-----------------------------+
| version()                   |
+-----------------------------+
| 5.7.30-0ubuntu0.16.04.1-log |
+-----------------------------+
mysql> show variables like "%binlog%";
+--------------------------------------------+----------------------+
| Variable_name                              | Value                |
+--------------------------------------------+----------------------+
| binlog_cache_size                          | 32768                |
| binlog_checksum                            | CRC32                |
| binlog_direct_non_transactional_updates    | OFF                  |
| binlog_error_action                        | ABORT_SERVER         |
| binlog_format                              | ROW                  |
| binlog_group_commit_sync_delay             | 0                    |
| binlog_group_commit_sync_no_delay_count    | 0                    |
| binlog_gtid_simple_recovery                | ON                   |
| binlog_max_flush_queue_time                | 0                    |
| binlog_order_commits                       | ON                   |
| binlog_row_image                           | FULL                 |
| binlog_rows_query_log_events               | OFF                  |
| binlog_stmt_cache_size                     | 32768                |
| binlog_transaction_dependency_history_size | 25000                |
| binlog_transaction_dependency_tracking     | COMMIT_ORDER         |
| innodb_api_enable_binlog                   | OFF                  |
| innodb_locks_unsafe_for_binlog             | OFF                  |
| log_statements_unsafe_for_binlog           | ON                   |
| max_binlog_cache_size                      | 18446744073709547520 |
| max_binlog_size                            | 104857600            |
| max_binlog_stmt_cache_size                 | 18446744073709547520 |
| sync_binlog                                | 1                    |
+--------------------------------------------+----------------------+
mysql> show binary logs;
+------------------+-----------+
| Log_name         | File_size |
+------------------+-----------+
| mysql-bin.000003 |     18117 |
| mysql-bin.000004 |       523 |
| mysql-bin.000005 |       523 |
| mysql-bin.000006 |       177 |
| mysql-bin.000007 |      4232 |
+------------------+-----------+

说明

在具体之前我们先看和本文操作不强相关但是已经存在的binlog，d当前最新的文件名为mysql-bin.000007 。主要目的是做一个上下文的分界线（id标识）

root@base2018:/var/log/mysql# ls -lt|grep mysql-bin
-rw-r----- 1 mysql mysql  4232 Jul  2 10:32 mysql-bin.000007
-rw-r----- 1 mysql mysql   160 Jul  2 10:24 mysql-bin.index
-rw-r----- 1 mysql mysql   177 Jul  2 10:23 mysql-bin.000006
-rw-r----- 1 mysql mysql   523 Jun 25 06:25 mysql-bin.000005
-rw-r----- 1 mysql mysql   523 Jun 24 06:25 mysql-bin.000004
-rw-r----- 1 mysql mysql 18117 Jun 23 06:25 mysql-bin.000003

show binlog events in 'mysql-bin.000007'\G

.## 省略..
*************************** 32. row ***************************
   Log_name: mysql-bin.000007
        Pos: 2318
 Event_type: Write_rows
  Server_id: 1
End_log_pos: 2366
       Info: table_id: 120 flags: STMT_END_F
*************************** 33. row ***************************
   Log_name: mysql-bin.000007
        Pos: 2366
 Event_type: Xid
  Server_id: 1
End_log_pos: 2397
       Info: COMMIT /* xid=62 */
33 rows in set (0.00 sec)

我们可以看一下最后一条 第row id为的详细信息，因为其开始Pos为2366，记住这个33，^_^

开始造作

建表插入测试数据

CREATE TABLE `binlog_demo` (
  `id` int(11) NOT NULL,
  `a` int(11) DEFAULT NULL,
  `t_modified` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  KEY `a` (`a`),
  KEY `t_modified`(`t_modified`)
) ENGINE=InnoDB;

insert into binlog_demo values(1,1,'2020-07-01');
insert into binlog_demo values(2,2,'2020-07-02');
insert into binlog_demo values(3,3,'2020-07-02');
insert into binlog_demo values(4,4,'2020-07-04');
insert into binlog_demo values(5,5,'2020-07-05');

执行一条sql（row格式）

mysql> delete from binlog_demo /*comment*/  where a>=4 and t_modified<='2020-07-10' limit 1;
Query OK, 1 row affected (0.01 sec)

接上面的第33条之后看

*************************** 34. row ***************************
   Log_name: mysql-bin.000007
        Pos: 2397
 Event_type: Anonymous_Gtid
  Server_id: 1
End_log_pos: 2462
       Info: SET @@SESSION.GTID_NEXT= 'ANONYMOUS'
*************************** 35. row ***************************
   Log_name: mysql-bin.000007
        Pos: 2462
 Event_type: Query
  Server_id: 1
End_log_pos: 2542
       Info: BEGIN
*************************** 36. row ***************************
   Log_name: mysql-bin.000007
        Pos: 2542
 Event_type: Table_map
  Server_id: 1
End_log_pos: 2599
       Info: table_id: 120 (test.binlog_demo)
*************************** 37. row ***************************
   Log_name: mysql-bin.000007
        Pos: 2599
 Event_type: Delete_rows
  Server_id: 1
End_log_pos: 2647
       Info: table_id: 120 flags: STMT_END_F
*************************** 38. row ***************************
   Log_name: mysql-bin.000007
        Pos: 2647
 Event_type: Xid
  Server_id: 1
End_log_pos: 2678
       Info: COMMIT /* xid=86 */

去掉\G后展开对应下面的5行，注意2397是上一个binlog的End_log_pos,也就是那个33的end pos。

| mysql-bin.000007 | 2397 | Anonymous_Gtid |         1 |        2462 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS'                                                                                                                                                                                                                      |
| mysql-bin.000007 | 2462 | Query          |         1 |        2542 | BEGIN                                                                                                                                                                                                                                                     |
| mysql-bin.000007 | 2542 | Table_map      |         1 |        2599 | table_id: 120 (test.binlog_demo)                                                                                                                                                                                                                          |
| mysql-bin.000007 | 2599 | Delete_rows    |         1 |        2647 | table_id: 120 flags: STMT_END_F                                                                                                                                                                                                                           |
| mysql-bin.000007 | 2647 | Xid            |         1 |        2678 | COMMIT /* xid=86 */                                                                                                                                                                                                                                       |
+------------------+------+----------------+-----------+-------------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
38 rows in set (0.00 sec)

我们从2462看
mysqlbinlog -vv mysql-bin.000007 --start-position=2462

/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
# at 4
#200702 10:24:14 server id 1  end_log_pos 123 CRC32 0xa97adc3a     Start: binlog v 4, server v 5.7.30-0ubuntu0.16.04.1-log created 200702 10:24:14 at startup
# Warning: this binlog is either in use or was not closed properly.
ROLLBACK/*!*/;
BINLOG '
TkX9Xg8BAAAAdwAAAHsAAAABAAQANS43LjMwLTB1YnVudHUwLjE2LjA0LjEtbG9nAAAAAAAAAAAA
AAAAAAAAAAAAAAAAAABORf1eEzgNAAgAEgAEBAQEEgAAXwAEGggAAAAICAgCAAAACgoKKioAEjQA
ATrceqk=
'/*!*/;
# at 2462
#200702 11:26:00 server id 1  end_log_pos 2542 CRC32 0x2e66d2a1     Query    thread_id=14    exec_time=0    error_code=0
SET TIMESTAMP=1593660360/*!*/;
SET @@session.pseudo_thread_id=14/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=1436549152/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C utf8 *//*!*/;
SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=8/*!*/;
SET @@session.time_zone='SYSTEM'/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
BEGIN
/*!*/;
# at 2542
#200702 11:26:00 server id 1  end_log_pos 2599 CRC32 0x8d66ca1a     Table_map: `test`.`binlog_demo` mapped to number 120
# at 2599
#200702 11:26:00 server id 1  end_log_pos 2647 CRC32 0x59777bf5     Delete_rows: table id 120 flags: STMT_END_F

BINLOG '
yFP9XhMBAAAAOQAAACcKAAAAAHgAAAAAAAEABHRlc3QAC2JpbmxvZ19kZW1vAAMDAxEBAAIaymaN
yFP9XiABAAAAMAAAAFcKAAAAAHgAAAAAAAEAAgAD//gEAAAABAAAAF7/VgD1e3dZ
'/*!*/;
### DELETE FROM `test`.`binlog_demo`
### WHERE
###   @1=4 /* INT meta=0 nullable=0 is_null=0 */
###   @2=4 /* INT meta=0 nullable=1 is_null=0 */
###   @3=1593792000 /* TIMESTAMP(0) meta=0 nullable=0 is_null=0 */
# at 2647
#200702 11:26:00 server id 1  end_log_pos 2678 CRC32 0xba0bb150     Xid = 86
COMMIT/*!*/;
SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/;
DELIMITER ;
# End of log file
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;

以上内容中字段值简单介绍

  • server_id可以保证服务标识和做互主的时候避免循环导入binlog
  • CRC32 ，即show variables like "%binlog%"里设置binlog_checksum的校验方式
  • Table_map 也是一个事件，但只支持row格式的（statement本身就是一条sql）就是一个表与id的映射，操作多个就会对应多个
  • Delete_rows 是ROWS_EVENT之一，常见的还有UPDATE_ROWS_EVENT, WRITE_ROWS_EVENT ，其他事件.
  • where 就是sql语句里的where条件的具体值
  • Xid和commit就代表最终ok

切换到statement

mysql>  SET SESSION binlog_format = 'STATEMENT';
Query OK, 0 rows affected (0.00 sec)

insert into binlog_demo values(6,66,'2020-07-06');

接上面的39行

*************************** 40. row ***************************
   Log_name: mysql-bin.000007
        Pos: 2743
 Event_type: Query
  Server_id: 1
End_log_pos: 2830
       Info: BEGIN
*************************** 41. row ***************************
   Log_name: mysql-bin.000007
        Pos: 2830
 Event_type: Query
  Server_id: 1
End_log_pos: 2961
       Info: use `test`; insert into binlog_demo values(6,66,'2020-07-06')
*************************** 42. row ***************************
   Log_name: mysql-bin.000007
        Pos: 2961
 Event_type: Xid
  Server_id: 1
End_log_pos: 2992
       Info: COMMIT /* xid=114 */
42 rows in set (0.00 sec)
PS: End_log_pos与 show master status里的数据 pos大小是保持一致的

从2743行开始看 mysqlbinlog -vv mysql-bin.000007 --start-position=2743

PS: mysqlbinlog一些常用参数: 
 --base64-output=decode-rows –v 
 --start-position --stop-position
 --start-time= --stop-time
 --read-from-remote-server

root@base2018:/var/log/mysql# mysqlbinlog -vv mysql-bin.000007 --start-position=2743
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
# at 4
#200702 10:24:14 server id 1  end_log_pos 123 CRC32 0xa97adc3a     Start: binlog v 4, server v 5.7.30-0ubuntu0.16.04.1-log created 200702 10:24:14 at startup
# Warning: this binlog is either in use or was not closed properly.
ROLLBACK/*!*/;
BINLOG '
TkX9Xg8BAAAAdwAAAHsAAAABAAQANS43LjMwLTB1YnVudHUwLjE2LjA0LjEtbG9nAAAAAAAAAAAA
AAAAAAAAAAAAAAAAAABORf1eEzgNAAgAEgAEBAQEEgAAXwAEGggAAAAICAgCAAAACgoKKioAEjQA
ATrceqk=
'/*!*/;
# at 2743
#200702 11:58:33 server id 1  end_log_pos 2830 CRC32 0xa47b4e54     Query    thread_id=10    exec_time=0    error_code=0
SET TIMESTAMP=1593662313/*!*/;
SET @@session.pseudo_thread_id=10/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=1436549152/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C utf8 *//*!*/;
SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=8/*!*/;
SET @@session.time_zone='SYSTEM'/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
BEGIN
/*!*/;
# at 2830
#200702 11:58:33 server id 1  end_log_pos 2961 CRC32 0x48d934c7     Query    thread_id=10    exec_time=0    error_code=0
use `test`/*!*/;
SET TIMESTAMP=1593662313/*!*/;
insert into binlog_demo values(6,66,'2020-07-06')
/*!*/;
# at 2961
#200702 11:58:33 server id 1  end_log_pos 2992 CRC32 0x39d367e0     Xid = 114
COMMIT/*!*/;
SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/;
DELIMITER ;
# End of log file
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;

row 和statement不同

和row格式的BEGIN 和COMMIT之间的内容不同，statement只是存了insert语句（包括了我们没有 显示执行的use test;），并且带有一个 SET TIMESTAMP(这个时间可以理解为当前操作上下文的时间，避免在主从同步时发生时间不一致的问题比如一个CURRENT_TIME,NOW()，我理解就类似于linux的ntp)

delete语句肯能导致数据不一致（statement模式）

上面是一个插入语句，比较简单，我们看一下特殊的删除情况 。再呈现一下上下文关系。

表中一共6条数据，且两个索引

mysql> select * from binlog_demo;
+----+----+---------------------+
| id | a  | t_modified          |
+----+----+---------------------+
|  1 |  1 | 2020-07-01 00:00:00 |
|  2 |  2 | 2020-07-02 00:00:00 |
|  3 |  3 | 2020-07-02 00:00:00 |
|  5 |  5 | 2020-07-05 00:00:00 |
|  6 | 66 | 2020-06-01 00:00:00 |
+----+----+---------------------+
5 rows in set
show index from binlog_demo;
+-------------+------------+------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+
| Table       | Non_unique | Key_name   | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment | Index_comment |
+-------------+------------+------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+
| binlog_demo |          0 | PRIMARY    |            1 | id          | A         |           5 | NULL     | NULL   |      | BTREE      |         |               |
| binlog_demo |          1 | a          |            1 | a           | A         |           5 | NULL     | NULL   | YES  | BTREE      |         |               |
| binlog_demo |          1 | t_modified |            1 | t_modified  | A         |           4 | NULL     | NULL   |      | BTREE      |         |               |
+-------------+------------+------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+

默认走的索引是a

mysql> select * from binlog_demo   where a>=4 and t_modified<='2020-07-10' limit 1;
+----+---+---------------------+
| id | a | t_modified          |
+----+---+---------------------+
|  5 | 5 | 2020-07-05 00:00:00 |
+----+---+---------------------+
1 row in set

mysql> explain select * from binlog_demo   where a>=4 and t_modified<='2020-07-10' limit 1;
+----+-------------+-------------+------------+-------+---------------+-----+---------+------+------+----------+------------------------------------+
| id | select_type | table       | partitions | type  | possible_keys | key | key_len | ref  | rows | filtered | Extra                              |
+----+-------------+-------------+------------+-------+---------------+-----+---------+------+------+----------+------------------------------------+
|  1 | SIMPLE      | binlog_demo | NULL       | range | a,t_modified  | a   | 5       | NULL |    2 |      100 | Using index condition; Using where |
+----+-------------+-------------+------------+-------+---------------+-----+---------+------+------+----------+------------------------------------+

强行指定使用索引t_modified

mysql> select * from binlog_demo use index(t_modified)  where a>=4 and t_modified<='2020-07-10' limit 1;
+----+----+---------------------+
| id | a  | t_modified          |
+----+----+---------------------+
|  6 | 66 | 2020-06-01 00:00:00 |
+----+----+---------------------+
1 row in set

mysql> explain select * from binlog_demo use index(t_modified)  where a>=4 and t_modified<='2020-07-10' limit 1;
+----+-------------+-------------+------------+-------+---------------+------------+---------+------+------+----------+------------------------------------+
| id | select_type | table       | partitions | type  | possible_keys | key        | key_len | ref  | rows | filtered | Extra                              |
+----+-------------+-------------+------------+-------+---------------+------------+---------+------+------+----------+------------------------------------+
|  1 | SIMPLE      | binlog_demo | NULL       | range | t_modified    | t_modified | 4       | NULL |    5 |    33.33 | Using index condition; Using where |
+----+-------------+-------------+------------+-------+---------------+------------+---------+------+------+----------+------------------------------------+
1 row in set

可以看出用默认索引查到的数据id为5，force index后查到的id为6.
那我们执行
delete from binlog_demo where a>=4 and t_modified<='2020-07-10' limit 1;的话，可以想到从库上执行的时候不一定也是按照同样的索引选择策略，这样可能导致不一致。所以row格式的就可以避免这个问题，row会将操作每行的信息都记录下来。这样能保证完全一致。
row 格式的

root@base2018:/var/log/mysql# mysqlbinlog -vv mysql-bin.000007 --start-position=2992;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
# at 4
#200702 10:24:14 server id 1  end_log_pos 123 CRC32 0xa97adc3a     Start: binlog v 4, server v 5.7.30-0ubuntu0.16.04.1-log created 200702 10:24:14 at startup
# Warning: this binlog is either in use or was not closed properly.
ROLLBACK/*!*/;
BINLOG '
TkX9Xg8BAAAAdwAAAHsAAAABAAQANS43LjMwLTB1YnVudHUwLjE2LjA0LjEtbG9nAAAAAAAAAAAA
AAAAAAAAAAAAAAAAAABORf1eEzgNAAgAEgAEBAQEEgAAXwAEGggAAAAICAgCAAAACgoKKioAEjQA
ATrceqk=
'/*!*/;
# at 2992
#200702 12:19:31 server id 1  end_log_pos 3057 CRC32 0x10b875ba     Anonymous_GTID    last_committed=10    sequence_number=11    rbr_only=no
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 3057
#200702 12:19:31 server id 1  end_log_pos 3144 CRC32 0x8f84f3a7     Query    thread_id=15    exec_time=0    error_code=0
SET TIMESTAMP=1593663571/*!*/;
SET @@session.pseudo_thread_id=15/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=1436549152/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C utf8 *//*!*/;
SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=8/*!*/;
SET @@session.time_zone='SYSTEM'/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
BEGIN
/*!*/;
# at 3144
#200702 12:19:31 server id 1  end_log_pos 3302 CRC32 0x450cca73     Query    thread_id=15    exec_time=0    error_code=0
use `test`/*!*/;
SET TIMESTAMP=1593663571/*!*/;
UPDATE `binlog_demo` SET `t_modified`='2020-06-01 00:00:00' WHERE (`id`='6')
/*!*/;
# at 3302
#200702 12:19:31 server id 1  end_log_pos 3333 CRC32 0x73ca56b1     Xid = 132
COMMIT/*!*/;
# at 3333
#200702 12:27:03 server id 1  end_log_pos 3398 CRC32 0xad1d9f72     Anonymous_GTID    last_committed=11    sequence_number=12    rbr_only=yes
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/;
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 3398
#200702 12:27:03 server id 1  end_log_pos 3478 CRC32 0xccf08199     Query    thread_id=14    exec_time=0    error_code=0
SET TIMESTAMP=1593664023/*!*/;
BEGIN
/*!*/;
# at 3478
#200702 12:27:03 server id 1  end_log_pos 3535 CRC32 0x9946e0d7     Table_map: `test`.`binlog_demo` mapped to number 120
# at 3535
#200702 12:27:03 server id 1  end_log_pos 3583 CRC32 0x86c26c2a     Delete_rows: table id 120 flags: STMT_END_F

BINLOG '
F2L9XhMBAAAAOQAAAM8NAAAAAHgAAAAAAAEABHRlc3QAC2JpbmxvZ19kZW1vAAMDAxEBAALX4EaZ
F2L9XiABAAAAMAAAAP8NAAAAAHgAAAAAAAEAAgAD//gFAAAABQAAAF8Ap4AqbMKG
'/*!*/;
### DELETE FROM `test`.`binlog_demo`
### WHERE
###   @1=5 /* INT meta=0 nullable=0 is_null=0 */
###   @2=5 /* INT meta=0 nullable=1 is_null=0 */
###   @3=1593878400 /* TIMESTAMP(0) meta=0 nullable=0 is_null=0 */
# at 3583
#200702 12:27:03 server id 1  end_log_pos 3614 CRC32 0xe2c7ad74     Xid = 140
COMMIT/*!*/;
SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/;
DELIMITER ;
# End of log file
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;

statement下delete 的warning

Unsafe statement written to the binary log using statement format since BINLOG_FORMAT = STATEMENT. The statement is unsafe because it uses a LIMIT clause. This is unsafe because the set of rows included cannot be predicted.

mysql> SET SESSION binlog_format = 'STATEMENT';
Query OK, 0 rows affected (0.00 sec)

mysql> delete from binlog_demo  where a>=2 and t_modified<='2020-07-10' limit 1;
Query OK, 1 row affected, 1 warning (0.01 sec)

mysql> show warnings\G
*************************** 1. row ***************************
  Level: Note
   Code: 1592
Message: Unsafe statement written to the binary log using statement format since BINLOG_FORMAT = STATEMENT. The statement is unsafe because it uses a LIMIT clause. This is unsafe because the set of rows included cannot be predicted.
1 row in set (0.00 sec)

ROW格式下没有warning

mysql> SET SESSION binlog_format = 'ROW';
Query OK, 0 rows affected (0.00 sec)

mysql> delete from binlog_demo  where a>=2 and t_modified<='2020-07-10' limit 1;
Query OK, 1 row affected (0.05 sec)

*************************** 52. row ***************************
   Log_name: mysql-bin.000007
        Pos: 3614
 Event_type: Anonymous_Gtid
  Server_id: 1
End_log_pos: 3679
       Info: SET @@SESSION.GTID_NEXT= 'ANONYMOUS'
*************************** 53. row ***************************
   Log_name: mysql-bin.000007
        Pos: 3679
 Event_type: Query
  Server_id: 1
End_log_pos: 3766
       Info: BEGIN
*************************** 54. row ***************************
   Log_name: mysql-bin.000007
        Pos: 3766
 Event_type: Query
  Server_id: 1
End_log_pos: 3920
       Info: use `test`; delete from binlog_demo  where a>=2 and t_modified<='2020-07-10' limit 1
*************************** 55. row ***************************
   Log_name: mysql-bin.000007
        Pos: 3920
 Event_type: Xid
  Server_id: 1
End_log_pos: 3951
       Info: COMMIT /* xid=159 */
*************************** 56. row ***************************
   Log_name: mysql-bin.000007
        Pos: 3951
 Event_type: Anonymous_Gtid
  Server_id: 1
End_log_pos: 4016
       Info: SET @@SESSION.GTID_NEXT= 'ANONYMOUS'
*************************** 57. row ***************************
   Log_name: mysql-bin.000007
        Pos: 4016
 Event_type: Query
  Server_id: 1
End_log_pos: 4096
       Info: BEGIN
*************************** 58. row ***************************
   Log_name: mysql-bin.000007
        Pos: 4096
 Event_type: Table_map
  Server_id: 1
End_log_pos: 4153
       Info: table_id: 120 (test.binlog_demo)
*************************** 59. row ***************************
   Log_name: mysql-bin.000007
        Pos: 4153
 Event_type: Delete_rows
  Server_id: 1
End_log_pos: 4201
       Info: table_id: 120 flags: STMT_END_F
*************************** 60. row ***************************
   Log_name: mysql-bin.000007
        Pos: 4201
 Event_type: Xid
  Server_id: 1
End_log_pos: 4232
       Info: COMMIT /* xid=165 */
60 rows in set (0.00 sec)



root@base2018:/var/log/mysql# mysqlbinlog -vv mysql-bin.000007 --start-position=3614
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
# at 4
#200702 10:24:14 server id 1  end_log_pos 123 CRC32 0xa97adc3a     Start: binlog v 4, server v 5.7.30-0ubuntu0.16.04.1-log created 200702 10:24:14 at startup
# Warning: this binlog is either in use or was not closed properly.
ROLLBACK/*!*/;
BINLOG '
TkX9Xg8BAAAAdwAAAHsAAAABAAQANS43LjMwLTB1YnVudHUwLjE2LjA0LjEtbG9nAAAAAAAAAAAA
AAAAAAAAAAAAAAAAAABORf1eEzgNAAgAEgAEBAQEEgAAXwAEGggAAAAICAgCAAAACgoKKioAEjQA
ATrceqk=
'/*!*/;
# at 3614
#200702 12:38:24 server id 1  end_log_pos 3679 CRC32 0x0937d47a     Anonymous_GTID    last_committed=12    sequence_number=13    rbr_only=no
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 3679
#200702 12:38:24 server id 1  end_log_pos 3766 CRC32 0x92b2ee24     Query    thread_id=14    exec_time=0    error_code=0
SET TIMESTAMP=1593664704/*!*/;
SET @@session.pseudo_thread_id=14/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=1436549152/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C utf8 *//*!*/;
SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=8/*!*/;
SET @@session.time_zone='SYSTEM'/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
BEGIN
/*!*/;
# at 3766
#200702 12:38:24 server id 1  end_log_pos 3920 CRC32 0x22d50c86     Query    thread_id=14    exec_time=0    error_code=0
use `test`/*!*/;
SET TIMESTAMP=1593664704/*!*/;
delete from binlog_demo  where a>=2 and t_modified<='2020-07-10' limit 1
/*!*/;
# at 3920
#200702 12:38:24 server id 1  end_log_pos 3951 CRC32 0x35efdb16     Xid = 159
COMMIT/*!*/;
# at 3951
#200702 12:42:08 server id 1  end_log_pos 4016 CRC32 0xd357905c     Anonymous_GTID    last_committed=13    sequence_number=14    rbr_only=yes
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/;
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 4016
#200702 12:42:08 server id 1  end_log_pos 4096 CRC32 0xfbb008a4     Query    thread_id=14    exec_time=0    error_code=0
SET TIMESTAMP=1593664928/*!*/;
BEGIN
/*!*/;
# at 4096
#200702 12:42:08 server id 1  end_log_pos 4153 CRC32 0xc7c76464     Table_map: `test`.`binlog_demo` mapped to number 120
# at 4153
#200702 12:42:08 server id 1  end_log_pos 4201 CRC32 0xa7203e07     Delete_rows: table id 120 flags: STMT_END_F

BINLOG '
oGX9XhMBAAAAOQAAADkQAAAAAHgAAAAAAAEABHRlc3QAC2JpbmxvZ19kZW1vAAMDAxEBAAJkZMfH
oGX9XiABAAAAMAAAAGkQAAAAAHgAAAAAAAEAAgAD//gDAAAAAwAAAF78swAHPiCn
'/*!*/;
### DELETE FROM `test`.`binlog_demo`
### WHERE
###   @1=3 /* INT meta=0 nullable=0 is_null=0 */
###   @2=3 /* INT meta=0 nullable=1 is_null=0 */
###   @3=1593619200 /* TIMESTAMP(0) meta=0 nullable=0 is_null=0 */
# at 4201
#200702 12:42:08 server id 1  end_log_pos 4232 CRC32 0x21a1766f     Xid = 165
COMMIT/*!*/;
SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/;
DELIMITER ;
# End of log file
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;

写在最后

  1. 关于Binlog:
    Binlog是MySql Server层的实现，虽然也有所谓的commit，但是这个commit与具体实现引擎无关（与innodb的 事务日志redo/undo不冲突）。主要是做主从，备份/恢复用的。
  2. 关于mixed，顾名思义。两者结合是最好的，是可以自动判断是否会影响主备不一致。

  3. row 模式会针对每行都会记录，delete一行就会有一行记录， 其中binlog_row_image 决定了记录的多少

    • full 记录所有的列
    • minimal 记录变化的列
    • noblob 记录除去blob和text之外的列
      这样就直接导致row格式的binlog就会很大。

你可能感兴趣的:(binlog,mysql主从,mysql)

  • mysql禁用远程登录 igotyback mysql
    去mysql库中的user表里，将host都改成localhost之后刷新权限FLUSHPRIVILEGES;
  • MYSQL面试系列-04 king01299 面试mysql面试
    MYSQL面试系列-0417.关于redolog和binlog的刷盘机制、redolog、undolog作用、GTID是做什么的？innodb_flush_log_at_trx_commit及sync_binlog参数意义双117.1innodb_flush_log_at_trx_commit该变量定义了InnoDB在每次事务提交时，如何处理未刷入（flush）的重做日志信息（redolog）。它
  • 关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解 秋刀prince mysqlmysql数据库
    提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
  • MongoDB知识概括 GeorgeLin98 持久层mongodb
    MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
  • 入门MySQL——查询语法练习 K_un
    前言：前面几篇文章为大家介绍了DML以及DDL语句的使用方法，本篇文章将主要讲述常用的查询语法。其实MySQL官网给出了多个示例数据库供大家实用查询，下面我们以最常用的员工示例数据库为准，详细介绍各自常用的查询语法。1.员工示例数据库导入官方文档员工示例数据库介绍及下载链接：https://dev.mysql.com/doc/employee/en/employees-installation.h
  • 博客网站制作教程 2401_85194651 javamaven
    首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
  • ubuntu安装wordpress lissettecarlr
    1安装nginx网上安装方式很多，这就就直接用apt-get了apt-getinstallnginx不用启动啥，然后直接在浏览器里面输入IP:80就能看到nginx的主页了。如果修改了一些配置可以使用下列命令重启一下systemctlrestartnginx.service2安装mysql输入安装前也可以更新一下软件源，在安装过程中将会让你输入数据库的密码。sudoapt-getinstallmy
  • 计算机毕业设计PHP仓储综合管理系统（源码+程序+VUE+lw+部署） java毕设程序源码王哥 php课程设计vue.js
    该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：phpStudy+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：原生PHP++Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是小皮phpstudy最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
  • You have an error in your SQL syntax； check the manual that corresponds to your MySQL server version 努力的菜鸟~ sql数据库
    YouhaveanerrorinyourSQLsyntax;checkthemanualthatcorrespondstoyourMySQLserverversionfortherightsyntaxtousenear‘IDENTIFIEDBY‘123456’WITHGRANTOPTION’atline1在mysql5.7之前GRANTALLPRIVILEGESON*.*TO'root'@'%'I
  • mysql学习教程，从入门到精通，TOP 和MySQL LIMIT 子句（15） 知识分享小能手 大数据数据库MySQLmysql学习oracle数据库开发语言adb大数据
    1、TOP和MySQLLIMIT子句内容在SQL中，不同的数据库系统对于限制查询结果的数量有不同的实现方式。TOP关键字主要用于SQLServer和Access数据库中，而LIMIT子句则主要用于MySQL、PostgreSQL（通过LIMIT/OFFSET语法）、SQLite等数据库中。下面将分别详细介绍这两个功能的语法、语句以及案例。1.1、TOP子句（SQLServer和Access）1.1
  • 鲲鹏 ARM 架构 麒麟 Lylin v10 安装 Nginx (离线) 焚木灵 arm开发架构nginx服务器
    最近做一个银行的项目，银行的服务器是鲲鹏ARM架构的服务器，并且是麒麟v10的系统，这里记录一下在无法访问外网安装Nginx的方法。其他文章：鲲鹏ARM架构麒麟Lylinv10安装Mysql8.3(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装Node和NVM(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装Pm2(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装P
  • Kubernetes部署MySQL数据持久化 沫殇-MS KubernetesMySQL数据库kubernetesmysql容器
    一、安装配置NFS服务端1、安装nfs-kernel-server：sudoapt-yinstallnfs-kernel-server2、服务端创建共享目录#列出所有可用块设备的信息lsblk#格式化磁盘sudomkfs-text4/dev/sdb#创建一个目录：sudomkdir-p/data/nfs/mysql#更改目录权限：sudochown-Rnobody:nogroup/data/nfs
  • MySQL事务隔离级别和MVCC 简书徐小耳
    MySQL事务隔离级别和MVCC参考：https://mp.weixin.qq.com/s/Jeg8656gGtkPteYWrG5_Nw1.MVCC只对读已提交和可重复的读有效果，而未提交读和串行则无意义。2.每条记录都会有trx_id(事务修改记录的id）和roll_pointer是一个指针指向旧版本的undo日志链表（row_id不是必必要的，如果有主键存在就不需要了）3.版本链的头结点就是记
  • CentOS7 安装MySQL5.7.44 不要Null了 javacentosmysql
    1.下载mysql安装包，我放在百度网盘里(下方链接)链接：https://pan.baidu.com/s/1_Mn1XW_1mWdTV4mhnLG66A提取码：s31n2.首先看看以前是否安装过mysqlrpm-qa|grep-imysql如果已经安装过mysql会提示卸载mysqlrpm-emysql-…3.使用FinallShell或者Xftp进行上传放到/usr/local/mysql，没
  • 非关系型数据库 天秤-white nosql
    一、为什么要用Nosql1.单机MySQL的时代。一个基本的网站访问量一般不会太大，单个数据库完全足够。那时候更多使用的静态网页html，服务器根本没有太大压力。这时候网站的瓶颈是什么？-数据量如果太大，一个机器放不下。-数据量太大需要建立数据的索引（B+Tree），一个服务器内存放不下。-访问量读写混合，一个服务器承受不了。2.memcached缓存+MySQL+垂直拆分（读写分离）。网站80%
  • 六、全局锁和表锁：给表加个字段怎么有这么多阻碍 nieniemin
    数据库锁设计的初衷是处理并发问题。作为多用户共享的资源，当出现并发访问的时候，数据库需要合理地控制资源的访问规则。而锁就是用来实现这些访问规则的重要数据结构。根据加锁的范围，MySQL里面的锁大致可以分成全局锁、表级锁和行锁三类。6.1全局锁全局锁就是对整个数据库实例加锁。MySQL提供了一个加全局读锁的方法，命令是Flushtableswithreadlock(FTWRL)。当你需要让整个库处于
  • Kubernetes 自定义控制器开发 IT回忆录 Kubeneteskubernetes
    目录前言一、CRD二、创建数据库表（Mysql）二、控制器开发1.使用kubernetes的examplecontroller模板2.在controller.go中新增数据表监听方法3.修改tools工具生成资源对象结构体定义这里记录开发k8s控制器的一般方式，controller开发主要使用k8s提供的client-go库进行。前言Controller监听集群内部资源对象的变化，编辑资源对象(增
  • 【K8s】专题十一：Kubernetes 集群证书过期处理方法 行者Sun1989 Kuberneteskubernetes云原生容器
    本文内容均来自个人笔记并重新梳理，如有错误欢迎指正！如果对您有帮助，烦请点赞、关注、转发、订阅专栏！专栏订阅入口Linux专栏|Docker专栏|Kubernetes专栏往期精彩文章【Docker】（全网首发）KylinV10下MySQL容器内存占用异常的解决方法【Docker】（全网首发）KylinV10下MySQL容器内存占用异常的解决方法（续）【Docker】MySQL源码构建Docker镜
  • MySQl篇（SQL - 基本介绍）（持续更新迭代） wclass-zhengge mysqlsql数据库
    目录一、简介二、SQL方言（分页查询为例）1.简介2.SQL方言大比拼2.1.Oracle2.1.1.使用ROWNUM实现分页查询2.1.2.使用ROW_NUMBER()实现分页查询2.2.MySQL2.3.PostgreSQL三、语法规范四、注释五、MySQL脚本中的标点符号一、简介1、SQL是结构化查询语言（StructureQueryLanguage），专门用来操作/访问关系型数据库的通用语
  • 跟着黑马学mysql（5） 小杜不吃糖 mysql数据库
    17.DQL-聚合函数DQL-聚合函数介绍将一列数据作为一个整体，进行纵向计算。常见聚合函数函数功能count统计数量max最大值min最小值avg平均值sum求和语法SELECT聚合函数(字段列表)FROM表名;注意：所有的null值不参与聚合函数的运算18.DQL-分组查询语法SELECT字段列表FROM表名[WHERE条件]GROUPBY分组字段名[HAVING分组后的过滤条件];where
  • 梧桐数据库（WuTongDB）：数据库技术中都有哪些常见的优化器 鲁鲁517 梧桐数据库梧桐数据库
    以下是一些常见的数据库优化器：1.CBO（Cost-BasedOptimizer）应用场景：广泛应用于关系型数据库中，如Oracle、PostgreSQL、MySQL等。工作原理：通过计算不同执行计划的代价（如CPU、I/O等资源消耗），选择最低代价的执行计划。代表数据库：Oracle、PostgreSQL、MySQL。特点：CBO使用统计信息（如表大小、索引分布）来评估查询的代价。2.RBO（R
  • MySQL日志 沉着冷静2024 MySQLmysql数据库
    MySQL日志文章目录MySQL日志MySQL三大日志binlog的三种格式redolog和binlog的区别和应用场景为什么崩溃恢复不用binlog而用redolog？redolog如何实现持久化redolog还能做什么？redolog的三种刷盘策略两阶段提交什么是？为什么？两阶段提交过程MySQL三大日志1.undologundolog是InnoDB存储引擎层的日志，实现了事务的原子性，主要用
  • MySQL锁 沉着冷静2024 MySQLmysql数据库
    MySQL锁文章目录MySQL锁MySQL中锁的分类创建索引时会锁表吗线上修改表结构会加什么锁Innodb存储引擎的行级锁有哪些Update语句中，不带where条件，加什么锁？MySQL实现乐观锁MySQL死锁MySQL死锁是怎么发生的？检查死锁如何避免死锁MySQL中锁的分类全局锁：主要用于全库逻辑备份表级锁：表锁、元数据锁、意向锁表锁：通过locktables语句对表进行加锁，它不仅限制其他
  • Python实现mysql命令行 xu-jssy pythonmysqladb
    一、源码importosimportpymysqldefsql_shell():password=input("EnterPassword:")#访问密码ifpassword.strip()!="yyds":print("Bye")return#清空控制台输出os.system("cls"ifos.name=="nt"else"clear")try:#连接到MySQL数据库conn=pymysql
  • mysql case 干货 lack倪酱
    这是我舍友@某人提供的是为了做酒店时判断每个楼栋有几间空房子的。房间表与数据楼栋表与数据查询楼栋房间总数查询空房间数当时就在想怎么把后一个单列的数据合并到前面那三列的数据里呢？又是百度，又是谷歌，都是什么“unitall”。。表示我要的不是这个。有点难为我小脑瓜，实在是对数据库不了解，只会日常操作。最后是我舍友想出了解决办法直接贴图好了，如果想要了解case是什么，你可以自行查资料。学习查东西也是
  • 计算机毕设Node.js+Vue校园易购二手交易平台（程序+LW+部署） Node程序源码强子 vue.js课程设计node.js
    项目运行环境配置：Node.js最新版+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue。项目技术：Express框架+Node.js+Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是Nodejs最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
  • MySQL 源码｜55 - 语法解析(V2)：基础查询语句（query_specification）｜V20240915 长行 MySQL源码mysql源码语法解析查询
    目录文档：MySQL源码｜源码剖析文档目录源码位置（版本=MySQL8.0.37）：sql/sql_yacc.yy前置文档：MySQL源码｜68-语法解析(V2)：LOCKING子句（锁定读取）｜V20240909MySQL源码｜39-语法解析(V2)：ORDERBY子句｜V20240814｜V20240912（第2版）MySQL源码｜40-语法解析(V2)：GROUPBY子句｜V20240814
  • 老生常谈：MySQL高可用架构 我有一头小花驴 mysql架构数据库
    引言“高可用”是互联网一个永恒的话题，先避开MySQL不谈，为了保证各种服务的高可用有几种常用的解决方案。服务冗余：把服务部署多份，当某个节点不可用时，切换到其他节点。服务冗余对于无状态的服务是相对容易的。服务备份：有些服务是无法同时存在多个运行时的，比如说：Nginx的反向代理，一些集群的leader节点。这时可以存在一个备份服务，处于随时待命状态。自动切换：服务冗余之后，当某个节点不可用时，要
  • mysql 隐秘后门_【技术分享】CVE-2016-5483：利用mysqldump备份可生成后门 Toby Dai mysql隐秘后门
    预估稿费：100RMB投稿方式：发送邮件至linwei#360.cn，或登陆网页版在线投稿前言mysqldump是用来创建MySQL数据库逻辑备份的一个常用工具。它在默认配置下可以生成一个.sql文件，其中包含创建/删除表和插入数据等。在导入转储文件的时候，攻击者可以通过制造恶意表名来实现任意SQL语句查询和shell命令执行的目的。另一个与之相关的漏洞利用场景可以参考。攻击场景攻击者已经能够访问
  • 处理绿盟科技安全评估的系统漏洞 自我修炼的小石头 数据库运维开发工具
    如下图一次扫描,中度风险39个,这个是必须要处理的.其中mysql占了36个,一看这个感觉整个人都不好了.但是最后解决的办法也很简单,就是升级.系统版本Redhat7.31.telnet因为要升级openssh,openssl,为了避免意外,首先要开启telnet服务,并把所有相关的包上传到服务器.1.1确认是否安装了telnet和xinetd（默认是没有安装）rpm-qatelnet*rpm-q
  • 关于旗正规则引擎下载页面需要弹窗保存到本地目录的问题 何必如此 jsp超链接文件下载窗口
    生成下载页面是需要选择“录入提交页面”，生成之后默认的下载页面<a>标签超链接为：<a href="<%=root_stimage%>stimage/image.jsp?filename=<%=strfile234%>&attachname=<%=java.net.URLEncoder.encode(file234filesourc
  • 【Spark九十八】Standalone Cluster Mode下的资源调度源代码分析 bit1129 cluster
    在分析源代码之前，首先对Standalone Cluster Mode的资源调度有一个基本的认识： 首先，运行一个Application需要Driver进程和一组Executor进程。在Standalone Cluster Mode下，Driver和Executor都是在Master的监护下给Worker发消息创建(Driver进程和Executor进程都需要分配内存和CPU，这就需要Maste
  • linux上独立安装部署spark daizj linux安装spark1.4部署
    下面讲一下linux上安装spark，以 Standalone Mode 安装   1）首先安装JDK   下载JDK：jdk-7u79-linux-x64.tar.gz  ，版本是1.7以上都行，解压 tar -zxvf jdk-7u79-linux-x64.tar.gz     然后配置 ~/.bashrc&nb
  • Java 字节码之解析一 周凡杨 java字节码javap
        一： Java 字节代码的组织形式   类文件 {     OxCAFEBABE ，小版本号，大版本号，常量池大小，常量池数组，访问控制标记，当前类信息，父类信息，实现的接口个数，实现的接口信息数组，域个数，域信息数组，方法个数，方法信息数组，属性个数，属性信息数组 } &nbs
  • java各种小工具代码 g21121 java
    1.数组转换成List import java.util.Arrays; Arrays.asList(Object[] obj); 2.判断一个String型是否有值 import org.springframework.util.StringUtils; if (StringUtils.hasText(str)) 3.判断一个List是否有值 import org.spring
  • 加快FineReport报表设计的几个心得体会 老A不折腾 finereport
    一、从远程服务器大批量取数进行表样设计时，最好按“列顺序”取一个“空的SQL语句”，这样可提高设计速度。否则每次设计时模板均要从远程读取数据，速度相当慢！！ 二、找一个富文本编辑软件（如NOTEPAD+）编辑SQL语句，这样会很好地检查语法。有时候带参数较多检查语法复杂时，结合FineReport中生成的日志，再找一个第三方数据库访问软件（如PL/SQL）进行数据检索，可以很快定位语法错误。
  • mysql linux启动与停止 墙头上一根草
    如何启动/停止/重启MySQL一、启动方式1、使用 service 启动：service mysqld start2、使用 mysqld 脚本启动：/etc/inint.d/mysqld start3、使用 safe_mysqld 启动：safe_mysqld&二、停止1、使用 service 启动：service mysqld stop2、使用 mysqld 脚本启动：/etc/inin
  • Spring中事务管理浅谈 aijuans spring事务管理
    Spring中事务管理浅谈 By Tony Jiang@2012-1-20 Spring中对事务的声明式管理 拿一个XML举例 [html]  view plain copy print ? <?xml version="1.0" encoding="UTF-8"?>&nb
  • php中隐形字符65279（utf-8的BOM头）问题 alxw4616
    php中隐形字符65279（utf-8的BOM头）问题 今天遇到一个问题. php输出JSON 前端在解析时发生问题:parsererror.   调试: 1.仔细对比字符串发现字符串拼写正确.怀疑是 非打印字符的问题. 2.逐一将字符串还原为unicode编码. 发现在字符串头的位置出现了一个 65279的非打印字符.        
  • 调用对象是否需要传递对象(初学者一定要注意这个问题) 百合不是茶 对象的传递与调用技巧
        类和对象的简单的复习,在做项目的过程中有时候不知道怎样来调用类创建的对象,简单的几个类可以看清楚,一般在项目中创建十几个类往往就不知道怎么来看   为了以后能够看清楚,现在来回顾一下类和对象的创建,对象的调用和传递(前面写过一篇)   类和对象的基础概念:   JAVA中万事万物都是类 类有字段(属性),方法,嵌套类和嵌套接
  • JDK1.5 AtomicLong实例 bijian1013 javathreadjava多线程AtomicLong
    JDK1.5 AtomicLong实例 类 AtomicLong 可以用原子方式更新的 long 值。有关原子变量属性的描述，请参阅 java.util.concurrent.atomic 包规范。AtomicLong 可用在应用程序中（如以原子方式增加的序列号），并且不能用于替换 Long。但是，此类确实扩展了 Number，允许那些处理基于数字类的工具和实用工具进行统一访问。  
  • 自定义的RPC的Java实现 bijian1013 javarpc
            网上看到纯java实现的RPC，很不错。         RPC的全名Remote Process Call，即远程过程调用。使用RPC，可以像使用本地的程序一样使用远程服务器上的程序。下面是一个简单的RPC 调用实例，从中可以看到RPC如何
  • 【RPC框架Hessian一】Hessian RPC Hello World bit1129 Hello world
    什么是Hessian The Hessian binary web service protocol makes web services usable without requiring a large framework, and without learning yet another alphabet soup of protocols. Because it is a binary p
  • 【Spark九十五】Spark Shell操作Spark SQL bit1129 shell
    在Spark Shell上，通过创建HiveContext可以直接进行Hive操作   1. 操作Hive中已存在的表   [hadoop@hadoop bin]$ ./spark-shell Spark assembly has been built with Hive, including Datanucleus jars on classpath Welcom
  • F5　往header加入客户端的ip ronin47
    when HTTP_RESPONSE {if {[HTTP::is_redirect]}{         HTTP::header replace Location [string map {:port/ /} [HTTP::header value Location]]HTTP::header replace Lo
  • java-61-在数组中，数字减去它右边(注意是右边)的数字得到一个数对之差. 求所有数对之差的最大值。例如在数组{2, 4, 1, 16, 7, 5, bylijinnan java
    思路来自： http://zhedahht.blog.163.com/blog/static/2541117420116135376632/ 写了个java版的 public class GreatestLeftRightDiff { /** * Q61.在数组中，数字减去它右边(注意是右边)的数字得到一个数对之差。 * 求所有数对之差的最大值。例如在数组
  • mongoDB 索引 开窍的石头 mongoDB索引
    在这一节中我们讲讲在mongo中如何创建索引       得到当前查询的索引信息      db.user.find(_id:12).explain();        cursor: basicCoursor 指的是没有索引  &
  • [硬件和系统]迎峰度夏 comsci 系统
      从这几天的气温来看，今年夏天的高温天气可能会维持在一个比较长的时间内    所以，从现在开始准备渡过炎热的夏天。。。。    每间房屋要有一个落地电风扇，一个空调(空调的功率和房间的面积有密切的关系)    坐的，躺的地方要有凉垫，床上要有凉席       电脑的机箱
  • 基于ThinkPHP开发的公司官网 cuiyadll 行业系统
    后端基于ThinkPHP，前端基于jQuery和BootstrapCo.MZ 企业系统 轻量级企业网站管理系统 运行环境:PHP5.3+, MySQL5.0 系统预览 系统下载：http://www.tecmz.com 预览地址：http://co.tecmz.com 各种设备自适应 响应式的网站设计能够对用户产生友好度，并且对于
  • Transaction and redelivery in JMS (JMS的事务和失败消息重发机制) darrenzhu jms事务承认MQacknowledge
    JMS Message Delivery Reliability and Acknowledgement Patterns http://wso2.com/library/articles/2013/01/jms-message-delivery-reliability-acknowledgement-patterns/ Transaction and redelivery in
  • Centos添加硬盘完全教程 dcj3sjt126com linuxcentoshardware
    Linux的硬盘识别: sda        表示第1块SCSI硬盘 hda       表示第1块IDE硬盘 scd0      表示第1个USB光驱 一般使用“fdisk -l”命
  • yii2 restful web服务路由 dcj3sjt126com PHPyii2
    路由 随着资源和控制器类准备，您可以使用URL如 http://localhost/index.php?r=user/create访问资源，类似于你可以用正常的Web应用程序做法。 在实践中，你通常要用美观的URL并采取有优势的HTTP动词。 例如，请求POST /users意味着访问user/create动作。 这可以很容易地通过配置urlManager应用程序组件来完成 如下所示
  • MongoDB查询(4)——游标和分页[八] eksliang mongodbMongoDB游标MongoDB深分页
    转载请出自出处：http://eksliang.iteye.com/blog/2177567 一、游标         数据库使用游标返回find的执行结果。客户端对游标的实现通常能够对最终结果进行有效控制，从shell中定义一个游标非常简单，就是将查询结果分配给一个变量（用var声明的变量就是局部变量），便创建了一个游标，如下所示： > var
  • Activity的四种启动模式和onNewIntent() gundumw100 android
    Android中Activity启动模式详解 　　在Android中每个界面都是一个Activity，切换界面操作其实是多个不同Activity之间的实例化操作。在Android中Activity的启动模式决定了Activity的启动运行方式。 　　Android总Activity的启动模式分为四种： Activity启动模式设置： <acti
  • 攻城狮送女友的CSS3生日蛋糕 ini htmlWebhtml5csscss3
    在线预览：http://keleyi.com/keleyi/phtml/html5/29.htm   代码如下：   <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>攻城狮送女友的CSS3生日蛋糕-柯乐义<
  • 读源码学Servlet（1）GenericServlet 源码分析 jzinfo tomcatWebservlet网络应用网络协议
    Servlet API的核心就是javax.servlet.Servlet接口，所有的Servlet 类（抽象的或者自己写的）都必须实现这个接口。在Servlet接口中定义了5个方法，其中有3个方法是由Servlet 容器在Servlet的生命周期的不同阶段来调用的特定方法。     先看javax.servlet.servlet接口源码：  package
  • JAVA进阶：VO(DTO)与PO(DAO)之间的转换 snoopy7713 javaVOHibernatepo
      PO即 Persistence Object　　VO即 Value Object 　VO和PO的主要区别在于：　　VO是独立的Java Object。　　PO是由Hibernate纳入其实体容器（Entity Map）的对象，它代表了与数据库中某条记录对应的Hibernate实体，PO的变化在事务提交时将反应到实际数据库中。 　实际上，这个VO被用作Data Transfer
  • mongodb group by date 聚合查询日期 统计每天数据（信息量） qiaolevip 每天进步一点点学习永无止境mongodb纵观千象
    /* 1 */ { "_id" : ObjectId("557ac1e2153c43c320393d9d"), "msgType" : "text", "sendTime" : ISODate("2015-06-12T11:26:26.000Z")
  • java之18天 常用的类(一) Luob. MathDateSystemRuntimeRundom
    System类 import java.util.Properties; /** * System: * out:标准输出,默认是控制台 * in:标准输入,默认是键盘 * * 描述系统的一些信息 * 获取系统的属性信息:Properties getProperties(); * * * */ public class Sy
  • maven wuai maven
    1、安装maven：解压缩、添加M2_HOME、添加环境变量path 2、创建maven_home文件夹，创建项目mvn_ch01,在其下面建立src、pom.xml，在src下面简历main、test、main下面建立java文件夹 3、编写类，在java文件夹下面依照类的包逐层创建文件夹，将此类放入最后一级文件夹 4、进入mvn_ch01 4.1、mvn compile ,执行后会在
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他