MySQL5.7升级到MySQL8.0的最佳实践分享

一、前言

事出必有因，在这个月的某个项目中，我们面临了一项重要任务，即每年一次的等保测评整改。这次测评的重点是Mysql的一些高危漏洞，客户要求我们无论如何必须解决这些漏洞。尽管我们感到无奈，但为了满足客户的要求，我们只能硬着头皮进行升级。而碰巧的是，Mysql5.7在10月份停止了更新，借着这次机会，我们决定研究一下Mysql5.7升级到Mysql8.0的过程。在本文的最后，我将分享一些在这次升级过程中遇到的问题。

升级需求：将5.7.43升级到8.0.34, 升级方式 in-place升级【关闭现有版本MySQL，将二进制或包替换成新版本并在现有数据目录上启动MySQL并执行升级任务的方式，称为in-place升级】

原版本	5.7.43	CentOS Linux release 7.9.2009
新版本	8.0.34	CentOS Linux release 7.9.2009

二、Mysql 生命周期

以下Mysql 生命周期-内容来自于互联网

关于数据库版本升级，一直都是热议话题，对于升级的缘由各家也有所不同，有业务驱动的，有DBA自发驱动的，有规划导向也有方向指引的……抛开各种原因，当升级这个决定落下来的时候，对于DBA手头的几百几千套数据库来说，就好比是一场动物大迁徙，满满的画面感。

从Oracle发布的版本生命周期规划可以看到，Mysql5.7已经走到了生命周期的终点，意味着后续将不再为Mysql5.7提供官方更新、错误修复或安全补丁。

阿里云和AWS都在官方公布了版本支持计划,Mysql5.7版本已经开始了倒计时。

三、MySQL8.0的新特性

• 默认字符集由latin1变为utf8mb4。
• MyISAM系统表全部换成InnoDB表。
• JSON特性增强。
• 支持不可见索引，支持直方图。
• sql_mode参数默认值变化。
• 默认密码策略变更。
• 新增角色管理。
• 支持窗口函数，支持Hash join。

四、升级建议

• 支持从MySQL5.7升级到MySQL8.0，注意仅支持GA版本之间的升级。
• 不支持跨大版本的升级，如从5.6升级到8.0是不支持的。
• 建议升级大版本前先升级到当前版本的最近小版本，如5.7先升级到5.7.43后再升级到8.0。
• 做好充足的备份！ 数据无价！！!

五、升级前准备

5.1 Mysql-shell 检查工具兼容性

在执行升级操作前需要做一些检查工作，确认准备工作是否就绪，避免升级过程中出现异常。可以使用MySQL Shell使用util.checkForServerUpgrade进行检查，返回内容包括不符合迁移要求的问题，error的问题需要迁移前修改。

• Mysql-shell 下载地址： https://dev.mysql.com/downloads/shell/

选择 Archives ，查询更多版本

选择当前最新的版本8.0.34，x84,64-bit

• https://downloads.mysql.com/archives/get/p/43/file/mysql-shell-8.0.34-linux-glibc2.12-x86-64bit.tar.gz

#下载包

[[email protected] ~]# wget https://downloads.mysql.com/archives/get/p/43/file/mysql-shell-8.0.34-linux-glibc2.12-x86-64bit.tar.gz -C /root

[[email protected] ~]# tar -xf mysql-shell-8.0.34-linux-glibc2.12-x86-64bit.tar.gz

[[email protected] ~]# cd /root/mysql-shell-8.0.34-linux-glibc2.12-x86-64bit/bin

[[email protected] bin]# ./mysqlsh -uroot -p -S /tmp/mysql.sock -e "util.checkForServerUpgrade()" > util.checkForServerUpgrade.log

输出报告

The MySQL server at /tmp%2Fmysql.sock, version 5.7.39-log - MySQL Community

Server (GPL), will now be checked for compatibility issues for upgrade to MySQL

8.0.34...

1) Usage of old temporal type

No issues found

2) MySQL 8.0 syntax check for routine-like objects

No issues found

3) Usage of db objects with names conflicting with new reserved keywords

No issues found

4) Usage of utf8mb3 charset

Warning: The following objects use the utf8mb3 character set. It is

recommended to convert them to use utf8mb4 instead, for improved Unicode

support.

More information:

https://dev.mysql.com/doc/refman/8.0/en/charset-unicode-utf8mb3.html

mysql - schema's default character set: utf8

test - schema's default character set: utf8

5) Table names in the mysql schema conflicting with new tables in 8.0

No issues found

6) Partitioned tables using engines with non native partitioning

No issues found

7) Foreign key constraint names longer than 64 characters

No issues found

8) Usage of obsolete MAXDB sql_mode flag

No issues found

9) Usage of obsolete sql_mode flags

Notice: The following DB objects have obsolete options persisted for

sql_mode, which will be cleared during upgrade to 8.0.

More information:

https://dev.mysql.com/doc/refman/8.0/en/mysql-nutshell.html#mysql-nutshell-removals

global system variable sql_mode - defined using obsolete NO_AUTO_CREATE_USER

option

10) ENUM/SET column definitions containing elements longer than 255 characters

No issues found

11) Usage of partitioned tables in shared tablespaces

No issues found

12) Circular directory references in tablespace data file paths

No issues found

13) Usage of removed functions

No issues found

14) Usage of removed GROUP BY ASC/DESC syntax

No issues found

15) Removed system variables for error logging to the system log configuration

To run this check requires full path to MySQL server configuration file to be specified at 'configPath' key of options dictionary

More information:

https://dev.mysql.com/doc/relnotes/mysql/8.0/en/news-8-0-13.html#mysqld-8-0-13-logging

16) Removed system variables

To run this check requires full path to MySQL server configuration file to be specified at 'configPath' key of options dictionary

More information:

https://dev.mysql.com/doc/refman/8.0/en/added-deprecated-removed.html#optvars-removed

17) System variables with new default values

To run this check requires full path to MySQL server configuration file to be specified at 'configPath' key of options dictionary

More information:

https://mysqlserverteam.com/new-defaults-in-mysql-8-0/

18) Zero Date, Datetime, and Timestamp values

No issues found

19) Schema inconsistencies resulting from file removal or corruption

No issues found

20) Tables recognized by InnoDB that belong to a different engine

No issues found

21) Issues reported by 'check table x for upgrade' command

No issues found

22) New default authentication plugin considerations

Warning: The new default authentication plugin 'caching_sha2_password' offers

more secure password hashing than previously used 'mysql_native_password'

(and consequent improved client connection authentication). However, it also

has compatibility implications that may affect existing MySQL installations.

If your MySQL installation must serve pre-8.0 clients and you encounter

compatibility issues after upgrading, the simplest way to address those

issues is to reconfigure the server to revert to the previous default

authentication plugin (mysql_native_password). For example, use these lines

in the server option file:

[mysqld]

default_authentication_plugin=mysql_native_password

However, the setting should be viewed as temporary, not as a long term or

permanent solution, because it causes new accounts created with the setting

in effect to forego the improved authentication security.

If you are using replication please take time to understand how the

authentication plugin changes may impact you.

More information:

https://dev.mysql.com/doc/refman/8.0/en/upgrading-from-previous-series.html#upgrade-caching-sha2-password-compatibility-issues

https://dev.mysql.com/doc/refman/8.0/en/upgrading-from-previous-series.html#upgrade-caching-sha2-password-replication

23) Columns which cannot have default values

No issues found

24) Check for invalid table names and schema names used in 5.7

No issues found

25) Check for orphaned routines in 5.7

No issues found

26) Check for deprecated usage of single dollar signs in object names

No issues found

27) Check for indexes that are too large to work on higher versions of MySQL

Server than 5.7

No issues found

28) Check for deprecated '.

' syntax used in routines.

No issues found

Errors: 0

Warnings: 3

Notices: 1

NOTE: No fatal errors were found that would prevent an upgrade, but some potential issues were detected. Please ensure that the reported issues are not significant before upgrading.

从输出报告可以看出，升级检查器在28个方面进行了检查，最终得出3个警告信息和1个提示。

消除警告：

• Usage of utf8mb3 charset 在MySQL 8.0版本之前，默认字符集为latin1 ，utf8字符集指向的是utf8mb3 。从MySQL8.0开始，数据库的默认编码将改为utf8mb4 ；为了避免新旧对象字符集不一致的情况，可以在配置文件将字符集和校验规则设置为旧版本的字符集和比较规则。
• New default authentication plugin considerations，密码认证插件变更。为了避免连接问题，可以仍采用5.7的mysql_native_password认证插件。

消除提示：

• Usage of obsolete sql_mode flags： Mysq8.0 版本sql_mode不支持NO_AUTO_CREATE_USER，要避免配置的sql_mode中带有NO_AUTO_CREATE_USER。

通过以上的例子，可以发现，MySQL Shell提供的升级检查工具能够帮助我们检测版本兼容性，减轻升级工作负担。

5.2 逻辑备份Mysql数据

which mysqldump

/home/application/mysql/app/bin/mysqldump

# --routines 备份存储过程和函数；--set-gtid-purged=OFF: 禁用GTID（全局事务标识）;xxx1,XXX2 表示库名，备份多个库 用空格做为间隔

/home/application/mysql/app/bin/mysqldump -uroot -p --routines --set-gtid-purged=OFF --databases XXX1 XXX2 > /root/all-database-20231026.sql

5.3 优雅的停止数据库

# 进入原5.7 mysql命令行 正确关闭数据库

[[email protected] ~]# mysql -uroot -p'srebro'

mysql> select version();

+------------+

| version() |

+------------+

| 5.7.43-log |

+------------+

1 row in set (0.00 sec)

mysql> show variables like 'innodb_fast_shutdown';

+----------------------+-------+

| Variable_name | Value |

+----------------------+-------+

| innodb_fast_shutdown | 1 |

+----------------------+-------+

1 row in set (0.00 sec)

# 确保数据都刷到硬盘上，更改成0

InnoDB 关闭模式。

如果值为 0，InnoDB 会在关闭前进行缓慢关闭、完全清除和更改缓冲区合并。

如果值为 1（默认值），InnoDB 会在关闭时跳过这些操作，这个过程称为快速关闭。

如果值为 2，InnoDB 刷新其日志并冷关机，就好像 MySQL 崩溃了；没有提交的事务丢失，但崩溃恢复操作使下一次启动需要更长的时间。 在仍然缓冲大量数据的极端情况下，缓慢关闭可能需要几分钟甚至几小时。

mysql> set global innodb_fast_shutdown=0;

Query OK, 0 rows affected (0.00 sec)

mysql> shutdown;

Query OK, 0 rows affected (0.00 sec)

mysql> exit

Bye

[root@cmdb ~]# ps -ef | grep mysql

root 30990 30934 0 16:12 pts/0 00:00:00 grep --color=auto mysql

5.4 备份Mysql 数据目录,安装目录 和配置文件

--确认数据库状态为关闭状态
[[email protected] ~]# systemctl status mysqld

--数据目录备份

[[email protected] ~]# cp -r /home/application/mysql/data /home/application/mysql/data_bak_`date +%F`

--安装目录备份

[[email protected] ~]# cp -r /home/application/mysql/app/ /home/application/mysql/app_bak_`date +%F`

--配置文件备份

[[email protected] ~]# cp /etc/my.cnf /etc/my.cnf_`date +%F`

5.5 下载并解压MySQL8

• https://dev.mysql.com/downloads/

  

选择 Archives ，查询更多版本

• 下载地址： https://downloads.mysql.com/archives/get/p/23/file/mysql-8.0.34-linux-glibc2.12-x86_64.tar.xz 选择mysql-8.0.34-linux-glibc2.12-x86_64.tar.xz

#执行以下步骤解压tar包：

# 安装包上传至原安装包目录下 我的是/home/application/mysql

[[email protected] ~]# cd /home/application/mysql

[[email protected] mysql]# wget https://downloads.mysql.com/archives/get/p/23/file/mysql-8.0.34-linux-glibc2.12-x86_64.tar.xz

[[email protected] mysql]# tar -xf mysql-8.0.34-linux-glibc2.12-x86_64.tar.xz

# 文件夹重命名为mysql8

[[email protected] mysql]# mv mysql-8.0.34-linux-glibc2.12-x86_64 mysql8

# 更改文件夹所属

[[email protected] mysql]# chown -Rf mysql:mysql /home/application/mysql/mysql8

# 删除安装包

[[email protected] mysql]# rm -rf mysql-8.0.34-linux-glibc2.12-x86_64.tar.xz

六、升级

6.1 修改my.cnf 配置文件

因5.7版本与8.0版本参数有所不同，为了能顺利升级，我们需要更改部分配置参数。主要注意sql_mode、basedir、密码认证插件及字符集设置，其他参数最好还是按照原5.7的来，不需要做调整。下面展示5.7和8.0的配置文件,注意备份原来配置文件。

6.1.1 Mysql5.7_my.cnf 配置文件

[mysql]

socket=/tmp/mysql.sock

default-character-set=utf8

[mysqld]

user=mysql

basedir=/home/application/mysql/app

datadir=/home/application/mysql/data

character_set_server=utf8

collation-server=utf8_general_ci

#日志时间

log_timestamps=SYSTEM

port=3306

socket=/tmp/mysql.sock

max_connections=1000

max_allowed_packet=500M

sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION

#慢日志

long_query_time=3

slow_query_log=ON

slow_query_log_file=/home/application/mysql/slow_query.log

#错误日志

log-error=/home/application/mysql/mysql-error.log

#binlog配置

server_id=150

log-bin=mysql-bin

max_binlog_size = 100M

binlog_format=row

log_slave_updates

expire_logs_days=7

#只能用IP地址检查客户端的登录，不用主机名

skip-name-resolve=1

6.1.2 Mysql8.0_my.cnf 配置文件

[mysql]
socket=/tmp/mysql.sock

default-character-set=utf8

[mysqld]

user=mysql

#日志时间

log_timestamps=SYSTEM

port=3306

socket=/tmp/mysql.sock

max_connections=1000

max_allowed_packet=500M

#只能用IP地址检查客户端的登录，不用主机名

skip-name-resolve=1

#binlog配置

server_id=150

log-bin=mysql-bin

max_binlog_size = 100M

binlog_format=row

log_slave_updates

expire_logs_days=7

#慢日志

long_query_time=3

slow_query_log=ON

slow_query_log_file=/home/application/mysql/slow_query.log

#错误日志

log-error=/home/application/mysql/mysql-error.log

#for8.0

sql_mode = STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION

basedir=/home/application/mysql/mysql8

datadir=/home/application/mysql/data

character_set_server=utf8

collation-server=utf8_general_ci

# 默认使用"mysql_native_password"插件认证

default_authentication_plugin=mysql_native_password

# 创建新表时将使用的默认存储引擎

default-storage-engine=INNODB

6.2 执行升级程序

在mysql5.7升级的时候，MySQL启动后还需执行mysql_upgrade后重启MySQL。MySQL8.0.16开始，MySQL 不推荐使用mysql_upgrade； 直接使用 mysqld_safe 直接启动。关于--upgrade=的一些参数

• --upgrade=AUTO MySQL升级所有过时的内容
• --upgrade=NONE MySQL跳过升级步骤，可能会导致报错
• --upgrade=MINIMAL MySQL在必要时升级数据字典表，information_schema和information_schema。这可能会导致部分功能不能正常使用，例如MGR
• --upgrade=FORCE MySQL会升级所有的内容，这会检查所有schema的所有对象，导致MySQL需要更长的时间启动。此模式下MySQL会重新创建系统表if they are missing。

[[email protected] ~]# /home/application/mysql/mysql8/bin/mysqld_safe --defaults-file=/etc/my.cnf --user=mysql --upgrade=FORCE

2023-10-30T07:33:23.595626Z mysqld_safe Logging to '/home/application/mysql/mysql-error.log'.

2023-10-30T07:33:23.620303Z mysqld_safe Starting mysqld daemon with databases from /home/application/mysql/data

会一直卡住不用担心

新开一个窗口，可观察下错误日志看是否报错/home/application/mysql/mysql-error.log然后登录数据库测试

[[email protected] ~]# mysql -uroot -p'srebro'

Enter password:

Welcome to the MySQL monitor. Commands end with ; or \g.

Your MySQL connection id is 12

Server version: 8.0.34 MySQL Community Server - GPL

Copyright (c) 2000, 2022, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> select version();

+-----------+

| version() |

+-----------+

| 8.0.34 |

+-----------+

1 row in set (0.00 sec)

mysql>

6.3 修改Mysql环境变量

由于basedir 从/home/application/mysql/app 变成了 /home/application/mysql/mysql8，需要修改下环境变量信息：

[[email protected] ~]# vim /etc/profile

export PATH=$PATH:/home/application/mysql/mysql8/bin

.......

#使环境变量生效

[[email protected] ~]# source /etc/profile

#验证下mysql环境变量

#退出当前终端

[[email protected] ~]# exit

[[email protected] ~]# which mysql

/home/application/mysql/mysql8/bin/mysql

[[email protected] ~]# mysql -V

mysql Ver 8.0.34 for Linux on x86_64 (MySQL Community Server - GPL)

6.4 停止mysqld_safe进程，使用systemd管理Mysql8

[root@cmdb ~]# kill -9 `ps -ef | grep mysql | awk '{print $2}'`

#确认没有mysql进程

[root@cmdb ~]# ps -ef | grep mysql

#使用systemd管理mysql8

#修改原先的ExecStart中，basedir的路径，改为mysql8 的路径

[root@cmdb ~]# vim /etc/systemd/system/mysqld.service

[Unit]

Description=MySQL Server

Documentation=man:mysqld

Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html

After=network.target

After=syslog.target

[Install]

WantedBy=multi-user.target

[Service]

User=mysql

Group=mysql

ExecStart=/home/application/mysql/mysql8/bin/mysqld --defaults-file=/etc/my.cnf

LimitNOFILE = 65535

6.5 配置mysql8开机自启&启动mysql8

#reload下systemd

[root@cmdb ~]# systemctl daemon-reload

#加入开机自启动

[root@cmdb ~]# systemctl enable mysqld

Created symlink from /etc/systemd/system/multi-user.target.wants/mysqld.service to /etc/systemd/system/mysqld.service.

#启动mysql8数据库

[root@cmdb ~]# systemctl start mysqld

[root@cmdb ~]# ps -ef | grep mysql

mysql 9497 1 36 14:59 ? 00:00:01 /home/application/mysql/mysql8/bin/mysqld --defaults-file=/etc/my.cnf

root 9544 8560 0 14:59 pts/0 00:00:00 grep --color=auto mysql

#登录数据库验证

[root@cmdb ~]# mysql -uroot -p'srebro'

Enter password:

Welcome to the MySQL monitor. Commands end with ; or \g.

Your MySQL connection id is 8

Server version: 8.0.34 MySQL Community Server - GPL

Copyright (c) 2000, 2023, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> select version();

+-----------+

| version() |

+-----------+

| 8.0.34 |

+-----------+

1 row in set (0.00 sec)

mysql> show databases;

+--------------------+

| Database |

+--------------------+

| information_schema |

| mysql |

| performance_schema |

| srebro |

| sys |

| test |

+--------------------+

5 rows in set (0.00 sec)

mysql>

七、一些问题

7.1 问题一

在升级Mysql8.0后，关于JDBC中SSL连接的一些报错信息，如下图：

经排查发现，Mysql8.0 数据库默认开启了SSL认证，且之前Mysql5.7.39 也是默认开启了SSL认证，代码和JDBC驱动版本都没有变化，那很有可能就是Mysql8.0 中对于SSL的一个变化，咨询了DBA 朋友，专业的解释是，在5.7.31的时候SSL在源码中貌似没有真正的起作用，后面版本完善了这块的内容。倘若，不使用SSL去连接，就 需要按照如下的方法去处理：

• 方法一： 从数据库成面，直接在my.cnf 中 添加skip_ssl 参数，从源头上关闭SSL 认证的方式
• 方法二： 从代码层面，在JDBC 连接中，使用 &useSSL=false 参数，表示不使用SSL 认证

7.2 问题二

Mysql 报错unblock with ‘mysqladmin flush-hosts’，报错如下：

JDBC连接报错，报错内容 ERROR 1129 (HY000): Host ‘192.168.1.34’ is blocked because of many connection errors; unblock with ‘mysqladmin flush-hosts’

原因： 同一个ip在短时间内产生太多，中断的数据库连接而导致的阻塞；而中断的因为有些业务使用SSL去连接数据库，导致登录失败，登录被锁；

临时解决方法，使用mysqladmin flush-hosts 命令清理一下hosts文件，mysqladmin -u xxx -p flush-hosts,根本上去解决，就需要排查什么异常的连接导致阻塞，登录被锁，比如上面提到的SSL认证的问题。

八、参考

• https://www.modb.pro/db/1715541568826990592
• https://www.modb.pro/db/530848
• https://www.modb.pro/db/1716302208709517312

你可能感兴趣的:(centos,mysql,数据库)

• mysql禁用远程登录 igotyback mysql
  去mysql库中的user表里，将host都改成localhost之后刷新权限FLUSHPRIVILEGES;
• Google earth studio 简介 陟彼高冈yu 旅游
  GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
• 关于提高复杂业务逻辑代码可读性的思考 编程经验分享 开发经验java数据库开发语言
  目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
• SQL Server_查询某一数据库中的所有表的内容 qq_42772833 SQLServer数据库sqlserver
  1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
• 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库python
  深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
• MYSQL面试系列-04 king01299 面试mysql面试
  MYSQL面试系列-0417.关于redolog和binlog的刷盘机制、redolog、undolog作用、GTID是做什么的？innodb_flush_log_at_trx_commit及sync_binlog参数意义双117.1innodb_flush_log_at_trx_commit该变量定义了InnoDB在每次事务提交时，如何处理未刷入（flush）的重做日志信息（redolog）。它
• MongoDB Oplog 窗口 喝醉酒的小白 MongoDB运维
  在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
• python os 环境变量 CV矿工 python开发语言numpy
  环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
• 第六集如何安装CentOS7.0，3分钟学会centos7安装教程 date分享
  从光盘引导系统按回车键继续进入引导程序安装界面，选择语言这里选择简体中文版点击继续选择桌面安装下面给系统分区选择磁盘，点击完成选择基本分区，点击加号swap分区,大小填内存的两倍在选择根分区，使用所有可用的磁盘空间选择文件系统ext4点击完成，点击开始安装设置root密码，点击完成设置普通用户和密码，点击完成整个过程持续八分钟左右根据个人配置不同，时间长短不同好，现在点击重启系统进入重启状态点击本
• 【PG】常见数据库、表属性设置 江无羡 数据库
  PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
• nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
  Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
• insert into select 主键自增_mybatis拦截器实现主键自动生成 weixin_39521651 insertintoselect主键自增mybatisdelete返回值mybatisinsert返回主键mybatisinsert返回对象mybatisplusinsert返回主键mybatisplus插入生成id
  前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
• 关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解 秋刀prince mysqlmysql数据库
  提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
• 1分钟解决 -bash: mvn: command not found，在Centos 7中安装Maven Energet!c 开发语言
  1分钟解决-bash:mvn:commandnotfound，在Centos7中安装Maven检查Java环境1下载Maven2解压Maven3配置环境变量4验证安装5常见问题与注意事项6总结检查Java环境Maven依赖Java环境，请确保系统已经安装了Java并配置了环境变量。可以通过以下命令检查：java-version如果未安装，请先安装Java。1下载Maven从官网下载：前往Apach
• CentOS的根目录下，/bin 和 /sbin 用途和权限 Energet!c Linux日常centoslinux运维
  CentOS的根目录下，/bin和/sbin用途和权限一、/bin(Binary)二、/sbin(SystemBinary)三、总结在CentOS的根目录下，/bin和/sbin目录有不同的用途和权限一、/bin(Binary)用途:存放系统的基本命令，这些命令对所有用户都是可用的。例如：ls、cp、mv、rm等。权限:普通用户和系统管理员都可以使用这些命令。二、/sbin(SystemBinar
• CentOS 7官方源停服，配置本机光盘yum源 码哝小鱼 linux运维centoslinux运维
  1、挂载系统光盘mkdir/mnt/isomount-oloop/tools/CentOS-7-x86_64-DVD-1810.iso/mnt/isocd/mnt/iso/Packages/rpm-ivh/mnt/iso/Packages/yum-utils-1.1.31-50.el7.noarch.rpm(图形界面安装，默契已安装）如安装yum-utils依赖错误，按提示安装依赖包rpm-ivh
• 第1步win10宿主机与虚拟机通过NAT共享上网互通 学习3人组 大数据大数据
  VM的CentOS采用NAT共用宿主机网卡宿主机器无法连接到虚拟CentOS要实现宿主机与虚拟机通信，原理就是给宿主机的网卡配置一个与虚拟机网关相同网段的IP地址，实现可以互通。1、查看虚拟机的IP地址2、编辑虚拟机的虚拟网络的NAT和DHCP的配置，设置虚拟机的网卡选择NAT共享模式3、宿主机的IP配置，确保vnet8的IPV4属性与虚拟机在同一网段4、ping测试连通性[root@localh
• Java爬虫框架（一）--架构设计 狼图腾-狼之传说 java框架java任务html解析器存储电子商务
  一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
• MongoDB知识概括 GeorgeLin98 持久层mongodb
  MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
• Mongodb Error: queryTxt ETIMEOUT xxxx.wwwdz.mongodb.net 佛一脚 errorreactmongodb数据库
  背景每天都能遇到奇怪的问题，做个记录，以便有缘人能得到帮助！换了一台电脑开发nextjs程序。需要连接mongodb数据，对数据进行增删改查。上一台电脑好好的程序，新电脑死活连不上mongodb数据库。同一套代码，没任何修改，搞得我怀疑人生了，打开浏览器进入mongodb官网毫无问题，也能进入线上系统查看数据，网络应该是没问题。于是我尝试了一下手机热点，这次代码能正常跑起来，连接数据库了！！！是不
• 入门MySQL——查询语法练习 K_un
  前言：前面几篇文章为大家介绍了DML以及DDL语句的使用方法，本篇文章将主要讲述常用的查询语法。其实MySQL官网给出了多个示例数据库供大家实用查询，下面我们以最常用的员工示例数据库为准，详细介绍各自常用的查询语法。1.员工示例数据库导入官方文档员工示例数据库介绍及下载链接：https://dev.mysql.com/doc/employee/en/employees-installation.h
• 博客网站制作教程 2401_85194651 javamaven
  首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
• ubuntu安装wordpress lissettecarlr
  1安装nginx网上安装方式很多，这就就直接用apt-get了apt-getinstallnginx不用启动啥，然后直接在浏览器里面输入IP:80就能看到nginx的主页了。如果修改了一些配置可以使用下列命令重启一下systemctlrestartnginx.service2安装mysql输入安装前也可以更新一下软件源，在安装过程中将会让你输入数据库的密码。sudoapt-getinstallmy
• 深入浅出 -- 系统架构之负载均衡Nginx的性能优化 xiaoli8748_软件开发 系统架构系统架构负载均衡nginx
  一、Nginx性能优化到这里文章的篇幅较长了，最后再来聊一下关于Nginx的性能优化，主要就简单说说收益最高的几个优化项，在这块就不再展开叙述了，毕竟影响性能都有多方面原因导致的，比如网络、服务器硬件、操作系统、后端服务、程序自身、数据库服务等，对于性能调优比较感兴趣的可以参考之前《JVM性能调优》中的调优思想。优化一：打开长连接配置通常Nginx作为代理服务，负责分发客户端的请求，那么建议开启H
• 【RabbitMQ 项目】服务端：数据管理模块之绑定管理 月夜星辉雪 rabbitmq分布式
  文章目录一.编写思路二.代码实践一.编写思路定义绑定信息类交换机名称队列名称绑定关键字：交换机的路由交换算法中会用到没有是否持久化的标志，因为绑定是否持久化取决于交换机和队列是否持久化，只有它们都持久化时绑定才需要持久化。绑定就好像一根绳子，两端连接着交换机和队列，当一方不存在，它就没有存在的必要了定义绑定持久化类构造函数：如果数据库文件不存在则创建，打开数据库，创建binding_table插入
• 计算机毕业设计PHP仓储综合管理系统（源码+程序+VUE+lw+部署） java毕设程序源码王哥 php课程设计vue.js
  该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：phpStudy+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：原生PHP++Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是小皮phpstudy最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
• 【2023年】云计算金砖牛刀小试6 geekgold 云计算服务器网络kubernetes容器
  第一套【任务1】私有云服务搭建[10分]【题目1】基础环境配置[0.5分]使用提供的用户名密码，登录提供的OpenStack私有云平台，在当前租户下，使用CentOS7.9镜像，创建两台云主机，云主机类型使用4vCPU/12G/100G_50G类型。当前租户下默认存在一张网卡，自行创建第二张网卡并连接至controller和compute节点（第二张网卡的网段为10.10.X.0/24，X为工位号
• 3.增删改查--连接查询 问女何所忆
  关系型数据库的一个特点就是，多张表之间存在关系，以致于我们可以连接多张表进行查询操作，所以连接查询会是关系型数据库中最常见的操作。连接查询主要分为三种，交叉连接、内连接和外连接，我们一个个说。1、交叉连接交叉连接其实连接查询的第一个阶段，它简单表现为两张表的笛卡尔积形式，具体例子：如果你没学过数学中的笛卡尔积概念，你可以这样简单的理解这里的交叉连接：两张表的交叉连接就是一个连接合并的过程，T1表中
• You have an error in your SQL syntax； check the manual that corresponds to your MySQL server version 努力的菜鸟~ sql数据库
  YouhaveanerrorinyourSQLsyntax;checkthemanualthatcorrespondstoyourMySQLserverversionfortherightsyntaxtousenear‘IDENTIFIEDBY‘123456’WITHGRANTOPTION’atline1在mysql5.7之前GRANTALLPRIVILEGESON*.*TO'root'@'%'I
• docker from指令的含义_多个FROM-含义 weixin_39722188 dockerfrom指令的含义
  小编典典什么是基本图片？一组文件，加上EXPOSE端口ENTRYPOINT和CMD。您可以添加文件并基于该基础图像构建新图像，Dockerfile并以FROM指令开头：后面提到的图像FROM是新图像的“基础图像”。这是否意味着如果我neo4j/neo4j在FROM指令中声明，则在运行映像时，neo数据库将自动运行并且可在端口7474的容器中使用？仅当您不覆盖CMD和时ENTRYPOINT。但是图像
• 关于旗正规则引擎下载页面需要弹窗保存到本地目录的问题 何必如此 jsp超链接文件下载窗口
  生成下载页面是需要选择“录入提交页面”，生成之后默认的下载页面<a>标签超链接为：<a href="<%=root_stimage%>stimage/image.jsp?filename=<%=strfile234%>&attachname=<%=java.net.URLEncoder.encode(file234filesourc
• 【Spark九十八】Standalone Cluster Mode下的资源调度源代码分析 bit1129 cluster
  在分析源代码之前，首先对Standalone Cluster Mode的资源调度有一个基本的认识： 首先，运行一个Application需要Driver进程和一组Executor进程。在Standalone Cluster Mode下，Driver和Executor都是在Master的监护下给Worker发消息创建(Driver进程和Executor进程都需要分配内存和CPU，这就需要Maste
• linux上独立安装部署spark daizj linux安装spark1.4部署
  下面讲一下linux上安装spark，以 Standalone Mode 安装   1）首先安装JDK   下载JDK：jdk-7u79-linux-x64.tar.gz  ，版本是1.7以上都行，解压 tar -zxvf jdk-7u79-linux-x64.tar.gz     然后配置 ~/.bashrc&nb
• Java 字节码之解析一 周凡杨 java字节码javap
      一： Java 字节代码的组织形式   类文件 {     OxCAFEBABE ，小版本号，大版本号，常量池大小，常量池数组，访问控制标记，当前类信息，父类信息，实现的接口个数，实现的接口信息数组，域个数，域信息数组，方法个数，方法信息数组，属性个数，属性信息数组 } &nbs
• java各种小工具代码 g21121 java
  1.数组转换成List import java.util.Arrays; Arrays.asList(Object[] obj); 2.判断一个String型是否有值 import org.springframework.util.StringUtils; if (StringUtils.hasText(str)) 3.判断一个List是否有值 import org.spring
• 加快FineReport报表设计的几个心得体会 老A不折腾 finereport
  一、从远程服务器大批量取数进行表样设计时，最好按“列顺序”取一个“空的SQL语句”，这样可提高设计速度。否则每次设计时模板均要从远程读取数据，速度相当慢！！ 二、找一个富文本编辑软件（如NOTEPAD+）编辑SQL语句，这样会很好地检查语法。有时候带参数较多检查语法复杂时，结合FineReport中生成的日志，再找一个第三方数据库访问软件（如PL/SQL）进行数据检索，可以很快定位语法错误。
• mysql linux启动与停止 墙头上一根草
  如何启动/停止/重启MySQL一、启动方式1、使用 service 启动：service mysqld start2、使用 mysqld 脚本启动：/etc/inint.d/mysqld start3、使用 safe_mysqld 启动：safe_mysqld&二、停止1、使用 service 启动：service mysqld stop2、使用 mysqld 脚本启动：/etc/inin
• Spring中事务管理浅谈 aijuans spring事务管理
  Spring中事务管理浅谈 By Tony Jiang@2012-1-20 Spring中对事务的声明式管理 拿一个XML举例 [html]  view plain copy print ? <?xml version="1.0" encoding="UTF-8"?>&nb
• php中隐形字符65279（utf-8的BOM头）问题 alxw4616
  php中隐形字符65279（utf-8的BOM头）问题 今天遇到一个问题. php输出JSON 前端在解析时发生问题:parsererror.   调试: 1.仔细对比字符串发现字符串拼写正确.怀疑是 非打印字符的问题. 2.逐一将字符串还原为unicode编码. 发现在字符串头的位置出现了一个 65279的非打印字符.        
• 调用对象是否需要传递对象(初学者一定要注意这个问题) 百合不是茶 对象的传递与调用技巧
      类和对象的简单的复习,在做项目的过程中有时候不知道怎样来调用类创建的对象,简单的几个类可以看清楚,一般在项目中创建十几个类往往就不知道怎么来看   为了以后能够看清楚,现在来回顾一下类和对象的创建,对象的调用和传递(前面写过一篇)   类和对象的基础概念:   JAVA中万事万物都是类 类有字段(属性),方法,嵌套类和嵌套接
• JDK1.5 AtomicLong实例 bijian1013 javathreadjava多线程AtomicLong
  JDK1.5 AtomicLong实例 类 AtomicLong 可以用原子方式更新的 long 值。有关原子变量属性的描述，请参阅 java.util.concurrent.atomic 包规范。AtomicLong 可用在应用程序中（如以原子方式增加的序列号），并且不能用于替换 Long。但是，此类确实扩展了 Number，允许那些处理基于数字类的工具和实用工具进行统一访问。  
• 自定义的RPC的Java实现 bijian1013 javarpc
          网上看到纯java实现的RPC，很不错。         RPC的全名Remote Process Call，即远程过程调用。使用RPC，可以像使用本地的程序一样使用远程服务器上的程序。下面是一个简单的RPC 调用实例，从中可以看到RPC如何
• 【RPC框架Hessian一】Hessian RPC Hello World bit1129 Hello world
  什么是Hessian The Hessian binary web service protocol makes web services usable without requiring a large framework, and without learning yet another alphabet soup of protocols. Because it is a binary p
• 【Spark九十五】Spark Shell操作Spark SQL bit1129 shell
  在Spark Shell上，通过创建HiveContext可以直接进行Hive操作   1. 操作Hive中已存在的表   [hadoop@hadoop bin]$ ./spark-shell Spark assembly has been built with Hive, including Datanucleus jars on classpath Welcom
• F5　往header加入客户端的ip ronin47
  when HTTP_RESPONSE {if {[HTTP::is_redirect]}{         HTTP::header replace Location [string map {:port/ /} [HTTP::header value Location]]HTTP::header replace Lo
• java-61-在数组中，数字减去它右边(注意是右边)的数字得到一个数对之差. 求所有数对之差的最大值。例如在数组{2, 4, 1, 16, 7, 5, bylijinnan java
  思路来自： http://zhedahht.blog.163.com/blog/static/2541117420116135376632/ 写了个java版的 public class GreatestLeftRightDiff { /** * Q61.在数组中，数字减去它右边(注意是右边)的数字得到一个数对之差。 * 求所有数对之差的最大值。例如在数组
• mongoDB 索引 开窍的石头 mongoDB索引
  在这一节中我们讲讲在mongo中如何创建索引       得到当前查询的索引信息      db.user.find(_id:12).explain();        cursor: basicCoursor 指的是没有索引  &
• [硬件和系统]迎峰度夏 comsci 系统
    从这几天的气温来看，今年夏天的高温天气可能会维持在一个比较长的时间内    所以，从现在开始准备渡过炎热的夏天。。。。    每间房屋要有一个落地电风扇，一个空调(空调的功率和房间的面积有密切的关系)    坐的，躺的地方要有凉垫，床上要有凉席       电脑的机箱
• 基于ThinkPHP开发的公司官网 cuiyadll 行业系统
  后端基于ThinkPHP，前端基于jQuery和BootstrapCo.MZ 企业系统 轻量级企业网站管理系统 运行环境:PHP5.3+, MySQL5.0 系统预览 系统下载：http://www.tecmz.com 预览地址：http://co.tecmz.com 各种设备自适应 响应式的网站设计能够对用户产生友好度，并且对于
• Transaction and redelivery in JMS (JMS的事务和失败消息重发机制) darrenzhu jms事务承认MQacknowledge
  JMS Message Delivery Reliability and Acknowledgement Patterns http://wso2.com/library/articles/2013/01/jms-message-delivery-reliability-acknowledgement-patterns/ Transaction and redelivery in
• Centos添加硬盘完全教程 dcj3sjt126com linuxcentoshardware
  Linux的硬盘识别: sda        表示第1块SCSI硬盘 hda       表示第1块IDE硬盘 scd0      表示第1个USB光驱 一般使用“fdisk -l”命
• yii2 restful web服务路由 dcj3sjt126com PHPyii2
  路由 随着资源和控制器类准备，您可以使用URL如 http://localhost/index.php?r=user/create访问资源，类似于你可以用正常的Web应用程序做法。 在实践中，你通常要用美观的URL并采取有优势的HTTP动词。 例如，请求POST /users意味着访问user/create动作。 这可以很容易地通过配置urlManager应用程序组件来完成 如下所示
• MongoDB查询(4)——游标和分页[八] eksliang mongodbMongoDB游标MongoDB深分页
  转载请出自出处：http://eksliang.iteye.com/blog/2177567 一、游标         数据库使用游标返回find的执行结果。客户端对游标的实现通常能够对最终结果进行有效控制，从shell中定义一个游标非常简单，就是将查询结果分配给一个变量（用var声明的变量就是局部变量），便创建了一个游标，如下所示： > var
• Activity的四种启动模式和onNewIntent() gundumw100 android
  Android中Activity启动模式详解 　　在Android中每个界面都是一个Activity，切换界面操作其实是多个不同Activity之间的实例化操作。在Android中Activity的启动模式决定了Activity的启动运行方式。 　　Android总Activity的启动模式分为四种： Activity启动模式设置： <acti
• 攻城狮送女友的CSS3生日蛋糕 ini htmlWebhtml5csscss3
  在线预览：http://keleyi.com/keleyi/phtml/html5/29.htm   代码如下：   <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>攻城狮送女友的CSS3生日蛋糕-柯乐义<
• 读源码学Servlet（1）GenericServlet 源码分析 jzinfo tomcatWebservlet网络应用网络协议
  Servlet API的核心就是javax.servlet.Servlet接口，所有的Servlet 类（抽象的或者自己写的）都必须实现这个接口。在Servlet接口中定义了5个方法，其中有3个方法是由Servlet 容器在Servlet的生命周期的不同阶段来调用的特定方法。     先看javax.servlet.servlet接口源码：  package
• JAVA进阶：VO(DTO)与PO(DAO)之间的转换 snoopy7713 javaVOHibernatepo
    PO即 Persistence Object　　VO即 Value Object 　VO和PO的主要区别在于：　　VO是独立的Java Object。　　PO是由Hibernate纳入其实体容器（Entity Map）的对象，它代表了与数据库中某条记录对应的Hibernate实体，PO的变化在事务提交时将反应到实际数据库中。 　实际上，这个VO被用作Data Transfer
• mongodb group by date 聚合查询日期 统计每天数据（信息量） qiaolevip 每天进步一点点学习永无止境mongodb纵观千象
  /* 1 */ { "_id" : ObjectId("557ac1e2153c43c320393d9d"), "msgType" : "text", "sendTime" : ISODate("2015-06-12T11:26:26.000Z")
• java之18天 常用的类(一) Luob. MathDateSystemRuntimeRundom
  System类 import java.util.Properties; /** * System: * out:标准输出,默认是控制台 * in:标准输入,默认是键盘 * * 描述系统的一些信息 * 获取系统的属性信息:Properties getProperties(); * * * */ public class Sy
• maven wuai maven
  1、安装maven：解压缩、添加M2_HOME、添加环境变量path 2、创建maven_home文件夹，创建项目mvn_ch01,在其下面建立src、pom.xml，在src下面简历main、test、main下面建立java文件夹 3、编写类，在java文件夹下面依照类的包逐层创建文件夹，将此类放入最后一级文件夹 4、进入mvn_ch01 4.1、mvn compile ,执行后会在

按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他

首页 - 关于我们 - 站内搜索 - Sitemap - 侵权投诉

版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved.