MySQL5.7升级到MySQL8.0的最佳实践分享

一、前言

事出必有因，在这个月的某个项目中，我们面临了一项重要任务，即每年一次的等保测评整改。这次测评的重点是Mysql的一些高危漏洞，客户要求我们无论如何必须解决这些漏洞。尽管我们感到无奈，但为了满足客户的要求，我们只能硬着头皮进行升级。而碰巧的是，Mysql5.7在10月份停止了更新，借着这次机会，我们决定研究一下Mysql5.7升级到Mysql8.0的过程。在本文的最后，我将分享一些在这次升级过程中遇到的问题。

升级需求：将5.7.43升级到8.0.34, 升级方式 in-place升级【关闭现有版本MySQL，将二进制或包替换成新版本并在现有数据目录上启动MySQL并执行升级任务的方式，称为in-place升级】

原版本	5.7.43	CentOS Linux release 7.9.2009
新版本	8.0.34	CentOS Linux release 7.9.2009

二、Mysql 生命周期

以下Mysql 生命周期-内容来自于互联网

关于数据库版本升级，一直都是热议话题，对于升级的缘由各家也有所不同，有业务驱动的，有DBA自发驱动的，有规划导向也有方向指引的……抛开各种原因，当升级这个决定落下来的时候，对于DBA手头的几百几千套数据库来说，就好比是一场动物大迁徙，满满的画面感。

从Oracle发布的版本生命周期规划可以看到，Mysql5.7已经走到了生命周期的终点，意味着后续将不再为Mysql5.7提供官方更新、错误修复或安全补丁。

阿里云和AWS都在官方公布了版本支持计划,Mysql5.7版本已经开始了倒计时。

三、MySQL8.0的新特性

• 默认字符集由latin1变为utf8mb4。
• MyISAM系统表全部换成InnoDB表。
• JSON特性增强。
• 支持不可见索引，支持直方图。
• sql_mode参数默认值变化。
• 默认密码策略变更。
• 新增角色管理。
• 支持窗口函数，支持Hash join。

四、升级建议

• 支持从MySQL5.7升级到MySQL8.0，注意仅支持GA版本之间的升级。
• 不支持跨大版本的升级，如从5.6升级到8.0是不支持的。
• 建议升级大版本前先升级到当前版本的最近小版本，如5.7先升级到5.7.43后再升级到8.0。
• 做好充足的备份！ 数据无价！！!

五、升级前准备

5.1 Mysql-shell 检查工具兼容性

在执行升级操作前需要做一些检查工作，确认准备工作是否就绪，避免升级过程中出现异常。可以使用MySQL Shell使用util.checkForServerUpgrade进行检查，返回内容包括不符合迁移要求的问题，error的问题需要迁移前修改。

• Mysql-shell 下载地址： https://dev.mysql.com/downloads/shell/

选择 Archives ，查询更多版本

选择当前最新的版本8.0.34，x84,64-bit

• https://downloads.mysql.com/archives/get/p/43/file/mysql-shell-8.0.34-linux-glibc2.12-x86-64bit.tar.gz

#下载包

[[email protected] ~]# wget https://downloads.mysql.com/archives/get/p/43/file/mysql-shell-8.0.34-linux-glibc2.12-x86-64bit.tar.gz -C /root

[[email protected] ~]# tar -xf mysql-shell-8.0.34-linux-glibc2.12-x86-64bit.tar.gz

[[email protected] ~]# cd /root/mysql-shell-8.0.34-linux-glibc2.12-x86-64bit/bin

[[email protected] bin]# ./mysqlsh -uroot -p -S /tmp/mysql.sock -e "util.checkForServerUpgrade()" > util.checkForServerUpgrade.log

输出报告

The MySQL server at /tmp%2Fmysql.sock, version 5.7.39-log - MySQL Community

Server (GPL), will now be checked for compatibility issues for upgrade to MySQL

8.0.34...

1) Usage of old temporal type

No issues found

2) MySQL 8.0 syntax check for routine-like objects

No issues found

3) Usage of db objects with names conflicting with new reserved keywords

No issues found

4) Usage of utf8mb3 charset

Warning: The following objects use the utf8mb3 character set. It is

recommended to convert them to use utf8mb4 instead, for improved Unicode

support.

More information:

https://dev.mysql.com/doc/refman/8.0/en/charset-unicode-utf8mb3.html

mysql - schema's default character set: utf8

test - schema's default character set: utf8

5) Table names in the mysql schema conflicting with new tables in 8.0

No issues found

6) Partitioned tables using engines with non native partitioning

No issues found

7) Foreign key constraint names longer than 64 characters

No issues found

8) Usage of obsolete MAXDB sql_mode flag

No issues found

9) Usage of obsolete sql_mode flags

Notice: The following DB objects have obsolete options persisted for

sql_mode, which will be cleared during upgrade to 8.0.

More information:

https://dev.mysql.com/doc/refman/8.0/en/mysql-nutshell.html#mysql-nutshell-removals

global system variable sql_mode - defined using obsolete NO_AUTO_CREATE_USER

option

10) ENUM/SET column definitions containing elements longer than 255 characters

No issues found

11) Usage of partitioned tables in shared tablespaces

No issues found

12) Circular directory references in tablespace data file paths

No issues found

13) Usage of removed functions

No issues found

14) Usage of removed GROUP BY ASC/DESC syntax

No issues found

15) Removed system variables for error logging to the system log configuration

To run this check requires full path to MySQL server configuration file to be specified at 'configPath' key of options dictionary

More information:

https://dev.mysql.com/doc/relnotes/mysql/8.0/en/news-8-0-13.html#mysqld-8-0-13-logging

16) Removed system variables

To run this check requires full path to MySQL server configuration file to be specified at 'configPath' key of options dictionary

More information:

https://dev.mysql.com/doc/refman/8.0/en/added-deprecated-removed.html#optvars-removed

17) System variables with new default values

To run this check requires full path to MySQL server configuration file to be specified at 'configPath' key of options dictionary

More information:

https://mysqlserverteam.com/new-defaults-in-mysql-8-0/

18) Zero Date, Datetime, and Timestamp values

No issues found

19) Schema inconsistencies resulting from file removal or corruption

No issues found

20) Tables recognized by InnoDB that belong to a different engine

No issues found

21) Issues reported by 'check table x for upgrade' command

No issues found

22) New default authentication plugin considerations

Warning: The new default authentication plugin 'caching_sha2_password' offers

more secure password hashing than previously used 'mysql_native_password'

(and consequent improved client connection authentication). However, it also

has compatibility implications that may affect existing MySQL installations.

If your MySQL installation must serve pre-8.0 clients and you encounter

compatibility issues after upgrading, the simplest way to address those

issues is to reconfigure the server to revert to the previous default

authentication plugin (mysql_native_password). For example, use these lines

in the server option file:

[mysqld]

default_authentication_plugin=mysql_native_password

However, the setting should be viewed as temporary, not as a long term or

permanent solution, because it causes new accounts created with the setting

in effect to forego the improved authentication security.

If you are using replication please take time to understand how the

authentication plugin changes may impact you.

More information:

https://dev.mysql.com/doc/refman/8.0/en/upgrading-from-previous-series.html#upgrade-caching-sha2-password-compatibility-issues

https://dev.mysql.com/doc/refman/8.0/en/upgrading-from-previous-series.html#upgrade-caching-sha2-password-replication

23) Columns which cannot have default values

No issues found

24) Check for invalid table names and schema names used in 5.7

No issues found

25) Check for orphaned routines in 5.7

No issues found

26) Check for deprecated usage of single dollar signs in object names

No issues found

27) Check for indexes that are too large to work on higher versions of MySQL

Server than 5.7

No issues found

28) Check for deprecated '.

' syntax used in routines.

No issues found

Errors: 0

Warnings: 3

Notices: 1

NOTE: No fatal errors were found that would prevent an upgrade, but some potential issues were detected. Please ensure that the reported issues are not significant before upgrading.

从输出报告可以看出，升级检查器在28个方面进行了检查，最终得出3个警告信息和1个提示。

消除警告：

• Usage of utf8mb3 charset 在MySQL 8.0版本之前，默认字符集为latin1 ，utf8字符集指向的是utf8mb3 。从MySQL8.0开始，数据库的默认编码将改为utf8mb4 ；为了避免新旧对象字符集不一致的情况，可以在配置文件将字符集和校验规则设置为旧版本的字符集和比较规则。
• New default authentication plugin considerations，密码认证插件变更。为了避免连接问题，可以仍采用5.7的mysql_native_password认证插件。

消除提示：

• Usage of obsolete sql_mode flags： Mysq8.0 版本sql_mode不支持NO_AUTO_CREATE_USER，要避免配置的sql_mode中带有NO_AUTO_CREATE_USER。

通过以上的例子，可以发现，MySQL Shell提供的升级检查工具能够帮助我们检测版本兼容性，减轻升级工作负担。

5.2 逻辑备份Mysql数据

which mysqldump

/home/application/mysql/app/bin/mysqldump

# --routines 备份存储过程和函数；--set-gtid-purged=OFF: 禁用GTID（全局事务标识）;xxx1,XXX2 表示库名，备份多个库 用空格做为间隔

/home/application/mysql/app/bin/mysqldump -uroot -p --routines --set-gtid-purged=OFF --databases XXX1 XXX2 > /root/all-database-20231026.sql

5.3 优雅的停止数据库

# 进入原5.7 mysql命令行 正确关闭数据库

[[email protected] ~]# mysql -uroot -p'srebro'

mysql> select version();

+------------+

| version() |

+------------+

| 5.7.43-log |

+------------+

1 row in set (0.00 sec)

mysql> show variables like 'innodb_fast_shutdown';

+----------------------+-------+

| Variable_name | Value |

+----------------------+-------+

| innodb_fast_shutdown | 1 |

+----------------------+-------+

1 row in set (0.00 sec)

# 确保数据都刷到硬盘上，更改成0

InnoDB 关闭模式。

如果值为 0，InnoDB 会在关闭前进行缓慢关闭、完全清除和更改缓冲区合并。

如果值为 1（默认值），InnoDB 会在关闭时跳过这些操作，这个过程称为快速关闭。

如果值为 2，InnoDB 刷新其日志并冷关机，就好像 MySQL 崩溃了；没有提交的事务丢失，但崩溃恢复操作使下一次启动需要更长的时间。 在仍然缓冲大量数据的极端情况下，缓慢关闭可能需要几分钟甚至几小时。

mysql> set global innodb_fast_shutdown=0;

Query OK, 0 rows affected (0.00 sec)

mysql> shutdown;

Query OK, 0 rows affected (0.00 sec)

mysql> exit

Bye

[root@cmdb ~]# ps -ef | grep mysql

root 30990 30934 0 16:12 pts/0 00:00:00 grep --color=auto mysql

5.4 备份Mysql 数据目录,安装目录 和配置文件

--确认数据库状态为关闭状态
[[email protected] ~]# systemctl status mysqld

--数据目录备份

[[email protected] ~]# cp -r /home/application/mysql/data /home/application/mysql/data_bak_`date +%F`

--安装目录备份

[[email protected] ~]# cp -r /home/application/mysql/app/ /home/application/mysql/app_bak_`date +%F`

--配置文件备份

[[email protected] ~]# cp /etc/my.cnf /etc/my.cnf_`date +%F`

5.5 下载并解压MySQL8

• https://dev.mysql.com/downloads/

  

选择 Archives ，查询更多版本

• 下载地址： https://downloads.mysql.com/archives/get/p/23/file/mysql-8.0.34-linux-glibc2.12-x86_64.tar.xz 选择mysql-8.0.34-linux-glibc2.12-x86_64.tar.xz

#执行以下步骤解压tar包：

# 安装包上传至原安装包目录下 我的是/home/application/mysql

[[email protected] ~]# cd /home/application/mysql

[[email protected] mysql]# wget https://downloads.mysql.com/archives/get/p/23/file/mysql-8.0.34-linux-glibc2.12-x86_64.tar.xz

[[email protected] mysql]# tar -xf mysql-8.0.34-linux-glibc2.12-x86_64.tar.xz

# 文件夹重命名为mysql8

[[email protected] mysql]# mv mysql-8.0.34-linux-glibc2.12-x86_64 mysql8

# 更改文件夹所属

[[email protected] mysql]# chown -Rf mysql:mysql /home/application/mysql/mysql8

# 删除安装包

[[email protected] mysql]# rm -rf mysql-8.0.34-linux-glibc2.12-x86_64.tar.xz

六、升级

6.1 修改my.cnf 配置文件

因5.7版本与8.0版本参数有所不同，为了能顺利升级，我们需要更改部分配置参数。主要注意sql_mode、basedir、密码认证插件及字符集设置，其他参数最好还是按照原5.7的来，不需要做调整。下面展示5.7和8.0的配置文件,注意备份原来配置文件。

6.1.1 Mysql5.7_my.cnf 配置文件

[mysql]

socket=/tmp/mysql.sock

default-character-set=utf8

[mysqld]

user=mysql

basedir=/home/application/mysql/app

datadir=/home/application/mysql/data

character_set_server=utf8

collation-server=utf8_general_ci

#日志时间

log_timestamps=SYSTEM

port=3306

socket=/tmp/mysql.sock

max_connections=1000

max_allowed_packet=500M

sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION

#慢日志

long_query_time=3

slow_query_log=ON

slow_query_log_file=/home/application/mysql/slow_query.log

#错误日志

log-error=/home/application/mysql/mysql-error.log

#binlog配置

server_id=150

log-bin=mysql-bin

max_binlog_size = 100M

binlog_format=row

log_slave_updates

expire_logs_days=7

#只能用IP地址检查客户端的登录，不用主机名

skip-name-resolve=1

6.1.2 Mysql8.0_my.cnf 配置文件

[mysql]
socket=/tmp/mysql.sock

default-character-set=utf8

[mysqld]

user=mysql

#日志时间

log_timestamps=SYSTEM

port=3306

socket=/tmp/mysql.sock

max_connections=1000

max_allowed_packet=500M

#只能用IP地址检查客户端的登录，不用主机名

skip-name-resolve=1

#binlog配置

server_id=150

log-bin=mysql-bin

max_binlog_size = 100M

binlog_format=row

log_slave_updates

expire_logs_days=7

#慢日志

long_query_time=3

slow_query_log=ON

slow_query_log_file=/home/application/mysql/slow_query.log

#错误日志

log-error=/home/application/mysql/mysql-error.log

#for8.0

sql_mode = STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION

basedir=/home/application/mysql/mysql8

datadir=/home/application/mysql/data

character_set_server=utf8

collation-server=utf8_general_ci

# 默认使用"mysql_native_password"插件认证

default_authentication_plugin=mysql_native_password

# 创建新表时将使用的默认存储引擎

default-storage-engine=INNODB

6.2 执行升级程序

在mysql5.7升级的时候，MySQL启动后还需执行mysql_upgrade后重启MySQL。MySQL8.0.16开始，MySQL 不推荐使用mysql_upgrade； 直接使用 mysqld_safe 直接启动。关于--upgrade=的一些参数

• --upgrade=AUTO MySQL升级所有过时的内容
• --upgrade=NONE MySQL跳过升级步骤，可能会导致报错
• --upgrade=MINIMAL MySQL在必要时升级数据字典表，information_schema和information_schema。这可能会导致部分功能不能正常使用，例如MGR
• --upgrade=FORCE MySQL会升级所有的内容，这会检查所有schema的所有对象，导致MySQL需要更长的时间启动。此模式下MySQL会重新创建系统表if they are missing。

[[email protected] ~]# /home/application/mysql/mysql8/bin/mysqld_safe --defaults-file=/etc/my.cnf --user=mysql --upgrade=FORCE

2023-10-30T07:33:23.595626Z mysqld_safe Logging to '/home/application/mysql/mysql-error.log'.

2023-10-30T07:33:23.620303Z mysqld_safe Starting mysqld daemon with databases from /home/application/mysql/data

会一直卡住不用担心

新开一个窗口，可观察下错误日志看是否报错/home/application/mysql/mysql-error.log然后登录数据库测试

[[email protected] ~]# mysql -uroot -p'srebro'

Enter password:

Welcome to the MySQL monitor. Commands end with ; or \g.

Your MySQL connection id is 12

Server version: 8.0.34 MySQL Community Server - GPL

Copyright (c) 2000, 2022, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> select version();

+-----------+

| version() |

+-----------+

| 8.0.34 |

+-----------+

1 row in set (0.00 sec)

mysql>

6.3 修改Mysql环境变量

由于basedir 从/home/application/mysql/app 变成了 /home/application/mysql/mysql8，需要修改下环境变量信息：

[[email protected] ~]# vim /etc/profile

export PATH=$PATH:/home/application/mysql/mysql8/bin

.......

#使环境变量生效

[[email protected] ~]# source /etc/profile

#验证下mysql环境变量

#退出当前终端

[[email protected] ~]# exit

[[email protected] ~]# which mysql

/home/application/mysql/mysql8/bin/mysql

[[email protected] ~]# mysql -V

mysql Ver 8.0.34 for Linux on x86_64 (MySQL Community Server - GPL)

6.4 停止mysqld_safe进程，使用systemd管理Mysql8

[root@cmdb ~]# kill -9 `ps -ef | grep mysql | awk '{print $2}'`

#确认没有mysql进程

[root@cmdb ~]# ps -ef | grep mysql

#使用systemd管理mysql8

#修改原先的ExecStart中，basedir的路径，改为mysql8 的路径

[root@cmdb ~]# vim /etc/systemd/system/mysqld.service

[Unit]

Description=MySQL Server

Documentation=man:mysqld

Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html

After=network.target

After=syslog.target

[Install]

WantedBy=multi-user.target

[Service]

User=mysql

Group=mysql

ExecStart=/home/application/mysql/mysql8/bin/mysqld --defaults-file=/etc/my.cnf

LimitNOFILE = 65535

6.5 配置mysql8开机自启&启动mysql8

#reload下systemd

[root@cmdb ~]# systemctl daemon-reload

#加入开机自启动

[root@cmdb ~]# systemctl enable mysqld

Created symlink from /etc/systemd/system/multi-user.target.wants/mysqld.service to /etc/systemd/system/mysqld.service.

#启动mysql8数据库

[root@cmdb ~]# systemctl start mysqld

[root@cmdb ~]# ps -ef | grep mysql

mysql 9497 1 36 14:59 ? 00:00:01 /home/application/mysql/mysql8/bin/mysqld --defaults-file=/etc/my.cnf

root 9544 8560 0 14:59 pts/0 00:00:00 grep --color=auto mysql

#登录数据库验证

[root@cmdb ~]# mysql -uroot -p'srebro'

Enter password:

Welcome to the MySQL monitor. Commands end with ; or \g.

Your MySQL connection id is 8

Server version: 8.0.34 MySQL Community Server - GPL

Copyright (c) 2000, 2023, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> select version();

+-----------+

| version() |

+-----------+

| 8.0.34 |

+-----------+

1 row in set (0.00 sec)

mysql> show databases;

+--------------------+

| Database |

+--------------------+

| information_schema |

| mysql |

| performance_schema |

| srebro |

| sys |

| test |

+--------------------+

5 rows in set (0.00 sec)

mysql>

七、一些问题

7.1 问题一

在升级Mysql8.0后，关于JDBC中SSL连接的一些报错信息，如下图：

经排查发现，Mysql8.0 数据库默认开启了SSL认证，且之前Mysql5.7.39 也是默认开启了SSL认证，代码和JDBC驱动版本都没有变化，那很有可能就是Mysql8.0 中对于SSL的一个变化，咨询了DBA 朋友，专业的解释是，在5.7.31的时候SSL在源码中貌似没有真正的起作用，后面版本完善了这块的内容。倘若，不使用SSL去连接，就 需要按照如下的方法去处理：

• 方法一： 从数据库成面，直接在my.cnf 中 添加skip_ssl 参数，从源头上关闭SSL 认证的方式
• 方法二： 从代码层面，在JDBC 连接中，使用 &useSSL=false 参数，表示不使用SSL 认证

7.2 问题二

Mysql 报错unblock with ‘mysqladmin flush-hosts’，报错如下：

JDBC连接报错，报错内容 ERROR 1129 (HY000): Host ‘192.168.1.34’ is blocked because of many connection errors; unblock with ‘mysqladmin flush-hosts’

原因： 同一个ip在短时间内产生太多，中断的数据库连接而导致的阻塞；而中断的因为有些业务使用SSL去连接数据库，导致登录失败，登录被锁；

临时解决方法，使用mysqladmin flush-hosts 命令清理一下hosts文件，mysqladmin -u xxx -p flush-hosts,根本上去解决，就需要排查什么异常的连接导致阻塞，登录被锁，比如上面提到的SSL认证的问题。

八、参考

• https://www.modb.pro/db/1715541568826990592
• https://www.modb.pro/db/530848
• https://www.modb.pro/db/1716302208709517312

你可能感兴趣的:(centos,mysql,数据库)

• MySQL Redo Log 两阶段提交 十字蹄花 mysqlmysql数据库
  MySQLRedoLog两阶段提交（2PC）1.两阶段提交（2PC）流程两阶段提交确保RedoLog和Binlog一致，流程如下：第一阶段：Prepare事务执行SQL，修改数据。RedoLog记录写入磁盘，但标记为prepare状态（数据未真正提交）。MySQLServer层通知事务已准备好提交。第二阶段：CommitBinlog写入并刷盘（保证不会丢失）。RedoLog变更为commit状态。
• window10同时安装mysql5.7和mysql8.4.X 寒江雪江南岸蓑笠翁 mysqljava
  前提：window10已经安装了mysql5.7想再安装个mysql8.4.x步骤1：去官网下载mysql8.4.Xhttps://dev.mysql.com/downloads/mysql/步骤2：解压后mysql根目录添加my.ini文件如下，注意端口改为3308（3306已经被mysql5.7占用了）：[mysqld]#mysql_native_password=ON#default_aut
• 数据库-SqlServer面试题系列 001 code36 C#&.Net面试题Java面试题数据库sqlserver
  一、数据库基础知识（通用）篇1.说说主键、外键、超键、候选键超键：在关系中能唯一标识元组的属性集称为关系模式的超键。一个属性可以为作为一个超键，多个属性组合在一起也可以作为一个超键。超键包含候选键和主键。候选键：是最小超键，即没有冗余元素的超键。主键：数据库表中对储存数据对象予以唯一和完整标识的数据列或属性的组合。一个数据列只能有一个主键，且主键的取值不能缺失，即不能为空值（Null）。外键：在一
• 【云原生】Docker 部署 Nacos使用详解 逆风飞翔的小叔 运维docker搭建nacos详解docker部署nacosdocker安装nacos腾讯云搭建nacoscentos7搭建nacos
  目录一、前言二、使用Docker部署Nacos2.1环境准备2.2搭建Nacos操作过程2.2.1拉取Nacos镜像2.2.2创建配置数据库2.2.3启动容器2.2.4删除nacos容器2.2.5再次启动容器2.2.6访问nacos三、基于Centos7搭建Nacos3.1搭建过程3.1.1服务器环境3.1.2mysql环境3.1.3提前下载安装包3.1.4初始化sql脚本3.1.5修改配置文件3
• InnoDB 存储引擎浅析 暮光巨魔 数据库mysql
  InnoDB存储引擎浅析InnoDB主要分为两大块:InnoDB内存架构（InnoDBIn-MemoryStructures）InnoDB磁盘架构（InnoDBOn-DiskStructures）InnoDB内存架构BufferPool当我们执行dml语句时，mysql不会直接去修改磁盘数据，因为这样做太慢了，mysq会先改内存，然后记录redolog和binlog(redolog和binlog采
• 【LangChain编程：从入门到实践】数据库问答场景 AI天才研究院 计算AI大模型企业级应用开发实战大数据AI人工智能计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
  【LangChain编程：从入门到实践】数据库问答场景作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来在现代信息社会中，数据的爆炸性增长使得如何高效地从海量数据中提取有用信息成为一个重要课题。数据库问答系统（DatabaseQuestionAnsweringSystem,DBQA）作为一种能够直接从数据库中获取答案的技术，
• SQLAlchemy 呀儿呦丶 Python#SQLAlchemy数据库pythonmysql
  1.介绍SQLAlchemy以其对象关系映射器（ORM）而闻名，它是一个提供数据映射器模式的可选组件，其中类可以以开放式、多种方式映射到数据库——允许对象模型和数据库模式在一个从一开始就干净地解耦。简单来讲只需要用python的语法来操作对象，就能被自动映射为sql语句。sqlalchemy第三方orm框架（对象关系映射）,可以单独使用。底层依附于pymysql2.安装pipinstallsqla
• MySQL架构设计浅析 JackieGGu MySQLmysqlinnodb架构设计
  文章目录1.MySQL相关文件(目录)路径1.1配置文件1.2数据目录1.3日志文件(建议关闭)1.4数据文件2.MySQL的逻辑架构2.1server层2.2引擎层3.InnoDB引擎数据更新流程4.InnoDB引擎脏页落盘流程4.1为什么需要脏页落盘4.2落盘的时机4.3落盘的流程1.MySQL相关文件(目录)路径1.1配置文件/etc/my.cnf/etc/mysql/my.cnf/usr/
• 能说说MyBatis的工作原理吗？ java1234_小锋 javajava开发语言
  大家好，我是锋哥。今天分享关于【能说说MyBatis的工作原理吗？】面试题。希望对大家有帮助；能说说MyBatis的工作原理吗？1000道互联网大厂Java工程师精选面试题-Java资源分享网MyBatis是一个流行的持久化框架，它简化了数据库操作，通过映射SQL语句与Java对象之间的关系，使得开发者可以专注于业务逻辑，而不需要处理大量的数据库底层操作。它的工作原理主要围绕以下几个核心概念：1.
• 能说说MyBatis的工作原理吗？ java1234_小锋 javajava开发语言
  大家好，我是锋哥。今天分享关于【Redis为什么这么快?】面试题。希望对大家有帮助；能说说MyBatis的工作原理吗？MyBatis是一款流行的持久层框架，它通过简化数据库操作，帮助开发者更高效地与数据库进行交互。MyBatis允许开发者使用XML或注解来配置SQL语句并映射数据库中的记录到Java对象。它的工作原理可以从以下几个方面来解释：1.MyBatis核心组件MyBatis的工作原理基于几
• 漫谈架构 部落王 随笔
  1、什么是架构和架构本质在软件行业，对于什么是架构，都有很多的争论，每个人都有自己的理解。此君说的架构和彼君理解的架构未必是一回事。LInux有架构，MySQL有架构，JVM也有架构，使用Java开发、MySQL存储、跑在Linux上的业务系统也有架构，应该关注哪一个？想要清楚以上问题需要梳理几个有关系又相似的概念：系统与子系统、模块与组建、框架与架构:一、系统与子系统系统：泛指由一群有关联的个体
• mysql 单进程多线程_关于单线程数据库与多线程数据库性能 兰德水 mysql单进程多线程
  这是我的意见：通常,DB系统的瓶颈(或最慢的部分)是磁盘.CPU仅在算术运算,处理或CPU执行的任何其他任务期间出现峰值.通过适当的体系结构,多线程可以帮助将查询的负载抵消到CPU上,而不是进行慢速磁盘读/写操作.在某些情况下,使用CPU周期计算值更快,而不是创建计算列(之前已保存到磁盘)并从磁盘读取此列.在某些RDBMS中,有一个临时DB(tempdb),该实例上的所有DB都使用它来进行排序,散
• 【mysql】mysql多线程 绝世好阿狸 mysqlmysql线程数据库内存
  mysql是一个单进程多线程的数据库，在innodb中大概有一下几种线程：（1）MasterThread：这是主线程，非常核心，其用途主要是做一些周期性的任务，在不同的innodb版本其功能不同，这里就看最早期的版本。早起的innodbMaster线程会有两种频率的任务，一种是每1秒一次的，还有每10秒一次的。每1秒的工作：1.刷新日志；2.刷新至多100个脏页3.合并插入缓冲；4.如果空闲切为b
• 怎么创建一个能在线测试php的html5网页？ 很酷的站长 编程记录html5专题php专题phphtml5开发语言
  代码示例：一、搭建服务器环境首先，你需要在服务器上搭建PHP运行环境。如果你使用的是Linux服务器，可以使用Apache或Nginx作为Web服务器，并安装PHP解释器。对于Windows服务器，可以使用WAMP（Windows,Apache,MySQL,PHP）或XAMPP等集成环境。二、创建HTML表单页面创建一个HTML页面，包含一个表单，用户可以在表单中输入PHP代码，将该代码提交到服务
• 网页中间件安全加固 jasonwgz 中间件安全tomcat
  一、APACHEWEB服务器软件，apache的程序名是httpd，服务的控制：systemctlstart/stop/statushttpdApache是一个静态网站程序，不能直接支持动态页面；若要支持动态页面，则需要整合其它程序，如要支持PHP动态页面：yuminstallphp-fpmphp-commonphp-develphp-mysqlndphp-mbstringphp-mcrypt安装
• Django ORM解决Oracle表多主键的问题 zZeal djangopython后端oracle
  现状以Django3.2为例DjangoORM设计为默认使用单一主键（通常是自增的id字段），这一选择主要基于以下核心原因：简化ORM设计与操作统一访问方式外键关联简化避免歧义冲突主键语义明确防止隐式依赖性能与数据库兼容索引效率优化跨数据库兼容替代方案成熟unique_together约束Oracle现状原始业务表，很多都使用多主键。使用Django映射现有Oracle数据库无法处理多主键问题。O
• java访问数据库视图_java 访问数据库视图 金小夕 java访问数据库视图
  工作多年调用视图到多次,自己写代码使用视图还是头一回,也觉得新鲜,那就开始呗,数据库系统是Oracle1我用的数据库连接客户端是Navicat,首先创建视图,其实视图就是调用表的操作,提取自己需要的数据放到视图下面,相对于java来说,可以把视图看成是特殊的表对待,这里说的特殊指的是通过hql语句调用访问数据库的时候涉及到关联表的问题.创建视图如下:然后通过myeclipse的hiberanger
• MySQL优化系列9-MySQL控制查询优化器Hints 只是甲 MySQL从小工到专家之路#MySQL优化mysqlhintsMySQL调整执行计划
  备注:测试数据库版本为MySQL8.0文章目录一.控制查询计划评估二.可切换的优化三.优化器的Hints3.1优化器Hints概述3.2优化器Hints语法3.3连接顺序优化器Hints3.4表级别的优化器Hints3.5索引级别优化器Hints3.6子查询相关优化器的Hints3.7语句执行时间优化器Hints3.8可变设定Hints语法3.9资源组Hint语法3.10命名查询块的优化器Hint
• 实验三 数据库完整性技术 计算机小白的笔记 数据库database
  实验三数据库完整性技术【实验目的】1、掌握完整性的概念；2、熟悉MySQL的完整性技术。3、了解MySQL的违反完整性处理措施。【实验性质】验证性实验【实验学时】2H【实验内容】写出完整、详尽的SQL语句，根据实验记录结果并总结。(空位不够请自行续页)一、定义完整性。(5分)/*创建表s、p、j、spj*/定义s表；sno主码，sname非空、city缺省值定义p表；pno主码，pname非空、c
• 实验三 数据库完整性 (头歌) 霸敛 笔记数据库sqloracle
  实验三数据库完整性(头歌)制作不易！点个关注！给大家创造更多的价值！目录实验三数据库完整性(头歌)`制作不易！点个关注！给大家创造更多的价值！`第一关：定义s表完整性相关知识MySQL约束概述主键约束非空约束默认值约束查看表中的约束编程要求第二关：定义p表完整性相关知识MySQL检查约束（CHECK）编程要求代码如下：第3关：定义j表完整性编程要求代码如下：第4关：定义spj表完整性相关知识MyS
• Python Django ORM qq_15654157 Pythonpython
  一、ORM介绍1.什么是ORM?ORM全拼Object-RelationMapping.中文意为对象-关系映射.在MVC/MVT设计模式中的Model模块中都包括ORM2.ORM优势（1）只需要面向对象编程,不需要面向数据库编写代码.对数据库的操作都转化成对类属性和方法的操作.不用编写各种数据库的sql语句.（2）实现了数据模型与数据库的解耦,屏蔽了不同数据库操作上的差异.不在关注用的是mysql
• 【Oracle篇】使用impdp导入报错ORA-39001:ORA-39000:ORA-39142:incompatible version number xxx in dump file的问题解决 奈斯DB Oracle专栏oracle数据库
  《博主介绍》：✨又是一天没白过，我是奈斯，从事IT领域✨《擅长领域》：✌️擅长阿里云AnalyticDBforMySQL(分布式数据仓库)、Oracle、MySQL、Linux、prometheus监控；并对SQLserver、NoSQL(MongoDB)有了解✌️大佬们都喜欢静静的看文章，并且也会默默的点赞收藏加关注如标题所示这篇文章是记录并分享一下使用数据泵导入时的报错，这个报错是博主在一年之
• 计算机毕业设计JAVA房屋租赁系统mybatis 煦洋cxsj985 mybatisjava开发语言
  计算机毕业设计JAVA房屋租赁系统mybatis计算机毕业设计JAVA房屋租赁系统mybatis+源码+调试部署+系统+数据库+lw本源码技术栈：项目架构：B/S架构开发语言：Java语言开发软件：ideaeclipse前端技术：Layui、HTML、CSS、JS、JQuery等技术后端技术：JAVA运行环境：Win10、JDK1.8数据库：MySQL5.7/8.0源码地址：https://pan
• 多线程与高并发（6）——CAS详解（包含ABA问题） 李王家的翠花 java多线程java开发语言
  一、乐观锁和悲观锁乐观锁和悲观锁都是用于解决并发场景下的数据竞争问题，不局限于某种编程语言或数据库。1、乐观锁：就是很乐观，每次去拿数据的时候都认为别人不会修改，所以不会上锁，但是在更新的时候会判断一下在此期间别人有没有去更新这个数据。乐观锁的实现方式：主要有两种，一种是CAS机制，一种是版本号机制。（1）版本号机制：在数据中增加一个version字段用来表示该数据的版本号，每当数据被修改版本号就
• Django ORM查询示例：获取主键为1的记录标题 Leon_Jinhai_Sun django数据库oracle
  >>>Entry.objects.values_list('headline',flat=True).get(pk=1)'Firstentry'这段代码是使用Django框架的ORM（Object-RelationalMapping，对象关系映射）系统来查询数据库中的一条记录。下面是代码的详细解释：Entry.objects.values_list('headline',flat=True).ge
• 数据库用户管理 比特知识工坊 MySQL专栏数据库adbandroid
  数据库用户管理1.创建用户MySQL在安装是，会默认创建一个名位root的用户，该用户拥有超级权限，可以控制整个MySQL服务器。在对MySQL的日常管理和操作中，通常创建一些具有适当权限的用户，尽可能的不用或少用root登录系统，以此来确保数据的安全访问。可以使用createuse语句创建用户，并设置相应密码：createuser用户[indentifiedby[password]'passwo
• 第七章 C - D 开头的术语 yaoxin521123 IRIS相关术语oracle数据库
  文章目录第七章C-D开头的术语当前设备(currentdevice)当前目录(currentdirectory)基于游标的SQL(cursor-basedSQL)游标(cursor)自定义存储(customstorage)以D开头的术语数据库(database)数据库缓存(databasecache)数据库加密(databaseencryption)数据库加密密钥(database-encrypt
• 实验九 视图的使用 无尽罚坐的人生 数据库oraclejava
  实验九视图的使用一、实验目的1．熟悉视图的操作。二、实验内容及要求用SQL语句完成下列功能。使用数据库为SCHOOL数据库。1．建立一视图View_CSTeacher，列出计算机系各个老师的资料(姓名、性别、职称)。createviewView_CSTeacher(姓名,性别,职称)asselectteac_id,teac_sex,techpostfromteachert,deparmentdwh
• SQLite 附加数据库 zhang.fang 数据库sqliteoracle
  假设这样一种情况，当在同一时间有多个数据库可用，您想使用其中的任何一个。SQLite的ATTACHDATABASE语句是用来选择一个特定的数据库，使用该命令后，所有的SQLite语句将在附加的数据库下执行。语法SQLite的ATTACHDATABASE语句的基本语法如下：ATTACHDATABASEfile_nameASdatabase_name;如果数据库尚未被创建，上面的命令将创建一个数据库，
• Python使用FastApi开发接口 冉成未来 pythonfastapi开发语言
  文章目录python开发web框架简介FastApi安装安装依赖包代码编写创建数据库连接模块database.py创建数据库实体模块model.py创建实体类模型模块schemas.py创建操作数据库模块curd.py创建接收请求模块main.py创建运行模块run.py项目运行编写完以上代码，通过以下命令进行项目启动查看项目接口pyinstalle打包FastApi项目项目通过uvicorn运行
• 关于旗正规则引擎下载页面需要弹窗保存到本地目录的问题 何必如此 jsp超链接文件下载窗口
  生成下载页面是需要选择“录入提交页面”，生成之后默认的下载页面<a>标签超链接为：<a href="<%=root_stimage%>stimage/image.jsp?filename=<%=strfile234%>&attachname=<%=java.net.URLEncoder.encode(file234filesourc
• 【Spark九十八】Standalone Cluster Mode下的资源调度源代码分析 bit1129 cluster
  在分析源代码之前，首先对Standalone Cluster Mode的资源调度有一个基本的认识： 首先，运行一个Application需要Driver进程和一组Executor进程。在Standalone Cluster Mode下，Driver和Executor都是在Master的监护下给Worker发消息创建(Driver进程和Executor进程都需要分配内存和CPU，这就需要Maste
• linux上独立安装部署spark daizj linux安装spark1.4部署
  下面讲一下linux上安装spark，以 Standalone Mode 安装   1）首先安装JDK   下载JDK：jdk-7u79-linux-x64.tar.gz  ，版本是1.7以上都行，解压 tar -zxvf jdk-7u79-linux-x64.tar.gz     然后配置 ~/.bashrc&nb
• Java 字节码之解析一 周凡杨 java字节码javap
      一： Java 字节代码的组织形式   类文件 {     OxCAFEBABE ，小版本号，大版本号，常量池大小，常量池数组，访问控制标记，当前类信息，父类信息，实现的接口个数，实现的接口信息数组，域个数，域信息数组，方法个数，方法信息数组，属性个数，属性信息数组 } &nbs
• java各种小工具代码 g21121 java
  1.数组转换成List import java.util.Arrays; Arrays.asList(Object[] obj); 2.判断一个String型是否有值 import org.springframework.util.StringUtils; if (StringUtils.hasText(str)) 3.判断一个List是否有值 import org.spring
• 加快FineReport报表设计的几个心得体会 老A不折腾 finereport
  一、从远程服务器大批量取数进行表样设计时，最好按“列顺序”取一个“空的SQL语句”，这样可提高设计速度。否则每次设计时模板均要从远程读取数据，速度相当慢！！ 二、找一个富文本编辑软件（如NOTEPAD+）编辑SQL语句，这样会很好地检查语法。有时候带参数较多检查语法复杂时，结合FineReport中生成的日志，再找一个第三方数据库访问软件（如PL/SQL）进行数据检索，可以很快定位语法错误。
• mysql linux启动与停止 墙头上一根草
  如何启动/停止/重启MySQL一、启动方式1、使用 service 启动：service mysqld start2、使用 mysqld 脚本启动：/etc/inint.d/mysqld start3、使用 safe_mysqld 启动：safe_mysqld&二、停止1、使用 service 启动：service mysqld stop2、使用 mysqld 脚本启动：/etc/inin
• Spring中事务管理浅谈 aijuans spring事务管理
  Spring中事务管理浅谈 By Tony Jiang@2012-1-20 Spring中对事务的声明式管理 拿一个XML举例 [html]  view plain copy print ? <?xml version="1.0" encoding="UTF-8"?>&nb
• php中隐形字符65279（utf-8的BOM头）问题 alxw4616
  php中隐形字符65279（utf-8的BOM头）问题 今天遇到一个问题. php输出JSON 前端在解析时发生问题:parsererror.   调试: 1.仔细对比字符串发现字符串拼写正确.怀疑是 非打印字符的问题. 2.逐一将字符串还原为unicode编码. 发现在字符串头的位置出现了一个 65279的非打印字符.        
• 调用对象是否需要传递对象(初学者一定要注意这个问题) 百合不是茶 对象的传递与调用技巧
      类和对象的简单的复习,在做项目的过程中有时候不知道怎样来调用类创建的对象,简单的几个类可以看清楚,一般在项目中创建十几个类往往就不知道怎么来看   为了以后能够看清楚,现在来回顾一下类和对象的创建,对象的调用和传递(前面写过一篇)   类和对象的基础概念:   JAVA中万事万物都是类 类有字段(属性),方法,嵌套类和嵌套接
• JDK1.5 AtomicLong实例 bijian1013 javathreadjava多线程AtomicLong
  JDK1.5 AtomicLong实例 类 AtomicLong 可以用原子方式更新的 long 值。有关原子变量属性的描述，请参阅 java.util.concurrent.atomic 包规范。AtomicLong 可用在应用程序中（如以原子方式增加的序列号），并且不能用于替换 Long。但是，此类确实扩展了 Number，允许那些处理基于数字类的工具和实用工具进行统一访问。  
• 自定义的RPC的Java实现 bijian1013 javarpc
          网上看到纯java实现的RPC，很不错。         RPC的全名Remote Process Call，即远程过程调用。使用RPC，可以像使用本地的程序一样使用远程服务器上的程序。下面是一个简单的RPC 调用实例，从中可以看到RPC如何
• 【RPC框架Hessian一】Hessian RPC Hello World bit1129 Hello world
  什么是Hessian The Hessian binary web service protocol makes web services usable without requiring a large framework, and without learning yet another alphabet soup of protocols. Because it is a binary p
• 【Spark九十五】Spark Shell操作Spark SQL bit1129 shell
  在Spark Shell上，通过创建HiveContext可以直接进行Hive操作   1. 操作Hive中已存在的表   [hadoop@hadoop bin]$ ./spark-shell Spark assembly has been built with Hive, including Datanucleus jars on classpath Welcom
• F5　往header加入客户端的ip ronin47
  when HTTP_RESPONSE {if {[HTTP::is_redirect]}{         HTTP::header replace Location [string map {:port/ /} [HTTP::header value Location]]HTTP::header replace Lo
• java-61-在数组中，数字减去它右边(注意是右边)的数字得到一个数对之差. 求所有数对之差的最大值。例如在数组{2, 4, 1, 16, 7, 5, bylijinnan java
  思路来自： http://zhedahht.blog.163.com/blog/static/2541117420116135376632/ 写了个java版的 public class GreatestLeftRightDiff { /** * Q61.在数组中，数字减去它右边(注意是右边)的数字得到一个数对之差。 * 求所有数对之差的最大值。例如在数组
• mongoDB 索引 开窍的石头 mongoDB索引
  在这一节中我们讲讲在mongo中如何创建索引       得到当前查询的索引信息      db.user.find(_id:12).explain();        cursor: basicCoursor 指的是没有索引  &
• [硬件和系统]迎峰度夏 comsci 系统
    从这几天的气温来看，今年夏天的高温天气可能会维持在一个比较长的时间内    所以，从现在开始准备渡过炎热的夏天。。。。    每间房屋要有一个落地电风扇，一个空调(空调的功率和房间的面积有密切的关系)    坐的，躺的地方要有凉垫，床上要有凉席       电脑的机箱
• 基于ThinkPHP开发的公司官网 cuiyadll 行业系统
  后端基于ThinkPHP，前端基于jQuery和BootstrapCo.MZ 企业系统 轻量级企业网站管理系统 运行环境:PHP5.3+, MySQL5.0 系统预览 系统下载：http://www.tecmz.com 预览地址：http://co.tecmz.com 各种设备自适应 响应式的网站设计能够对用户产生友好度，并且对于
• Transaction and redelivery in JMS (JMS的事务和失败消息重发机制) darrenzhu jms事务承认MQacknowledge
  JMS Message Delivery Reliability and Acknowledgement Patterns http://wso2.com/library/articles/2013/01/jms-message-delivery-reliability-acknowledgement-patterns/ Transaction and redelivery in
• Centos添加硬盘完全教程 dcj3sjt126com linuxcentoshardware
  Linux的硬盘识别: sda        表示第1块SCSI硬盘 hda       表示第1块IDE硬盘 scd0      表示第1个USB光驱 一般使用“fdisk -l”命
• yii2 restful web服务路由 dcj3sjt126com PHPyii2
  路由 随着资源和控制器类准备，您可以使用URL如 http://localhost/index.php?r=user/create访问资源，类似于你可以用正常的Web应用程序做法。 在实践中，你通常要用美观的URL并采取有优势的HTTP动词。 例如，请求POST /users意味着访问user/create动作。 这可以很容易地通过配置urlManager应用程序组件来完成 如下所示
• MongoDB查询(4)——游标和分页[八] eksliang mongodbMongoDB游标MongoDB深分页
  转载请出自出处：http://eksliang.iteye.com/blog/2177567 一、游标         数据库使用游标返回find的执行结果。客户端对游标的实现通常能够对最终结果进行有效控制，从shell中定义一个游标非常简单，就是将查询结果分配给一个变量（用var声明的变量就是局部变量），便创建了一个游标，如下所示： > var
• Activity的四种启动模式和onNewIntent() gundumw100 android
  Android中Activity启动模式详解 　　在Android中每个界面都是一个Activity，切换界面操作其实是多个不同Activity之间的实例化操作。在Android中Activity的启动模式决定了Activity的启动运行方式。 　　Android总Activity的启动模式分为四种： Activity启动模式设置： <acti
• 攻城狮送女友的CSS3生日蛋糕 ini htmlWebhtml5csscss3
  在线预览：http://keleyi.com/keleyi/phtml/html5/29.htm   代码如下：   <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>攻城狮送女友的CSS3生日蛋糕-柯乐义<
• 读源码学Servlet（1）GenericServlet 源码分析 jzinfo tomcatWebservlet网络应用网络协议
  Servlet API的核心就是javax.servlet.Servlet接口，所有的Servlet 类（抽象的或者自己写的）都必须实现这个接口。在Servlet接口中定义了5个方法，其中有3个方法是由Servlet 容器在Servlet的生命周期的不同阶段来调用的特定方法。     先看javax.servlet.servlet接口源码：  package
• JAVA进阶：VO(DTO)与PO(DAO)之间的转换 snoopy7713 javaVOHibernatepo
    PO即 Persistence Object　　VO即 Value Object 　VO和PO的主要区别在于：　　VO是独立的Java Object。　　PO是由Hibernate纳入其实体容器（Entity Map）的对象，它代表了与数据库中某条记录对应的Hibernate实体，PO的变化在事务提交时将反应到实际数据库中。 　实际上，这个VO被用作Data Transfer
• mongodb group by date 聚合查询日期 统计每天数据（信息量） qiaolevip 每天进步一点点学习永无止境mongodb纵观千象
  /* 1 */ { "_id" : ObjectId("557ac1e2153c43c320393d9d"), "msgType" : "text", "sendTime" : ISODate("2015-06-12T11:26:26.000Z")
• java之18天 常用的类(一) Luob. MathDateSystemRuntimeRundom
  System类 import java.util.Properties; /** * System: * out:标准输出,默认是控制台 * in:标准输入,默认是键盘 * * 描述系统的一些信息 * 获取系统的属性信息:Properties getProperties(); * * * */ public class Sy
• maven wuai maven
  1、安装maven：解压缩、添加M2_HOME、添加环境变量path 2、创建maven_home文件夹，创建项目mvn_ch01,在其下面建立src、pom.xml，在src下面简历main、test、main下面建立java文件夹 3、编写类，在java文件夹下面依照类的包逐层创建文件夹，将此类放入最后一级文件夹 4、进入mvn_ch01 4.1、mvn compile ,执行后会在

按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他

首页 - 关于我们 - 站内搜索 - Sitemap - 侵权投诉

版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved.