技术分享 | 徐轶韬：从MySQL5.7升级到MySQL 8.0

在6月20日举办的【墨天轮数据库沙龙-MySQL 5.7 停服影响与应对方案】中，甲骨文MySQL解决方案首席工程师徐轶韬分享了《从MySQL5.7升级到MySQL 8.0》主题演讲，本文为整理内容。

导读

2015年10月发布的MySQL5.7版本追加了JSON数据类型、多源复制等新功能，支持在线更改InnoDB缓冲、全文检索，并在运维方面支持syslog和DTrace。2023年10月将进入持续支持（Sustaining Support）阶段，不再发布小版本和新补丁。【墨天轮数据库沙龙】邀请到甲骨文MySQL解决方案首席工程师徐轶韬，为大家分享从MySQL5.7到MySQL8.0的升级步骤和注意事项等。

技术分享 | 徐轶韬：从MySQL5.7升级到MySQL 8.0_第1张图片

徐轶韬 甲骨文MySQL解决方案首席工程师
MySQL解决方案首席工程师。为中国金融、政府、航空运输等行业的MySQL用户提供相关产品的售前咨询，企业级产品服务介绍以及推广和普及MySQL数据库在社区的使用。公众号“MySQL解决方案工程师”运营者和内容作者。书籍《MySQL高可用解决方案——从主从复制到InnoDB Cluster架构》作者。

被Oracle收购后，MySQL一直遵循着其的开发规则，用户便能在立项阶段就基于产品周期匹配相应的版本。在标准支持服务阶段，社区版用户能够被定期进行版本维护，包括错误修复、补丁更新等；在延伸支持服务与持续支持服务阶段，产品只能提供有限的乃至停止服务，当超过9年后，不会进行任何的代码更改与持续支持服务。因此通常意义上来说，MySQL5.7停服意味着不会发布任何相关的补丁与代码。

技术分享 | 徐轶韬：从MySQL5.7升级到MySQL 8.0_第2张图片
图1 Oracle系列产品生命周期的3个阶段

Oracle公司提供的产品(MySQL)原则上是安全的。但是，有时会发现极其罕见的重大安全漏洞，甲骨文公司将迅速采取行动修复该漏洞，并最终发布安全信息，包括对漏洞的简要说明、由此带来的风险、避免方法和提供补丁的时间。但现实中存在着不同方面阻碍升级的因素。今天我分享的主题将从以下三个方面展开，升级前的准备、操作顺序(InnoDB, MyISAM)、升级带来的好处。

技术分享 | 徐轶韬：从MySQL5.7升级到MySQL 8.0_第3张图片
图2 不进行升级的风险

一、MySQL升级前的准备

如下图所示，在升级流程中首先确认不同版本的差异，包括关键字、参数与函数等等，完成后便进行MySQL升级与应用程序测试，最后需要制定生产环境上线计划，一系列操作的目的是降低并预防预想外的风险。

技术分享 | 徐轶韬：从MySQL5.7升级到MySQL 8.0_第4张图片
图3 升级实施的流程

1、版本间的差异确认

  • 通过手册确认版本间的差异

    • 确认手册中”Upgrading MySQL”的”Changes Affecting Upgrades to MySQL x.x”部分
    • 注意Known issue(已知问题)和Incompatible change(非兼容性变更)
MySQL 8.0 Reference Manual / 2.11.1.3 Changes in MySQL 8.0
https://dev.mysql.com/doc/refman/8.0/en/upgrading-from-previous-series.html
MySQL 5.7 Reference Manual / 2.11.1.2 Changes Affecting Upgrades to MySQL 5.7
https://dev.mysql.com/doc/refman/5.7/en/upgrading-from-previous-series.html
MySQL 5.6 Reference Manual / 2.11.1.2 Changes Affecting Upgrades to MySQL 5.6
https://dev.mysql.com/doc/refman/5.6/en/upgrading-from-previous-series.html

  • 通过发行一览确认差异

    • 每个版本的发行一览按照小版本变更进行记述
    • 理想情况下，确认版本间的全部发行一览
      例）从MySQL 5.6.29 到 MySQL 5.7.21 升级的情况 ⇒MySQL 5.6.30～5.6.39(最新版)、MySQL 5.7.0～5.7.21(最新版) 确认
    • 至少确认“Incompatible Change”记述的内容
    • 至少确认“Incompatible Change”记述的内容
MySQL 8.0 Release Notes
https://dev.mysql.com/doc/relnotes/mysql/8.0/en/
MySQL 5.7 Release Notes
https://dev.mysql.com/doc/relnotes/mysql/5.7/en/
MySQL 5.6 Release Notes
https://dev.mysql.com/doc/relnotes/mysql/5.6/en/

技术分享 | 徐轶韬：从MySQL5.7升级到MySQL 8.0_第5张图片
图4 发行一览例(Version 8.0)

技术分享 | 徐轶韬：从MySQL5.7升级到MySQL 8.0_第6张图片
图5 发行一览例（Incompatible Change）

  • 确认参数差异
    版本升级会对参数带来影响，包括新增、废止、降级使用等情况，此外还会出现更改默认值的参数
    通过手册和发行一览确认变更点
  • 确认mysqld
    此外还需要确认这个参数的差异，版本升级会对参数带来影响，包括新增fix，通常我们会对某些参数与不用的功能做降级处理。
    版本升级呢会对参数带来影响，包括新增一些废纸了，还有一些降级使用，通常我们会呃先对某些参数呢会一些不用的。不用的功能，先做一些降级处理。
  • 确认关键字、函数差
MySQL Server Version Reference / Keywords and Reserved Words：https://dev.mysql.com/doc/mysqld-version-reference/en/keywords.html
MySQL Server Version Reference / SQL Functions and Operators：https://dev.mysql.com/doc/mysqld-version-reference/en/opsfuncs.html
MySQL Server Version Reference / User-Defined Functions：
https://dev.mysql.com/doc/mysqld-version-reference/en/udfs.html

技术分享 | 徐轶韬：从MySQL5.7升级到MySQL 8.0_第7张图片
图6 (参考)MySQL8.0追加的关键字

2、MySQL的版本升级测试

技术分享 | 徐轶韬：从MySQL5.7升级到MySQL 8.0_第8张图片
图7 MySQL的版本升级测试流程

3、应用程序测试

技术分享 | 徐轶韬：从MySQL5.7升级到MySQL 8.0_第9张图片
图8 应用程序测试流程

4、制定生产系统上线计划

  • MySQL的升级测试、应用测试结束后需要制定生产系统上线计划
  • 基于测试时估算的时间、考虑发生问题时恢复的时间制定上线计划
  • 为发生意外事件做准备，设定是否执行切回的判断基准

二、操作顺序(InnoDB, MyISAM)

下图所示，MySQL基本的升级操作包含停止应用程序、备份数据、模块升级、数据库升级、升级后测试、开启应用程序等6个步骤。

技术分享 | 徐轶韬：从MySQL5.7升级到MySQL 8.0_第10张图片
图9 应用程序测试流程

  • 备份数据

    • 冷备或者mysqldump进行备份
    • 使用SQL转储方式进行升级时，需要使用mysqldump进行备份

  • 模块升级

    • 安装新版本的模块
    • 升级目标在其他主机时，单纯安装新版本即可

  • 数据库升级

    • 替换升级
    • 新环境迁移数据（逻辑升级）mysqldump

  • 替换升级

    • 实施方法：使用新的MySQL程序替换原有的MySQL程序、之后执行mysql_upgrade（8.0.16后无需执行）

  • 迁移数据至新环境

    • 当迁移数据至新的环境中，允许新旧环境同时存在，新环境的MySQL创建后，使用mysqldump加载数据，直接升级2个以上的大版本。这样的好处是，当数据迁移时，数据库的表等对象可以重新构建，节省一些磁盘空间。
    • 实施方法：在与旧环境不同的主机上创建新的MySQL数据库，将数据保存至新环境

  • 版本升级后的确认

    • 确认迁移工作的日志，是否存在错误和警告
    • 对比升级前后的对象：比较对象名称一览、比较表的行数等等…

技术分享 | 徐轶韬：从MySQL5.7升级到MySQL 8.0_第11张图片
图10 减少版本维护的时间

如果还有别的用户，这里推荐使用InnoDB，它作为默认引擎具有更高的依赖性与性能，能够平滑迁移至云服务。在我们的全部测试中，目前 InnoDB已经完全超过了myisam，特别是当并发力增大后，性能差异会非常显著。

MySQL5.7到MySQL8.0的升级顺序过程中，文件结构与功能不兼容的部分会根据引擎的特性去更改，更换成完全支持的事务，它的磁盘使用量大约是MySQL的1.5-3倍。

  • MyISAM→InnoDB更改时的注意事项

技术分享 | 徐轶韬：从MySQL5.7升级到MySQL 8.0_第12张图片
技术分享 | 徐轶韬：从MySQL5.7升级到MySQL 8.0_第13张图片
图11-12 MyISAM→InnoDB更改时的注意事项

  • 存储引擎的更改方法
    存储引擎的更改方法有四个，分别为克隆表、更改大表、扩大InnoDB 的buffer_pool容量、更改已有的存储引擎、禁用MyISAM引擎。
  • MERGE表的处理方法(MRG_MyISAM）
    MERGE表的处理方式是将相同结构的MyISAM表集合，每个表替换成InnoDB后使用UNION建多个mysql表，分别插入数据后合并所有的相关联结表，起到MERGE表的功能。
    技术分享 | 徐轶韬：从MySQL5.7升级到MySQL 8.0_第14张图片
    技术分享 | 徐轶韬：从MySQL5.7升级到MySQL 8.0_第15张图片
    图13-14 MERGE表的处理方法(MRG_MyISAM）

在5.7升级到8.0的过程中，MySQL 提供的升级检查器会提示3个返回值，分别为0:不存在问题；1：不存在致命错误，存在多个潜在问题；2:升级至8.0需要修改的问题。在升级过程中，会做相关方面的内容检查。

  • (参考)MySQL 8.0功能相关文档及工具
MySQL 8.0发行一览
https://dev.mysql.com/doc/relnotes/mysql/8.0/en/
MySQL 8.0新功能列表(400项目以上)
https://mysqlserverteam.com/the-complete-list-of-new-features-in-mysql-8-0/
MySQL 8.0的主要变更点
https://dev.mysql.com/doc/refman/8.0/en/upgrading-from-previous-series.html
MySQL 8.0追加/变更/删除的参数和变量
https://dev.mysql.com/doc/refman/8.0/en/added-deprecated-removed.html

三、升级带来的好处

技术分享 | 徐轶韬：从MySQL5.7升级到MySQL 8.0_第16张图片
图15 MySQL版本升级可以降低发生问题的风险

未来 MySQL 将发布 2 个版本，长期支持版和创新版。长期支持版的目标为稳定性，仅修复 BUG 并发布安全补丁，该版本向后兼容，预计每两年发布一次，支持的生命周期为 5 年标准支持 +3 年的延伸支持。创新版将会每季度发布创新功能，支持期间为短期支持，该版本与 LTS 版本可以快速迁移。

技术分享 | 徐轶韬：从MySQL5.7升级到MySQL 8.0_第17张图片

未来版本的发布计划

以上就是我今天的分享，谢谢大家！

更多精彩内容，欢迎大家观看现场视频回放与会议资料
视频回放：https://www.modb.pro/video/8210
会议资料：https://www.modb.pro/doc/110172
  • 阅读原文：https://www.modb.pro/db/655631
  • 查看本次沙龙更多TiDB、腾讯云数据库及万里开源数据库主题PPT及回顾：技术分享 | 徐轶韬：从MySQL5.7升级到MySQL 8.0_第18张图片

    活动详情及报名可查看：https://www.modb.pro/event/817，直播间将送出精美周边，欢迎大家积极参与！另外可添加墨天轮小助手（VX：modb666）获取更多活动资讯和技术干货。

你可能感兴趣的:(数据库mysqlsql升级)

  • 2501,编写dll fqbqrr 窗口windows窗口
    DLL的优点简单的说,dll有以下几个优点:1)节省内存.同一个软件模块,若是源码重用,则会在不同可执行程序中编译,同时运行这些exe时,会在内存中重复加载这些模块的二进制码.如果使用dll,则只在内存中加载一次,所有使用该dll的进程会共享此块内存(当然,每个进程会复制一份的dll中的全局变量).2)不需编译的软件系统升级,若一个软件系统使用了dll,则改变该dll(函数名不变)时,系统升级只需
  • python3各个版本是通用的吗-python有几个版本 weixin_37988176
    Python的3.0版本，常被称为Python3000，或简称Py3k。相对于Python的早期版本，这是一个较大的升级。为了不带入过多的累赘，Python3.0在设计的时候没有考虑向下相容。许多针对早期Python版本设计的程式都无法在Python3.0上正常执行。为了照顾现有程式，Python2.6作为一个过渡版本，基本使用了Python2.x的语法和库，同时考虑了向Python3.0的迁移，
  • ElasticSearch view 稚辉君.MCA_P8_Java CentOS7.6KubernetesCluster高可用Kubernetes集群elasticsearchlinux全文检索搜索引擎大数据
    基础知识类elasticsearch和数据库之间区别？elasticsearch：面向文档，数据以文档的形式存储，即JSON格式的对象。更强调数据的搜索、索引和分析。数据库：更侧重于事务处理、数据的严格结构化和完整性，适用于关系复杂、数据一致性要求高的业务场景。elasticsearch和核心组件包含哪些？节点（Node）：elasticsearch集群中一个服务器实例，负责存储数据、处理请求等，
  • Django 模型 wjs2024 开发语言
    Django模型Django模型是Django框架的核心组件之一，它用于定义应用程序的数据结构。在Django中，模型是Python类，通常继承自django.db.models.Model。每个模型类代表数据库中的一个表，模型类的属性对应表中的字段。1.创建模型创建Django模型非常简单。首先，你需要定义一个继承自django.db.models.Model的类，然后在类中定义模型字段。例如，
  • 数据库--oracle--如何在Ubuntu上安装Oracle cuijr_leaf oracle数据库
    写在前面：下面的内容是国外的一篇教程，我跟着做了一遍，没有什么问题，所以翻译过来供大家参考。环境：oracle12cubuntu18.04（我是在Ubuntu16.04上装的，也没什么问题）正文：欢迎你！这篇教程会教你如何一步步地在Ubuntu18.04服务器上安装Oracle12cR2数据库。这篇教程中包含所有你必须要执行的命令以及部分截图。整个过程可能有点儿难，所以需要你对shell命令有一定
  • MVC 模式与javaEE三层架构 剥包谷 javajavaWeb-mvc三层架构
    MVC设计模式mvc这种设计模式，不光运用于Web领域，而且也能用于非Web领域；可以特指一种表现层设计模式，不限于Java语言；JavaWeb应用中应用的最广泛的设计模式便是MVC模式，目前的主流Web框架大多也是基于MVC设计模式所编写的。MVC模式主要分为以下三个基础模块：Model模型：主要负责、javaBean封装数据、业务逻辑以及数据库的交互View视图：主要用于显示数据和提交数据Co
  • python封装sql脚本_Python数据库封装实现代码示例解析 weixin_39647412 python封装sql脚本
    Django中(原生mysql封装)1.函数封装importpymysql#查所数据defget_all(sql):conn=pymysql.connect(host="localhost",user="root",password="root",database="db6")cur=conn.cursor(cursor=pymysql.cursors.DictCursor)cur.execute
  • MYSQL8+CENTOS7.6 主从+keepalived搭建总结 CRMEB定制开发 数据库centoslinuxmysqljava
    一、环境准备总共3个IP地址：2个物理机IP，1个VIPMASTER：10.18.96.15SLAVE:10.18.96.16VIP：10.18.96.17操作系统：CENTOS7.6数据库：MYSQL8.0.20我的硬件资源是8核16GMYSQL8下载地址：依赖下载地址：（CMAKE如果使用YUM源安装了CMAKE3，也可以不下载了）二、依赖安装在安装MYSQL8之前，得先有前置准备，否则就是各
  • Python连接Oracle数据库：cx_Oracle与oracledb库的比较与选择 码上富贵 数据库pythonoracle
    文章目录一、概述cx_Oracleoracledb二、安装OracleInstantclient三、Python测试cx_Oracle：oracledb：一、概述Python访问Oracle可以通过两种Oracle官方库：旧驱动：cx_Oracle（需要安装OracleInstantclient）新驱动：oracledb（Oracle数据库12.1或更高版本不需要安装OracleInstantcl
  • 数据库管理-第287期 Oracle DB 23.7新特性一览（20250124） 胖头鱼的鱼缸（尹海文） Oracle数据库oracle
    数据库管理287期2025-01-24数据库管理-第287期OracleDB23.7新特性一览（20250124）1AI向量搜索：算术和聚合运算2更改Compatible至23.6.0，以使用23.6或更高版本中的新AI向量搜索功能3CloudDeveloper包4DBMS_DEVELOPER.GET_METADATA：用于检索数据库对象元数据的API5PL/SQL中的维度算法支持6二元性视图放宽
  • MySQLDBA修炼之道-开发篇（一） 滔_GY MySQLDBA修炼之道-读书笔记数据库oraclemysql
    三、开发基础1.数据模型1.1关系数据模型介绍关于NULL如果某个字段的值是未知的或未定义的，数据库会提供一个特殊的值NULL来表示。NULL值很特殊，在关系数据库中应该小心处理。例如查询语句“select*fromemployeewhere绩效得分绩效得分>85；”就不能查询出绩效得分是未知的（NULL）的数据。关于key和索引key常指表中能唯一标识一笔记录的字段（属性）或多个字段的组合。现实
  • 开源的Text-to-SQL工具WrenAI rkmhr_sef 面试学习路线阿里巴巴开源sql数据库
    WrenAI是一个开源的Text-to-SQL工具，旨在通过自然语言交互界面，帮助用户更便捷地查询数据库。以下是对WrenAI的详细介绍：一、主要功能自然语言交互：用户可以通过对话方式提出问题，WrenAI能够理解和解析复杂的查询需求，并生成定制化的SQL查询结果。语义引擎：WrenAI配备了强大的语义引擎，能够映射业务术语到数据源，定义关系，并整合预定义的计算和聚合，从而提高查询精度。支持多种模
  • Python与MySQL数据库操作教程 咱家阿星 pythonmysql数据库pythonmysql
    Python与MySQL数据库操作教程MySQL是一种常用的存储系统，内容仅为基础知识.本文包含:第一部分介绍如何通过mysql-connector-python进行基础数据库操作，第二部分包括SQL语法、事务、锁的基础知识。本文不包括:Mysql的安装过程.Python基础请看:Python基础语法一、Python操作Mysql1.Python-Mysql模块下载先确保已安装mysql-conn
  • 【全网最详细】MySQL教程(1)-数据库类型 star010- 网络攻防实战指北mysql
    前言概念比较枯燥，了解一下即可数据库基本概念数据定义：所谓数据（Data）是指对客观事物进行描述并可以鉴别的符号，这些符号是可识别的、抽象的。它不仅仅指狭义上的数字，而是有多种表现形式：字母、文字、文本、图形、音频、视频等。现在计算机存储和处理的数据范围十分广泛，而描述这些数据的符号也变得越来越复杂了。数据库（Database）定义：按照一定格式存放数据的集合。特点：数据以结构化方式存储，便于管理
  • python web开发（完） HIST-柒月初柒 python前端开发语言
    本篇就把代码都放出来上面就是文件夹格式app.py#pipinstallFlaskimportatexitimportjsonfromflaskimportFlask,render_template,request,redirect,url_forapp=Flask(__name__)ls=[]#使用列表模拟数据库，所有学生信息存储在ls里面#假设的用户信息定义了一个字典users，包含了一些假设
  • 从MySQL到NoSQL：分析传统关系型数据库与NoSQL数据库的协同 哎 你看 数据库mysqlnosql
    引言数据库是一个系统，用来管理和存储数据的地方。数据在数据库中以一种结构化的方式组织，这样能更容易地查询和处理数据。关系型数据库是基于关系模型的数据库，它将数据存储在不同的表中，每个表都有各自的独一无二的主键。表与表之间通过共享的数据项相互关联。像MySQL,Oracle,SQLServer,PostgreSQL等都是关系型数据库。关系型数据库非常适合存储结构化的数据。结构化的数据是按照预定义的模
  • nosql mysql区别_nosql和Mysql的区别 半杯木 nosqlmysql区别
    也即非关系型数据库和关系型数据库。目前世界上主流的存储系统大部分还是采用了关系型数据库，其主要有一下优点：1.事务处理—保持数据的一致性；2.由于以标准化为前提，数据更新的开销很小(相同的字段基本上只有一处)；3.可以进行Join等复杂查询。nosql在优势方面，主要体现在下面这三点：1.简单的扩展：典型例子是Cassandra，由于其架构是类似于经典的P2P，所以能通过轻松地添加新的节点来扩展这
  • nosql与mysql的区别_Mongodb Mysql NoSQL的区别和联系 金七言 nosql与mysql的区别
    MongoDB什么是MongoDB？MongoDB是一个基于分布式文件存储的数据库，由C++语言编写，皆在为WEB应用提供可扩展的高性能数据存储解决方案MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似于Json的bson格式，因此可以存储比较复杂的数据类型，MongoDB最大的特点是它支持的查询语言方法非常
  • mysql和Nosql到底有什么区别，分别应用与什么场景？ ALGORITHM LOL mysqlnosql数据库
    MySQL和NoSQL是两种不同类型的数据库技术，它们各有其特点和适用场景。了解它们之间的区别和应用场景可以帮助选择合适的技术来支持特定的应用需求。MySQLMySQL是一种关系数据库管理系统（RDBMS），它使用结构化查询语言（SQL）来访问数据库。MySQL是基于表的系统，数据存储在行和列中，每个表有固定的模式，定义了数据在表中如何存储，包括数据类型和是否允许为空等。特点:结构化和严格的模式：
  • Nosql和Mysql的详细介绍 IT【大博】 mysqlnosql数据库
    一：nosql与mysql的区别是：1、MySQL是一个基于表格设计的关系数据库，而NoSQL本质上是非关系型的基于文档的设计；2、MySQL的严格模式限制并不容易扩展，而NoSQL可以通过动态模式特性轻松扩展等等。3、MySQL中使用的标准语言是SQL；而NoSQL中缺乏标准的查询语言。二：nosql与mysql的CRUD语句：1.nosql查询:db.表名.find({})mysql查询：se
  • NOSQL和MySQL的区别 小小懒懒 nosqlmysql数据库
    NoSQL和MySQL是两种不同类型的数据库，它们在数据模型、架构、查询语言和使用场景等方面存在一些区别。数据模型：MySQL是一种关系型数据库，使用表格和结构化的数据模型，数据存储在行和列中，需要定义表的结构和关系。NoSQL数据库采用非关系型数据模型，不要求严格的表结构和预定义的模式，可以存储各种形式的非结构化数据，如文档、键值对、列族、图形等。架构：MySQL通常采用集中式的架构，数据存储在
  • Google Chrome-便携增强版[解压即用] 私人珍藏库 chrome前端
    GoogleChrome-便携增强版链接：https://pan.xunlei.com/s/VOI0OyrhUx3biEbFgJyLl-Z8A1?pwd=f5qa#a特点描述√无升级、便携式、绿色免安装，即可以覆盖更新又能解压使用！√此增强版，支持右键解压使用√加入Chrome增强软件补丁Chrome++1.8.9(version.dll)﹂Chrome++特点(原始作者@shuax，新作者@Bu
  • C++基础教学（超详细）—— 认识C++ 杰杰杰杰杰. C++教学c++开发语言
    前言此文章为c++非正经教学，有错误欢迎指出。1.认识c++C++（cplusplus）是一种计算机高级程序设计语言，由C语言扩展升级而产生，最早于1979年由本贾尼·斯特劳斯特卢普在AT&T贝尔工作室研发。C++既可以进行C语言的过程化程序设计，又可以进行以抽象数据类型为特点的基于对象的程序设计，还可以进行以继承和多态为特点的面向对象的程序设计。C++擅长面向对象程序设计的同时，还可以进行基于过
  • 第一篇：数据库基础与概念 猿享天开 数据库数据库
    第一篇：数据库基础与概念目标读者：没有接触过数据库的初学者。内容概述：在本篇文章中，我们将从零开始，详细介绍数据库的基本概念、常见的数据库管理系统（DBMS）以及数据库设计的基础知识。无论你是完全没有接触过数据库，还是对其有些模糊的印象，这篇文章都将帮助你理解数据库的核心功能和工作原理，并为你进一步深入学习数据库打下坚实的基础。一、什么是数据库？我们生活中每时每刻都在接触数据，比如：你手机上的联系
  • 大模型开发流程 HalukiSan 语言模型
    大模型开发流程参考新想法（Halukisan(Xiaoliu)(github.com)）大模型一般开发流程设计：确定目标，设计功能。这一步需要认真考虑好，这个模型应用的目标群体是谁，需求方的具体应用场景是什么，不一定每次都要一个大模型为底座。架构搭建：搭建整体架构，搭建数据库，可以参考Halukisan/ModelDataBase:Es和向量数据库Milvus的构建与数据存储(github.com
  • 深入解析内存管理与优化：让你的程序轻松应对高负载 杨胜增 java数据库开发语言
    深入解析内存管理与优化：让你的程序轻松应对高负载随着技术的发展，现代应用程序越来越复杂，处理的数据量和请求量也越来越庞大。我们在追求更高效、快速的系统时，除了优化CPU和数据库，内存的管理与优化同样是提升性能的关键。如果内存管理不当，程序可能会出现内存泄漏、溢出，甚至导致系统崩溃。因此，了解内存的工作原理及优化技巧，成为了每个开发者的必修课。在本文中，我们将全面讲解如何高效地进行内存管理，探索常见
  • SSM 构建个性化商铺系统：功能亮点聚焦商业成功 2402_85758349 后端java
    第二章开发技术与环境配置以Java语言为开发工具，利用了当前先进的SSM框架技术，以MyEclipse10为系统开发工具，MySQL为后台数据库，开发的一个个性化商铺系统。2.1微信开发者工具在传统web浏览器中，在加载htm15页面时先加载视图层的html和css，后加载逻辑层的javascript，然后返回数据并在浏览器中展示页面。而微信开发者工具的系统层是基于NativeSystem的，视图
  • 数据如何查询 PangPiLoLo MySQL从入门到入土数据库sqlmysql
    分组查询分组查询（GroupBy）是在关系型数据库中用来对数据进行分组并对每个组应用聚合函数的一种操作。这种查询通常结合聚合函数（如COUNT、SUM、AVG、MAX、MIN等）使用，用于在查询结果中生成汇总信息特点(聚合)：输入多行,最终输出一行，且分组函数(COUNT、SUM、AVG、MAX、MIN)需要分组了才能使用，如果不进行分组则将会聚合整张表的数据语法SELECT字段1,分组/聚合函数
  • postgres--目录System Catalogs IT艺术家-rookie 数据库技术数据库
    pg_statistic关于数据库系统（特别是PostgreSQL数据库）中的统计信息目录pg_statistic的说明。统计数据存储：pg_statistic目录存储有关数据库内容的统计数据。这些数据是由ANALYZE命令创建的，并随后被查询优化器使用。需要注意的是，即使这些统计数据是最新的，它们本质上也是近似的。统计数据条目：通常情况下，对于每个已分析的表列，会有一个条目，其中stainher
  • Spring Boot构建mvc项目 贾斯汀玛尔斯 Javaspringbootmvc后端
    好的，以下是一个简单的JavaMVC（Model-View-Controller）项目示例，使用SpringBoot框架和MySQL数据库。这个项目包括基本的CRUD操作。项目结构src/└──main/├──java/│└──com/│└──example/│└──demo/│├──DemoApplication.java│├──controller/││└──UserController.ja
  • java Illegal overloaded getter method with ambiguous type for propert的解决 zwllxs javajdk
    好久不来iteye,今天又来看看，哈哈,今天碰到在编码时，反射中会抛出 Illegal overloaded getter method with ambiguous type for propert这么个东东，从字面意思看，是反射在获取getter时迷惑了，然后回想起java在boolean值在生成getter时，分别有is和getter，也许我们的反射对象中就有is开头的方法迷惑了jdk，
  • IT人应当知道的10个行业小内幕 beijingjava 工作互联网
    10. 虽然IT业的薪酬比其他很多行业要好，但有公司因此视你为其“佣人”。 　　尽管IT人士的薪水没有互联网泡沫之前要好，但和其他行业人士比较，IT人的薪资还算好点。在接下的几十年中，科技在商业和社会发展中所占分量会一直增加，所以我们完全有理由相信，IT专业人才的需求量也不会减少。 　　然而，正因为IT人士的薪水普遍较高，所以有些公司认为给了你这么多钱，就把你看成是公司的“佣人”，拥有你的支配
  • java 实现自定义链表 CrazyMizzz java数据结构
    1.链表结构   链表是链式的结构 2.链表的组成    链表是由头节点，中间节点和尾节点组成    节点是由两个部分组成：       1.数据域       2.引用域 3.链表的实现 &nbs
  • web项目发布到服务器后图片过一会儿消失 麦田的设计者 struts2上传图片永久保存
      作为一名学习了android和j2ee的程序员，我们必须要意识到，客服端和服务器端的交互是很有必要的，比如你用eclipse写了一个web工程，并且发布到了服务器（tomcat）上，这时你在webapps目录下看到了你发布的web工程，你可以打开电脑的浏览器输入http://localhost:8080/工程/路径访问里面的资源。但是，有时你会突然的发现之前用struts2上传的图片
  • CodeIgniter框架Cart类 name 不能设置中文的解决方法 IT独行者 CodeIgniterCart框架　
    今天试用了一下CodeIgniter的Cart类时遇到了个小问题，发现当name的值为中文时，就写入不了session。在这里特别提醒一下。 在CI手册里也有说明，如下： $data = array( 'id' => 'sku_123ABC', 'qty' => 1, '
  • linux回收站 _wy_ linux回收站
    今天一不小心在ubuntu下把一个文件移动到了回收站，我并不想删，手误了。我急忙到Nautilus下的回收站中准备恢复它，但是里面居然什么都没有。     后来我发现这是由于我删文件的地方不在HOME所在的分区，而是在另一个独立的Linux分区下，这是我专门用于开发的分区。而我删除的东东在分区根目录下的.Trash-1000/file目录下，相关的删除信息（删除时间和文件所在
  • jquery回到页面顶端 知了ing htmljquerycss
    html代码： <h1 id="anchor">页面标题</h1> <div id="container">页面内容</div> <p><a href="#anchor" class="topLink">回到顶端</a><
  • B树、B-树、B+树、B*树 矮蛋蛋 B树
    原文地址： http://www.cnblogs.com/oldhorse/archive/2009/11/16/1604009.html B树        即二叉搜索树：        1.所有非叶子结点至多拥有两个儿子（Left和Right）； &nb
  • 数据库连接池 alafqq 数据库连接池
    http://www.cnblogs.com/xdp-gacl/p/4002804.html @Anthor:孤傲苍狼 数据库连接池 用MySQLv5版本的数据库驱动没有问题，使用MySQLv6和Oracle的数据库驱动时候报如下错误： java.lang.ClassCastException: $Proxy0 cannot be cast to java.sql.Connec
  • java泛型 百合不是茶 java泛型
    泛型 在Java SE 1.5之前，没有泛型的情况的下，通过对类型Object的引用来实现参数的“任意化”，任意化的缺点就是要实行强制转换，这种强制转换可能会带来不安全的隐患   泛型的特点：消除强制转换 确保类型安全 向后兼容   简单泛型的定义：      泛型：就是在类中将其模糊化，在创建对象的时候再具体定义 class fan
  • javascript闭包[两个小测试例子] bijian1013 JavaScriptJavaScript
    一.程序一 <script> var name = "The Window"; var Object_a = { 　　name : "My Object", 　　getNameFunc : function(){ var that = this; 　　　　return function(){ 　　　　
  • 探索JUnit4扩展：假设机制（Assumption） bijian1013 javaAssumptionJUnit单元测试
    一.假设机制（Assumption）概述        理想情况下，写测试用例的开发人员可以明确的知道所有导致他们所写的测试用例不通过的地方，但是有的时候，这些导致测试用例不通过的地方并不是很容易的被发现，可能隐藏得很深，从而导致开发人员在写测试用例时很难预测到这些因素，而且往往这些因素并不是开发人员当初设计测试用例时真正目的，
  • 【Gson四】范型POJO的反序列化 bit1129 POJO
    在下面这个例子中，POJO(Data类)是一个范型类，在Tests中，指定范型类为PieceData，POJO初始化完成后，通过 String str = new Gson().toJson(data); 得到范型化的POJO序列化得到的JSON串，然后将这个JSON串反序列化为POJO   import com.google.gson.Gson; import java.
  • 【Spark八十五】Spark Streaming分析结果落地到MySQL bit1129 Stream
    几点总结： 1. DStream.foreachRDD是一个Output Operation，类似于RDD的action，会触发Job的提交。DStream.foreachRDD是数据落地很常用的方法 2. 获取MySQL Connection的操作应该放在foreachRDD的参数（是一个RDD[T]=>Unit的函数类型)，这样，当foreachRDD方法在每个Worker上执行时，
  • NGINX + LUA实现复杂的控制 ronin47 nginx lua
    安装lua_nginx_module 模块 lua_nginx_module 可以一步步的安装，也可以直接用淘宝的OpenResty Centos和debian的安装就简单了。。 这里说下freebsd的安装： fetch http://www.lua.org/ftp/lua-5.1.4.tar.gz tar zxvf lua-5.1.4.tar.gz cd lua-5.1.4 ma
  • java-递归判断数组是否升序 bylijinnan java
    public class IsAccendListRecursive { /*递归判断数组是否升序 * if a Integer array is ascending,return true * use recursion */ public static void main(String[] args){ IsAccendListRecursiv
  • Netty源码学习-DefaultChannelPipeline2 bylijinnan javanetty
    Netty3的API http://docs.jboss.org/netty/3.2/api/org/jboss/netty/channel/ChannelPipeline.html 里面提到ChannelPipeline的一个“pitfall”： 如果ChannelPipeline只有一个handler（假设为handlerA）且希望用另一handler（假设为handlerB） 来
  • Java工具之JPS chinrui java
    JPS使用     熟悉Linux的朋友们都知道，Linux下有一个常用的命令叫做ps（Process Status)，是用来查看Linux环境下进程信息的。同样的，在Java Virtual Machine里面也提供了类似的工具供广大Java开发人员使用，它就是jps（Java Process Status)，它可以用来
  • window.print分页打印 ctrain window
    function init() { var tt = document.getElementById("tt"); var childNodes = tt.childNodes[0].childNodes; var level = 0; for (var i = 0; i < childNodes.length; i++) {
  • 安装hadoop时 执行jps命令Error occurred during initialization of VM daizj jdkhadoopjps
    在安装hadoop时，执行JPS出现下面错误   [slave16][email protected]:/tmp/hsperfdata_hdfs# jps Error occurred during initialization of VM java.lang.Error: Properties init: Could not determine current working
  • PHP开发大型项目的一点经验 dcj3sjt126com PHP重构
    一、变量 最好是把所有的变量存储在一个数组中，这样在程序的开发中可以带来很多的方便，特别是当程序很大的时候。变量的命名就当适合自己的习惯，不管是用拼音还是英语，至少应当有一定的意义，以便适合记忆。变量的命名尽量规范化，不要与PHP中的关键字相冲突。 二、函数 PHP自带了很多函数，这给我们程序的编写带来了很多的方便。当然，在大型程序中我们往往自己要定义许多个函数，几十
  • android笔记之--向网络发送GET/POST请求参数 dcj3sjt126com android
    使用GET方法发送请求 private static boolean sendGETRequest (String path, Map<String, String> params) throws Exception{ //发送地http://192.168.100.91:8080/videoServi
  • linux复习笔记 之bash shell (3) 通配符 eksliang linux 通配符linux通配符
    转载请出自出处： http://eksliang.iteye.com/blog/2104387 在bash的操作环境中有一个非常有用的功能，那就是通配符。 下面列出一些常用的通配符，如下表所示 符号 意义 * 万用字符，代表0个到无穷个任意字符 ? 万用字符，代表一定有一个任意字符 [] 代表一定有一个在中括号内的字符。例如：[abcd]代表一定有一个字符，可能是a、b、c
  • Android关于短信加密 gqdy365 android
    关于Android短信加密功能，我初步了解的如下（只在Android应用层试验）：     1、因为Android有短信收发接口，可以调用接口完成短信收发；         发送过程：APP（基于短信应用修改）接受用户输入号码、内容——>APP对短信内容加密——>调用短信发送方法Sm
  • asp.net在网站根目录下创建文件夹 hvt .netC#hovertreeasp.netWeb Forms
    假设要在asp.net网站的根目录下建立文件夹hovertree,C#代码如下： string m_keleyiFolderName = Server.MapPath("/hovertree"); if (Directory.Exists(m_keleyiFolderName)) { //文件夹已经存在 return; } else { try { D
  • 一个合格的程序员应该读过哪些书 justjavac 程序员书籍
    编者按：2008年8月4日，StackOverflow 网友 Bert F 发帖提问：哪本最具影响力的书，是每个程序员都应该读的？ “如果能时光倒流，回到过去，作为一个开发人员，你可以告诉自己在职业生涯初期应该读一本， 你会选择哪本书呢？我希望这个书单列表内容丰富，可以涵盖很多东西。” 很多程序员响应，他们在推荐时也写下自己的评语。 以前就有国内网友介绍这个程序员书单，不过都是推荐数
  • 单实例实践 跑龙套_az 单例
       1、内部类 public class Singleton { private static class SingletonHolder { public static Singleton singleton = new Singleton(); } public Singleton getRes
  • PO VO BEAN 理解 q137681467 VODTOpo
    PO：      全称是 persistant object持久对象 最形象的理解就是一个PO就是数据库中的一条记录。 好处是可以把一条记录作为一个对象处理，可以方便的转为其它对象。     BO：     全称是 business object:业务对象 主要作用是把业务逻辑封装为一个对象。这个对
  • 战胜惰性，暗自努力 金笛子 努力
    偶然看到一句很贴近生活的话：“别人都在你看不到的地方暗自努力，在你看得到的地方，他们也和你一样显得吊儿郎当，和你一样会抱怨，而只有你自己相信这些都是真的，最后也只有你一人继续不思进取。”很多句子总在不经意中就会戳中一部分人的软肋，我想我们每个人的周围总是有那么些表现得“吊儿郎当”的存在，是否你就真的相信他们如此不思进取，而开始放松了对自己的要求随波逐流呢？ 我有个朋友是搞技术的，平时嘻嘻哈哈，以
  • NDK/JNI二维数组多维数组传递 wenzongliang 二维数组jniNDK
    多维数组和对象数组一样处理，例如二维数组里的每个元素还是一个数组 用jArray表示，直到数组变为一维的，且里面元素为基本类型，去获得一维数组指针。给大家提供个例子。已经测试通过。 Java_cn_wzl_FiveChessView_checkWin( JNIEnv* env,jobject thiz,jobjectArray qizidata) { jint i,j; int s
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他