Python学习笔记——MySQL基本使用

目录

数据存储

MySQL 简介

数据完整性

Navicat连接

命令行连接

修改输入提示符

数据库

数据表

增删改查(curd)

备份

恢复

数据库设计

---

数据存储

• 以前是这样记录的：结绳记事
• 也有这样记录的：甲骨
• 后来开始这样记录：图书

传统记录数据的缺点:

• 不易保存
• 备份困难
• 查找不便

现代化手段----文件

• 使用简单，例如python中的open可以打开文件，用read/write对文件进行读写，close关闭文件
• 对于数据容量较大的数据，不能够很好的满足，而且性能较差
• 不易扩展

现代化手段----数据库

• 持久化存储
• 读写速度极高
• 保证数据的有效性
• 对程序支持性非常好，容易扩展

真实的仓库是这样的:

我们看到的是这个样子的

顾客看到的是这个样子的:

数据库

数据库就是一种特殊的文件，其中存储着需要的数据

关系型数据库核心元素

• 数据行(记录)
• 数据列(字段)
• 数据表(数据行的集合)
• 数据库(数据表的集合)

RDBMS

Relational Database Management System

通过表来表示关系型

• 当前主要使用两种类型的数据库：关系型数据库、非关系型数据库，本部分主要讨论关系型数据库，对于非关系型数据库会在后面学习

• 所谓的关系型数据库RDBMS，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据

• 查看数据库排名:https://db-engines.com/en/ranking

• 关系型数据库的主要产品：

  • oracle：在以前的大型项目中使用,银行,电信等项目
  • mysql：web时代使用最广泛的关系型数据库
  • ms sql server：在微软的项目中使用
  • sqlite：轻量级数据库，主要应用在移动平台

RDBMS和数据库的关系

SQL

Structured Query Language

SQL是结构化查询语言，是一种用来操作RDBMS的数据库语言，当前关系型数据库都支持使用SQL语言进行操作,也就是说可以通过 SQL 操作 oracle,sql server,mysql,sqlite 等等所有的关系型的数据库

• SQL语句主要分为：
  • DQL：数据查询语言，用于对数据进行查询，如select
  • DML：数据操作语言，对数据进行增加、修改、删除，如insert、udpate、delete
  • TPL：事务处理语言，对事务进行处理，包括begin transaction、commit、rollback
  • DCL：数据控制语言，进行授权与权限回收，如grant、revoke
  • DDL：数据定义语言，进行数据库、表的管理等，如create、drop
  • CCL：指针控制语言，通过控制指针完成表的操作，如declare cursor
• 对于web程序员来讲，重点是数据的crud（增删改查），必须熟练编写DQL、DML，能够编写DDL完成数据库、表的操作，其它语言如TPL、DCL、CCL了解即可
• SQL 是一门特殊的语言,专门用来操作关系数据库
• 不区分大小写

学习要求

• 熟练掌握数据增删改查相关的 SQL 语句编写
• 在 Python代码中操作数据就是通过 SQL 语句来操作数据

# 创建Connection连接
conn = connect(host='localhost', port=3306, user='root', password='mysql', database='python1', charset='utf8')
# 得Cursor对象
cs = conn.cursor()
# 更新
# sql = 'update students set name="刘邦" where id=6'
# 删除
# sql = 'delete from students where id=6'
# 执行select语句，并返回受影响的行数：查询一条学生数据
sql = 'select id,name from students where id = 7'
# sql = 'SELECT id,name FROM students WHERE id = 7'
count=cs.execute(sql)
# 打印受影响的行数
print(count)

MySQL 简介

• 点击查看MySQL官方网站

• MySQL是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，后来被Sun公司收购，Sun公司后来又被Oracle公司收购，目前属于Oracle旗下产品

特点

• 使用C和C++编写，并使用了多种编译器进行测试，保证源代码的可移植性

• 支持多种操作系统，如Linux、Windows、AIX、FreeBSD、HP-UX、MacOS、NovellNetware、OpenBSD、OS/2 Wrap、Solaris等

• 为多种编程语言提供了API，如C、C++、Python、Java、Perl、PHP、Eiffel、Ruby等

• 支持多线程，充分利用CPU资源

• 优化的SQL查询算法，有效地提高查询速度
• 提供多语言支持，常见的编码如GB2312、BIG5、UTF8
• 提供TCP/IP、ODBC和JDBC等多种数据库连接途径
• 提供用于管理、检查、优化数据库操作的管理工具
• 大型的数据库。可以处理拥有上千万条记录的大型数据库
• 支持多种存储引擎
• MySQL 软件采用了双授权政策，它分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQL作为网站数据库
• MySQL使用标准的SQL数据语言形式
• Mysql是可以定制的，采用了GPL协议，你可以修改源码来开发自己的Mysql系统
• 在线DDL更改功能
• 复制全局事务标识
• 复制无崩溃从机
• 复制多线程从机

开源 免费 不要钱 使用范围广,跨平台支持性好,提供了多种语言调用的 API

是学习数据库开发的首选

服务器端安装

• 安装服务器端：在终端中输入如下命令，回车后，然后按照提示输入

sudo apt-get install mysql-server

• 当前使用的ubuntu镜像中已经安装好了mysql服务器端，无需再安装，并且设置成了开机自启动
• 服务器用于接收客户端的请求、执行sql语句、管理数据库
• 服务器端一般以服务方式管理，名称为mysql
• 启动服务

sudo service mysql start

• 查看进程中是否存在mysql服务

ps ajx|grep mysql

• 停止服务

sudo service mysql stop

• 重启服务

sudo service mysql restart

配置

• 配置文件目录为/etc/mysql/mysql.cnf

• 进入conf.d目录，打开mysql.cnf，发现并没有配置
• 进入mysql.conf.d目录，打开mysql.cnf，可以看到配置项

• 主要配置项如下

bind-address表示服务器绑定的ip，默认为127.0.0.1

port表示端口，默认为3306

datadir表示数据库目录，默认为/var/lib/mysql

general_log_file表示普通日志，默认为/var/log/mysql/mysql.log

log_error表示错误日志，默认为/var/log/mysql/error.log

客户端

• 客户端为开发人员与dba使用，通过socket方式与服务端通信，常用的有navicat、命令行mysql

图形化界面客户端navicat

• 可以到Navicat官网下载
• 将压缩文件拷贝到ubuntu虚拟机中，放到桌面上，解压

tar zxvf navicat112_mysql_cs_x64.tar.gz

• 进入解压的目录，运行如下命令

./start_navicat

• 启动如下图，详细功能见下节

• 点击两次“取消”按钮后如下图

• 点击“试用”按钮后如下图

• 问题一：中文乱码

• 解决：打开start_navicat文件

将export LANG="en_US.UTF-8"改为export LANG="zh_CN.UTF-8"

• 问题二：试用期
• 解决：删除用户目录下的.navicat64目录

cd ~
rm -r .navicat64

命令行客户端

• 在终端运行如下命令，按提示填写信息

sudo apt-get install mysql-client

• 当前使用的ubuntu镜像中已经安装好了mysql客户端，无需再安装
• 详细连接的命令可以查看帮助文档

mysql --help

• 最基本的连接命令如下，输入后回车

mysql -u root -pmysql

• 连接成功后提示如下图

• 按ctrl+d或输入如下命令退出

quit 或者 exit

数据完整性

• 一个数据库就是一个完整的业务单元，可以包含多张表，数据被存储在表中
• 在表中为了更加准确的存储数据，保证数据的正确有效，可以在创建表的时候，为表添加一些强制性的验证，包括数据字段的类型、约束

数据类型

• 可以通过查看帮助文档查阅所有支持的数据类型
• 使用数据类型的原则是：够用就行，尽量使用取值范围小的，而不用大的，这样可以更多的节省存储空间
• 常用数据类型如下：
  • 整数：int，bit
  • 小数：decimal
  • 字符串：varchar,char
  • 日期时间: date, time, datetime
  • 枚举类型(enum)
• 特别说明的类型如下：
  • decimal表示浮点数，如decimal(5,2)表示共存5位数，小数占2位
  • char表示固定长度的字符串，如char(3)，如果填充'ab'时会补一个空格为'ab '
  • varchar表示可变长度的字符串，如varchar(3)，填充'ab'时就会存储'ab'
  • 字符串text表示存储大文本，当字符大于4000时推荐使用
  • 对于图片、音频、视频等文件，不存储在数据库中，而是上传到某个服务器上，然后在表中存储这个文件的保存路径
• 更全的数据类型可以参考http://blog.csdn.net/anxpp/article/details/51284106

约束

• 主键primary key：物理上存储的顺序
• 非空not null：此字段不允许填写空值
• 惟一unique：此字段的值不允许重复
• 默认default：当不填写此值时会使用默认值，如果填写时以填写为准
• 外键foreign key：对关系字段进行约束，当为关系字段填写值时，会到关联的表中查询此值是否存在，如果存在则填写成功，如果不存在则填写失败并抛出异常
• 说明：虽然外键约束可以保证数据的有效性，但是在进行数据的crud（增加、修改、删除、查询）时，都会降低数据库的性能，所以不推荐使用，那么数据的有效性怎么保证呢？答：可以在逻辑层进行控制

数值类型(常用)

类型	字节大小	有符号范围(Signed)	无符号范围(Unsigned)
TINYINT	1	-128 ~ 127	0 ~ 255
SMALLINT	2	-32768 ~ 32767	0 ~ 65535
MEDIUMINT	3	-8388608 ~ 8388607	0 ~ 16777215
INT/INTEGER	4	-2147483648 ~2147483647	0 ~ 4294967295
BIGINT	8	-9223372036854775808 ~ 9223372036854775807	0 ~ 18446744073709551615

字符串

类型	字节大小	示例
CHAR	0-255	类型:char(3) 输入 'ab', 实际存储为'ab ', 输入'abcd' 实际存储为 'abc'
VARCHAR	0-255	类型:varchar(3) 输 'ab',实际存储为'ab', 输入'abcd',实际存储为'abc'
TEXT	0-65535	大文本

日期时间类型

类型	字节大小	示例
DATE	4	'2020-01-01'
TIME	3	'12:29:59'
DATETIME	8	'2020-01-01 12:29:59'
YEAR	1	'2017'
TIMESTAMP	4	'1970-01-01 00:00:01' UTC ~ '2038-01-01 00:00:01' UTC

Navicat连接

• 打开navicat，点击工具栏的“连接”，选择“mysql”，弹出窗口如下图

• 在弹出的窗口中填写名称、主机ip、端口、用户名、密码，如下图
• 密码为mysql

• 点击确定，在左侧栏会看到刚才填写的名称，双击打开连接，如下图

创建数据库

• 在左侧栏空白处右击，选择“新建数据库”，点击

• 点击后弹出新窗口，填写数据库名称并选择语言如下图

• 填写完成后点击“确定”创建数据库，在左侧会出现刚才创建的数据库，双击打开

编辑数据库

• 在左侧栏数据库上右击，弹出菜单，如下图

• 选择“编辑数据库”，可以修改字符集、排序规则，如下图

• 选择“转储sql文件”，可以完成结构和数据的备份，如下图：

• 选择“删除数据库”，可以将数据库删除

创建数据表

• 点击工具栏“表”，在第二行显示关于表的命令，点击“创建表”

• 弹出新窗口，按照上节的设计，创建班级表，填写各字段，选择相应的类型

• 对于id字段，需要设置为int类型，无符号，自动增长，主键，非空
• 对于字符串类型，必须指定包含字符个数，还需要指定字符集、排序规则，默认与数据库的一致
• datetime的默认值可以设置成now(),也可以是一个具体值，如'2000-1-1'
• 按照同样的方式创建学生表students

编辑数据表

• 选择一张表后，工具栏的第二行“打开表”、“设计表”、“删除表”都变的可用

• 打开表会查看表的当前数据，可以在这个窗口中增加、修改、删除数据
• 设计表和创建表的窗口一样，可以增加、修改、删除字段，或编辑字段的类型、约束
• 删除表会将表物理删除

查看数据

• 双击表，或者选择表后，点击工具栏第二行的“打开表”，可以查看表的数据

增加数据

• 默认没有数据，可以在对应的列中填写数据，点击底部的对勾完成添加
• 注意：自动增长的主键列不需要填写值

• 如果需要继续添加数据，点击询问的加号，会出现一个新的空白行，填写数据即可

修改数据

• 点击某个单元格，即可编辑值，修改完后，点击底部的勾生效

删除数据

• 点击某个单元格，再点击询问的减号，可以删除

• 说明：对于重要数据，推荐将isdelete属性改为1，而不是进行物理删除

命令行连接

• 在工作中主要使用命令操作方式，要求熟练编写
• 打开终端，运行命令

mysql -uroot -p
回车后输入密码，当前设置的密码为mysql

• 连接成功后如下图

• 退出登录

quit 和 exit
或
ctrl+d

• 登录成功后，输入如下命令查看效果

查看版本：select version();
显示当前时间：select now();

修改输入提示符

prompt python>

• \D 完整日期
• \U 使用用户

数据库

• 查看所有数据库

show databases;

• 使用数据库

use 数据库名;

• 查看当前使用的数据库

select database();

• 创建数据库

create database 数据库名 charset=utf8;
例：
create database python charset=utf8;

• 删除数据库

drop database 数据库名;
例：
drop database python;

数据表

• 查看当前数据库中所有表

show tables;

• 查看表结构

desc 表名;

• 创建表
• auto_increment表示自动增长

CREATE TABLE table_name(
    column1 datatype contrai,
    column2 datatype,
    column3 datatype,
    .....
    columnN datatype,
    PRIMARY KEY(one or more columns)
);

例：创建班级表

create table classes(
    id int unsigned auto_increment primary key not null,
    name varchar(10)
);

例：创建学生表

create table students(
    id int unsigned primary key auto_increment not null,
    name varchar(20) default '',
    age tinyint unsigned default 0,
    height decimal(5,2),
    gender enum('男','女','人妖','保密'),
    cls_id int unsigned default 0
)

• 修改表-添加字段

alter table 表名 add 列名 类型;
例：
alter table students add birthday datetime;

• 修改表-修改字段：重命名版

alter table 表名 change 原名 新名 类型及约束;
例：
alter table students change birthday birth datetime not null;

• 修改表-修改字段：不重命名版

alter table 表名 modify 列名 类型及约束;
例：
alter table students modify birth date not null;

• 修改表-删除字段

alter table 表名 drop 列名;
例：
alter table students drop birthday;

• 删除表

drop table 表名;
例：
drop table students;

• 查看表的创建语句

show create table 表名;
例：
show create table classes;

增删改查(curd)

curd的解释: 代表创建（Create）、更新（Update）、读取（Retrieve）和删除（Delete）

查询基本使用

• 查询所有列

select * from 表名;
例：
select * from classes;

• 查询指定列
• 可以使用as为列或表指定别名

select 列1,列2,... from 表名;
例：
select id,name from classes;

增加

格式:INSERT [INTO] tb_name [(col_name,...)] {VALUES | VALUE} ({expr | DEFAULT},...),(...),...

• 说明：主键列是自动增长，但是在全列插入时需要占位，通常使用0或者 default 或者 null 来占位，插入成功后以实际数据为准
• 全列插入：值的顺序与表中字段的顺序对应

insert into 表名 values(...)
例：
insert into students values(0,’郭靖‘,1,'蒙古','2016-1-2');

• 部分列插入：值的顺序与给出的列顺序对应

insert into 表名(列1,...) values(值1,...)
例：
insert into students(name,hometown,birthday) values('黄蓉','桃花岛','2016-3-2');

• 上面的语句一次可以向表中插入一行数据，还可以一次性插入多行数据，这样可以减少与数据库的通信
• 全列多行插入：值的顺序与给出的列顺序对应

insert into 表名 values(...),(...)...;
例：
insert into classes values(0,'python1'),(0,'python2');

insert into 表名(列1,...) values(值1,...),(值1,...)...;
例：
insert into students(name) values('杨康'),('杨过'),('小龙女');

 

修改

格式: UPDATE tbname SET col1={expr1|DEFAULT} [,col2={expr2|default}]...[where 条件判断]

update 表名 set 列1=值1,列2=值2... where 条件
例：
update students set gender=0,hometown='北京' where id=5;

删除

DELETE FROM tbname [where 条件判断]

delete from 表名 where 条件
例：
delete from students where id=5;

• 逻辑删除，本质就是修改操作

update students set isdelete=1 where id=1;

备份

• 运行mysqldump命令

mysqldump –uroot –p 数据库名 > python.sql;

# 按提示输入mysql的密码

恢复

• 连接mysql，创建新的数据库
• 退出连接，执行如下命令

mysql -uroot –p 新数据库名 < python.sql

# 根据提示输入mysql密码

 

数据库设计

• 关系型数据库建议在E-R模型的基础上，我们需要根据产品经理的设计策划，抽取出来模型与关系，制定出表结构，这是项目开始的第一步
• 在开发中有很多设计数据库的软件，常用的如power designer，db desinger等，这些软件可以直观的看到实体及实体间的关系
• 设计数据库，可能是由专门的数据库设计人员完成，也可能是由开发组成员完成，一般是项目经理带领组员来完成
• 现阶段不需要独立完成数据库设计，但是要注意积累一些这方面的经验

三范式

• 经过研究和对使用中问题的总结，对于设计数据库提出了一些规范，这些规范被称为范式(Normal Form)
• 目前有迹可寻的共有8种范式，一般需要遵守3范式即可
• ◆ 第一范式（1NF）：强调的是列的原子性，即列不能够再分成其他几列。

  考虑这样一个表：【联系人】（姓名，性别，电话） 如果在实际场景中，一个联系人有家庭电话和公司电话，那么这种表结构设计就没有达到 1NF。要符合 1NF 我们只需把列（电话）拆分，即：【联系人】（姓名，性别，家庭电话，公司电话）。1NF 很好辨别，但是 2NF 和 3NF 就容易搞混淆。

• ◆ 第二范式（2NF）：首先是 1NF，另外包含两部分内容，一是表必须有一个主键；二是没有包含在主键中的列必须完全依赖于主键，而不能只依赖于主键的一部分。

  考虑一个订单明细表：【OrderDetail】（OrderID，ProductID，UnitPrice，Discount，Quantity，ProductName）。 因为我们知道在一个订单中可以订购多种产品，所以单单一个 OrderID 是不足以成为主键的，主键应该是（OrderID，ProductID）。显而易见 Discount（折扣），Quantity（数量）完全依赖（取决）于主键（OderID，ProductID），而 UnitPrice，ProductName 只依赖于 ProductID。所以 OrderDetail 表不符合 2NF。不符合 2NF 的设计容易产生冗余数据。

  可以把【OrderDetail】表拆分为【OrderDetail】（OrderID，ProductID，Discount，Quantity）和【Product】（ProductID，UnitPrice，ProductName）来消除原订单表中UnitPrice，ProductName多次重复的情况。

• ◆ 第三范式（3NF）：首先是 2NF，另外非主键列必须直接依赖于主键，不能存在传递依赖。即不能存在：非主键列 A 依赖于非主键列 B，非主键列 B 依赖于主键的情况。

  考虑一个订单表【Order】（OrderID，OrderDate，CustomerID，CustomerName，CustomerAddr，CustomerCity）主键是（OrderID）。 其中 OrderDate，CustomerID，CustomerName，CustomerAddr，CustomerCity 等非主键列都完全依赖于主键（OrderID），所以符合 2NF。不过问题是 CustomerName，CustomerAddr，CustomerCity 直接依赖的是 CustomerID（非主键列），而不是直接依赖于主键，它是通过传递才依赖于主键，所以不符合 3NF。 通过拆分【Order】为【Order】（OrderID，OrderDate，CustomerID）和【Customer】（CustomerID，CustomerName，CustomerAddr，CustomerCity）从而达到 3NF。 *第二范式（2NF）和第三范式（3NF）的概念很容易混淆，区分它们的关键点在于，2NF：非主键列是否完全依赖于主键，还是依赖于主键的一部分；3NF：非主键列是直接依赖于主键，还是直接依赖于非主键列。

不遵循1NF

不遵循2NF

不遵循3NF

最终表

E-R模型

• E表示entry，实体，设计实体就像定义一个类一样，指定从哪些方面描述对象，一个实体转换为数据库中的一个表
• R表示relationship，关系，关系描述两个实体之间的对应规则，关系的类型包括包括一对一、一对多、多对多
• 关系也是一种数据，需要通过一个字段存储在表中
• 实体A对实体B为1对1，则在表A或表B中创建一个字段，存储另一个表的主键值

• 实体A对实体B为1对多：在表B中创建一个字段，存储表A的主键值

• 实体A对实体B为多对多：新建一张表C，这个表只有两个字段，一个用于存储A的主键值，一个用于存储B的主键值

• 想一想：举些例子，满足一对一、一对多、多对多的对应关系

逻辑删除

• 对于重要数据，并不希望物理删除，一旦删除，数据无法找回
• 删除方案：设置isDelete的列，类型为bit，表示逻辑删除，默认值为0
• 对于非重要数据，可以进行物理删除
• 数据的重要性，要根据实际开发决定

示例

• 设计两张表：班级表、学生表
• 班级表classes
  • id
  • name
  • isdelete
• 学生表students
  • id
  • name
  • birthday
  • gender
  • clsid
  • isdelete

扩展阅读

• 看看别人家设计的规范
• 58到家数据库30条军规解读