数据库(Database)是按照数据结构来组织、存储和管理数据的仓库,
每个数据库都有一个或多个不同的API用于创建,访问,管理,搜索和复制所保存的数据。
我们也可以将数据存储在文件中,但是在文件中读写数据速度相对较慢。
所以,现在我们使用关系型数据库管理系统(RDBMS)来存储和管理的大数据量。所谓的关系型数据库,是建立在关系模型基础上的数据库,借助于集合代数等数学概念和方法来处理数据库中的数据。
RDBMS即关系数据库管理系统(Relational Database Management System)的特点:
1.数据以表格的形式出现
2.每行为各种记录名称
3.每列为记录名称所对应的数据域
4.许多的行和列组成一张表单
5.若干的表单组成database
下图就是一个数据库:
在我们开始学习MySQL 数据库前,让我们先了解下RDBMS的一些术语:
Mysql是最流行的关系型数据库管理系统,在WEB应用方面MySQL是最好的RDBMS(Relational Database Management System:关系数据库管理系统)应用软件之一。由瑞典MySQL AB公司开发,目前属于Oracle公司。MySQL是一种关联数据库管理系统,关联数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。
1.Mysql是开源的,所以你不需要支付额外的费用。
2.Mysql支持大型的数据库。可以处理拥有上千万条记录的大型数据库。
3.MySQL使用标准的SQL数据语言形式。
4.Mysql可以允许于多个系统上,并且支持多种语言。这些编程语言包括C、C++、Python、Java、Perl、PHP、Eiffel、Ruby和Tcl等。
5.Mysql对PHP有很好的支持,PHP是目前最流行的Web开发语言。
6.MySQL支持大型数据库,支持5000万条记录的数据仓库,32位系统表文件最大可支持4GB,64位系统支持最大的表文件为8TB。
7.Mysql是可以定制的,采用了GPL协议,你可以修改源码来开发自己的Mysql系统。
以下列出了使用Mysql数据库过程中常用的命令:
1、USE 数据库名 :选择要操作的Mysql数据库,使用该命令后所有Mysql命令都只针对该数据库。
2、SHOW DATABASES: 列出 MySQL 数据库管理系统的数据库列表。
3、SHOW TABLES: #显示指定数据库的所有表,使用该命令前需要使用 use命令来选择要操作的数据库。
4、SHOW COLUMNS FROM 数据表: #显示数据表的属性,属性类型,主键信息 ,是否为 NULL,默认值等其他信息。
5、create database testdb charset “utf8”; #创建一个叫testdb的数据库,且让其支持中文
6、drop database testdb; #删除数据库
7、SHOW INDEX FROM 数据表:显示数据表的详细索引信息,包括PRIMARY KEY(主键)。
MySQL中定义数据字段的类型对你数据库的优化是非常重要的。
MySQL支持多种类型,大致可以分为三类:数值、日期/时间和字符串(字符)类型。
MySQL支持所有标准SQL数值数据类型。
这些类型包括严格数值数据类型(INTEGER、SMALLINT、DECIMAL和NUMERIC),以及近似数值数据类型(FLOAT、REAL和DOUBLE PRECISION)。
关键字INT是INTEGER的同义词,关键字DEC是DECIMAL的同义词。
BIT数据类型保存位字段值,并且支持MyISAM、MEMORY、InnoDB和BDB表。
作为SQL标准的扩展,MySQL也支持整数类型TINYINT、MEDIUMINT和BIGINT。下面的表显示了需要的每个整数类型的存储和范围。
类型 | 大小 | 范围(有符号) | 范围(无符号) | 用途 |
---|---|---|---|---|
TINYINT | 1 字节 | (-128,127) | (0,255) | 小整数值 |
SMALLINT | 2 字节 | (-32 768,32 767) | (0,65 535) | 大整数值 |
MEDIUMINT | 3 字节 | (-8 388 608,8 388 607) | (0,16 777 215) | 大整数值 |
INT或INTEGER | 4 字节 | (-2 147 483 648,2 147 483 647) | (0,4 294 967 295) | 大整数值 |
BIGINT | 8 字节 | (-9 233 372 036 854 775 808,9 223 372 036 854 775 807) | (0,18 446 744 073 709 551 615) | 极大整数值 |
FLOAT | 4 字节 | (-3.402 823 466 E+38,1.175 494 351 E-38),0,(1.175 494 351 E-38,3.402 823 466 351 E+38) | 0,(1.175 494 351 E-38,3.402 823 466 E+38) | 单精度\浮点数值 |
DOUBLE | 8 字节 | (1.797 693 134 862 315 7 E+308,2.225 073 858 507 201 4 E-308),0,(2.225 073 858 507 201 4 E-308,1.797 693 134 862 315 7 E+308) | 0,(2.225 073 858 507 201 4 E-308,1.797 693 134 862 315 7 E+308) | 双精度\浮点数值 |
DECIMAL | 对DECIMAL(M,D) ,如果M>D,为M+2否则为D+2 | 依赖于M和D的值 | 依赖于M和D的值 | 小数值 |
表示时间值的日期和时间类型为DATETIME、DATE、TIMESTAMP、TIME和YEAR。
每个时间类型有一个有效值范围和一个”零”值,当指定不合法的MySQL不能表示的值时使用”零”值。
TIMESTAMP类型有专有的自动更新特性,将在后面描述。
类型 | 大小(字节) | 范围 | 格式 | 用途 |
---|---|---|---|---|
DATE | 3 | 1000-01-01/9999-12-31 | YYYY-MM-DD | 日期值 |
TIME | 3 | ‘-838:59:59’/’838:59:59’ | HH:MM:SS | 时间值或持续时间 |
YEAR | 1 | 1901/2155 | YYYY | 年份值 |
DATETIME | 8 | 1000-01-01 00:00:00/9999-12-31 23:59:59 | YYYY-MM-DD HH:MM:SS | 混合日期和时间值 |
TIMESTAMP | 4 | 1970-01-01 00:00:00/2037 年某时 | YYYYMMDD HHMMSS | 混合日期和时间值,时间戳 |
字符串类型指CHAR、VARCHAR、BINARY、VARBINARY、BLOB、TEXT、ENUM和SET。该节描述了这些类型如何工作以及如何在查询中使用这些类型。
类型 | 大小 | 用途 |
---|---|---|
CHAR | 0-255字节 | 定长字符串 |
VARCHAR | 0-65535 字节 | 变长字符串 |
TINYBLOB | 0-255字节 | 不超过 255 个字符的二进制字符串 |
TINYTEXT | 0-255字节 | 短文本字符串 |
BLOB | 0-65 535字节 | 二进制形式的长文本数据 |
TEXT | 0-65 535字节 | 长文本数据 |
MEDIUMBLOB | 0-16 777 215字节 | 二进制形式的中等长度文本数据 |
MEDIUMTEXT | 0-16 777 215字节 | 中等长度文本数据 |
LONGBLOB | 0-4 294 967 295字节 | 二进制形式的极大文本数据 |
LONGTEXT | 0-4 294 967 295字节 | 极大文本数据 |
CHAR和VARCHAR类型类似,但它们保存和检索的方式不同。它们的最大长度和是否尾部空格被保留等方面也不同。在存储或检索过程中不进行大小写转换。
BINARY和VARBINARY类类似于CHAR和VARCHAR,不同的是它们包含二进制字符串而不要非二进制字符串。也就是说,它们包含字节字符串而不是字符字符串。这说明它们没有字符集,并且排序和比较基于列值字节的数值值。
BLOB是一个二进制大对象,可以容纳可变数量的数据。有4种BLOB类型:TINYBLOB、BLOB、MEDIUMBLOB和LONGBLOB。它们只是可容纳值的最大长度不同。
有4种TEXT类型:TINYTEXT、TEXT、MEDIUMTEXT和LONGTEXT。这些对应4种BLOB类型,有相同的最大长度和存储需求。
语法:
CREATE TABLE table_name (column_name column_type);
创建一个student表:
mysql> create table student(
-> stu_id INT NOT NULL AUTO_INCREMENT,
-> name CHAR(32) NOT NULL,
-> age INT NOT NULL,
-> register_date DATE,
-> PRIMARY KEY ( stu_id )
-> );
实例解析:
如果你不想字段为 NULL 可以设置字段的属性为 NOT NULL, 在操作数据库时如果输入该字段的数据为NULL ,就会报错。
AUTO_INCREMENT定义列为自增的属性,一般用于主键,数值会自动加1。
PRIMARY KEY关键字用于定义列为主键。 您可以使用多列来定义主键,列间以逗号分隔。
语法:
INSERT INTO table_name ( field1, field2,...fieldN )
VALUES
( value1, value2,...valueN );
插入数据:
mysql> insert into student(name,age,register_date) values ('alex li',22,'2018-01-20');
Query OK, 1 row affected (0.01 sec)
mysql> select * from student;
+--------+---------+-----+---------------+
| stu_id | name | age | register_date |
+--------+---------+-----+---------------+
| 1 | alex li | 22 | 2018-01-20 |
+--------+---------+-----+---------------+
1 row in set (0.00 sec)
语法:
INSERT INTO table_name ( field1, field2,...fieldN )
VALUES
( value1, value2,...valueN );
插入数据:
mysql> insert into student (name,age,register_date) values ("alex li",22,"2016-03-4")
-> ;
Query OK, 1 row affected (0.00 sec)
mysql> select * from student;
+--------+---------+-----+---------------+
| stu_id | name | age | register_date |
+--------+---------+-----+---------------+
| 1 | alex li | 22 | 2016-03-04 |
+--------+---------+-----+---------------+
1 row in set (0.00 sec)
语法:
SELECT column_name,column_name
FROM table_name
[WHERE Clause]
[OFFSET M ][LIMIT N]
1、查询语句中你可以使用一个或者多个表,表之间使用逗号(,)分割,并使用WHERE语句来设定查询条件。
2、SELECT 命令可以读取一条或者多条记录。
3、你可以使用星号(*)来代替其他字段,SELECT语句会返回表的所有字段数据
4、你可以使用 WHERE 语句来包含任何条件。
5、你可以通过OFFSET指定SELECT语句开始查询的数据偏移量。默认情况下偏移量为0。
6、你可以使用 LIMIT 属性来设定返回的记录数。
mysql> select * from student limit 3 offset 2;
+--------+---------+-----+---------------+
| stu_id | name | age | register_date |
+--------+---------+-----+---------------+
| 3 | alex li | 24 | 2016-03-04 |
| 4 | alex li | 24 | 2016-03-01 |
| 5 | alex li | 24 | 2016-03-02 |
+--------+---------+-----+---------------+
3 rows in set (0.00 sec)
比如这个SQL ,limit后面跟的是3条数据,offset后面是从第3条开始读取
mysql> select * from student limit 3 ,1;
+--------+---------+-----+---------------+
| stu_id | name | age | register_date |
+--------+---------+-----+---------------+
| 4 | alex li | 24 | 2016-03-01 |
+--------+---------+-----+---------------+
1 row in set (0.00 sec)
而这个SQL,limit后面是从第3条开始读,读取1条信息。
语法:
SELECT field1, field2,...fieldN FROM table_name1, table_name2...
[WHERE condition1 [AND [OR]] condition2.....
以下为操作符列表,可用于 WHERE 子句中。
下表中实例假定 A为10 B为20
操作符 描述 实例
= 等号,检测两个值是否相等,如果相等返回true (A = B) 返回false。
<>, != 不等于,检测两个值是否相等,如果不相等返回true (A != B) 返回 true。
> 大于号,检测左边的值是否大于右边的值, 如果左边的值大于右边的值返回true (A > B) 返回false。
< 小于号,检测左边的值是否小于右边的值, 如果左边的值小于右边的值返回true (A < B) 返回 true。
>= 大于等于号,检测左边的值是否大于或等于右边的值, 如果左边的值大于或等于右边的值返回true (A >= B) 返回false。
<= 小于等于号,检测左边的值是否小于于或等于右边的值, 如果左边的值小于或等于右边的值返回true (A <= B) 返回 true。
使用主键来作为 WHERE 子句的条件查询是非常快速的。
select * from student where register_date > '2016-03-04';
语法:
UPDATE table_name SET field1=new-value1, field2=new-value2
[WHERE Clause]
更新数据:
update student set age=22 ,name="Alex Li" where stu_id>3;
语法:
DELETE FROM table_name [WHERE Clause]
delete from student where stu_id=5;
语法:
SELECT field1, field2,...fieldN table_name1, table_name2...
WHERE field1 LIKE condition1 [AND [OR]] filed2 = 'somevalue'
select *from student where name binary like "%Li";
select *from student where name binary like binary "%Li"; #只匹配大写
SELECT field1, field2,...fieldN table_name1, table_name2...
ORDER BY field1, [field2...] [ASC [DESC]]
使用 ASC 或 DESC 关键字来设置查询结果是按升序或降序排列。 默认情况下,它是按升序排列。
select *from student where name like binary "%Li" order by stu_id desc;
SELECT column_name, function(column_name)
FROM table_name
WHERE column_name operator value
GROUP BY column_name;
示例:
mysql> SELECT * FROM employee_tbl;
+----+--------+---------------------+--------+
| id | name | date | singin |
+----+--------+---------------------+--------+
| 1 | 小明 | 2016-04-22 15:25:33 | 1 |
| 2 | 小王 | 2016-04-20 15:25:47 | 3 |
| 3 | 小丽 | 2016-04-19 15:26:02 | 2 |
| 4 | 小王 | 2016-04-07 15:26:14 | 4 |
| 5 | 小明 | 2016-04-11 15:26:40 | 4 |
| 6 | 小明 | 2016-04-04 15:26:54 | 2 |
+----+--------+---------------------+--------+
接下来我们使用 GROUP BY 语句 将数据表按名字进行分组,并统计每个人有多少条记录:
mysql> SELECT name, COUNT(*) FROM employee_tbl GROUP BY name;
+--------+----------+
| name | COUNT(*) |
+--------+----------+
| 小丽 | 1 |
| 小明 | 3 |
| 小王 | 2 |
+--------+----------+
3 rows in set (0.01 sec)
使用 WITH ROLLUP
mysql> SELECT name, SUM(singin) as singin_count FROM employee_tbl GROUP BY name WITH ROLLUP;
+--------+--------------+
| name | singin_count |
+--------+--------------+
| 小丽 | 2 |
| 小明 | 7 |
| 小王 | 7 |
| NULL | 16 |
+--------+--------------+
4 rows in set (0.00 sec)
其中记录 NULL 表示所有人的登录次数。
我们可以使用 coalesce 来设置一个可以取代 NUll 的名称,coalesce 语法:
mysql> SELECT coalesce(name, '总数'), SUM(singin) as singin_count FROM employee_tbl GROUP BY name WITH ROLLUP;
我们需要修改数据表名或者修改数据表字段时,就需要使用到MySQL ALTER命令。
①删除,添加或修改表字段
alter table student drop register_date; #从student表删除register_date字段
alter table student add phone int(11) not null; #添加phone字段
②修改字段类型及名称
如果需要修改字段类型及名称, 你可以在ALTER命令中使用 MODIFY 或 CHANGE 子句 。
例如,把字段 c 的类型从 CHAR(1) 改为 CHAR(10),可以执行以下命令:
mysql> ALTER TABLE testalter_tbl MODIFY c CHAR(10);
使用 CHANGE 子句, 语法有很大的不同。 在 CHANGE 关键字之后,紧跟着的是你要修改的字段名,然后指定新字段名及类型。尝试如下实例:
mysql> ALTER TABLE testalter_tbl CHANGE i j BIGINT;
mysql> ALTER TABLE testalter_tbl CHANGE j j INT;
ALTER TABLE 对 Null 值和默认值的影响:
当你修改字段时,你可以指定是否包含只或者是否设置默认值。
以下实例,指定字段 j 为 NOT NULL 且默认值为100 。
mysql> ALTER TABLE testalter_tbl MODIFY j BIGINT NOT NULL DEFAULT 100;
③修改表名
mysql> ALTER TABLE testalter_tbl RENAME TO alter_tbl;
外键,一个特殊的索引,用于关键2个表,只能是指定内容:
ysql> create table class(
-> id int not null primary key,
-> name char(16));
Query OK, 0 rows affected (0.02 sec)
CREATE TABLE `student2` (
`id` int(11) NOT NULL,
`name` char(16) NOT NULL,
`class_id` int(11) NOT NULL,
PRIMARY KEY (`id`),
KEY `fk_class_key` (`class_id`),
CONSTRAINT `fk_class_key` FOREIGN KEY (`class_id`) REFERENCES `class` (`id`)
)
此时如果class 表中不存在id 1,student表也插入不了,这就叫外键约束:
mysql> insert into student2(id,name,class_id) values(1,'alex', 1);
ERROR 1452 (23000): Cannot add or update a child row: a foreign key constraint fails
(`testdb`.`student2`, CONSTRAINT `fk_class_key` FOREIGN KEY (`class_id`) REFERENCES `class` (`id`))
mysql> insert into class(id,name) values(1,"linux");
Query OK, 1 row affected (0.01 sec)
mysql> insert into student2(id,name,class_id) values(1,'alex', 1);
Query OK, 1 row affected (0.00 sec)
如果有student表中跟这个class表有关联的数据,你是不能删除class表中与其关联的纪录的:
mysql> delete from class where id =1;
ERROR 1451 (23000): Cannot delete or update a parent row: a foreign key constraint fails
(`testdb`.`student2`, CONSTRAINT `fk_class_key` FOREIGN KEY (`class_id`) REFERENCES
`class` (`id`))
我们已经知道MySQL使用 SQL SELECT 命令及 WHERE 子句来读取数据表中的数据,但是当提供的查询条件字段为 NULL 时,该命令可能就无法正常工作。
为了处理这种情况,MySQL提供了三大运算符:
关于 NULL 的条件比较运算是比较特殊的。你不能使用 = NULL 或 != NULL 在列中查找 NULL 值 。
在MySQL中,NULL值与任何其它值的比较(即使是NULL)永远返回false,即 NULL = NULL 返回false 。
MySQL中处理NULL使用IS NULL和IS NOT NULL运算符。
我们已经学会了如果在一张表中读取数据,这是相对简单的,但是在真正的应用中经常需要从多个数据表中读取数据。
本章节我们将向大家介绍如何使用 MySQL 的 JOIN 在两个或多个表中查询数据。
你可以在SELECT, UPDATE 和 DELETE 语句中使用 Mysql 的 JOIN 来联合多表查询。
JOIN 按照功能大致分为如下三类:
A B
- -
1 3
2 4
3 5
4 6
1、Inner join
An inner join using either of the equivalent queries gives the intersection of the two tables, i.e. the two rows they have in common.
select * from a INNER JOIN b on a.a = b.b;
select a.*,b.* from a,b where a.a = b.b;
a | b
--+--
3 | 3
4 | 4
其实就是只显示2个表的交集
2、Left join
A left join will give all rows in A, plus any common rows in B.
select * from a LEFT JOIN b on a.a = b.b;
a | b
--+-----
1 | null
2 | null
3 | 3
4 | 4
3、Right join
A right join will give all rows in B, plus any common rows in A.
select * from a RIGHT JOIN b on a.a = b.b;
a | b
-----+----
3 | 3
4 | 4
null | 5
null | 6
4、Full join
A full outer join will give you the union of A and B, i.e. all the rows in A and all the rows in B. If something in A doesn’t have a corresponding datum in B, then the B portion is null, and vice versa
select * from a FULL JOIN b on a.a = b.b;
a | b
-----+-----
1 | null
2 | null
3 | 3
4 | 4
null | 6
null | 5
mysql 并不直接支持full join,but 总是难不到我们:
select * from a left join b on a.a = b.b UNION select * from a right join b on a.a = b.b;
+------+------+
| a | b |
+------+------+
| 3 | 3 |
| 4 | 4 |
| 1 | NULL |
| 2 | NULL |
| NULL | 5 |
| NULL | 6 |
+------+------+
6 rows in set (0.00 sec)
MySQL 事务主要用于处理操作量大,复杂度高的数据。比如说,在人员管理系统中,你删除一个人员,你即需要删除人员的基本资料,也要删除和该人员相关的信息,如信箱,文章等等,这样,这些数据库操作语句就构成一个事务!
在MySQL中只有使用了Innodb数据库引擎的数据库或表才支持事务
事务处理可以用来维护数据库的完整性,保证成批的SQL语句要么全部执行,要么全部不执行
事务用来管理insert,update,delete语句
一般来说,事务是必须满足4个条件(ACID): Atomicity(原子性)、Consistency(稳定性)、Isolation(隔离性)、Durability(可靠性)
1、事务的原子性:一组事务,要么成功;要么撤回。
2、稳定性 : 有非法数据(外键约束之类),事务撤回。
3、隔离性:事务独立运行。一个事务处理后的结果,影响了其他事务,那么其他事务会撤回。事务的100%隔离,需要牺牲速度。
4、可靠性:软、硬件崩溃后,InnoDB数据表驱动会利用日志文件重构修改。可靠性和高速度不可兼得, innodb_flush_log_at_trx_commit选项 决定什么时候吧事务保存到日志里。
mysql> begin; #开始一个事务
mysql> insert into a (a) values(555);
mysql>rollback; 回滚 , 这样数据是不会写入的
当然如果上面的数据没问题,就输入commit提交命令就行;
MySQL索引的建立对于MySQL的高效运行是很重要的,索引可以大大提高MySQL的检索速度。
打个比方,如果合理的设计且使用索引的MySQL是一辆兰博基尼的话,那么没有设计和使用索引的MySQL就是一个人力三轮车。
索引分单列索引和组合索引。单列索引,即一个索引只包含单个列,一个表可以有多个单列索引,但这不是组合索引。组合索引,即一个索包含多个列。
创建索引时,你需要确保该索引是应用在 SQL 查询语句的条件(一般作为 WHERE 子句的条件)。
实际上,索引也是一张表,该表保存了主键与索引字段,并指向实体表的记录。
上面都在说使用索引的好处,但过多的使用索引将会造成滥用。因此索引也会有它的缺点:虽然索引大大提高了查询速度,同时却会降低更新表的速度,如对表进行INSERT、UPDATE和DELETE。因为更新表时,MySQL不仅要保存数据,还要保存一下索引文件。建立索引会占用磁盘空间的索引文件。
这是最基本的索引,它没有任何限制。它有以下几种创建方式:
CREATE INDEX indexName ON mytable(username(length));
如果是CHAR,VARCHAR类型,length可以小于字段实际长度;如果是BLOB和TEXT类型,必须指定 length。
ALTER mytable ADD INDEX [indexName] ON (username(length))
CREATE TABLE mytable(
ID INT NOT NULL,
username VARCHAR(16) NOT NULL,
INDEX [indexName] (username(length))
);
DROP INDEX [indexName] ON mytable;
它与前面的普通索引类似,不同的就是:索引列的值必须唯一,但允许有空值。如果是组合索引,则列值的组合必须唯一。它有以下几种创建方式:
创建索引
CREATE UNIQUE INDEX indexName ON mytable(username(length))
修改表结构
ALTER mytable ADD UNIQUE [indexName] ON (username(length))
创建表的时候直接指定
CREATE TABLE mytable(
ID INT NOT NULL,
username VARCHAR(16) NOT NULL,
UNIQUE [indexName] (username(length))
);
使用ALTER 命令添加和删除索引
有四种方式来添加数据表的索引:
ALTER TABLE tbl_name ADD PRIMARY KEY (column_list): 该语句添加一个主键,这意味着索引值必须是唯一的,且不能为NULL。
ALTER TABLE tbl_name ADD UNIQUE index_name (column_list): 这条语句创建索引的值必须是唯一的(除了NULL外,NULL可能会出现多次)。
ALTER TABLE tbl_name ADD INDEX index_name (column_list): 添加普通索引,索引值可出现多次。
ALTER TABLE tbl_name ADD FULLTEXT index_name (column_list):该语句指定了索引为 FULLTEXT ,用于全文索引。
以下实例为在表中添加索引。
mysql> ALTER TABLE testalter_tbl ADD INDEX (c);
你还可以在 ALTER 命令中使用 DROP 子句来删除索引。尝试以下实例删除索引:
mysql> ALTER TABLE testalter_tbl DROP INDEX (c);
显示索引信息:
mysql> SHOW INDEX FROM table_name\G
pymsql是Python中操作MySQL的模块,其使用方法和MySQLdb几乎相同,我们今天来说下pymsql用法。MySQLdb的只有在python2 里面使用的,在python3里面需要用pymysql。
1、执行SQL
import pymysql
# 创建连接
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123', db='t1')
# 创建游标
cursor = conn.cursor()
# 执行SQL,并返回收影响行数
effect_row = cursor.execute("update hosts set host = '1.1.1.2'")
# 执行SQL,并返回受影响行数
#effect_row = cursor.execute("update hosts set host = '1.1.1.2' where nid > %s", (1,))
# 执行SQL,并返回受影响行数
#effect_row = cursor.executemany("insert into hosts(host,color_id)values(%s,%s)", [("1.1.1.11",1),("1.1.1.11",2)])
# 提交,不然无法保存新建或者修改的数据
conn.commit()
# 关闭游标
cursor.close()
# 关闭连接
conn.close()
2、获取新创建数据自增ID
import pymysql
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123', db='t1')
cursor = conn.cursor()
cursor.executemany("insert into hosts(host,color_id)values(%s,%s)", [("1.1.1.11",1),("1.1.1.11",2)])
conn.commit()
cursor.close()
conn.close()
# 获取最新自增ID
new_id = cursor.lastrowid
3、获取查询数据
import pymysql
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123', db='t1')
cursor = conn.cursor()
cursor.execute("select * from hosts")
# 获取第一行数据
row_1 = cursor.fetchone()
# 获取前n行数据
# row_2 = cursor.fetchmany(3)
# 获取所有数据
# row_3 = cursor.fetchall()
conn.commit()
cursor.close()
conn.close()
注:
4、fetch数据类型
关于默认获取的数据是元组类型,如果想要或者字典类型的数据,即:
import pymysql
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123', db='t1')
# 游标设置为字典类型
cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)
r = cursor.execute("call p1()")
result = cursor.fetchone()
conn.commit()
cursor.close()
conn.close()
orm英文全称object relational mapping,就是对象映射关系程序,简单来说我们类似python这种面向对象的程序来说一切皆对象,但是我们使用的数据库却都是关系型的,为了保证一致的使用习惯,通过orm将编程语言的对象模型和数据库的关系模型建立映射关系,这样我们在使用编程语言对数据库进行操作的时候可以直接使用编程语言的对象模型进行操作就可以了,而不用直接使用sql语言。
orm的优点:
1、隐藏了数据访问细节,“封闭”的通用数据库交互,ORM的核心。他使得我们的通用数据库交互变得简单易行,并且完全不用考虑该死的SQL语句。快速开发,由此而来。
2、ORM使我们构造固化数据结构变得简单易行。
缺点:
无可避免的,自动化意味着映射和关联管理,代价是牺牲性能(早期,这是所有不喜欢ORM人的共同点)。现在的各种ORM框架都在尝试使用各种方法来减轻这块(LazyLoad,Cache),效果还是很显著的。
在Python中,最有名的ORM框架是SQLAlchemy。用户包括openstack\Dropbox等知名公司或应用,主要用户列表sqlcalchemy官网
CREATE TABLE user (
id INTEGER NOT NULL AUTO_INCREMENT,
name VARCHAR(32),
password VARCHAR(64),
PRIMARY KEY (id)
)
#!/usr/bin/env python
# -*- coding:utf-8 -*-
#Author:liyanan
from sqlalchemy import create_engine
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column,Integer,String
from sqlalchemy.orm import sessionmaker
engine = create_engine('mysql+pymysql://root:[email protected]:3306/t1',
encoding='utf-8',echo=True)#连接数据库,echo=True =>把所有的信息都打印出来
Base = declarative_base()#生产orm基类
class User(Base):
__tablename__='user'#表名
id = Column(Integer,primary_key=True)
name = Column(String(32))
passwd = Column(String(64))
Base.metadata.create_all(engine)#这边的意思是创建定义所有的表
#!/usr/bin/env python
# -*- coding:utf-8 -*-
#Author:liyanan
from sqlalchemy import create_engine
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column,Integer,String
from sqlalchemy.orm import sessionmaker
engine = create_engine('mysql+pymysql://root:[email protected]:3306/t1',
encoding='utf-8',echo=True)#连接数据库,echo=True =>把所有的信息都打印出来
Base = declarative_base()#生产orm基类
class User(Base):
__tablename__='user'#表名
id = Column(Integer,primary_key=True)
name = Column(String(32))
passwd = Column(String(64))
#Base.metadata.create_all(engine)#这边的意思是创建定义所有的表
Session_class = sessionmaker(bind=engine) #创建与数据库的会话session class ,注意,这里返回给session的是个class,不是实例
Session = Session_class() #生成session实例 ,相当于创建游标cursor
user_obj = User(name="liyanan",passwd="666666") #生成你要创建的数据对象
print(user_obj.name,user_obj.id) #此时还没创建对象呢,不信你打印一下id发现还是None
Session.add(user_obj) # 把要创建的数据对象添加到这个session里, 一会统一创建
print(user_obj.name, user_obj.id) # 此时也依然还没创建
Session.commit() # 现此才统一提交,创建数据
之前我们只是利用orm创建表,和如何往表里面插入数据,现在我们就来学学利用orm,如何去增删改查。
1、新增一条数据
obj = Users(name="xiaohong", passwd='111111')
session.add(obj) #新增一条数据
session.commit()
2、新增多条数据
obj1 = User(name="xiaohong", passwd='111111')
obj2 = User(name="xiaohong2", passwd='222222')
Session.add_all([obj1,obj2,]) #插入多条记录
Session.commit()
1、删除信息
session.query(User).filter(Users.id > 2).delete() #删除符合条件的
session.commit()
原生SQL:
SELECT * FROM USER WHERE NAME="zhangqigao"
①查询符合条件的所有数据
data = Session.query(User).filter_by(name='liyanan').all() #查询符合条件的所有数据,如果不需要条件,filter_by()就行
print(data)
输出:
2018-01-21 22:14:37,686 INFO sqlalchemy.engine.base.Engine {'name_1': 'liyanan'}
[<__main__.User object at 0x7fb77751acc0>] #把返回的数据映射成内存对象
获取数据:
print(data[0].name,data[0].id,data[0].passwd)
#输出
liyanan 1 666666
②查询符合条件的第一条数据
data = Session.query(User).filter_by(name='liyanan').first()#查询满足条件的第1条数据
print(data)
#输出
<__main__.User object at 0x7fc32f8ac240>
获取数据:
print(data.name,data.id,data.passwd)
#输出
liyanan 1 666666
不过刚才上面的显示的内存对象对址你是没办法分清返回的是什么数据的,除非打印具体字段看一下,如果想让它变的可读,只需在定义表的类下面加上这样的代码:
class User(Base):
__tablename__ = "user" #表名
id = Column(Integer,primary_key=True)
name = Column(String(32))
passwd = Column(String(64))
def __repr__(self): #使返回的内存对象变的可读
return "" .format(self.id,self.name)
Base.metadata.create_all(engine) #这边的意思是创建定义所有的表
Session_class = sessionmaker(bind=engine)
Session = Session_class() #创建session会话,相当于创建一个cursor
data = Session.query(User).filter_by().all() #获取所有数据
print(data)
#输出
[1 name:liyanan>, 2 name:xiaohong>, 3 name:xiaohong2>, 4 name:xiaohong>, 5 name:xiaohong2>]
原生SQL:
select user.name,user.passwd from user where name="liyanan"
orm表示:
data = Session.query(User.name,User.passwd).filter_by(name='liyanan').first() #只查询name和passwd的信息
print(data.name,data.passwd)
#输出
liyanan 666666
ret = session.query(Users).all() #查询所有
ret = session.query(Users.name, Users.extra).all() #只查询name和extra字段
ret = session.query(Users).filter_by(name='alex').all() #查询name='alex'的所有数据
ret = session.query(Users).filter_by(name='alex').first()#查询name='alex'的第一条数据
#查询以User.id排序的数据
ret = session.query(Users).filter(text("id<:value and name=:name")).params(value=224, name='fred').order_by(User.id).all()
#根据原生sql查询数据
ret = session.query(Users).from_statement(text("SELECT * FROM users where name=:name")).params(name='ed').all()
说明:之前我们过滤都是filter_by,现在我们用filter过滤,都是过滤比较数值大小的,比如:>,<,==等。
data = Session.query(User).filter(User.id>2).all()
print(data)
#输出
[3 name:xiaohong2>, 4 name:xiaohong>, 5 name:xiaohong2>]
①第一种方式
data = Session.query(User).filter_by(name="xiaohong").first() #获取数据
data.name = "xiaoming" #修改数据
Session.commit() #提交
②第二种方式
session.query(Users).filter(Users.id > 2).update({"name" : "099"})
session.query(Users).filter(Users.id > 2).update({Users.name: Users.name + "099"}, synchronize_session=False)
session.query(Users).filter(Users.id > 2).update({"num": Users.num + 1}, synchronize_session="evaluate")
session.commit()
qigao_user = User(name="rain",passwd="0707")
Session.add(qigao_user)
print(Session.query(User).filter(User.name.in_(['shabihong','rain'])).all() ) #这时看session里有你刚添加和修改的数据
Session.rollback()
print(Session.query(User).filter(User.name.in_(['shabihong','rain'])).all() ) #再查就发现刚才添加的数据没有了。
data = Session.query(User.name,User.id).all() #获取所有数据
print(data)
data = Session.query(User).filter(User.id>2).filter(User.id<=4).all()
print(data)
上面2个filter的关系相当于 user.id >2 AND user.id <=4 的效果
data = Session.query(User).filter(User.name.like("%xiao%")).count() #模糊匹配xiao的个数
print(data)
#输出
4
data = Session.query(func.count(User.name),User.name).group_by(User.name).all() #根据User.name分组
print(data)
#输出
[(1, 'liyanan'), (1, 'xiaohong'), (2, 'xiaohong2'), (1, 'xiaoming')]
原生sql:
SELECT count(user.name) AS count_1, user.name AS user_name
FROM user GROUP BY user.name
ret = session.query(Users).filter_by(name='alex').all()
ret = session.query(Users).filter(Users.id > 1, Users.name == 'eric').all()
ret = session.query(Users).filter(Users.id.between(1, 3), Users.name == 'eric').all()
ret = session.query(Users).filter(Users.id.in_([1,3,4])).all()
ret = session.query(Users).filter(~Users.id.in_([1,3,4])).all()
ret = session.query(Users).filter(Users.id.in_(session.query(Users.id).filter_by(name='eric'))).all()
from sqlalchemy import and_, or_
ret = session.query(Users).filter(and_(Users.id > 3, Users.name == 'eric')).all()
ret = session.query(Users).filter(or_(Users.id < 2, Users.name == 'eric')).all()
ret = session.query(Users).filter(
or_(
Users.id < 2,
and_(Users.name == 'eric', Users.id > 3),
Users.extra != ""
)).all()
ret = session.query(Users).filter(Users.name.like('e%')).all()
ret = session.query(Users).filter(~Users.name.like('e%')).all()
ret = session.query(Users)[1:2]
ret = session.query(Users).order_by(Users.name.desc()).all()
ret = session.query(Users).order_by(Users.name.desc(), Users.id.asc()).all()
from sqlalchemy.sql import func
ret = session.query(Users).group_by(Users.extra).all()
ret = session.query(
func.max(Users.id),
func.sum(Users.id),
func.min(Users.id)).group_by(Users.name).all()
ret = session.query(
func.max(Users.id),
func.sum(Users.id),
func.min(Users.id)).group_by(Users.name).having(func.min(Users.id) >2).all()
之前我们是针对一张表的,限制我们增加外键的限制,来试试,看看出现什么样的情况
#!/usr/bin/env python
# -*- coding:utf-8 -*-
#Author:liyanan
from sqlalchemy import create_engine
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column,Integer,String,DATE,ForeignKey#导入外键
from sqlalchemy.orm import sessionmaker,relationship#创建关系
from sqlalchemy import func
engine = create_engine('mysql+pymysql://root:[email protected]:3306/t1',
encoding='utf-8')#连接数据库,echo=True =>把所有的信息都打印出来
Base = declarative_base()#生产orm基类
class Student(Base):
__tablename__='student'#表名
id = Column(Integer,primary_key=True)
name = Column(String(32),nullable=False)
register_day = Column(DATE,nullable=False)
def __repr__(self):#使返回的内存对象变的可读
return "" .format(self.id,self.name)
class StudyRecord(Base):
__tablename__ = 'study_record'
id = Column(Integer,primary_key=True)
day = Column(Integer,nullable=False)
status= Column(String(32),nullable=False)
stu_id = Column(Integer,ForeignKey("student.id")) #关联外键
# relationship表示,允许你在student表里通过backref字段反向查出所有它在study_record表里的关联项
student = relationship('Student',backref ="my_study_record" )
def __repr__(self):
return "<{0} name:{1} stu_id:{2}>".format(self.student.name, self.day, self.stu_id)
Base.metadata.create_all(engine)#创建表
注意:这个relationship表示,允许你在student表里通过backref字段反向查出所有它在study_record表里的关联项
关联student表,然后我只需要在study_record里通过student这个字段,就可以去查Student类里面所有的字段,反过来利用backref=”my_study_record”中的my_study_record,在student表里通过my_study_record这个字段反查study_record类里面的所有字段,然后代表着我的student在这里只需写上stu_obj.my_study_record就可以获取study_record的数据
from sqlalchemy.orm import sessionmaker
Session_class = sessionmaker(bind=engine)
session = Session_class()
stu_obj = session.query(Student).filter_by(name="liyanan").first()
print(stu_obj.my_study_record) #获取study_record的数据
注意: relationship只是在内存里面存了这么一个关联,并没有在数据库里面存这个关系,使它变的更加简单。
之前我们只是创建1对1的外键关系,今天我们建立多个外键对应一个主键的外键关系。
#!/usr/bin/env python
# -*- coding:utf-8 -*-
#Author:liyanan
from sqlalchemy import Integer,ForeignKey, String, Column
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import relationship
from sqlalchemy import create_engine
Base = declarative_base()#基类
class Customer(Base):
__tablename__ = "customer"
id = Column(Integer, primary_key=True)
name = Column(String(64))
# 创建两个外键,都指向address.id
billing_address_id = Column(Integer, ForeignKey("address.id"))
shipping_address_id = Column(Integer, ForeignKey("address.id"))
billing_address = relationship("Address", foreign_keys=[billing_address_id])
shipping_address = relationship("Address", foreign_keys=[shipping_address_id])
class Address(Base):
__tablename__ = "address"
id = Column(Integer,primary_key=True)
street = Column(String(64))
city = Column(String(64))
state = Column(String(64))
def __repr__(self):
return self.street
engine = create_engine('mysql+pymysql://root:[email protected]:3306/t1',
encoding='utf-8')
Base.metadata.create_all(engine) #创建所有的表
这两行注意了:
#因为有两个外键,所以不知道指向的是哪一个外键
billing_address = relationship("Address",foreign_keys=[billing_address_id])
shipping_address = relationship("Address",foreign_keys=[shipping_address_id])
这两行,如果再后面不加foreign_keys=[外键字段],就会报如下错误:
sqlalchemy.exc.AmbiguousForeignKeysError: Could not determine join
condition between parent/child tables on relationship
Customer.billing_address - there are multiple foreign key
paths linking the tables. Specify the 'foreign_keys' argument,
providing a list of those columns which should be
counted as containing a foreign key reference to the parent table.
所以我们要加上指向的外键名,这样sqlachemy就能分清哪个外键是对应哪个字段了。
#!/usr/bin/env python
# -*- coding:utf-8 -*-
#Author:liyanan
from sqlalchemy import Integer,ForeignKey, String, Column
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import relationship
from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker
Base = declarative_base()#基类
class Customer(Base):
__tablename__ = "customer"
id = Column(Integer, primary_key=True)
name = Column(String(64))
# 创建两个外键,都指向address.id
billing_address_id = Column(Integer, ForeignKey("address.id"))
shipping_address_id = Column(Integer, ForeignKey("address.id"))
billing_address = relationship("Address", foreign_keys=[billing_address_id])
shipping_address = relationship("Address", foreign_keys=[shipping_address_id])
class Address(Base):
__tablename__ = "address"
id = Column(Integer,primary_key=True)
street = Column(String(64))
city = Column(String(64))
state = Column(String(64))
def __repr__(self):
return self.street
engine = create_engine('mysql+pymysql://root:[email protected]:3306/t1',
encoding='utf-8')
#Base.metadata.create_all(engine) #创建所有的表
session_class = sessionmaker(bind=engine)
session = session_class()
addre1 = Address(street="beicai",city="pudong",state="shanghai")
addre2 = Address(street="anting",city="jiading",state="shanghai")
addre3 = Address(street="lujia",city="kushan",state="suzhou")
session.add_all([addre1,addre2,addre3]) #创建address表的数据
c1 = Customer(name="sbhong",billing_address=addre1,shipping_address=addre2)
c2 = Customer(name="gaogege",billing_address=addre3,shipping_address=addre3)
session.add_all([c1, c2]) # 创建customer数据
session.commit()
session_class = sessionmaker(bind=engine)
session = session_class()
obj = session.query(Customer).filter_by(name="sbhong").first()
print(obj.name, obj.billing_address, obj.shipping_address)
session.commit()
#输出
sbhong beicai anting
现在来设计一个能描述“图书”与“作者”的关系的表结构,需求是:
1、一本书可以有好几个作者一起出版
2、一个作者可以写好几本书
此时你会发现,用之前学的外键好像没办法实现上面的需求了,因为:
当然你更不可以像下面这样干,因为这样就你就相当于有多条书的记录了,太low b了,改书名还得都改。。。
这两种情况,都发现数据时冗余的,出现了很多重复的信息,这样可不行
说明:这样就相当于通过book_m2m_author表完成了book表和author表之前的多对多关联
#!/usr/bin/env python
# -*- coding:utf-8 -*-
#Author:liyanan
from sqlalchemy import Table,Column,Integer,String,DATE,ForeignKey
from sqlalchemy.orm import relationship
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import create_engine
Base = declarative_base() #创建orm基类
book_m2m_author = Table("book_m2m_author", Base.metadata,
Column("id", Integer, primary_key=True),
Column('books_id', Integer, ForeignKey("books.id")),
Column('authors_id', Integer, ForeignKey("authors.id")))
class Book(Base):
__tablename__ = "books"
id = Column(Integer, primary_key=True)
name = Column(String(64))
pub_date = Column(DATE)
authors = relationship("Author", secondary=book_m2m_author, backref="books")
def __repr__(self):
return self.name
class Author(Base):
__tablename__ = "authors"
id = Column(Integer, primary_key=True)
name = Column(String(32))
def __repr__(self):
return self.name
engine = create_engine('mysql+pymysql://root:[email protected]:3306/t1',
encoding='utf-8')
Base.metadata.create_all(engine)
注意了,这里面有这种创建表结构方式,跟我们之前的不太一样:
book_m2m_author = Table("book_m2m_author",Base.metadata,
Column("id",Integer,primary_key=True),
Column('books_id',Integer,ForeignKey("books.id")),
Column('authors_id',Integer,ForeignKey("authors.id")))
这张表对用户来讲的是不需要关心的,是orm自动帮你维护的,在自动帮你维护的情况下,不需要操作它了,不需要搞映射关系了,通过这个命令Table 去创建一个表,这张表通过外键已经帮我们关联了,但是通过orm的查询的时候,我们还是需要建立下面的关系的:
authors = relationship("Author",secondary=book_m2m_author,backref="books")
这一句话表名,在orm查询的时候,还需要orm内存对象的一个级别的映射,如果没有具体制定,没有人知道第三张表book_m2m_author的存在,因为第3张表主动关联其他两张表。
#!/usr/bin/env python
# -*- coding:utf-8 -*-
#Author:liyanan
from sqlalchemy import Table,Column,Integer,String,DATE,ForeignKey
from sqlalchemy.orm import relationship
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker
Base = declarative_base() #创建orm基类
book_m2m_author = Table("book_m2m_author", Base.metadata,
Column("id", Integer, primary_key=True),
Column('books_id', Integer, ForeignKey("books.id")),
Column('authors_id', Integer, ForeignKey("authors.id")))
class Book(Base):
__tablename__ = "books"
id = Column(Integer, primary_key=True)
name = Column(String(64))
pub_date = Column(DATE)
authors = relationship("Author", secondary=book_m2m_author, backref="books")
def __repr__(self):
return self.name
class Author(Base):
__tablename__ = "authors"
id = Column(Integer, primary_key=True)
name = Column(String(32))
def __repr__(self):
return self.name
engine = create_engine('mysql+pymysql://root:[email protected]:3306/t1',
encoding='utf-8')
#Base.metadata.create_all(engine)
session_class = sessionmaker(bind=engine)
session = session_class()
b1 = Book(name="python", pub_date="2017-08-08")
b2 = Book(name="sb", pub_date="2017-10-08")
b3 = Book(name="zb", pub_date="2017-11-08")
a1 = Author(name="sbhong")
a2 = Author(name="sgaogao")
a3 = Author(name="dbhong")
b1.authors = [a1, a3]
b2.authors = [a1, a2, a3]
session.add_all([b1, b2, b3, a1, a2, a3])
session.commit()
session_class = sessionmaker(bind=m2m_table.engine)
session = session_class()
authors_obj = session.query(m2m_table.Author).filter_by(name="sbhong").first()
print(authors_obj.books) #通过books反查出books表中的数据
book_obj = session.query(m2m_table.Book).filter(m2m_table.Book.id==2).first()
print(book_obj.authors) #通过authors反查出authors表中的数据
session.commit()
#输出
[python, sb]
[dbhong, sgaogao, sbhong]