Queryset数据类型
QuerySet与惰性机制
所谓惰性机制:Publisher.objects.all()或者.filter()等都只是返回了一个QuerySet(查询结果集对象),它并不会马上执行sql,而是当调用QuerySet的时候才执行。
QuerySet特点:
<1> 可迭代
<2> 可切片
<3> 惰性计算和缓存机制
model.py创建表单
from django.db import models
class Book(models.Model):
title = models.CharField(max_length=6,verbose_name="书名")
author = models.ManyToManyField('Author')
publish = models.ForeignKey('Publish', on_delete=models.CASCADE)
price = models.IntegerField()
class Publish(models.Model):
name = models.CharField(max_length = 30)
address = models.CharField(max_length = 50)
class Author(models.Model):
name = models.CharField(max_length = 30)
sex = models.BooleanField(max_length=1, choices=((0, '男'),(1, '女'),))
email = models.EmailField()
address = models.CharField(max_length=50)
birthday = models.DateField()
ORM常用的QuerySet接口
增加
单表添加:
1、
表名.objects.create(**kwargs)
Book.objects.create(title="Django 企业开发实战"...)
2、
book = 表名(**kwargs)
book.save()
3、
author = 表名()
author.name = ''
author.save()
一对多添加:
1、
publish_obj = Publish.objects.get(name="人民邮电出版社")
author_obj = Author.objects.get(name="the5file")
Book.objects.create(title="Django 企业开发实战",author=author_obj,publish=publish_obj)
2、
book = Book(title="Django 企业开发实战",author=author_obj,publish=publish_obj)
book.save()
多对多添加:
1、
book = Book.objects.get(title="Django 企业开发实战")
author_obj = Author.objects.get(name="the5file")
book.author.add(author_obj) # 要添加多个只需写多个参数就可以了
add(*objs,bulk = True,through_defaults = None)
2、
book.author = author_obj
book.save()
3、
b = Blog.objects.get(id=1)
e = b.entry_set.create(
headline='Hello',
body_text='Hi',
pub_date=datetime.date(2005, 1, 1)
)
4、
b = Blog.objects.get(id=1)
e = Entry(
blog=b,
headline='Hello',
body_text='Hi',
pub_date=datetime.date(2005, 1, 1)
)
e.save(force_insert=True)
---------------------
查询
1、表名.objects.filter(**kwargs) # 包含与所给筛选条件相匹配的对象,可迭代,可切片
Author.objects.fileter(id=1)
2、表名.objects.all() # 查询所有结果,可迭代,可切片
Author.objects.all
3、表名.objects.get(**kwargs) # 返回与所筛选元素相匹配的对象,返回结果有且只有一个,如果对象不存在或超过一个,则会报错,不建议使用
Author.objects.get(id=1)
4、表名.objects.values(*field) # 返回一个可迭代的字典序列
Author.objects.vlaues('id', 'name', 'address')
5、表名.objects.exclude(**kwargs) # 包含了与所给筛选条件不匹配的对象与filter相反的逻辑
6、基于Queryset的查询
order_by(*field) # 对查询结果排序 加一个-表示降序,不加时升序,随机排列则为'?',即order_by('?'),多次使用order_by,后一个会覆盖前一个,没有参数表示清除所有的排序
reverse() # 对查询结果反向排序
distinct() # 从返回结果中剔除重复的记录
values() # 返回某个字段的值,结果是包含dict的QuerySet
演示:book = Book.objects.filter(id=5).values('title')
还可以用关键字参数,将参数传递给annotate(),给queryset添加属性。
-------------------------
from django.db.models.functions import Lower
Blog.objects.values(lower_name=Lower('name'))
<QuerySet [{'lower_name': 'beatles blog'}]>
----------------------------------------
另外一种用法,与聚合语句一起使用
-----------------------------------------
class Blog(models.Model):
name = models.CharField(max_length=100)
tagline = models.TextField()
def __str__(self): # __unicode__ on Python 2
return self.name
class Author(models.Model):
name = models.CharField(max_length=200)
email = models.EmailField()
def __str__(self): # __unicode__ on Python 2
return self.name
class Entry(models.Model):
blog = models.ForeignKey(Blog, on_delete=models.CASCADE)
authors = models.ManyToManyField(Author)
Blog.bjects.values('entry__authors', entries=Count('entry')))
结果是根据Author和Entry之间的第三张表来查询的,第三表里面的每一条数据都会显示出来,
而聚合语句则是会显示出entry表中有多少条数据对应。自己尝试一下是最好的方法
----------------------------------------------------
Blog.objects.values('entry__authors').annotate(entries=Count('entry'))
这一个就比较清晰了,显示出每一个作者在entry表中有几条数据与之对应。同样的需要你自己去运行代码并理解。
#
value_list(*field) # 返回一个元组序列,与上一个类似,返回的是包含tuple的QuerySet
---------------------------
参数:flat,为True,返回的是单个值,而不是一个元组,如果value_list()里面有多个字段的话就会报错
参数:named,为True,可以返回 namedtuple():数据类型
以上两个参数默认都为False
----------------------------------------
dates(field, kind, order='ASC')
-------------------------------
kind参数的范围:
year、month、week、day
根据kind,返回所有不同的数据,order为排序的方法
-------------------------------
datetimes(field_name,kind,order ='ASC',tzinfo = None)
------------------------------------------
参数解析:
field_name:对应DateTimeField字段
kind:"year","month","week","day", "hour","minute","second"
order:排序方法
tzinfo:mysql需要用mysql_tzinfo_to_sql加载时区,其他的没有要求
------------------------------------------
union(* other_qs,all = False)
-----------------------------
NION运算符来组合两个或多个QuerySets 的结果
默认情况下,只会选择不同的值,若要允许重复,就要使用all=True
类似于并集
-----------------------------
intersection(*other_qs)
----------------------------------
使用SQL的INTERSECT运算符返回两个或更多个QuerySet的共有元素
qs1.intersection(qs2, qs3)
类似于交集
----------------------------------
difference()
----------------------------------
使用SQL的EXCEPT运算符只保留QuerySet中的元素,但不保留其他QuerySet中的元素。
类似于差集
----------------------------------
extra(select = None,where = None,params = None,tables = None,order_by = None,select_params = None)
------------------------------------
可以使用sql语句进行查询。有一点,这样有可能会被注入攻击
qs.extra(
select={'val': "select col from sometable where othercol = %s"},
select_params=(someparam,),
)
等效于
qs.annotate(val=RawSQL("select col from sometable where othercol = %s", (someparam,)))
select还允许加入添加额外的字段
Blog.objects.extra(
select={
'entry_count': 'SELECT COUNT(*) FROM blog_entry WHERE blog_entry.blog_id = blog_blog.id'
},
)
其他操作这里就不一一说明。需要你自己去操作。
------------------------------------
count() # 返回匹配查询的对象数量
exists() # 若包含返回TRUE,否则返回FALSE
get_or_create(defaults=None, **kwargs) # 根据条件查询,若没有查找到就调用create创建
----------------------------------------
会根据**kwargs里的内容进行查询。若查询到就返回object和False,若没有查询到也会返回一个object和True,此时,object为你创建的数据
----------------------------------------
update_or_create(defaults=None, **kwargs) # 与上一个相同,只是用来做更新操作
first() # 返回第一条记录
last() # 返回最后一条记录
latest() # 返回最新的一条数据,需要在Model的Meta中定义:get_latest_by = <用来排序的字段>
earliest() # 与上一个相同,只是用来返回最早的一条记录
7、特殊的none() # 返回一个空QuerySet
using()
------------------------------------
如果正在使用多个数据库,这个方法用于指定在哪个数据库上查询QuerySet
Entry.objects.using('backup')
------------------------------------
select_for_update()
-------------------------------------------------
在查询时锁定该数据,一直到操作结束才解除锁定,在这个过程中如果有
其他操作想要查询该数据,就会被阻塞,若要避免这个阻塞、,可以使用nowait=True来避免,这
个选项的默认值为Flase
如果你查询的某一条数据已经被锁定可,可以使用skip_locked=True来忽略被锁定的数据。
-------------------------------------------------
raw()
-------------------------------------------------
用来接收一个原始的sql查询
-------------------------------------------------
AND(&)与OR(|)
-------------------------------------------------
Models.objects.filter(field1) & Models.objects.filter(field2)
等价于Models.object.filter(field1, field2)
Models.object.filter(Q(field1)) | Models.objects.filter(Q(field2))
等价于Models.objects.filter(Q(field1) | Q(field2))
-------------------------------------------------
in_bulk(id_list = None,field_name ='pk')
-------------------------------------------------
用来查询id_list中包含的数据
field_name必须是唯一字段,默认为主键
-------------------------------------------------
bulk_create(objs,batch_size = None)
-------------------------------------------------
可以用来插入多条数据
-------------------------------------------------
iterator(chunk_size = 2000)
-------------------------------------------------
返回一个迭代器,可以明显的降低内存,会忽略前面的查询,与prefetch_related()一起使用没有意义。
-------------------------------------------------
explain() 除了Oracle之外的所有内置数据库后端都支持
修改
1、update()
Book.objects.filter(id=1).update(price=3)
2、obj.save()
book_obj=Book.objects.get(id=1)
book_obj.price=5
book_obj.save()
删除
单表删除:
表名.objects.filter(id=1).delete()
多对多/一对多删除:
book = Book.objects.filter(id=1)
author = Author.objects.filter(id=1) # id 大于2的
book.author.remove(*authors) # 删除
book.author.clear() # 这不会删除相关对象 - 只是将它们取消关联
book.author.set([1, 2, 3]) #迭代,存在的保留,不存在的则删除,类似于update() 即只存在1,2,3,将之外的删除。
进阶接口
1、 defer() # 把不需要的字段做延迟加载
# 若需要除价格之外的其他字段可以通过defer()接口
book = Book.objects.all().defer('price')
# 若又想加载某个字段时
for item in book:
print(item.price) # 此时会加载价格
# 这样操作会产生N+1问题
'''
N+1问题:一条查询请求返回N条数据,当我们进行操作数据时,又会产生额外的请求,这就是
N+1问题,所有的ORM框架都会有这个问题。一般情况下由外键产生的N+1问题较多
'''
2、 only() # 与defer()相反,是只加载某个字段,其他值在获取时也会产生额外的查询
3、 select_related() # 用来解决外键产生N+1问题的方案
b = Book.objects.select_related().get(id=2)
# 在此时进行数据库查询,
b = e.blog # 这个时候是不会进行数据库查询的,在上一步已经查询过了
--------------------(1.几版本的)
book = Book.objects.all().select_related('price')
for item in book: # 产生数据库查询,price数据也会一次性查询出来
print(post.price)
# 只用来解决一对多关系
4、 prefetch_related() # 用来解决多对多的N+1问题
book = Book.objects.all().prefetch_related('author')
for item in book: # 产生两条查询语句,分别查询Author和Book
print(item.author.all())
常用的字段查询
id__in = [11,22,33] # 获取id等于11,22,33的数据
id__gte=10 # 获取id大于等于10的数据
id__lte=10 # 获取id小于等于10的数据
id__lt = 10 # 获取小于10的数据
id__gt = 1 # 获取id大于1的数据
id__range[1,3] # 获取范围内的数据,多用于时间范围
name__contains = "p" # name包含'p'的数据,用来进行相似查询
name__icontains # 同上一个,不区分大小写
name__exact # 精确匹配
name__iexact # 同上一个,不区分大小写
name__startwith = 'p' # 以p开头
name__istartwith # 同上一个,不区分大小写
name__endtwith = 'p' # 以p结尾
name__iendwith # 同上一个,不区分大小写
----------------------------
以下是针对于时间字段的查找
----------------------------
name__date # 用于日期字段查找
name__year # 对于日期的年份进行查找
name__month # 对于日期的月份进行查找
name__day # 对于日期的天数进行查找
name__week # 用于日期的周数进行查找
name__week_day # 用于日期的星期几进行查找
name__quarter # 用于日期的季度进行查找
name__time # 根据日期进行查找,是转换成datetime进行查询,也可以使用其他字段查询
----------------------------
Entry.objects.filter(pub_date__time=datetime.time(14, 30))
Entry.objects.filter(pub_date__time__range=(datetime.time(8), datetime.time(17)))
----------------------------
name__hour # 根据日期的小时进行查询
name__minute # 根据日期的分钟进行查询
name__second # 根据日期的秒进行查询
------------------------------------------------------------------------------------
name__isnull # 等价于SELECT ... WHERE pub_date IS NULL
name__regex # 使用正则表达式进行匹配
name__iregex # 同上,不区分大小写
name__search # 文本查找,不区分大小写,与contains类似
进阶查询
F表达式,F表达式常用来执行数据库层面的计算,从而避免出现竞争状态
比如现在要处理每篇文章的访问量,当有用户访问时,我们对访问量进行加1
post = Post.objects.get(id=1)
post.pv = post.pv + 1
post.save()
这样在当多个用户访问时会出现问题,因为这样是从数据库中拿出数据,修改过后再放到数据库
中,相当于只执行了一次加1
from django.db.models import F
book = Book.objects.get(id=1)
book.price = F('price') + 1
book.save()
这种方式会产生类似于一个SQL语句:
UPDATE post SET pv = pv + 1 WHERE ID = 1
这是在数据库层面执行的原子性操作
Q表达式,解决OR查询或AND查询
from django.db.models import Q
Post.objects.filter(Q(id=1) | Q(id=2))
Post.objects.filter(Q(id=1) & Q(id=2))
Count聚合查询
from django.db.models import Count
publish = Publish,objects.annotate(book_count=Count('Book'))
print(publish[0].book_count)
相当于给Publish动态增加了一条属性book_count,属性来源Count('Book')
Sum,与Count类似,是用来做合计的
from django.db.models import Sum
Book.objects.aggregate(all_price=Sum('price'))
Avg求平均值,Min最小值,Max最大值,StdDev求标准差,Variance求方差
QuerySet的annotate给结果增加属性,aggregate用来计算结果
Prefetch(lookup,queryset = None,to_attr = None)
prefetch_related_objects(model_instances, *related_lookups)
FilteredRelation(relation_name, *, condition=Q())
relation_name # 要过滤的字段的名称
condition # 使用Q查询来过滤,即过滤的规则
其他操作
一对多:
class Province(models.Model):
name = models.CharField(max_length=32)
# nid = models.Intergar(unique=True) unique=True 表示唯一
# 在数据库类中添加
def __str__(self):
return self.name
# 则对象在显示的时候就会显示name的内容
class City(models.Model):
name = models.CharField(max_length=32)
# pro = models.ForeignKey("Province", to_filed='nid') to_filed 设置关联键,表示与nid关联,且关联的键必须唯一
pro = models.ForeignKey("Province", to_filed='id')
1、正向查找:
res = models.City.objects.all() #返回QuerySet,里面的数据类型为对象
res[0].pro.name 查找关联的表的name
City.objects.all().values('id', 'name', 'pro_id', 'pro__id', 'pro__name') # _一个下划线表示外键的内容,__两个下划线就表示关联的下一张表的内容;
# 返回QuerySet,里面的数据类型为字典
City.objects.all().values_list('id', 'name', 'pro_id', 'pro__id', 'pro__name')
2、反向查找:
pro_list = models.Province.objects.values('id', 'name', 'city__name') # city显示的为相应的id city__name表示显示的为name的内容
for item in pro_list:
print(item.id, item.name, item.city_set.all())
item.city_set.filter() # 与查询数据库操作类似