Django学习-第十四讲：文件上传、cookie、session、memcached

1. 文件上传

1.1 前端HTML代码实现

1.在前端中，我们需要填入一个form标签，然后在这个form标签中指定enctype="multipart/form-data"，不然就不能上传文件。

2.在form标签中添加一个input标签，然后指定input标签的name，以及type="file"。

1.2 后端的代码实现

后端的主要工作是接收文件。然后存储文件。接收文件的方式跟接收POST的方式是一样的，只不过是通过FILES来实现。

def save_file(file):
    with open('somefile.txt','wb') as fp:
        for chunk in file.chunks():
            fp.write(chunk)

    # with open("abc.txt","w") as f:
        # f.write(files.read().decode())

def index(request):
    if request.method == 'GET':
        form = MyForm()
        return render(request,'index.html',{'form':form})
    else:
        myfile = request.FILES.get('myfile')
        save_file(myfile)
        return HttpResponse('success')

以上代码通过request.FILES接收到文件后，再写入到指定的地方。这样就可以完成一个文件的上传功能了。

2. 使用模型来处理上传的文件

在定义模型的时候，我们可以给存储文件的字段指定为FileField，这个Field可以传递一个upload_to参数，用来指定上传上来的文件保存到哪里。比如我们让他保存到项目的files文件夹下，那么示例代码如下：

# models.py
class Article(models.Model):
    title = models.CharField(max_length=100)
    content = models.TextField()
    thumbnail = models.FileField(upload_to="files")

# views.py
def index(request):
    if request.method == 'GET':
        return render(request,'index.html')
    else:
        title = request.POST.get('title')
        content = request.POST.get('content')
        thumbnail = request.FILES.get('thumbnail')
        article = Article(title=title, content=content, thumbnail=thumbnail)
        article.save()
        return HttpResponse('success')

调用完article.save()方法，就会把文件保存到files下面，并且会将这个文件的路径存储到数据库中。

2.1 指定MEDIA_ROOT和MEDIA_URL

以上我们是使用了upload_to来指定上传的文件的目录。我们也可以指定MEDIA_ROOT，就不需要在FielField中指定upload_to，他会自动的将文件上传到MEDIA_ROOT的目录下。

MEDIA_ROOT = os.path.join(BASE_DIR,'media')
MEDIA_URL = '/media/'

然后我们可以在urls.py中添加MEDIA_ROOT目录下的访问路径。示例代码如下：

from django.urls import path
from front import views
from django.conf.urls.static import static
from django.conf import settings

urlpatterns = [
    path('', views.index),
] + static(settings.MEDIA_URL,document_root=settings.MEDIA_ROOT)

如果我们同时指定MEDIA_ROOT和upload_to，那么会将文件上传到MEDIA_ROOT下的upload_to文件夹中。示例代码如下：

class Article(models.Model):
    title = models.CharField(max_length=100)
    content = models.TextField()
    thumbnail = models.FileField(upload_to="%Y/%m/%d/")

2.2 限制上传的文件拓展名

如果想要限制上传的文件的拓展名，那么我们就需要用到表单来进行限制。我们可以使用普通的Form表单，也可以使用ModelForm，直接从模型中读取字段。

# models.py
class Article(models.Model):
    title = models.CharField(max_length=100)
    content = models.TextField()
    thumbnial = models.FileField(upload_to='%Y/%m/%d/',validators=[validators.FileExtensionValidator(['txt','pdf'])])
    files = models.ImageField(upload_to="%Y%m%d")

# forms.py
class BookForms(forms.Form):
    files = forms.FileField(validators=[validators.FileExtensionValidator(['txt'],message="必须是TXT")])
    # files = forms.ImageField(error_messages={"invalid_image":"格式不对"})

# views.py
class uploadfile(View):
    def get(self,request):
        return render(request,"upload.html")

    def post(self,request):
        form = BookForms(request.POST,request.FILES)
        if form.is_valid():
            title = request.POST.get('title')
            files = request.FILES.get('files')
            FilesUpload.objects.create(title=title,files=files)
            return HttpResponse("success")
        else:
            print(form.errors.get_json_data())
            return HttpResponse("fail")

2.3 上传图片

上传图片跟上传普通文件是一样的。只不过是上传图片的时候Django会判断上传的文件是否是图片的格式（除了判断后缀名，还会判断是否是可用的图片）。如果不是，那么就会验证失败。我们首先先来定义一个包含ImageField的模型。

class Article(models.Model):
    title = models.CharField(max_length=100)
    content = models.TextField()
    thumbnail = models.ImageField(upload_to="%Y/%m/%d/")

因为要验证是否是合格的图片，因此我们还需要用一个表单来进行验证。表单我们直接就使用ModelForm就可以了

class BookForms(forms.Form):

    files = forms.ImageField(error_messages={"invalid_image":"格式不对"})

注意：使用ImageField，必须要先安装Pillow库：pip install pillow**

3. cookie和session

3.1.cookie：

在网站中，http请求是无状态的。也就是说即使第一次和服务器连接后并且登录成功后，第二次请求服务器依然不能知道当前请求是哪个用户。cookie的出现就是为了解决这个问题，第一次登录后服务器返回一些数据（cookie）给浏览器，然后浏览器保存在本地，当该用户发送第二次请求的时候，就会自动的把上次请求存储的cookie数据自动的携带给服务器，服务器通过浏览器携带的数据就能判断当前用户是哪个了。cookie存储的数据量有限，不同的浏览器有不同的存储大小，但一般不超过4KB。因此使用cookie只能存储一些小量的数据

3.2.session:

session和cookie的作用有点类似，都是为了存储用户相关的信息。不同的是，cookie是存储在本地浏览器，session是一个思路、一个概念、一个服务器存储授权信息的解决方案，不同的服务器，不同的框架，不同的语言有不同的实现。虽然实现不一样，但是他们的目的都是服务器为了方便存储数据的。session的出现，是为了解决cookie存储数据不安全的问题的。

3.3.cookie和session使用：

web开发发展至今，cookie和session的使用已经出现了一些非常成熟的方案。在如今的市场或者企业里，一般有两种存储方式

3.3.1 存储在服务端：通过cookie存储一个sessionid，然后具体的数据则是保存在session中。如果用户已经登录，则服务器会在cookie中保存一个sessionid，下次再次请求的时候，会把该sessionid携带上来，服务器根据sessionid在session库中获取用户的session数据。就能知道该用户到底是谁，以及之前保存的一些状态信息。这种专业术语叫做server side session。Django把session信息默认存储到数据库中，当然也可以存储到其他地方，比如缓存中，文件系统中等。存储在服务器的数据会更加的安全，不容易被窃取。但存储在服务器也有一定的弊端，就是会占用服务器的资源，但现在服务器已经发展至今，一些session信息还是绰绰有余的。

3.3.2 将session数据加密，然后存储在cookie中。这种专业术语叫做client side session。flask框架默认采用的就是这种方式，但是也可以替换成其他形式。

3.4 在django中操作cookie和session

3.4.1操作cookie

3.4.1.1设置cookie

设置cookie是设置值给浏览器的。因此我们需要通过response的对象来设置，设置cookie可以通过response.set_cookie来设置，这个方法的相关参数如下：

key：这个cookie的key。
value：这个cookie的value。
max_age：最长的生命周期。单位是秒。
expires：过期时间。跟max_age是类似的，只不过这个参数需要传递一个具体的日期，比如datetime或者是符合日期格式的字符串。如果同时设置了expires和max_age，那么将会使用expires的值作为过期时间。
path：对域名下哪个路径有效。默认是对域名下所有路径都有效。
domain：针对哪个域名有效。默认是针对主域名下都有效，如果只要针对某个子域名才有效，那么可以设置这个属性.
secure：是否是安全的，如果设置为True，那么只能在https协议下才可用。
httponly：默认是False。如果为True，那么在客户端不能通过JavaScript进行操作

from datetime import datetime
from django.utils.timezone import make_aware

def cookie_test(request):
    response = HttpResponse("index")
    expires = make_aware(datetime(year=2018,month=12,day=27,hour=3,minute=20,second=0))
    response.set_cookie("username","juran",expires=expires,path="/cms/")

    return response

def get_cookie_test(request):
    cookies = request.COOKIES
    username = cookies.get('username')
    return HttpResponse(username)

3.4.1.2删除cookie

通过delete_cookie即可删除cookie。实际上删除cookie就是将指定的cookie的值设置为空的字符串，然后使用将他的过期时间设置为0，也就是浏览器关闭后就过期。

def delete_cookie(request):
    response = HttpResponse('delete')
    response.delete_cookie('username')
    return response

3.4.1.3获取cookie

获取浏览器发送过来的cookie信息。可以通过request.COOKIES来或者。这个对象是一个字典类型。比如获取所有的cookie

cookies = request.COOKIES
for cookie_key,cookie_value in cookies.items():
   print(cookie_key,cookie_value)

3.4.2操作session

django中的session默认情况下是存储在服务器的数据库中的，在表中会根据sessionid来提取指定的session数据，然后再把这个sessionid放到cookie中发送给浏览器存储，浏览器下次在向服务器发送请求的时候会自动的把所有cookie信息都发送给服务器，服务器再从cookie中获取sessionid，然后再从数据库中获取session数据。但是我们在操作session的时候，这些细节压根就不用管。我们只需要通过request.session即可操作。

def index(request):
    request.session['username'] = 'jr'
    request.session.get('username')
    return HttpResponse('index')

3.4.2.1 session常用的方法如下：

1. get：用来从session中获取指定值。

2. pop：从session中删除一个值。

3. keys：从session中获取所有的键。

4. items：从session中获取所有的值。

5. clear：清除当前这个用户的session数据。

6. flush：删除session并且删除在浏览器中存储的session_id，一般在注销的时候用得比较多。

7. set_expiry(value)：设置过期时间。

   整形：代表秒数，表示多少秒后过期。

   0：代表只要浏览器关闭，session就会过期。

   None：会使用全局的session配置。在settings.py中可以设置SESSION_COOKIE_AGE来配置全局的过期时间。默认是1209600秒，也就是2周的时间。

   -1:代表已经过期

8. clear_expired：清除过期的session。Django并不会清除过期的session，需要定期手动的清理，或者是在终端，使用命令行python manage.py clearsessions来清除过期的session。

3.5 修改session的存储机制

默认情况下，session数据是存储到数据库中的。当然也可以将session数据存储到其他地方。可以通过设置SESSION_ENGINE来更改session的存储位置，这个可以配置为以下几种方案

1. django.contrib.sessions.backends.db：使用数据库。默认就是这种方案。
2. django.contrib.sessions.backends.file：使用文件来存储session。
3. django.contrib.sessions.backends.cache：使用缓存来存储session。想要将数据存储到缓存中，前提是你必须要在settings.py中配置好CACHES，并且是需要使用Memcached，而不能使用纯内存作为缓存。
4. django.contrib.sessions.backends.cached_db：在存储数据的时候，会将数据先存到缓存中，再存到数据库中。这样就可以保证万一缓存系统出现问题，session数据也不会丢失。在获取数据的时候，会先从缓存中获取，如果缓存中没有，那么就会从数据库中获取。
5. django.contrib.sessions.backends.signed_cookies：将session信息加密后存储到浏览器的cookie中。这种方式要注意安全，建议设置SESSION_COOKIE_HTTPONLY=True，那么在浏览器中不能通过js来操作session数据，并且还需要对settings.py中的SECRET_KEY进行保密，因为一旦别人知道这个SECRET_KEY，那么就可以进行解密。另外还有就是在cookie中，存储的数据不能超过4k

配置文件

CACHES = {
    'default':{
        'BACKEND':'django.core.cache.backends.memcached.MemcachedCache',
        'LOCATION':'127.0.0.1:11211'
    }
}

SESSION_ENGINE = 'django.contrib.sessions.backends.cached_db'

在memcached中查看

stats items
stats cachedump 4 0

4.memcached

4.1什么是memcached

1.memcached之前是danga的一个项目，最早是为LiveJournal服务的，当初设计师为了加速LiveJournal访问速度而开发的，后来被很多大型项目采用。官网是www.danga.com或者是memcached.org。

2.Memcached是一个高性能的分布式的内存对象缓存系统，全世界有不少公司采用这个缓存项目来构建大负载的网站，来分担数据库的压力。Memcached是通过在内存里维护一个统一的巨大的hash表，memcached能存储各种各样的数据，包括图像、视频、文件、以及数据库检索的结果等。简单的说就是将数据调用到内存中，然后从内存中读取，从而大大提高读取速度。

3.哪些情况下适合使用Memcached：存储验证码（图形验证码、短信验证码）、登录session等所有不是至关重要的数据。

4.2 memcache特性

1.保存内存中

2.重启服务，数据会丢失

3.LRU算法，根据最近使用的变量，将长时间没有使用的变量删除

4.memcache服务端是不安全的，

5.不适合单机使用，对内存的消耗比较大

6.格式简单，不支持list数据格式

4.3 安装和启动memcached

windows：
安装：memcached.exe -d install。
启动：memcached.exe -d start。

linux（ubuntu）:
安装：sudo apt install memcached

启动：
cd /usr/bin/memcached/
memcached -d start

4.4 可能出现的问题：

1.提示你没有权限：在打开cmd的时候，右键使用管理员身份运行。

2.提示缺少pthreadGC2.dll文件：将pthreadGC2.dll文件拷贝到windows/System32.

3.不要放在含有中文的路径下面

4.5 启动memcached：

-d：这个参数是让memcached在后台运行。
-m：指定占用多少内存。以M为单位，默认为64M。
-p：指定占用的端口。默认端口是11211。
-l：别的机器可以通过哪个ip地址连接到我这台服务器。如果是通过service memcached start的方式，那么只能通过本机连接。如果想要让别的机器连接，就必须设置-l 0.0.0.0

如果想要使用以上参数来指定一些配置信息，那么不能使用service memcached start，而应该使用/usr/bin/memcached的方式来运行。比如/usr/bin/memcached -u memcache -m 1024 -p 11222 start。

4.6 telnet操作memcached

telnet ip地址 [11211]

4.6.1添加数据

set
  set key flas(是否压缩) timeout value_length
  value

set username 0 60 5
juran

add
  add key flas(0) timeout value_length
  value

add username 0 60 5
juran

set和add的区别：add是只负责添加数据，不会去修改数据。如果添加的数据的key已经存在了，则添加失败，如果添加的key不存在，则添加成功。而set不同，如果memcached中不存在相同的key，则进行添加，如果存在，则替换。

4.6.2 获取数据

get key

get username

4.6.3 删除数据

delete key

delete username

flush_all：删除memcached中的所有数据。

4.6.4 自增自减

incr key nums
decr key nums

查看memcached的当前状态

stats

4.7 通过python操作memcached

安装：python-memcached：pip install python-memcached

建立连接

import memcache
mc = memcache.Client(['127.0.0.1:11211','192.168.174.130:11211'],debug=True)

设置数据

mc.set('username','hello world',time=60*5)
mc.set_multi({'email':'[email protected]','telphone':'111111'},time=60*5)

获取数据

mc.get('telphone')

删除数据

mc.delete('email')

自增自减

mc.incr('read_count')
mc.decr('read_count')

4.8分布式

mc = memcache.Client(["192.168.164.137:11211","192.168.164.137:11212"],debug=True)

mc.set_multi({"pwd":'123',"age":18},time=60)

memcached尽管是“分布式”缓存服务器，但服务器端并没有分布式功能。各个memcached不会互相通信以共享信息,这完全取决于客户端的实现.

4.9 memcached的安全性

memcached的操作不需要任何用户名和密码，只需要知道memcached服务器的ip地址和端口号即可。因此memcached使用的时候尤其要注意他的安全性。这里提供两种安全的解决方案。

1.使用-l参数设置为只有本地可以连接：这种方式，就只能通过本机才能连接，别的机器都不能访问，可以达到最好的安全性。

2.使用防火墙，关闭11211端口，外面也不能访问。

ufw enable # 开启防火墙
ufw disable # 关闭防火墙
ufw default deny # 防火墙以禁止的方式打开，默认是关闭那些没有开启的端口
ufw deny 端口号 # 关闭某个端口
ufw allow 端口号 # 开启某个端口

4.10 在Django中使用memcached

• 首先需要在settings.py中配置好缓存

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache',
        'LOCATION': '127.0.0.1:11211',
    }
}

• 如果想要使用多台机器，那么可以在LOCATION指定多个连接

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache',
        'LOCATION': [
            '172.19.26.240:11211',
            '172.19.26.242:11211',
        ]
    }
}

• 配置好memcached的缓存后，以后在代码中就可以使用以下代码来操作memcached了：

from django.core.cache import cache

def index(request):
    cache.set('abc','juran',60)
    print(cache.get('abc'))
    response = HttpResponse('index')
    return response

需要注意的是，django在存储数据到memcached中的时候，不会将指定的key存储进去，而是会对key进行一些处理。比如会加一个前缀，会加一个版本号。如果想要自己加前缀，那么可以在settings.CACHES中添加KEY_FUNCTION参数：

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache',
        'LOCATION': '127.0.0.1:11211',
        'KEY_FUNCTION': lambda key,prefix_key,version:"django:%s"%key
    }
}

memcached 常用命令及使用说明:https://www.cnblogs.com/wayne173/p/5652034.html