Linux笔记:高并发下的Web架构之Memcached缓存技术

概述

在我们把系统做好反向代理和负载均衡之后, 还有一个性能问题没有解决,就是我们的数据库,此时如果并发量大了,数据库将是一个很大的瓶颈。假如我们有一台4核8G的服务器, 它能承受的并发数通常也就在2000左右。以电商系统为例, 如果所有的商品信息都是直接从数据库中读取, 首先挂掉的将会是我们的数据库。为了解决这个问题,在DB层和业务逻辑层之间, 会加入一层缓存, 利用缓存可以很好分担数据库的压力。

缓存的分类

  • DNS
  • 浏览器
  • App
  • 代理缓存
  • 服务端缓存

服务端缓存中的内存缓存

  • 我们主要针对服务端缓存中的内存缓存来分析
  • 在RDB中,也就是我们所说的关系型数据库,如MySQL、SQLServer等,数据保存在服务器的硬盘之中, 硬盘对数据存取比较慢
  • 普通笔记本转速是5.4K转/分钟, 一般服务器硬盘转速可以达到1.5W转/分钟, 这个速度和内存读取来说也是非常慢的
  • 随机访问情况下, 内存访问速度比硬盘访问速度快上10万倍以上
  • 然而内存对计算机来说是紧缺的资源, 我们无法将所有数据都放在内存中, 所以程序员开发了一些缓存算法来解决这些问题

缓存算法

  • LRU(Least Recently Used)

    • 最近最少使用
    • Memcached主要采用此算法来淘汰数据
  • LFU(Least Frequently Used)

    • 根据数据的历史访问频率来淘汰数据

关于Memcached缓存

  • Memcached 是高性能的分布式内存缓存系统,一般用来缓存访问的热点数据,以减轻数据库负担
  • 全球最大的Memcached用户是facebook, 已经超过28T的数据存放在Memcached中, 使用了超过800台的服务器
  • 官网:https://memcached.org/

Ubantu上Memcached的安装

  • $apt update
  • $apt install -y memcached

Memcached的服务管理

  • $service memcached stop
  • $service memcached start
  • $service memcached restart

Memcached的配置

  • $vi /etc/memcached.conf
    • -d 守护进程
    • -m 内存, default 64MB , 这里需要区分情况, 如果是专用的Memcached服务器可以把70%的系统内存分配
    • -u 运行用户
    • -l 监听的服务器IP地址
    • -p 监听端口, 默认是11211
    • -c 并发连接数, 默认是1024
  • 如果编辑了之后,需要重启服务才能生效, $service memcached restart
  • 连接Memcached终端, $telnet 127.0.0.1 11211 进入
    # 可以查看状态
    stats
    # ... 此处输出很多信息
    STAT pid 237784                     # 进程ID
    STAT uptime 2070631                 # 运行秒数
    STAT version 1.4.25                 # 版本
    STAT libevent 2.0.21-stable         # libevent版本
    STAT pointer_size 64                # 系统指针(32bit/64bit)
    STAT curr_items 50237               # 当前实例存储的items数量
    STAT total_items 1337400            # 实例启动以后存储的items总数量
    STAT bytes 35169108                 # 实例存储items占用的字节数
    STAT curr_connections 349           # 当前打开的连接数 【重要指标】
    STAT total_connections 108429       # 实例启动后打开的连接总数
    STAT cmd_get 14005676               # get 命令总请求次数
    STAT cmd_set 1337400                # set 命令总请求次数
    STAT get_hits 12596511              # 总命中次数 【重要指标】
    STAT get_misses 1409165             # 总未命中次数 【重要指标】
    STAT evictions 0                    # 为获取空闲内存而删除的items数
    STAT bytes_read 4918928094          # 总读取字节数(请求字节数)
    STAT bytes_written 46027378599      # 总发送字节数(结果字节数)
    STAT limit_maxbytes 1572864000      # 分配的缓存大小
    STAT threads 4                      # 当前线程数
    
    # 退出
    quit
    
  • Memcached的使用比较简单,我们很少在服务器上对它进行管理
  • Memcached是基于内存的, 如果服务关闭,则数据全部丢失

通过python来操作Memcached

1 ) 安装

$ pip3 install python-memcached

2 ) 使用

import memcache

# 链接
mc = memcache.Client(['127.0.0.1:11211'])

# 存入
mc.set('name', 'python', 60) # 过期时间 单位为秒

# 读取
res = mc.get('name')

# 删除
mc.delete('name')

Memcached的控制台演示

  • 在windows上,如果我们想要启动Memcached, 需要下载一个它的可执行程序memcached Server文件, 启动它,开启命令窗口
  • 打开另一个命令行使用pip安装它的python扩展, $pip install python-memcached, 这里是window一般使用pip命令即可
  • 然后开始进入python环境进行相关操作
    >>> import memcache
    >>> mc = memcache.Client(['127.0.0.1:11211'])
    >>> mc.set('name', 'jack')
    True
    >>> mc.get('name')
    'jack'
    >>> mc.delete('name')
    1
    >>> mc.get('name')
    >>>
    >>> mc.set('name', 'jack', 10)
    True
    >>> mc.get('name')
    'jack'
    >>> mc.get('name') # 10s之后再次get, 发现没了
    >>>
    

Memcached的项目演示

1 ) 新建一个cache.py文件

  • 注意名称不能和将要导入的memcache重名

2 ) 一般的数据库操作

import pymysql

def get_data():
    conn = pymysql.connect(host='localhost', user='root', password='你自己设置的密码', database='test', charset='utf8)
    cursor = conn.cursor
    sql = 'select * from product limit 3'
    cursor.execute(sql)
    data = cursor.fetchall()
    cursor.close()
    conn.close()
    return data

3 ) 改造后的带Memcached缓存的数据库操作

import pymysql
import memcache

def get_data():
    # 链接memcache
    mc = memcache.Client(['127.0.0.1:11211'])
    # 这里定义一个公共变量, 防止后期修改一处, 忘记其他地方还有可能会造成的bug
    cacheKey = 'product_list'
    # 首先尝试获取,如果存在那么直接使用
    res = mc.get(cacheKey')
    if res is not None:
        return res

    # 不存在则进行连接数据库查询
    print('go db now >>>>')
    conn = pymysql.connect(host='localhost', user='root', password='你自己设置的密码', database='test', charset='utf8)
    cursor = conn.cursor
    sql = 'select * from product limit 3'
    cursor.execute(sql)
    data = cursor.fetchall()
    cursor.close()
    conn.close()

    # 没有数据时将数据放入memcache, 这里设置10s的有效时间 
    # 这个时间设置很重要, 需要根据不同的业务设置不同的时间, 这样就可以灵活控制
    # 假如1s有300个并发, 那么10s就是3000次的查询, 这里设置10s, 那么在这10s内只会查询1次的数据库, 相比之下减少了2999次节约了很多资源
    # 一般业务我们可能会设置更长的时间, 如果数据更新了, 那么数据仍不会变化, 这会造成一个问题, 
    # 解决方案是:当数据更新时, 将缓存删除或者放入新的缓存数据
    mc.set(cacheKey, data, 10)

    return data

你可能感兴趣的:(Full,Stack,Python,Git,Github,Linux,Docker,linux,高并发,web架构,memcached缓存)