作为一个web开发者,根据产品经理的需求来完成一个应用显然不是我们的唯一目标,很多时候,我们考虑的不仅仅是需求,而是超越需求,认识到项目上线后的性能瓶颈。很多web应用在上线后,都可能会碰到响应慢的问题,而从今天开始,我将以浅显的例子带领大家一步一步的优化web应用。
先举个栗子:
小白在做一个web列表页时,需求很简单,当用户访问第一个页的时候,服务器返回1-10条的文章简介数据,访问第2页的时候,服务器返回11-20条的文章简介数据。小白转念一想,这简单啊,每次前端给我一个页数就行,我直接从数据库中查出来,然后返回回去就行。哈哈,so easy!
当小白把程序写好上线后,随着用户以及文章的增多,数据库的压力也越大,比如当文章数量达到一百万条时,每次分页查询都需要耗时数据库500ms左右,这时候小白就意识到程序需要优化了。
这时候小白的老师来了,老师说,这些文章列表数据,在短时间中不会改变太大,为什么不把它缓存起来呢?这样每次都可以从内存中取出来,而不用每次都访问数据库了。
即项目架构由最简单的
加入了cache层:
这样,可以极大的加快访问速度。
就拿这个例子来说,你可以把每次获取的列表信心都缓存起来,为了在缓存的同时也能保持更新,你可以设置列表缓存为1分钟过期,这样这1分钟内多次访问速度会极大的提高。
至于缓存,你可以使用redis,Redis 是一个高性能的key-value数据库。可以对关系数据库起到很好的补充作用。
小白在听了老师给出的建议后,马上着手开始搭建redis开发环境,并开始开发,他写了一个demo,这个demo中,使用缓存前每次访问的速度为400-500ms,使用缓存后的访问速度稳定在25-27ms,相当于17倍的速度提升!
下面为主要的测试代码:
package com.happyheng.controller;
import com.alibaba.fastjson.JSON;
import com.happyheng.dao.ArticleDao;
import com.happyheng.model.Article;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.util.StringUtils;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import redis.clients.jedis.Jedis;
import java.util.List;
/**
*
*
* Created by happyheng on 17/5/6.
*/
@RestController
@RequestMapping("/test")
public class TestController {
private static final String KEY_CACHE_ARTICLE_LIST = "article_list";
@Autowired
private ArticleDao articleDao;
@RequestMapping("/testSelectFromDb")
public List testSelectFromDb() throws Exception {
return articleDao.getArticleListFromdb();
}
@RequestMapping("/testSelectFromCache")
public String testSelectFromCache() throws Exception {
Jedis jedis = new Jedis("localhost");
// 先从缓存中取出数据
String articleListStr = jedis.get(KEY_CACHE_ARTICLE_LIST);
if (!StringUtils.isEmpty(articleListStr)) {
return articleListStr;
} else {
// 如果数据为空,那么从db中取出来,然后序列化后写入到cache中,并设置1分钟的过期时间
List articleList = articleDao.getArticleListFromdb();
String serializeArticleListStr = JSON.toJSONString(articleList);
jedis.set(KEY_CACHE_ARTICLE_LIST, serializeArticleListStr);
jedis.expire(KEY_CACHE_ARTICLE_LIST, 60);
return serializeArticleListStr;
}
}
}
package com.happyheng.dao;
import com.happyheng.model.Article;
import org.springframework.stereotype.Service;
import java.sql.*;
import java.util.ArrayList;
import java.util.List;
/**
*
*
* Created by happyheng on 17/5/7.
*/
@Service
public class ArticleDao {
public List getArticleListFromdb() throws Exception{
String sql = "SELECT * FROM article ORDER BY create_time DESC LIMIT 0, 10";
Class.forName("com.mysql.jdbc.Driver");
Connection mConnection = DriverManager.getConnection("jdbc:mysql://localhost:3306/optimize_db", "root", "mytestcon");
Statement statement = mConnection.createStatement();
ResultSet resultSet = statement.executeQuery(sql);
try {
List list = new ArrayList<>();
//注意指针刚开始是-1位置,这行next()方法,会先判断下一个位置有没有,如果有,指向下一个位置。
while (resultSet.next()) {
Article article = new Article();
article.setId(resultSet.getLong("id"));
article.setTitle(resultSet.getString("title"));
article.setContent(resultSet.getString("content"));
article.setCreate_time(resultSet.getString("create_time"));
list.add(article);
}
return list;
} catch (Exception e) {
e.printStackTrace();
} finally {
try {
resultSet.close();
statement.close();
mConnection.close();
} catch (SQLException e) {
e.printStackTrace();
}
}
return null;
}
}
直接访问db:
访问cache:
示例代码已放到github上,此工程为项目中的 web-optimize-redis 工程,地址为 项目地址
其中测试写入数据库的python脚本为:
import pymysql
import time
# 1.获取连接对象
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='mytestcon', db='optimize_db', charset='utf8')
cursor = conn.cursor()
# 2.测试插入数据
rangeNum = 1000000
for i in range(rangeNum):
print('执行了' + str(i/rangeNum))
title = 'title' + str(i)
content = 'content' + str(i)
dateStr = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))
cursor.execute('INSERT INTO article (title, content, create_time) VALUES (%s, %s , %s)', (title, content, dateStr))
# 提交
conn.commit()
# 关闭游标
cursor.close()
# 关闭连接
conn.close()
可以使用上述脚本来生成数据库测试数据
这篇博客只是对redis的缓存做一个简单介绍,所以只缓存了首页,下一篇博客中更详细的讲解了使用redis来缓存我们大量的列表数据并保持数据的时效性。
下一篇博客地址为 : 小白的web优化之路 二、实战使用redis来缓存列表信息