上次给网站(
http://www.ecgoo.net/)加上并提交站点地图sitemap之后,发现apache服务器有时狂吃内存,负担相当大,分析之后,发现sitemap是一个很大的隐患。
用django自带的模块是动态生成sitemap的,使用相当简单,方便小型站点使用。但对于现在拥有链接数超过6千万的Ecgoo,如果每次访问sitemaps时,都要动态生成,对服务器无疑是一个很大的负担。因此,准备重写sitemaps,让其静态生成。
查看了下源代码,发现源码中生成sitemaps的原理也相当简单,他有自己的一套xml模板,然后用用户传递的参数生成一url列表去渲染该模板。
所以,实现的静态化的基本原理也是参考其代码,定义一方法create,在生成每个sitemap页面时将其写入到本地文件,实现静态化
下面是一些具体实现步骤
1.跟上篇的步骤一样,首先定制地图成员
sitemaps.py
from django.contrib.sitemaps import Sitemap
from django.conf import settings
from models import Roulette
class WitSitemap(Sitemap):
'''
Create Sitemaps for Wit
'''
changefreq = "daily"
priority = 0.5
def items(self):
return Roulette.objects.all()
def location(self,obj):
return "/stock/%s.html" % (obj.partno) #定制地图的url
2.几个关键函数的定义
def create(request,maps=None):
"""
url调用入口函数
"""
if maps is None:
sitemaps = {
'partno': WitSitemap(),
}
else:
sitemaps = maps
__create(sitemaps) #生成sitemaps的主要方法
return HttpResponse("success")
def __create(sitemaps):
current_site = Site.objects.get_current()
sites = []
htmlsites = []
protocol = 'http'
for section, site in sitemaps.items():
if callable(site):
pages = site().paginator.num_pages
else:
pages = site.paginator.num_pages
sites.append('%s://%s/sitemap/sitemap_%s_%s.xml' % (protocol, current_site.domain, section, 1)) #生成一级sitemap的url列表
sitemap(sitemaps,section) # 生成二级sitemap页面
if pages > 1:#有分页的情况下
for page in range(2, pages+1):
sitemap(sitemaps,section,page) # 生成二级sitempa 页面
sites.append('%s://%s/sitemap/sitemap_%s_%s.xml' % (protocol, current_site.domain, section, page))
xml = smart_str(loader.render_to_string('sitemap_index.xml', {'sitemaps': sites})) #用刚append的一级sitemap的url列表渲染xml模板,生成一级sitemap页面
__write_sitemap('sitemap.xml',xml) #将页面写入到本地文件
def sitemap(sitemaps, section=None, page=1):
''' 生成二级 sitemap 页面 比如 sitemap/sitemap_product_1.html
section 就是 'product' 这样的描述
'''
maps, urls = [], []
if section is not None:
if section not in sitemaps:
raise Exception("No sitemap available for section: %r" % section )
maps.append(sitemaps[section])
else:
maps = sitemaps.values()
for site in maps:
if 1:
if callable(site):
urls.extend(site().get_urls(page))
else:
urls.extend(site.get_urls(page))
xml = smart_str(loader.render_to_string('sitemap.xml', {'urlset': urls})) #生成二级sitemap页面
filename = "sitemap_%s_%s.xml" %(section,page)
__write_sitemap(filename,xml) #将xml写入本地文件