scrapy 常用自定义函数一

import hashlib,re,time
from urllib import parse

#根据特定字符串生成MD5

def md5_num(value):
      s = hashlib.md5()
      s.update(value.encode('utf-8'))
      return s.hexdigest()

#网址解码
def url_decode(url):
      new_url = parse.unquote(url)
      format_str = re.match('(^http.*?\.html).*?',new_url,re.S)
      return format_str[0]
#时间戳转化为固定格式时间
def time_now(timer):
      return time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(timer))

#提取详情页URL的数字ID
def id_number(url):
      number = re.search('.*?(?P\d+).*?',url)
      return number.group('number')