爬虫url 拼接的坑

前端设置根目录








W3School

scrapy
可利用urllib 和scrapy中的response.urljoin(url) 去拼接

from urllib import parse
 url = response.urljoin(u)
 url_path = parse.urlparse(url).path
 url_basename = os.path.basename(url)

你可能感兴趣的:(爬虫url 拼接的坑)