Scrapy 爬虫学习

scrapy shell "http://quotes.toscrape.com/page/1/" #windows系统必须使用双引号,否则报错ValueError: invalid hostname: 'http
>>> response.css('title') #返回一个名为List的对象SelectorList,表示包含Selector的XML/HTML元素的对象列表,允许用户运行进一步的查询来细分选择或提取数据
[Quotes to Scrape'>]
>>> response.css('title::text').extract() #提取文本,添加::text意味着在元素内部获取文本元素
[u'Quotes to Scrape']
>>> response.css('title').extract() #没有添加::text,将获得完整的元素,包括其标签
[u'Quotes to Scrape']

你可能感兴趣的:(Python)