scrapy爬虫实例：凤凰网

一、新建项目和文件

scrapystartprojectifengHotNews

（iem.json是数据写入json后才生成的）

二、hotNews.py

三、Pipelines.py

此处有亮点，注意写入json的方法，import codecs ！！

加个编码规则可以避免出现json里面的中文出现乱码的情况！

四、settings.py

将里面的下列注释#去掉

五、运行

scrapy crawl hotNews

（查看item.json文件，标题已经保存好）

网页结构：

//div[@id="headLineDefault"]/ul/ul[2]/li

遍历标题 txt = con.xpath('a/text()').extract_first()