Python

1. 运行scrapy程序

scrapy crawl kaili_spider

2. 编程最好都用空格
3. scrapy方法传参默认第一个传self
4. scrapy输出抓取内容到文件

yield item
scrapy crawl kaili_spider -o kaili_spider.json

5. scrapy中parse不能返回item列表，但作为callback的parse_item却可以参照。
6. scrapy输出log

scrapy crawl tencent_crawl --logfile 'ten.log' -L INFO

7. scrapy调度器对请求队列的处理方式是请求在队列中是按后进先出的顺序到调度器的（知乎真是一个好网站）
8. scrapy xpath返回对象还想继续调用xpath则不要调用extract
9. Python疑点解答
10. Scrapy设置定时任务
11. scrapy spider配置pipeline
12. deploy spider to scrapyd

python c:\Python27\Scripts\scrapyd-deploy -p
:scrapy.cfg中[deploy:后的名字
:项目名称

13. 命令scrapyd要到项目根目录运行才能启动（不足：不能定时执行）
14. apscheduler可以使用RotatingFileHandler按文件大小分割log
15. logger.exception可以打印错误堆栈
    logger = logging.getLogger(name)
    try:
    ...
    except:
    logger.exception('error')
    16.scrapy.Request的dont_filter=True用来重复访问url(对登录失败后重试特别有用)，scrapy默认只对一个url访问一次(碰到特别具体的问题还是得看官方文档呀！哪怕是英文的！)

17.电话号码归属地查询库