Python项目收录

爬虫类

  • crawlers
    是一个主要抓取ROSI写真的Scrapy爬虫,主要的spider代码简单易理解。
  • 163spider
    爬取网易客户端内容的小爬虫,主要采用Scrapy框架并配合上Mysql进行数据的存储,对于新人入门比较友好。

工具类

  • retrying
    主要是一个经典的装饰器,来简单地进行retry请求,同时接受大量的参数,能够满足很多的需求场景。
  • LearnPython
    超级不错的入门Python,以写代码实践的方式学习,相信看完这些例子,Python的大部分东西都理解了。
  • huey
    一个简单的任务队列,主要以Redis作为queue,满足基本的需求场景。支持多进程,多线程和协程,以及定时任务和自动重试失败任务。
  • rq
    比上述的任务队列还要简单,具有很低的入门门槛,同样以Redis为queue。

其他类

  • stockholm
    一个股票数据(沪深)爬虫和选股策略测试框架,数据基于雅虎YQL和新浪财经。对于某些做量化投资的人士应该有帮助。
  • maga
    一个使用asycio的DHT爬虫,DHT是一种分布式存储方法。

不好意思呀,还是有点懈怠呢,主要在写一个爬虫框架,所以没有很大的精力去写其他的技术内容,希望大家好好地学习上面的内容呢,都是很好的资源。

你可能感兴趣的:(Python项目收录)