python爬虫案例——新浪腾讯股票数据采集

全栈工程师开发手册 （作者：栾鹏）

python教程全解

今天带给大家的是从新浪和腾讯爬取股票数据，主要是因为新浪和腾讯的股票数据存储在js中，不需要再重新解析网页源码方便很多。

腾讯股票接口、和讯网股票接口、新浪股票接口可以参考http://blog.csdn.net/luanpeng825485697/article/details/78442062

今天我们要实现的股票爬取设计内容丰富，包括：

1、一个股票数据（沪深）爬虫和选股策略测试框架，数据基于腾讯L和新浪财经。
2、爬取所有沪深两市股票的行情数据，可选择时分线、日k线、周K线、月K线、股票最新行情。
3、根据指定的选股策略和指定的日期进行选股测试。
4、计算选股测试实际结果（包括与沪深300指数比较）。
5、 保存数据到JSON文件、CSV文件。
6、支持使用表达式定义选股策略。
7、支持多线程处理。

使用环境python3.6

option.py

首先是参数定义部分option.py，这一部分用于控制代码的运行，主要包括，是否下载数据，是否进行测试，文件保存格式，文件的字符编码、测试的时间范围、抓起的时间起点、抓取的时间终点、股票数据保存路径、线程数目、选股策略文件路径（UTF8编码）、选股策略的数据库名称（不用数据库可以不用关心）、策略表达式（也可以将策略表达式放在文件中）