python爬虫 同花顺_使用Python抓取同花顺资金流数据
今天我们通过一个例子来介绍python爬取数据的一般步骤，用到的工具包括python的经典模块requests和BeautifulSoup，另外结合刚学习的任务流工具TaskFlow来完成代码开发。
我们先来看一下要爬取的数据，网址是http://data.10jqka.com.cn/funds/gnzjl/，通过chrome的开发者工具分析我们可以比较容易找到后台数据加载网址为http://data.10jqka.com.cn/funds/gnzjl/field/tradezdf/order/desc/page/{page_num}/ajax/1/free/1/
其中page_num的位置为要查询第几页的数据，在网页上看到概念一共有6页数据，所以page_num取值为1-6
图示1
这里有个小技巧，可以先点击图示1左上角的清空按钮，把已经加载的网址先清理掉，然后在原始网页上点第二页，就能看到图片左下角新加载的网址，点开右边“Preview” 看到资金流数据相关的内容，就能确定这个网址是用来加载数据的。
在chrome浏览器中输入 http://data.10jqka.com.cn/funds/gnzjl/field/tradezdf/order/desc/page/1/ajax/1/free/1/，并打开chrome开发者工具，在网页源码中找到数据所在table标签为
...
抓取数据的完整源码如下import time
import requests
from bs4 import BeautifulSoup
from taskflow import engines
from taskflow.patterns import linear_flow
from taskflow.task import Task
REQUEST_HEADER = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'}
class MoneyFlowDownload(Task):
'''
下载资金流数据
数据源地址：http://data.10jqka.com.cn/funds/gnzjl/
'''
BASE_URl = {
'concept': 'http://data.10jqka.com.cn/funds/gnzjl/field/tradezdf/order/desc/page/%s/ajax/1/free/1/',
}
def execute(self, bizdate, *args, **kwargs):
for name, base_url in self.BASE_URl.items():
# 爬取数据的存储路径
dt_path = '/data/%s_%s.csv' % (bizdate, name)
with open(dt_path, 'a ') as f:
# 记录数据文件的当前位置
pos = f.tell()
f.seek(0)
lines = f.readlines()
# 读取文件中的全部数据并将第一列存储下来作为去重依据，防止爬虫意外中断后重启程序时，重复写入相同
crawled_list = list(map(lambda line: line.split(',')[0], lines))
f.seek(pos)
# 循环500次，从第一页开始爬取数据，当页面没有数据时终端退出循环
for i in range(1, 500):
print('start crawl %s, %s' % (name, base_url % i))
web_source = requests.get(base_url % i, headers=REQUEST_HEADER)
soup = BeautifulSoup(web_source.content.decode('gbk'), 'lxml')
table = soup.select('.J-ajax-table')[0]
tbody = table.select('tbody tr')
# 当tbody为空时，则说明当前页已经没有数据了，此时终止循环
if len(tbody) == 0:
break
for tr in tbody:
fields = tr.select('td')
# 将每行记录第一列去掉，第一列为序号，没有存储必要
record = [field.text.strip() for field in fields[1:]]
# 如果记录还没有写入文件中，则执行写入操作，否则跳过这行写入
if record[0] not in crawled_list:
f.writelines([','.join(record) '\n'])
# 同花顺网站有反爬虫的机制，爬取速度过快很可能被封
time.sleep(1)
if __name__ == '__main__':
bizdate = '20200214'
tasks = [
MoneyFlowDownload('moneyflow data download')
]
flow = linear_flow.Flow('ths data download').add(*tasks)
e = engines.load(flow, store={'bizdate': bizdate})
e.run()
执行程序后，在dt_path位置已经存储了概念的资金流数据，文件名为20200214_concept.csv，内容大致如下：
钛白粉,1008.88,6.29%,7.68,6.21,1.47,7,金浦钛业,10.04%,2.96
磷化工,916.833,2.42%,37.53,34.78,2.75,28,六国化工,9.97%,4.08
光刻胶,1435.68,2.40%,43.51,44.31,-0.80,20,晶瑞股份,10.01%,42.99
此时就完成了同花顺概念分类的资金流数据的爬取，之后可以每天定时启动任务抓取数据进行分析。