爬取雪球网股票信息（一）
这篇是爬取股票名称，我用了三个模块来实现。Crwal_Share_Names、Saved_MongDB、DEFINITION.
首先是最简单的一个模块：DEFINITION，定义，这个模块里面定义了要爬取的url序列和HEADERS，
其url是如图网站中的：
这个url的会返回一个层层嵌套的字典，字典中有我们需要的信息：
HEADERS为：Cookies和User-Agent
下面是DEFINTION的源码，如果其中URL_LIST里面的url失效，则重新加入即可。
#order_by,type，_
list_order_by=['percent',]
URL_LIST=[
#{page}
#沪A涨幅榜
"https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=percent&exchange=CN&market=CN&type=sha&_=1554089990960",
#沪A成交量排行榜
"https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=volume&exchange=CN&market=CN&type=sha&_=155409025214",
#沪A成交额排行榜
"https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=amount&exchange=CN&market=CN&type=sha&_=1554090638063",
# 沪B涨幅榜
"https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=percent&exchange=CN&market=CN&type=shb&_=1554090694971",
#沪B成交量排行榜
"https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=volume&exchange=CN&market=CN&type=shb&_=1554090725471",
#沪B成交额排行榜
"https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=amount&exchange=CN&market=CN&type=shb&_=1554090754809",
# 深A成交额排行榜
"https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=amount&exchange=CN&market=CN&type=sza&_=1554090798062",
#深A成交量排行榜
"https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=volume&exchange=CN&market=CN&type=sza&_=1554090826152",
#深A涨幅榜
"https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=percent&exchange=CN&market=CN&type=sza&_=1554090882203",
#深B涨幅榜
"https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=percent&exchange=CN&market=CN&type=szb&_=1554091104976",
#深B成交量排行榜
"https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=volume&exchange=CN&market=CN&type=szb&_=1554091138333",
#深B成交额排行榜
"https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=amount&exchange=CN&market=CN&type=szb&_=1554091164545",
]
HEADERS={
'Cookie': '_ga=GA1.2.1454001628.1553229520; device_id=f3cca6bc0ac4c9015624a453cc1e618c; s=dx1211zr9m; __utmz=1.1553229617.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); u=961553732228048; aliyungf_tc=AQAAAB/nFTVR4AMA+Z8G3Wv/2VC5UXM6; xq_a_token=863a7c645ec00c0e71991b15cb194a5698bc77f0; xq_r_token=76ffeecdbb180d3e0f2d0a121034c63b6d515296; Hm_lvt_1db88642e346389874251b5a1eded6e3=1553736060,1553772223,1553996510,1554089968; __utma=1.1454001628.1553229520.1554001496.1554089968.8; __utmc=1; __utmt=1; __utmb=1.3.10.1554089968; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1554089991',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
}
第二个模块为Saved_MongDB，是一个将爬取到的名称存储到MongDB数据库。里面只有一个简单的函数，saved_name，另一个save_comment是为了接下来保存评论。
其中关键点是： result = collection.update_one({"NAME":name['NAME']}, {'$set': name}, True)，这条语句为有同样是则更新，没有同样的内容时则插入。
源码如下：
'''
保存信息到MONGDB
1、save_name保存股票名
2、save_comment保存每只股票下面的评论
'''
import pymongo
from pymongo import MongoClient
client=MongoClient('mongodb://localhost:27017/')
db = client.shares # 指定数据库
def save_name(n):
collection = db.names
name={
"NAME":n,
}
result = collection.update_one({"NAME":name['NAME']}, {'$set': name}, True)
def save_comment(symbol,comment):
collection = db.comment
comment={
'SYMBOL':symbol,
'Comment':comment
}
result=collection.update_one({"Comment":comment['Comment']},{'$set':comment},True)
def main():
print("This is a testing....")
if __name__ == '__main__':
main()最后一个模块为：Crawl_share_names,这个模块有两个主要方法，get_share_names和main。get_share_names实现网页的解析，main实现url的构造
get_share_names接受一个完整的url，并爬取它，获得一个json格式的数据，接着层层解封，可以得到symbol，这就是股票对应的名称。
main函数实现url的构造，
首先用for循环，遍历DEFINTION中的URL_LIST，得到的是不完整的url。
然后再次使用for循环，利用format方法，构造不同页码的url，
最后将这些构造好的url分别传入get_share_names
总结：
第一步先做的是局部请求，请求单个url并解析（反爬），看是否能解析成功，第二部构造多个url，将解析写成函数，并传入url，完成大规模解析。第三部保存到数据库等常规操作。
Crawl_share_names源码:
'''
得到股票名
'''
import requests
import Saved_MongDB
import DEFINITON
import re
import time
name_list=[]
#沪A涨幅榜
def get_share_names(url):
#发送请求得到一个列表
response=requests.get(url=url, headers=DEFINITON.HEADERS)
html=response.json()
#逐层查找
try:
for one in html['data']['list']:
name_list.append(one['symbol'])
Saved_MongDB.save_name(one['symbol'])
except:
print('-------------------------------------20lines')
def show_names():
list_b = []
for i in name_list:
if i not in list_b:
list_b.append(i)
for i in range(1, len(list_b)):
print(i, '\t', list_b[i])
'''
order_by:
percent:涨幅榜
volume：成交量排行榜
amount：成交额排行榜
type:
沪A:sha
沪B:shb
深A:sza
深B:szb
'''
def main():
start=time.perf_counter()
for num in range(len(DEFINITON.URL_LIST)):
for pag in range(1,49):
#构造url
url=DEFINITON.URL_LIST[num].format(page=pag)
#找出请求的链接是那种股票、页码是多少、按什么方式排序的
Type=re.findall('type=(.*?)&',url)
order_by=re.findall('order_by=(.*?)&',url)
print("type:{Type}'\t',page:{page},'\t'order_by:{order_by}".format(Type=Type,page=pag,order_by=order_by))
#得到股票的名字
get_share_names(url)
end=time.perf_counter()
print("总共用时:{0}s".format(end-start))
if __name__ == '__main__':
main()
#