今天又是被python支配的一天呢。不过bug比昨天少了，心情也比昨天好了不少。
最近最热的话题就是基金啦。打开小红书，几乎都是在晒自己每天成千上万的基金收益（当然，人家可能主要是在晒自己上百万的本金吧）。我自己投资基金也有快一年的时间了，不过本金有限，加上基本都会选在15%-20%止盈，所以一直也就是小打小闹。
但是这波买基金的风潮，也让我觉得有必要好好研究几款值得长线持有的基金。于是就萌生了这个“用（仅会的几类）python操作爬取高收益基金信息”的念头。
0：试验信息是否可爬
我先打开了东方财富网，找到了高收益基金的排行榜页面，点击F12，查看网页代码信息。发现我所需要的一些关键信息，如基金名称、编码、详情页地址等，都被写在了页面中。用get.requests和BeautifulSoup试了一下，是可以被提取和解析的。于是兴冲冲开始构建代码。
1：定义所需数据
为了满足后续分析和处理数据的需要，我认为需要爬取这样几类信息：基金编码、基金名称、基金规模、近1年涨幅、近6个月涨幅、近3个月涨幅、费率、持仓股票名称、仓位占比。
我在网站中找到这些信息所对应的url和源代码结构，并记录在了记事本中，方便后续构建代码。
2：获取并解析数据
之前在课程中曾经看到老师提起，部分网页用BeautifulSoup自动解析，可能会出现乱码。这次我就遇到了。基金的名称提取出来，完全乱掉，一看就是解码错误。百度了一下，最终找到了一款靠谱的解决方法，在代码中加入一行：
html.encoding = html.apparent_encoding
当然，html是需要被替换为解析出错的变量名称的。加上之后，果然，问题迎刃而解啦。
3：大难题
由于网页代码结构的原因，有一组数据无法被直接提取——如果采取现有的办法提取，就会把有效数据和我不需要的数据mix在一起，组成一个巨长的列表。怎么办呢？我搜索了一下python关于列表拆分的方法。发现果然可以定义这样的函数：
def list_of_groups(list_info, per_list_len):
'''
:param list_info: 列表
:param per_list_len: 每个小列表的长度
:return:
'''
list_of_group = zip(*(iter(list_info),) *per_list_len)
end_list = [list(i) for i in list_of_group] # i is a tuple
count = len(list_info) % per_list_len
end_list.append(list_info[-count:]) if count !=0 else end_list
return end_list
if __name__ == '__main__':
list_info = ['name zhangsan', 'age 10', 'sex man', 'name lisi', 'age 11', 'sex women']
ret = list_of_groups(list_info,3)
print(ret)
按照如上操作，即可将列表['name zhangsan', 'age 10', 'sex man', 'name lisi', 'age 11', 'sex women']拆分为两个各有3个元素的列表。
我也照猫画虎地干了，把list_info的值修改为那个巨长的mix列表，再把ret中传入的参数“3”改为“2”。成功了！我把长列表拆分成了由N个小列表（每个小列表含有两个元素，其中第0个元素是我需要的，第1个元素师我不需要的）组成的嵌套列表。
此时，我需要做的，就是遍历这个列表，并且取出每个小列表中的第0个元素，组成一个新的列表。就可以再遍历这个列表，提取我所需要的数据信息。
这是我最终写出的代码，用它，我成功提取到了东方财富网上高收益基金排行榜单前100名的基金信息，并且存储成了csv文件。
import requests,csv
from bs4 import BeautifulSoup
csv_file = open('jijin.csv','w',newline='',encoding='utf-8')
writer = csv.writer(csv_file)
writer.writerow(['编码','基金规模','近1年涨幅','近6个月涨幅','近3个月涨幅','费率详情','持仓股票','仓位占比'])
def list_of_groups(list_info, per_list_len):
'''
:param list_info: 列表
:param per_list_len: 每个小列表的长度
:return:
'''
list_of_group = zip(*(iter(list_info),) *per_list_len)
end_list = [list(i) for i in list_of_group] # i is a tuple
count = len(list_info) % per_list_len
end_list.append(list_info[-count:]) if count !=0 else end_list
return end_list
url = 'http://fund.eastmoney.com/trade/hh.html?spm=001.1.swh'
res = requests.get(url)
res.encoding = res.apparent_encoding
bs = BeautifulSoup(res.text, 'html.parser')
datas = bs.find('table', class_='mainTb').find('tbody').find_all('tr')
url_list = []
for data in datas:
id = str(data.find('td').text)
real_url = 'http://fund.eastmoney.com/{id}.html'.format(id=id)
url_list.append(real_url)
for url in url_list:
real_res = requests.get(url)
real_res.encoding = real_res.apparent_encoding
bs = BeautifulSoup(real_res.text,'html.parser')
id = bs.find('div', class_='fundDetail-tit').find('span', class_='ui-num').text
fl = bs.find('a', class_='rateDetail')['href']
info = bs.find('div', class_='infoOfFund')
scale = info.find_all('td')[1].text
y1 = bs.find('dl', class_='dataItem01').find_all('dd')[2].find('span',class_='ui-font-middle ui-color-red ui-num').text
m6 = bs.find('dl', class_='dataItem02').find_all('dd')[1].find('span',class_='ui-font-middle ui-color-red ui-num').text
m3 = bs.find('dl', class_='dataItem03').find_all('dd')[1].find('span',class_='ui-font-middle ui-color-red ui-num').text
stock_ratios = bs.find('li', class_='position_shares').find_all('td', class_='alignRight')
if __name__ == '__main__':
list_info = stock_ratios
ret = list_of_groups(list_info,2)
ratios = []
for i in ret:
ratios.append(i[0])
stock_names = bs.find('li', class_='position_shares').find_all('td', class_='alignLeft')
i = 0
for stock_data in stock_names:
stock_name = stock_data.find('a')['title']
stock_ratio = ratios[i].text
writer.writerow([id,scale,y1,m6,m3,fl,stock_name,stock_ratio])
i = i+1
csv_file.close()
print("it's OK")
4：不足之处
当然，这个代码还有一些我认为不够完善的地方。比如说：
1.基金名称
由于最终的信息爬取是在基金详情页进行的，如果我想提取基金名称，就会带上“（基金编码”，感觉不是很美观，但是也没有找到怎样去掉后面这半的方法，感觉split方法是可行的，后续可以再做完善。
2.基金费率
买基金除了看收益情况外，费率也是很值得注意的一个参考项。一般可能会有：买入费率、赎回费率还有托管费率。不同基金的收费标准不太一样，但据我观察，总费率一般在0.8%-2%之间。
但是，由于费率有单独的详情页，所有的信息写在了费率详情页中，所以今天也没能爬取到，仅爬取到了每个基金对应的费率详情页url。后续也会继续完善。
不管怎么说，还是蛮欣喜的。学了两个月，感觉自己的时间没有白费。
另外还有一点很深的体会，学习10遍都不如实操1遍记忆深刻。之前总是忘记怎样创建csv文件存储数据，每次都要重新打开教程或者笔记，今天基本可以独立写出来了。明天再实操一下创建excel文件存储数据，感觉自动化办公在向我招手手啦~