V1.2-爬取股票池每日数据-20180128

得到了待爬取股票代码后，爬取该307支股票的过去3年历史数据，并分别存入excel。本文使用的是凤凰财经的api，没有使用headers与cookies，打算失败后再添加，不过顺利爬了下来。共耗时25分钟。后改用csv，耗时70秒，预计使用多线程（还不懂是什么意思，应该就是并发下载吧）
本次学会的新技能：
"""
新技能
df = pd.read_excel(os.getcwd() + os.sep + 'stock.xlsx',converters = {u'证券代码':str})
1、导入os包后，getcwd()可以获得当前代码文件所在的文件夹，os.sep为反斜杠""
2、converters={u'证券代码':str},可以将代码中的002变为字符串格式。
3、to_csv耗时70秒，to_excel耗时30分钟，所以除非使用的数据量小，或是导出的数据有直接使用格式的需求，否则尽量选择csv
"""

import pandas as pd
import numpy as np
import requests
import datetime

starttime=datetime.datetime.now()
def get_stock_pool_data():
    #读取已下载的股票池数据，获取代码与名称
    df=pd.read_excel("D:\\stock\\stock_pool20180127.xlsx",converters = {u"代码":str},sheetname="Sheet1")
    df=pd.DataFrame(df)
    df.rename(columns={"代码":"code","名称":"name"},inplace=True)
    print(df.head())
    df["city"]=np.where((df["code"].apply(lambda x:x[0:2])=="60"),"sh","sz")
    df["new_code"]=df["city"]+df["code"]
    return df

def get_single_history(url):
    #获取单个股票历史数据
    page_source=requests.get(url).text
    dic=eval(page_source)#字符串转换为字典
    m=np.array(dic["record"])#访问字典，转化为矩阵
    columns=["date", "open", "high", "close", "low", "volume", 
            "chg", "%chg", "ma5", "ma10", "ma20", "vma5", "vma10", "vma20", "turnover"]
    df_history=pd.DataFrame(m,index=None,columns=columns)
    df_history=df_history.set_index("date")
    return df_history

def get_every_history():
    #url="http://api.finance.ifeng.com/akdaily/?code=sh601012&type=last"
    url_fix1="http://api.finance.ifeng.com/akdaily/?code="
    url_fix2="&type=last"
    df_stock_pool_data=get_stock_pool_data()
    for i in df_stock_pool_data["new_code"]:
        stock_url=url_fix1+str(i)+url_fix2
        try:
            df_history=get_single_history(stock_url)
            df_history.to_csv("D:\\stock\\stock_csv\\"+str(i)[2:]+".csv")
        except Exception as e:
            print(e)
            continue
        #break #如果有了新的想法，测试是加上此句，只运行一句

if __name__=="__main__":
    get_every_history()
    endtime=datetime.datetime.now()
    interval=(endtime-starttime).seconds
    print("共耗时%.2f秒"%interval)