python3爬虫实战（一）爬取创业邦创投库
- 从创业邦网站拉取创业公司数据
- 入口链接：http://www.cyzone.cn/event/list-764-0-1-0-0-0-0/，要求抓取前30页。
- 抓取以下信息：公司名称，详情URL，当前融资轮次，行业，投资方和更新时间。
# -*- coding: utf-8 -*-
"""
Created on Sat Oct 14 15:17:52 2017
@author: ESRI
"""
import requests
import time
from bs4 import BeautifulSoup
import pandas as pd
# 导入pandas库
# 设置列表页面URL的固定部分
url = 'https://bj.lianjia.com/ershoufang/'
BASE_URL_U1 = "http://www.cyzone.cn/event/list-764-0-"
BASE_URL_U2 = "-0-0-0-0/"
# 最好在http请求中设置一个头部信息，否则很容易被封ip
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
'Accept':'text/html;q=0.9,*/*;q=0.8',
'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
'Accept-Encoding':'gzip',
'Connection':'close',
'Referer':'http://www.baidu.com/link?url=_andhfsjjjKRgEWkj7i9cFmYYGsisrnm2A-TN3XZDQXxvGsM9k9ZZSnikW2Yds4s&wd=&eqid=c3435a7d00146bd600000003582bfd1f'
}
# 循环抓取列表页信息
for i in range(1,31): # 分页
if i == 1:
i=str(1)
var_url = (BASE_URL_U1 + i + BASE_URL_U2)
r = requests.get(url=var_url, headers=headers)
html = r.content
#print(html)
else:
i=str(i)
var_url=(BASE_URL_U1 + i + BASE_URL_U2)
var_url=requests.get(url=var_url,headers=headers)
html2=r.content
html = html + html2
# 每次间隔1秒
time.sleep(1)
# 解析抓取的页面内容
res = BeautifulSoup(html, 'html.parser')
# 获取感兴趣目标信息：
# 提取公司名称
# table>tbody>tr.table-plate3>td.tp2>span.tp2_tit>a
companys = res.find_all('span', 'tp2_tit')
cnames = []
print(len(companys))
for item in companys:
cname = item.a.string
cnames.append(cname)
#print(cnames)
# 获取感兴趣目标信息：
# 提取公司详情url
companys = res.find_all('span', 'tp2_tit')
urls = []
for item in companys:
url = item.a['href']
urls.append(url)
# 获取感兴趣目标信息：
# 提取当前融资轮次,行业，投资方和更新时间
# res = BeautifulSoup(html, 'html5lib')
# finances = res.select('div#main > div.list-table3 > table > tbody > tr')
finances = res.find_all('tr', 'table-plate3')
# 融资轮次,行业,投资方,更新时间
financing_rounds, businesses, investors, update_times = [],[],[],[]
#print(len(finances))
for i in range(0, len(finances)):
# 获取第一行数据(范围)
items = finances[i].find_all('td')
# print(items)
# 获取融资轮次
fround = items[-5].text.strip()
#获取行业
business = items[-4].text.strip()
#获取投资方
investor = items[-3].text.strip()
#获取更新时间
update_time = items[-2].text.strip()
financing_rounds.append(fround)
businesses.append(business)
investors.append(investor)
update_times.append(update_time)
# 将获取的数据进行汇总：
#print(len(cnames))
#print(len(urls))
#print(len(financing_rounds))
#print(len(financing_rounds))
#print(len(businesses))
#print(len(investors))
#print(len(update_times))
# 创建数据表
resultsDatas = pd.DataFrame({'公司名称':cnames,'详情URL':urls,'融资轮次':financing_rounds,'行业':businesses,'投资方':investors,'更新时间':update_times})
# 查看数据表内容
print(resultsDatas)
结果：
公司名称 投资方 更新时间 融资轮次 行业 \
0 Future Go智晓未来 881万人民币 天使轮 天使轮 158笔
1 懒猫社长 生活消费 2017-10-13 A轮 同方厚持
2 乐刻运动 医疗健康 2017-10-13 C轮 高瓴资本 华晟资本-华兴资本 IDG资本
3 WAVE浪 生活消费 2017-10-13 天使轮 创丰资本 赤子基金
4 一粒传媒 文体娱乐 2017-10-13 天使轮 投资方未透露
5 MIOTECH妙盈科技 金融支付 2017-10-13 A轮 Horizons Ventures维港投资 真格基金
6 玖富咨询9FBank 金融支付 2017-10-13 B轮 投资方未透露
7 娱加娱乐 内容产业 2017-10-13 战略投资 芒果文创基金
8 洒哇地咔 硬件 2017-10-13 A轮 奋达科技(泓锦文基金) 水木资本
9 武汉飞渡教育 教育 2017-10-13 战略投资 小站教育
10 作业盒子 教育 2017-10-13 B+轮 贝塔斯曼亚洲投资基金 好未来(学而思) 百度风投 ····
11 Vingt Ans 电子商务 2017-10-13 A轮 彬复资本
12 123GO 生活消费 2017-10-13 Pre-A 九万资本 吴波
13 HoloMatic禾多科技 交通出行 2017-10-13 天使轮 IDG资本 四维图新 贝塔斯曼亚洲投资基金····
。。。。。。。。。。。。。。。。。。。