1 step1_actorsDate.py
 2 # -*- coding: utf-8 -*-
 3 import requests
 4 import pandas as pd
 5 import lxml.html
 6 import time
 7 from pandas import DataFrame
 8 
 9 headers = {"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'}
10 def getDoc(url):
11     resp=requests.get(url,headers=headers)
12     time.sleep(1)
13     content=resp.text
14     doc = lxml.html.fromstring(content)
15     return doc
16 
17 def getactorUrl(doc,url_oneMovie):
18     leadingRoles=doc.xpath('//*[@id="info"]/span[3]/span[2]/a/text()')
19     actorUrl=doc.xpath('//*[@id="info"]/span[3]/span[2]/a/attribute::href')
20     if leadingRoles==[]:
21         leadingRoles=doc.xpath('//*[@id="info"]/span[2]/span[2]/a/text()')
22         actorUrl=doc.xpath('//*[@id="info"]/span[2]/span[2]/a/attribute::href')
23     for i in range(len(leadingRoles)):
24         leadingRoles[i]=unicode(leadingRoles[i]).encode('utf-8')
25     return leadingRoles,actorUrl  #返回的是list
26 
27 leadingRoles=[]
28 actorUrl=[]
29 
30 df=pd.read_csv('doubanIMDB_data_final.csv')
31 urllist=df['url']
32 startPoint=995
33 for i in range(startPoint-1,len(urllist)):
34     try:
35         print i+1
36         url=urllist[i]
37         doc = getDoc(url)
38         temp1,temp2= getactorUrl(doc,url)  #temp1和temp2分别是主演和主演对应的链接
39         leadingRoles=leadingRoles+temp1
40         actorUrl=actorUrl+temp2
41     except:
42         print 'Error'
43     finally:
44         df_actor = DataFrame({'leadingRoles': leadingRoles, 'actorUrl': actorUrl})
45         df_actor.to_csv('test.csv', index=False)

 

 1 step2_getUrl.py
 2 # -*- coding: utf-8 -*-
 3 '''
 4 该脚本的功能仅仅是将actorUrl列中的每一项转化成网页链接
 5 并去重
 6 '''
 7 import pandas as pd
 8 df=pd.read_csv('actors.csv')
 9 print len(df)
10 df.drop_duplicates()  #去重
11 print len(df)
12 for i in range(len(df)):
13     df.ix[i,'actorUrl']='https://movie.douban.com'+df.ix[i,'actorUrl']
14 df.to_csv('actors_unique.csv',index=False)

 

 1 step3_searchToUrl.py
 2 # -*- coding: utf-8 -*-
 3 '''
 4 actorDate.py得到的演员及其对应网站的数据中，有些并不是演员的主页网址，
 5 而是在豆瓣上搜索该演员的页面
 6 该脚本的作用就是通过演员的搜索页面得到该演员的主页网址
 7 '''
 8 import requests
 9 import pandas as pd
10 import lxml.html
11 import time
12 from pandas import DataFrame
13 
14 headers = {"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'}
15 def getDoc(url):
16     resp=requests.get(url,headers=headers)
17     time.sleep(1)
18     content=resp.text
19     doc = lxml.html.fromstring(content)
20     return doc
21 
22 def searchToUrl(searchPage):
23     doc = getDoc(searchPage)
24     #此处用的是attribute属性，得到的是属性中的href属性
25     temp = doc.xpath('//*[@id="content"]/div/div[1]/div[1]/div/div[2]/h3/a/attribute::href')
26     #如果得不到演员的主页网址，则返回withoutHomePage
27     if temp==[]:
28         temp = ['withoutHomepage']
29     actorUrl = temp[0]
30     return actorUrl
31 
32 df=pd.read_csv('actors_unique.csv')
33 errorNum=0  #统计页面中为搜索页面的个数
34 for i in range(len(df)):
35     temp=df.ix[i,'actorUrl']
36     if 'search' in temp:  #如果网址中含有'search'字样，则说明该网址为豆瓣电影中该演员的搜索页面
37         #需要进行修正，将该搜索页面修改为演员的主页
38         errorNum+=1
39         temp=searchToUrl(temp)  #调用searchToUrl函数，返回的是演员主页
40         print '已修正'+str(errorNum)+'个页面！'  #作为标记
41         print '修改为：',temp  #作为标记
42         df.ix[i,'actorUrl']=temp  #将搜索页修改为演员主页
43 
44 #对修改之后的数据进行错误统计
45 errorNumAfter=0
46 for i in range(len(df)):
47     temp=df.ix[i,'actorUrl']
48     if 'search' in temp:
49         errorNumAfter+=1
50 print '修改后的错误个数为：',errorNumAfter
51 
52 #将修改后的数据输出到文件中
53 df.to_csv('actors_correct.csv',index=False)

 

 1 step4_getWorks.py
 2 # -*- coding: utf-8 -*-
 3 import requests
 4 import time
 5 import lxml.html
 6 import re
 7 from pandas import DataFrame
 8 import pandas as pd
 9 import random
10 
11 headers = {"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'}
12 proxies={'http':'http://190.195.170:8080'}
13 # cookies = dict(cookies_are='working')
14 # ,cookies=cookies
15 # ,proxies=proxies
16 def getDoc(url):
17     resp=requests.get(url,headers=headers)  #得到网页响应
18     print resp.status_code
19     timegap=random.random()*5
20     time.sleep(timegap)   #暂停1秒，防止抓取太频繁被封IP
21     content=resp.text  #获取相应内容
22     doc = lxml.html.fromstring(content)
23     return doc
24 
25 
26 #函数：将形如(2016)的形式转换成int格式的2016
27 #并返回int格式的2016
28 def toInt(dateOfMoviesList):  #注意处理对象为list列表
29     reYear = re.compile('\((\d*)\)')  #编译待匹配字符串
30     for i in range(len(dateOfMoviesList)):
31         temp=re.findall(reYear,dateOfMoviesList[i])  #对每一项进行匹配
32         if temp!=[]:  #有些演员演过的电影没有标注上映日期，所以需要做非空判断
33             dateOfMoviesList[i]=int(temp[0])
34         else:
35             dateOfMoviesList[i]=99999999
36     return dateOfMoviesList
37 
38 df=pd.read_csv('step3_actors_correct.csv')
39 actorMovies=[]  #初始化演员演过的电影的列表
40 yearOfFirstMovie=[]  #初始化演员出道年份列表，此处将演员演过的最老电影的年份作为他的出道年份
41 moviesNum=[]  #初始化演员演过的电影数的列表
42 errorNum=1  #对出错数进行计数
43 for k in range(1197,len(df)):
44     url_actor=df.ix[k,'actorUrl']  #取出每个演员的主页网址
45     print df.ix[k,'leadingRoles']
46     try:
47         if url_actor!='withoutHomepage':  #由于有些演员没有主页，所以此处进行判断
48             i=0  #用于内层循环
49             temp1=[1]  #冷启动
50             moviesOfActorList=[]  #初始化某一个演员演过电影的列表，每一次循环都要初始化一次
51             dateOfMoviesList=[]  #初始化某一个演员演过电影对应日期的列表，此处是形如'(2016)'的形式
52             while(temp1!=[]):  #当可以抓取到内容时，不停循环
53                 url_moviesOfActor=url_actor+'movies?sortby=time&format=pic&start='+str(i*10)  #根据网址规律得到
54                 doc=getDoc(url_moviesOfActor)
55                 temp1=doc.xpath('//*[@id="content"]/div/div[1]/div[2]/ul/li/dl/dd/h6/a/text()')
56                 moviesOfActorList+=temp1   #将每个页面的得到的电影列表加入到该演员演过电影的列表中
57                 temp2=doc.xpath('//*[@id="content"]/div/div[1]/div[2]/ul/li/dl/dd/h6/span[1]/text()')
58                 dateOfMoviesList+=temp2  #同理
59                 i+=1  #用于内层循环
60             dateOfMoviesList=toInt(dateOfMoviesList)  #调用toInt函数，将得到的年份字符串转换为int数据类型
61             yearOfFirstMovie.append(min(dateOfMoviesList))  #演员出道年份，即演员演过的第一部电影，就是所有该演员演过电影的年份最小的那一个
62             #######################################
63             # 未解决
64             # 对演员演过的电影名字列表进行格式转换
65             # for i in range(len(moviesOfActorList)):
66             #     print moviesOfActorList[i]
67             #######################################
68             temp={'moviesOfActor':moviesOfActorList,'dateOfMovies':dateOfMoviesList}  #将演员演过的电影及电影的日期转换成字典
69             actorMovies.append(temp)  #将上述字典作为一项，不停加入到演员演过的电影列表中
70             moviesNum.append(len(moviesOfActorList))  #将演员演过的电影的数量，不停加入到演员演过的电影数量列表中
71         else:  #如果该演员没有豆瓣主页，则分别向列表中加入下面三项
72             actorMovies.append('withoutHomepage')
73             yearOfFirstMovie.append('unknown')
74             moviesNum.append('unknown')
75     # except:  #如果出错，进行如下处理
76     #     actorMovies.append('error')
77     #     yearOfFirstMovie.append('error')
78     #     moviesNum.append('error')
79     #     print 'error,No.',errorNum
80     #     errorNum+=1  #错误数量统计
81     finally:
82         print k+1  #做标记使用
83         df1=DataFrame({'actorMovies':actorMovies,'yearOfFirstMovie':yearOfFirstMovie,'moviesNum':moviesNum})
84         df1.to_csv('test.csv',index=False)