使用requests库和lxml解析爬取电影天堂电影信息
使用requests库获取电影天堂电影信息，将所有链接保存下来后可以使用迅雷批量下载。快速获得最新最全电影资源！
站点分析
以电影天堂国内电影为例
http://www.ygdy8.net/html/gndy/china/index.html
分析其目录内每一个电影信息存在table中，首先我们要获取每一个电影的详情地址
所有电影信息的详情链接获取
通过request，获取页面源码，xpath取得所有class="tbspan"的table下面的class="ulink"的a标签的@href的值，由于是相对地址，因此需要与网站地址base_url进行拼接。最后得到的就是该页面所有电影的详情地址。
base_url='http://www.ygdy8.net'
url='http://www.ygdy8.net/html/gndy/china/index.html'
def get_content(url):
resp=requests.get(url)
text=resp.content.decode(encoding='gbk', errors='ignore')
html=etree.HTML(text)
urls=html.xpath('//table[@class="tbspan"]//a[@class="ulink"][2]/@href')
detail_urls= map(lambda url:base_url+url,urls)
#返回信息
return(detail_urls)
单个电影详情爬取
通过对单个电影详情页面进行分析，发现其标题位于font下，可使用title=html.xpath('//div[@class="title_all"]//font/text()')[0]获取，
其介绍内容以标签中，而在爬取中，会将每一行的文本，作为列表中的一项，因此可以使用列表索引查找，但考虑到可能有介绍内容不同等问题，使用startswith对其开始字符进行匹配索引。例如：
@年 代 2019
开头字符为“@年 代”，我们使用定义的替换函数将开头字符替换为空字符，将其后面的内容作为年份,既可取出2019。实现代码如下：
def get_detail(url):
movie={}
resp=requests.get(url)
text=resp.content.decode(encoding='gbk', errors='ignore')
html=etree.HTML(text)
title=html.xpath('//div[@class="title_all"]//font/text()')[0]
movie['title']=title
//此函数作用是对“年代”“产地”等标题字符进行空字符替换
def parse_info(info,rule):
return info.replace(rule,"").strip()
infos=html.xpath('//div[@id="Zoom"]//text()')
for index,info in enumerate(infos):
if info.startswith('◎年\u3000\u3000代'):
info =parse_info(info,'◎年\u3000\u3000代')
movie['years']= info
elif info.startswith('◎产\u3000\u3000地'):
info =parse_info(info,'◎产\u3000\u3000地')
movie['country']= info
elif info.startswith('◎类\u3000\u3000别'):
info =parse_info(info,'◎类\u3000\u3000别')
movie['category']= info
elif info.startswith('◎豆瓣评分'):
info =parse_info(info,'◎豆瓣评分')
movie['douban']= info
elif info.startswith('◎片\u3000\u3000长'):
info =parse_info(info,'◎片\u3000\u3000长')
movie['duration']= info
elif info.startswith('◎导\u3000\u3000演'):
info =parse_info(info,'◎导\u3000\u3000演')
movie['directors']= info
elif info.startswith('◎主\u3000\u3000演'):
info =parse_info(info,'◎主\u3000\u3000演')
actors=[info]
for i in range(index+1,100):
actor=infos[i].strip()
if infos[i].startswith('◎'):
break;
actors.append(actor)
movie['actors']= actors
elif info.startswith('◎简\u3000\u3000介'):
info =parse_info(info,'◎简\u3000\u3000介')
profile=infos[index+1].strip()
movie['profile']= profile
download_url=html.xpath('//td[@bgcolor="#fdfddf"]/a/@href')[0]
movie['download_url']= download_url
return(movie)
多页面爬取
点击第二页，第三页，发现分页链接有如下结构：
http://www.ygdy8.net/html/gndy/china/list_4_{}.html，因此可使用循环，对多页面进行爬取：
def spider():
url='http://www.ygdy8.net/html/gndy/china/list_4_{}.html'
for i in range(1,2):
sort_url=url.format(i)
detail_urls=get_content(sort_url)
for detail_url in detail_urls:
movie=get_detail(detail_url)
print(movie)
if __name__=='__main__':
spider()
完整代码：
https://github.com/ericariel/scraper/blob/master/dytt8.py