使用requests库和lxml解析爬取电影天堂电影信息

使用requests库获取电影天堂电影信息，将所有链接保存下来后可以使用迅雷批量下载。快速获得最新最全电影资源！

站点分析

以电影天堂国内电影为例
http://www.ygdy8.net/html/gndy/china/index.html

页面分析

分析其目录内每一个电影信息存在table中，首先我们要获取每一个电影的详情地址

所有电影信息的详情链接获取

通过request，获取页面源码，xpath取得所有class="tbspan"的table下面的class="ulink"的a标签的@href的值，由于是相对地址，因此需要与网站地址base_url进行拼接。最后得到的就是该页面所有电影的详情地址。

base_url='http://www.ygdy8.net'
url='http://www.ygdy8.net/html/gndy/china/index.html'
def get_content(url):
    resp=requests.get(url)
    text=resp.content.decode(encoding='gbk', errors='ignore')
    html=etree.HTML(text)
    urls=html.xpath('//table[@class="tbspan"]//a[@class="ulink"][2]/@href')
    detail_urls= map(lambda url:base_url+url,urls)   
    #返回信息
    return(detail_urls)

单个电影详情爬取

通过对单个电影详情页面进行分析，发现其标题位于font下，可使用title=html.xpath('//div[@class="title_all"]//font/text()')[0]获取，

标题

其介绍内容以
标签为间隔，保存在一个

标签中，而在爬取中，会将每一行的文本，作为列表中的一项，因此可以使用列表索引查找，但考虑到可能有介绍内容不同等问题，使用 startswith对其开始字符进行匹配索引。例如：
@年 代 2019
开头字符为“@年 代”，我们使用定义的替换函数将开头字符替换为空字符，将其后面的内容作为年份,既可取出2019。实现代码如下：

def get_detail(url):
    movie={}
    resp=requests.get(url)
    text=resp.content.decode(encoding='gbk', errors='ignore')
    html=etree.HTML(text)
    title=html.xpath('//div[@class="title_all"]//font/text()')[0]
    movie['title']=title
    //此函数作用是对“年代”“产地”等标题字符进行空字符替换
    def parse_info(info,rule):
        return info.replace(rule,"").strip()
    infos=html.xpath('//div[@id="Zoom"]//text()')
    for index,info in enumerate(infos):
        if info.startswith('◎年\u3000\u3000代'):
            info =parse_info(info,'◎年\u3000\u3000代')
            movie['years']= info
        elif info.startswith('◎产\u3000\u3000地'):
            info =parse_info(info,'◎产\u3000\u3000地')
            movie['country']= info
        elif info.startswith('◎类\u3000\u3000别'):
            info =parse_info(info,'◎类\u3000\u3000别')
            movie['category']= info            
        elif info.startswith('◎豆瓣评分'):
            info =parse_info(info,'◎豆瓣评分')
            movie['douban']= info
        elif info.startswith('◎片\u3000\u3000长'):
            info =parse_info(info,'◎片\u3000\u3000长')
            movie['duration']= info
        elif info.startswith('◎导\u3000\u3000演'):
            info =parse_info(info,'◎导\u3000\u3000演')
            movie['directors']= info
        elif info.startswith('◎主\u3000\u3000演'):
            info =parse_info(info,'◎主\u3000\u3000演')
            actors=[info]
            for i in range(index+1,100):
                actor=infos[i].strip()
                if infos[i].startswith('◎'):
                    break;
                actors.append(actor)
            movie['actors']= actors
        elif info.startswith('◎简\u3000\u3000介'):
            info =parse_info(info,'◎简\u3000\u3000介')
            profile=infos[index+1].strip()
            movie['profile']= profile
    download_url=html.xpath('//td[@bgcolor="#fdfddf"]/a/@href')[0]
    movie['download_url']= download_url   
    return(movie)

多页面爬取

点击第二页，第三页，发现分页链接有如下结构：
http://www.ygdy8.net/html/gndy/china/list_4_{}.html，因此可使用循环，对多页面进行爬取：

def spider():
    url='http://www.ygdy8.net/html/gndy/china/list_4_{}.html'
    for i in range(1,2):
        sort_url=url.format(i)
        detail_urls=get_content(sort_url)
        for detail_url in detail_urls:
            movie=get_detail(detail_url)
            print(movie)
            
if __name__=='__main__':
    spider()

完整代码：
https://github.com/ericariel/scraper/blob/master/dytt8.py