Python爬取数据分析

一.python爬虫使用的模块

　　1.import requests

　　2.from bs4 import BeautifulSoup

　　3.pandas 数据分析高级接口模块

二. 爬取数据在第一个请求中时, 使用BeautifulSoup　　

 

import requests
# 引用requests库
from bs4 import BeautifulSoup
# 引用BeautifulSoup库
res_movies = requests.get('https://movie.douban.com/chart')
# 获取数据
bs_movies = BeautifulSoup(res_movies.text,'html.parser')
# 解析数据
list_movies= bs_movies.find_all('div',class_='pl2')
# 查找最小父级标签
list_all = []
# 创建一个空列表，用于存储信息
for movie in list_movies:
    tag_a = movie.find('a')
    # 提取第0个父级标签中的标签
    name = tag_a.text.replace(' ', '').replace('\n', '')
    # 电影名，使用replace方法去掉多余的空格及换行符
    url = tag