Python爬虫学习笔记(二)

爬取多个url页面时常用到的方法：

1、定义get_page_link(函数)：

page_link = []                 # <- 每个详情页的链接都存在这里，解析详情的时候就遍历这个列表然后访问就好啦~

def get_page_link(page_number):

       for each_numberinrange(1,page_number):                           # 每页24个链接,这里输入的是页码

                  full_url ='http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(each_number)

                  wb_data = requests.get(full_url)

                  soup = BeautifulSoup(wb_data.text,'lxml')

                  for link in soup.select('a.resule_img_a'):              # 找到这个 class 样为resule_img_a 的 a 标签即可

                           page_link.append(link)