Homework2-58tongcheng

需求:

遍历58同城上海站,平板电脑信息。


数据内容:

{'img', 'visit_time', 'category', 'area', 'price','title'}


代码:


Homework2-58tongcheng_第1张图片

结果

Homework2-58tongcheng_第2张图片

难点:


1. 这个脚本只能爬“转转”的数据,但是 

现在存在“转转”和“58同城信息”,一开始没有对于href进行加工筛选,造成无法爬取。

#links = soup_page.select("#infolist > div.infocon > table > tbody > tr > td.img > a")   ==》爬取所有页面

links = soup_page.select("#infolist > div.infocon > table > tbody > tr.zzinfo> td.img > a") ==》值爬取“转转”信息。

下面是页面解析后的样式:


Homework2-58tongcheng_第3张图片

如果要爬取58原来的信息要写个判断语句,然后重写一个get_detail2来爬取58原来的结构信息。

本来是想通过判断每条记录上的“精准推广”来判断是否是“转转”的记录,但是发觉很难去一条一条去选择分类,因为python一下子就拿到了所有的链接。以后要多多观察class对不同类型链接的进行选择,这样会方便很多。


2. main主函数的调用

if__name__ =='__main__':

main()

Python会用__name__是否等于‘__main__’来判断是否是主程序,当等于的时候就是主程序,否则就是被别的程序来调用。

所有,这个程序是主程序,所以要加这段让它进入main()函数。

你可能感兴趣的:(Homework2-58tongcheng)