python爬取58同城二手房_Python爬取58同城广州房源+可视化分析

原标题：Python爬取58同城广州房源+可视化分析

感谢关注天善智能，走好数据之路↑↑↑

欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！

对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tstoutiao，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。

消失了一段时间，这段时间在CSDN阅读了不少关于Python爬虫的文章，也学习了秦璐老师《七周成为数据分析师》系列的Python内容，主要是关于强大的pandas，后面的可视化课程还没学习~所以这里的可视化都只能用Power BI来绘制，后面会再改进和完善。

下面就直入主题，写一写Python爬取58同城广州房源+可视化分析的过程啦。

一、数据爬取

爬虫这一块是利用requests来实现的，并通过BeautifulSoup4实现解析。这里我参考了CSDN博客文章《python爬虫租房信息在地图上显示》https://blog.csdn.net/qq_36091581/article/details/76944053

1.我选取的是58同城上广州地区各个价格区间的个人房源。

2.这里我进行了两层爬虫，第一层是爬取房源列表的数据，爬到的每条房源数据都为其设置一个ID号，并爬下房源的标题、地址、Url等数据。

第二层爬取则是根据第一层生成的房源ID号和爬到的每个房源链接，进入每个房源URL并抓取其详细信息。

下面是获取详细信息的部分代码，通过对网页的解析，进而爬取出具体数据：

# 通过bs4获取对应的网页

time.sleep(3)

print("fetch:" + house_url)

response = requests.get(house_url, headers=headers)

html = BeautifulSoup(response.text, "html.parser", exclude_encodings="utf-8") //使用html.parser进行解析

house_title_node = html.select(".house-title")

if not house_title_node:

continue

house_title = html.select(".house-title")[0].select("h1")[0].string.strip() //房源标题

#print("=========title:" + house_title) //这里包括下面的每次打印是为了测试是否出错

house_price = html.select("b.f36")[0].string //房源价格

if html.select("span.c_333")[0].string:

pay_method = html.select("span.c_333")[0].string //支付方式

print("=========pay:" + pay_method)

house_type = html.select("ul.f14")[0].select("li")[0].select("span")[1].string //租房类型

print("=========house_type:" + house_type)

room_info = html.select("ul.f14")[0].select("li")[1].select("span")[1].string.strip()

room_info_list = room_info.split()

for index in range(len(room_info_list)):

if index == 0:

room_count = room_info_list[index] //？房？室？厅

if index == 1:

room_square = room_info_list[index] //房源面积

print("=========room_count:" + room_count)

print("=========room_square:" + room_square)

other_info_list = html.select("ul.f14")[0].select("li")[2].select("span")[1].string.strip().split()

for index in range(len(other_info_list)):

if index == 0:

orientation = other_info_list[index]

if index == 1:

room_floor = other_info_list[index]

print("=========orientation:" + orientation) //朝向

print("=========room_floor:" + room_floor) //楼层

microdistrict_span = html.select("ul.f14")[0].select("li")[3].select("span")[1].select("a")

if microdistrict_span:

if microdistrict_span[0].string:

microdistrict = microdistrict_span[0].string.strip() //所在小区

print("=========microdistrict:" + microdistrict)

house_district_span = html.select("ul.f14")[0].select("li")[4].select("span")[1].select("a")

if house_district_span:

house_district = house_district_span[0].string.strip() //所在地区

print("=========house_district:" + house_district)

house_location_span = html.select("ul.f14")[0].select("li")[4].select("span")[1].select("a")

if len(house_location_span) > 1 :

house_location = house_location_span[1].string.strip() //房源所在地址

print("=========house_location:" + house_location)

house_addr = html.select("ul.f14")[0].select("li")[5].select("span")[1].string.strip() //房源详细地址

print("=========house_addr:" + house_addr)

pic_url = html.select("#smainPic")[0]["src"] //图片

print("=========pic_url:" + pic_url)

print("getid===" + str(house_id) + "success")

csv_writer.writerow(

[house_id, house_title, house_type,

room_count, room_square, house_location,

house_addr, house_price, house_district,

pay_method, orientation, room_floor,

microdistrict, pic_url, house_url])

这里主要用到的是csv库的读写。爬取到的csv文件长下面这样：

这是在Notepad++打开的效果。由于是按价格区间爬取的，所以爬下来的是按照价格区间进行分类的多个csv文件。为了便于操作，我将全部房源数据导入MySql数据库中，也方便数据清洗。

如上图，这样看数据就规整多了。一共爬下了16445条房源数据~

二、数据清洗

接着进行简单的数据清洗，这里主要是把过分夸大的数据给清洗掉。

例如，利用select语句找出room_square>600的房源记录，发现数据有夸大的成分，房价与房源面积的关系不符合客观事实，因此我们可以把这种脏数据直接删除掉。

再者，由于爬虫的时候没有考虑爬经纬度，所以只能在做热力图的时候，利用网上的工具生成经纬度啦~这里就为了能较准确地利用house_location生成经纬度，也对house_location做了处理：

利用update语句将没有标明“广州”的地址都为其加上城市名前缀，这里是用concat实现连接。

数据清洗可以结合自己想要实现的分析功能来进行，还有其他可能需要清洗的字段，这个视分析对象、分析目的而定。

三、可视化分析

1.热力图

由热力图不难得出，广州市中心地区(越秀区和海珠区)房价最高，天河区及周边次之。从整体来看，房价由市中心向外围逐渐降低，符合我们了解的客观事实。

2. 利用其他图表分析房租变化的影响因素

2.1 利用折线图分析合租或整租情况下，房价随房源面积的变化。

①从折线图中，我们可以得到结论：合租时，选取40-140平方米的房源会更加划算；而整租时，则适合选取房源面积小的，最好在0-40平方米这个区间。

折线图反映的整体规律符合我们的客观认识：整租时租金随房源面积的增加而增加，而合租由于个人可能只是租到其中的单间，所以大体上租金不受房源面积的影响。

②利用条形图直观体现不同地区的房租高低。结果和我预想的差不多，无论是合租还是整租，前三名妥妥的都是越秀海珠天河(越秀区的合租平均租金仅比海珠区低6块钱)，这三个区整租时的平均租金均超过了3000，越秀区竟然超过了4000！！！看来以后要在这三个区，最好还是合租或者租个小单间。

③上面这个dashboard还可以实现联动。

2.2 好奇地利用各种图表来看看朝向、房间数、客厅数、卫生间数对租金的影响。

①条形图-朝向：整租时一般不用考虑朝向，而合租时因为租的算是单间啦，朝向可是个很重要的因素哦。从条形图我们也可以看出，合租时，南、东南、南北、西南这些带有“南”的，平均房租会比较高。而整租的时候，就没有这种规律啦。

②面积图-房间数：合租时3室、4室、5室的租金相对会较高，但总体上合租时房间数的多少不会对租金有太大影响，因为合租一般就是租个单间；而整租的话，1-2个人建议租1-2室。大家庭住的话6室和8室比较划算，8室的均价最低。

③折线图-客厅数：0厅毋庸置疑是最便宜的，而一定要带厅的话，合租时1厅和2厅的租金差距不大，整租时选择1厅的租金比较能接受，5厅的性价比最高。

④色带图-卫生间数：让我觉得不可思议的是，合租时0卫的租金居然比1卫略低那么一点点？其实卫生间数的多少似乎对合租租金没多大影响。

再来看整租，带卫的房源租金要比不带卫的租金高，且除了5卫和8卫的租金略低外，房租随卫生间数的增加而增加。看来，卫生间对房租的影响还是挺大的！

⑤眼尖的人可以发现，我在色带图的右上方还放置了个过滤器~想具体找某个地区的房源就可以直接挑选**区进行联动啦！

这次分析就先在这里告一段落啦~由于爬的数据量不大，且数据较零散，所以可能有一些分析结果存在数据干扰。

下次估计会用统计学来分析房源数据啦~下篇见~