PYTHON实战计划练手项目2--爬取商品信息

开始爬虫之旅，虽然是简单的爬取本地网页，操作起来还是不熟练，但总算完成了，参考了优秀作业，把自己的代码优化了一下

展示结果

Paste_Image.png

我的代码

from bs4 import BeautifulSoup

#本地网页路径
path='/Users/zorro/Desktop/Plan-for-combating-master/week1/1_2/1_2answer_of_homework/1_2_homework_required/index.html'
#读取本地网页数据
with open(path,'r') as wb_data:
    Soup=BeautifulSoup(wb_data,'lxml')
    images=Soup.select(
        'body > div > div > div.col-md-9 > div > div > div > img')
    prices=Soup.select(
        'body > div > div > div.col-md-9 > div > div > div > div.caption > h4.pull-right')
    titles=Soup.select(
        'body > div > div > div.col-md-9 > div > div > div > div.caption > h4 > a')
    reviews=Soup.select(
        'body > div > div > div.col-md-9 > div > div > div > div.ratings > p.pull-right')
    stars=Soup.select(
        'body > div > div > div.col-md-9 > div > div > div > div.ratings > p:nth-of-type(2)')

for title,price,review,image,star in zip(titles,prices,reviews,images,stars): #通过for循环，把每个元素装到字典里
    # 据分析，星级数据储存在span标签中的CSS为'glyphicon glyphicon-star',通过统计数量来得到星级数
    star_num=len(star.find_all("span", class_='glyphicon glyphicon-star'))
    star_logo='★'*star_num+'☆'*(5-star_num)                               #参考优秀作业，把星级数据可视化，转变为星星
    data={
        'title':title.get_text(),
        'price':price.get_text(),
        'review':review.get_text().split()[0], #这里用split函数把浏览量与review分割开，并取首个元素，即只取数字
        'image':image.get('src'),              #获取图片的src属性，得到图片的地址
        'star': star_logo
    }
    print(data)

总结

1.在导入BeautifulSoup的时候，遇到的点麻烦，多亏老师的帮忙解决了；
2.通过这个项目，发现自己的基础还不扎实，需要重新学习基础；
3.只想着把项目完成，却没想做得更好，这个要改进，看完优秀作业之后，修改了自己的代码，希望自己的代码可读性更高，代码运行结果更美观；