Crawler Demo 02

from bs4 import BeautifulSoup
from urllib.request import urlopen


html = urlopen("https://morvanzhou.github.io/static/scraping/list.html").read().decode('utf-8')
print(html)
# 
# 
# 
#   
#   
#   
# 
#
# 
#
# 
列表 爬虫练习
#
# 
这是一个在 莫烦 Python 的 爬虫教程
#   里无敌简单的网页, 所有的 code 让你一目了然, 清晰无比.
#
# 

#   
一月
#   

#       
一月一号
#       
一月二号
#       
一月三号
#   
#   
二月
#   
三月
#   
四月
#   
五月
# 
#
# 
# 

soup = BeautifulSoup(html, features='lxml')

month = soup.find_all('li', {"class": "month"})
print("--------")
for m in month:
    print(m.get_text())
# 一月
# 二月
# 三月
# 四月
# 五月

jan = soup.find('ul', {"class": "jan"})
d_jan = jan.find_all('li')
print("--------")
for d in d_jan:
    print(d.get_text())
# 一月一号
# 一月二号
# 一月三号