使用BeautifulSoup 爬取一个页面上的所有的超链接

# !/usr/bin/python
# -*-coding:utf-8-*-

import urllib
from bs4 import BeautifulSoup

response = urllib.urlopen("http://www.imau.edu.cn")
html = response.read()
data = html.decode('utf-8')
soup = BeautifulSoup(data)
# print soup.findAll('span')


for item in soup.find_all("a"):
    if item.string == None:
        continue
    else:
        # print type(item.string)

        print item.string+":"+item.get("href")

运行代码，电脑上需要安装BeautifulSoup的库

目标网址：www.imau.edu.cn

爬取的结果：

首    页:index.htm
农大概况:ndgk.htm
农大简介:ndgk/ndjj.htm
党政领导:ndgk/dzld.htm
农大校史:http://xsg.imau.edu.cn/
图说农大:tsnd.htm
机构设置:jgsz.htm
纪委、监察审计处 :http://jiwei.imau.edu.cn/
党政办公室(校友会办公室):http://dangban.imau.edu.cn
组织部(统战部、党校):http://zzb.imau.edu.cn
宣传部(新闻中心):http://xcb.imau.edu.cn
工会:http://gonghui.imau.edu.cn
团委(彩虹网):http://rainbow.imau.edu.cn
教务处:http://jwc.imau.edu.cn
人事处:http://rsc.imau.edu.cn
科技处:http://kyc.imau.edu.cn/
研究生院(研究生工作部):http://yjsy.imau.edu.cn
后勤管理处:http://hqc.imau.edu.cn
财务处:http://cwc.imau.edu.cn/
学生工作处(学生工作部):http://xsc.imau.edu.cn
招生就业处:http://zjc.imau.edu.cn/
国有资产管理处:http://gzc.imau.edu.cn
保卫处:http://bwc.imau.edu.cn/
离退休人员工作处:http://laogan.imau.edu.cn
国际交流与合作处(港澳台办公室、中加可持续农业研究与发展中心):http://waiban.imau.edu.cn
动物科学学院 :http://dky.imau.edu.cn/
兽医学院:http://shouyi.imau.edu.cn
农学院:http://nxy.imau.edu.cn
林学院:http://linxue.imau.edu.cn
草原与资源环境学院:http://grass.imau.edu.cn
沙漠治理学院:http://smzl.imau.edu.cn
机电工程学院:http://jidian.imau.edu.cn
水利与土木建筑工程学院:http://sjy.imau.edu.cn
材料科学与艺术设计学院 :http://cyy.imau.edu.cn
经济管理学院 :http://jgy.imau.edu.cn
食品科学与工程学院 :http://spy.imau.edu.cn
计算机与信息工程学院:http://jsj.imau.edu.cn
生命科学学院:http://sky.imau.edu.cn
人文社会科学学院:http://renwen.imau.edu.cn
外国语言学院:http://wy.imau.edu.cn
理学院:http://lxy.imau.edu.cn
能源与交通工程学院:http://nyjtxy.imau.edu.cn
体育教学部:http://tyjxb.imau.edu.cn
马克思主义学院:http://malie.imau.edu.cn
国际教育学院:http://gjjyxy.imau.edu.cn
继续教育学院(中央农业干部教育培训中心农大分院):http://jjy.imau.edu.cn
职业技术学院:http://zy.imau.edu.cn
学报编辑部:http://xuebao.imau.edu.cn
图书馆:http://tsg.imau.edu.cn
档案馆:http://dangan.imau.edu.cn
科技园区管理办公室 :http://kejiyq.imau.edu.cn
信息与网络中心:http://nic.imau.edu.cn
发展研究室(处)(高等教育研究所):http://fzh.imau.edu.cn
基础教育中心:http://jcjy.imau.edu.cn
资产经营公司:http://zichan.imau.edu.cn/
机关党总支:http://jiguan.imau.edu.cn/
后勤党总支:http://houqin.imau.edu.cn
内蒙古农业大学校友会:http://xiaoyou.imau.edu.cn/
农林工程设计研究院:http://nlsjy.imau.edu.cn
农大关工委:http://ggw.imau.edu.cn
农大老教授协会:http://professor.imau.edu.cn
农大学生公寓:http://xsgy.imau.edu.cn
农大医院:http://hospital.imau.edu.cn/
农大附中(附小):http://ps.imau.edu.cn
农大幼儿园:http://yey.imau.edu.cn
内蒙古农牧渔业生物实验研究中心:http://cszx.imau.edu.cn
教学科研:jxky.htm
教学工作:jxky/jxgz.htm
科研动态:jxky/kydt.htm
招生就业:http://zjc.imau.edu.cn/
招生网:http://zhaosheng.imau.edu.cn
就业网:http://job.imau.edu.cn
师生风采:ssfc.htm
院部动态:ybdt.htm
视频专栏:spzl.htm
专题网站:ztwz.htm
网络电视:wlds.htm
数字校报:http://xiaobao.imau.edu.cn
敕勒川网:http://chilechuan.imau.edu.cn
English:http://waiban.imau.edu.cn/
更多>>:index/zhxw.htm
1:javascript:u_u3_icn.changeimg(0)
2:javascript:u_u3_icn.changeimg(1)
3:javascript:u_u3_icn.changeimg(2)
4:javascript:u_u3_icn.changeimg(3)
5:javascript:u_u3_icn.changeimg(4)
6:javascript:u_u3_icn.changeimg(5)
学校举办第十一届大学生“大地母亲”蒙古语诗歌大赛:info/1035/23508.htm
学校举办郝龙彪牺牲十五周年纪念活动:info/1035/23505.htm
我校学生在第十届“挑战杯”全区大学生课外学术科技...:info/1035/23431.htm
自治区“平安校园”创建检查验收组来校进行检查评估:info/1035/23423.htm
学校举办第三届“心悦杯”校园心理微电影大赛:info/1035/23412.htm
内蒙古自治区第一所文化寻力研发中心和基地学校落地...:info/1035/23409.htm
网络电视：校园新闻2017年12月第二十六期（试运行）:http://www.imau.edu.cn/info/1402/23404.htm
王万义校长深入教职工党支部宣讲党的十九大精神:info/1035/23398.htm
教育部：中共教育部党组关于印发《高校思想政治工作...:info/1037/23394.htm
动科院师生共同完成的科研论文“大规模全基因组重测...:info/1035/23396.htm
学校与波兰波兹南生命科学大学签署合作意向书:info/1035/23388.htm
学校召开学习贯彻党的十九大精神形势政策报告会:info/1035/23379.htm
更多>>:index/tzgg.htm
关于表彰2017年度优秀通讯员、优秀学生记者...:http://xcb.imau.edu.cn/info/1003/2662.htm
关于发放2017年生源地信用助学贷款的通知:http://zizhu.imau.edu.cn/info/1003/2803.htm
关于尽快完成2016年度档案归档工作的通知:http://dangban.imau.edu.cn/info/1043/2585.htm
关于举办软件正版化培训的通知:http://dangban.imau.edu.cn/info/1043/2584.htm
2017年下半年普通话考试时间通知:http://jwc.imau.edu.cn/info/1114/4236.htm
关于做好2018年春季学期网上选课工作的通知:http://jwc.imau.edu.cn/info/1113/4235.htm
内蒙古农业大学2016—2017年度信息公开报告:http://dangban.imau.edu.cn/info/1043/2582.htm
关于做好2017年度分党委(党总支)书记抓党建...:http://dangban.imau.edu.cn/content.jsp?urltype=news.NewsContentUrl&wbtreeid=1039&wbnewsid=2583
内蒙古农业大学文明校园创建工作实施方案:http://dangban.imau.edu.cn/content.jsp?urltype=news.NewsContentUrl&wbtreeid=1039&wbnewsid=2566
更多>>:index/mtnd.htm
【内蒙古日报】文化寻力研发中心和基地学校在内农大授牌:info/1025/23407.htm
【华夏蒙商网】王召明：执着20载 只为种好一颗草——记蒙草创...:info/1025/23139.htm
【内蒙古足球频道】这个内蒙古小伙厉害了！花式足球玩到国外:info/1025/23113.htm
【内蒙古卫视】探索“三位一体”教学模式，我校云畜牧平台受...:info/1025/23111.htm
【内蒙古日报】透彻深入宣讲 鲜活生动解读:info/1025/23083.htm

 

转载于:https://www.cnblogs.com/kangxinxin/p/8044910.html