python爬虫入门初步认识

首先我们要知道什么是爬虫,爬虫其实不是什么新鲜事物,对于没有听说过爬虫的伙伴,我对爬虫做一个大概的描述(仅以个人理解)。
如果你没有听说过爬虫,那你肯定知道百度搜索、谷歌搜索,这个和爬虫有什么关联呢?拿百度来说;当我们百度的时候所展现的页面是从哪里来的,当然从整个互联网里面筛选出来的,原因确实是这样的吗?抱歉还真的不是。其实搜索展示的页面信息是从百度的‘数据库‘里面筛选出来的。百度数据库为什么会有被人网站的信息呢?因为这都是一个所谓的百度蜘蛛早就把它们爬取然后保存到百度’数据库‘里面了。这个百度蜘蛛就简单地把它看作一个爬虫。说到这里我们大概对爬虫有一个简单的了解了。

python简单的爬虫技术,这里我用的是python3.x版面进行研究,主要对两个python库进行操作。在此之前你需要安装python3.x环境

1、urllib(python3.x官方基础模块)。
2、BeautifulSoup4(python3.x第三方模块)。使用前需要安装
BeautifulSoup4 window安装过程
打开命令行Win+R,输入

pip install beautifulsoup4
如果你既安装了python2.x也安装了python3.x,你需要输入下面的命令
pip3 install beautifulsoup4

验证是否已经安装成功,在命令行输入python进入python命令行环境,然后输入from bs4 import BeautifulSoup 如果没有报错,恭喜你安装成功了

这里来说一下urllib、beautifulSoup4这两个库的作用,
urllib->网页下载器,主要作用就是从网上爬取数据,
beautifulSoup4->把从urllib爬取的数据进行解析操作。

说了那么多,下面把实现代码呈上

#导入urllib 库
from urllib import request
from bs4 import BeautifulSoup
resp = request.urlopen("http://blog.csdn.net")
#打印出爬取内容,并以utf-8编码输出
print(resp.read().decode("utf-8 "))
这个代码运行没问题
#导入urllib 库
from urllib import request
from bs4 import BeautifulSoup
resp = request.urlopen("http://www.163.com")
#打印出爬取内容,并以utf-8编码输出
print(resp.read().decode("utf-8 "))
爬取163却发现报错了这是什么问题呢?

你可能感兴趣的:(python,爬虫)