爬虫学习开篇（Python网络爬虫从入门到实践（第二版））

开启第一篇吧，总是觉得学习是一件反人类的事，要克服原罪的诱惑，还有中年人的借口。

技术，严格来事无聊的人类不得不不断研究提出和改进的东西，就像科学一样，让人困惑。

就像父亲小时候问我，你说什么是数学，什么是化学那，让人无法作答。

而如今我也只比那时的父亲小几岁了，岁月让人变老，但知识还是让我很难回答这问题。

也许是这个问题太大了吧，

但我更觉得是知识太多了，

让人无法说自己真正掌握了。

人类总是喜欢在有限的生命中，了解太多的东西，而现在又处于一个信息大爆炸的时代，所以让我们开始吧。

 

写了点废话，开启简单的爬虫吧

第一步：获取原始数据，使用包request

import requests
link = "https://www.csdn.net/"
headers = {'User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
r = requests.get(link,headers = headers)
print(r.text)

注释：link：要爬取的网站；headers：骗过服务器的虚拟代理（百度浏览器User-Agent）；r：返回的数据。

第二步：分析数据，使用包bs4

from bs4 import BeautifulSoup
soup = BeautifulSoup(r.text,"html.parser")
title = soup.find("div",class_="close_tag").a.text.strip()
print(title)

第三步：保存到本地

with open('title_text.txt',"a+") as f:
    f.write(title)

好久过来更新，因为看了几章后觉得，爬虫没有html知识太难了，然而接触html又发现PHP不错，然后又发现了一座大山，太难了。。。

接着写吧，就当是备忘录和填坑吧，前面还好，涉及到 selenium 库和数据库那里面还有不少坑。

对于爬虫来说，其实最简单或者最基本就是下载html数据，然后解析数据变成我们自己结构化数据，就是便于储存和分析，最后把数据存储到硬盘上。下一篇具体写写代码备忘就可以了，这样就可以快速利用知识搭建一个爬虫，爬取网站的数据了。