Python爬虫爬取指定信息
和我的上一篇文章相同，记录自己学习过程以及经验感受分享。
上一篇文章内容是爬取指定图片，那么这一片文章就是爬取自己想要的文字部分信息。这个有什么用呢？在之后可以将爬取好的信息（数据量庞大的）进行清洗整理后，在Hadoop上进行数据分析，最后再可视化。
接下来也是分享几个网站，用实际应用来说明解决问题。
网站1： 京东女鞋
需要用到的库和上一篇文章差不多还是requests和BeautifulSoup。
前五个步骤和我上一篇文章是一样的，因此可以参考一下我的上一篇文章Python爬虫爬取图片。所以这里就不过多的去解释了。
直接上前几个步骤的代码：
import requests
from bs4 import BeautifulSoup
heads = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"
}
def downJDLadyShoe():
for i in range(1, 200):
strUrl = "https://list.jd.com/list.html?cat=11729%2C11731%2C9772&pag=" + str(i) + "&s=121&click=0"
print(strUrl)
downWebContent(strUrl)
def downWebContent(url):
r = requests.get(url, headers=heads)
print(r.status_code)
parserWebContent(r.text)
def parserWebContent(content):
bs = BeautifulSoup(content, "html.parser")
tags = bs.find_all("li", class_="gl-item")
for tag in tags:
#print(tag)
parseProductTag(tag)
接下来就是找到对应的商品信息将其爬取出来。
这里我们用到了contents,意思就是该标签下的全部内容，然后借助index来辅助我们去查找我们想要的内容。contents[参数]，参数的位置就是我们想要的爬取的对应的信息。在之后的replace("\n", “”)是因为这些信息有很多都是存在自动换行的，直接爬取下来会导致写入时查看不方便等。因此就将换行给代替掉。我们这里找了四个指标：name1是店名，name2是商品名字以及商品价格和商品图片。这里还用到了getText()函数，意思就是将该标签里的字符串提取出来。图片的网页链接缺失了头部，因此手动给它加上去。
最后我们再将这些全部拼接起来，写入到txt里就完成了。这里是写到同级目录的，若是想写到其它位置，将其改一下就好了。不用提前去创建好txt，PyCharm看你没有的话，它会自动给你创建的。
def parseProductTag(productTag):
index = 0
for subTag in productTag.div.contents:
index = index + 1
name1 = productTag.div.contents[13].getText().replace("\n", "")
name2 = productTag.div.contents[7].a.em.getText().replace("\n", "")
price = productTag.div.contents[5].getText().replace("\n", "")
img = "https:" + productTag.div.contents[1].a.img["data-lazy-img"].replace("\n", "")
f = open("京东女鞋商品信息.txt", mode="a+", encoding="utf-8")
f.write(name1 + ";" + name2 + ";" + price + ";" + img + "\n")
f.close()
完整的代码是这样的：
import requests
from bs4 import BeautifulSoup
heads = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"
}
def downJDLadyShoe():
for i in range(1, 200):
strUrl = "https://list.jd.com/list.html?cat=11729%2C11731%2C9772&pag=" + str(i) + "&s=121&click=0"
print(strUrl)
downWebContent(strUrl)
def downWebContent(url):
r = requests.get(url, headers=heads)
print(r.status_code)
parserWebContent(r.text)
def parserWebContent(content):
bs = BeautifulSoup(content, "html.parser")
tags = bs.find_all("li", class_="gl-item")
for tag in tags:
print(tag)
parseProductTag(tag)
def parseProductTag(productTag):
index = 0
for subTag in productTag.div.contents:
index = index + 1
name1 = productTag.div.contents[13].getText().replace("\n", "")
name2 = productTag.div.contents[7].a.em.getText().replace("\n", "")
price = productTag.div.contents[5].getText().replace("\n", "")
img = "https:" + productTag.div.contents[1].a.img["data-lazy-img"].replace("\n", "")
f = open("京东女鞋商品信息.txt", mode="a+", encoding="utf-8")
f.write(name1 + ";" + name2 + ";" + price + ";" + img + "\n")
f.close()
if __name__ == "__main__":
downJDLadyShoe()
最后爬取结果是这样的：
网站2：拉钩网
内容操作流程都是一样的，但是不一样的就是，这个网站我们需要的信息都在contents[1]里面可以找到，这样就省了我们好多事了。
于是我们的代码就很快可以完成啦！
完整的代码是这样的：
import requests
from bs4 import BeautifulSoup
heads = {
"user-agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"
}
def parseProductTag(productTag):
index = 0
for subTag in productTag.div.contents:
#print(index)
#print(subTag)
index = index + 1
information = productTag.div.contents[1].getText().replace("\n", "")#.split(" ")[0]
#information1 = information[-7:]
#print(information)
f = open("招聘信息.txt", mode="a+", encoding="utf-8")
f.write(information + "\n")
f.close()
print("完成")
def parseWebContent(content):
soup = BeautifulSoup(content, "html.parser")
tags = soup.find_all("li", class_="con_list_item default_list")
for tag in tags:
#print(len(tag))
parseProductTag(tag)
def downWebContent(url):
r = requests.get(url, headers=heads)
print(r.status_code)
r.encoding = r.apparent_encoding
#print(r.text)
parseWebContent(r.text)
def downzhaopin():
for i in range(1,5):
if i == 1:
strUrl = "http://72.itmc.org.cn/JS001/open/show/zhaopin/index.html"
if i != 1:
strUrl="http://72.itmc.org.cn/JS001/open/show/zhaopin/index_" + str(i) + ".html"
#print(strUrl)
downWebContent(strUrl)
if __name__ == "__main__":
downzhaopin()
如果想跟上一个网站一样挨个找然后再拼接起来的话当然也是可以的，这里用了string和getText()。这二者的区别在于当该标签里还嵌有其它标签的时候就只能用getText()，而用string则会报错。当该标签里没有其它标签时既可以用getText()也可以用string，因此我个人觉得getText()比string要好些。
那么代码应该就是这样的：
tags1 = soup.find_all("h3", style="max-width:180px")
a = str(tag1.string)
tags2 = soup.find_all("span", class_="add")
b = str(tag2.getText())
tags3 = soup.find_all("span", class_="money")
c = str(tag3.string)
f = open("招聘信息.txt", mode="a+", encoding="utf-8")
f.write(a + ";" + b + ";" + c + "\n")
f.close()
print("完成")
最后爬取的结果是这样的：
网站3： 当当网
这个网站基本流程也是和第一个也是差不多的，区别就是在最后一个函数加了一个if判断语句而已。前面的都理解到了的话，那么这个自然也是不在话下了，嘿嘿。
直接上完整的代码吧：
import requests
from bs4 import BeautifulSoup
head = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"
}
def downDangdangbook():
for i in range(1, 101):
strurl = "http://category.dangdang.com/pg" + str(i) + "-cp01.49.01.00.00.00.html"
print(strurl)
downWebContent(strurl)
def downWebContent(url):
r = requests.get(url, headers=head)
print(r.status_code)
r.encoding=r.apparent_encoding
parseWebcontent(r.text)
def parseWebcontent(content):
bs = BeautifulSoup(content, "html.parser")
ulTag = bs.find("ul", class_="bigimg")
print(ulTag)
index = 0
for liTag in ulTag.contents:
index = index + 1
if index % 2 == 1:
continue
print(index)
parserProductTag(liTag)
def parserProductTag(productTag):
imgurl = productTag.a.img["src"]
if not imgurl.startswith("http"):
imgurl = productTag.a.img["data-original"]
name = productTag.contents[2].getText()
price = productTag.contents[4].contents[3].getText()
f = open("教辅书籍信息.txt", mode="a+", encoding="utf-8")
f.write(name + ";" + price + ";" + imgurl + "\n")
f.close()
if __name__ == "__main__":
downDangdangbook()
最后的爬取结果是这样的：
很明显，爬取自己想要的信息所用到的方法肯定不止我文中的这些。所以希望可以多多交流。嘿嘿！
文中有解释不到位或者错误的地方，欢迎各位大佬们的指正哦。
这次的分享就到此为止了，之后我还会继续分享自己的学习经历，让自己不断成长！
冲呀冲呀冲呀！！！