python爬虫(BeautifulSoup)
本篇文章将爬取零度编程的列表 传送门
我们只爬取如下的列表
废话不多说 上代码 很菜 大神勿喷
# -*- coding: utf-8 -*-
# Auth Ethan
# 爬取零度编程网站的数据
import requests
from bs4 import BeautifulSoup
from multiprocessing.dummy import Pool as ThreadPool
url="https://www.xcode.me/page/"
img=[]
data=[]
urls=[]
def page_one(u):
#伪装成浏览器 否则无法访问
ha={
'Accept': 'text / html, application / xhtml + xml, application / xml; q = 0.9, image / webp, image / apng, * / *;q = 0.8',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36',
'Content-Type':'text/html; charset=utf-8'
}
res=requests.get(u)
result=BeautifulSoup(res.text,"lxml")
for item in result.select("article.excerpt"):
#获取图片链接
try:
src = item.select("a img.thumb")[0]["data-src"]
except:
src=item.select("a img.thumb")[0]["src"]
img.append(src)
#获取标题
title=item.select("header h2")[0].text
#获取时间
time=item.select("p.meta time")[0].text
#获取阅读数
look=item.select("p.meta .pv")[0].text.lstrip("阅读(").rstrip(")")
#请求内容页面
detail=BeautifulSoup(requests.get(item.select("header h2 a")[0]["href"]).text,"lxml")
#获取内容 将最后18位字符窜去掉 单独爬取
content=str( detail.select("article.article-content")[0].text.strip("\n")[:-18])
newpwd=detail.select("article.article-content p span")
if len(newpwd)>0:
if "下载密钥：" in newpwd[0].text:
downPwd = newpwd[0].text.strip("下载密钥：")
downUrl = detail.select("article.article-content p a")[0]["href"]
else:
downPwd=""
downUrl=""
else:
downPwd = ""
downUrl = ""
data.append({'ImgUrl':src,'Title':title,'Time':time,'Look':look,'Content':content,'downPwd':downPwd,'downUrl':downUrl})
def CreateUrl():
for a in range(0,21):
urls.append(url+str(a))
def Start():
CreateUrl()
pool = ThreadPool(4)
results = pool.map(page_one, urls)
pool.close()
pool.join()
#page_one(1)
print(data)
from pymongo import MongoClient
settings = {
"ip":'localhost', #ip
"port":27017, #端口
"db_name" : "python", #数据库名字
"set_name" : "linduBlog" #集合名字
}
class MyMongoDB(object):
def __init__(self):
try:
self.conn = MongoClient(settings["ip"], settings["port"])
except Exception as e:
print(e)
self.db = self.conn[settings["db_name"]]
self.my_set = self.db[settings["set_name"]]
def insert(self,dic):
print("inser...")
self.my_set.insert(dic)
def update(self,dic,newdic):
print("update...")
self.my_set.update(dic,newdic)
def delete(self,dic):
print("delete...")
self.my_set.remove(dic)
def dbfind(self,dic):
print("find...")
data = self.my_set.find(dic)
for result in data:
print(result["name"],result["age"])
if __name__ == '__main__':
Start()
# newdata=[{'ImgUrl': 'https://www.xcode.me/wp-content/uploads/2014/05/book-share-list.jpg', 'Title': '《.NET安全揭秘》电子书', 'Time': '2017-09-09', 'Look': '374', 'Content': '作为.NET程序员、.NET应用架构师和.NET安全工作人员，如何才能开发和设计出安全的.NET应用？如何才能维护和保证.NET应用系统的安全性？本书是资深.NET专家和安全专家多年工作经验的结晶，深刻揭示了.NET系统的安全特性及其工作原理，系统而全面地讲解了构建安全的.NET应用所必须掌握的所有理论知识，并包含大量实践。\n第一部分：.NET安全基础，透彻讲解了.NET体系结构、程序集与反射、应用程序域和CLR寄宿等核心技术，这部分内容是.NET架构的核心，同时也是理解.NET底层安全机制的基础。\n第二部分：.NET平台安全性，深入分析了代码访问的安全性和基于角色的安全性的原理，这部分内容既是.NET应用框架安全性的基础，也是整个.NET平台体系安全性的核心。\n第三部分：数据安全，深刻阐述了数据加密、数据存储和数据通信的安全性，这部分内容介于.NET平台底层安全性与.NET应用安全性之间，是联系二者的纽带。\n第四部分：.NET应用安全性，全面讲解.NET平台下ASP.NET、WCF、WPF和Open XML等常用框架和技术的安全机制与原理。\n第五部分：高级扩展，重点介绍WIF框架和Windows Azure的安全性，这是.NET安全领域未来的重心之一。\n本书是构建安全.NET应用的百科全书，适合所有关注和学习.NET安全的读者阅读。', 'downPwd': 'szff', 'downUrl': 'https://pan.baidu.com/s/1dEX5Jc1'}]
# print(newdata)
m=MyMongoDB()
m.insert(data)
#print(len("\n下载密钥：fsic\n零度电子书下载"))