python爬虫学习

python爬取当当页面数据

import requests
from pyquery import PyQuery
import csv
import time


# 当当网爬虫测试
class DDSpider(object):
    def __init__(self,key):
        self.key = key
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) \
            Chrome/78.0.3904.108 Safari/537.36'
        }
        self.base_url = 'http://search.dangdang.com/?key='+key+'&act=input&page_index={}'
        
        #获取界面内容
    def get_pageInfo(self):
         num_page = 0
         while True:
            num_page += 1
            page_url = self.base_url.format(num_page)
            res = requests.get(page_url,headers=self.headers)
             #   print(res.content.decode('GBK'))  #可以在element head中找到解码方式
            
            return self.parse_pageInfo(res.content.decode('GBK'))
        
            time.sleep(1)    #增加延时,避免网站的反爬虫之类的处理
            if num_page == 10:     #只打前十页
                
                break
        
            
           
    
    #解析页面,获取图片链接
    def parse_pageInfo(self,html):
        doc = PyQuery(html)
        book_ul = doc('#component_59 li').items()
        for one_li in book_ul:
            if one_li('pic img').attr('data-original'):
                img_url = one_li('.pic img').attr('data-original')
            else:
                img_url = one_li('.pic img').attr('src')  #增加判断,避免网站的反爬虫之类的处理
            
            #print(img_url)
            list = []
            
            #获取标题
            title = one_li('.name a').attr('title')
            
            #获取价格
            price = one_li('.price .search_now_price').text()
            
            #获取评价条数
            comments = one_li('.search_star_line .search_comment_num').text()
            
            #获取评星
           # stars = float(one_li('.search_star_black span').attr('style').split(':')[-1].strip('%;'))/20.0
            stars = one_li('.search_star_black span').attr('style').split(':')[-1].strip('%;')
           # return title,price,comments,stars
            list.append(title)
            list.append(price)
            list.append(comments)
            list.append(stars)
            print(list)
         #   return list
        
    
    
    
    #写入为csv文件
    def save_to_csv(self,info):
        for value in info:
            with open('./ddspider.csv','a',newline = '',encoding= 'utf-8-sig') as f:
                writer = csv.writer(f)
                writer.writerow(value)
                
    #执行逻辑
#     def run(self):
#         #1.进入链接
#         url = self.__init__()
#         info = get_pageInfo()
        
        
            
            
            
    
if __name__ == "__main__":
    dd = DDSpider('python')
    ddinfo = dd.get_pageInfo()
  #  dd.save_to_csv(ddinfo)
        
                    
             

[' Python编程 从入门到实践 【图灵程序设计丛书】Python3.5编程入门图书 机器学习 数据处理 网络爬虫热门编程语言 从基本概念到完整项目开发 帮助零基础读者迅速掌握Python编程 附赠源代码文件', '¥59.70', '148586条评论', ' 90']
[' Python编程快速上手 让繁琐工作自动化(Python3编程从入门到实践 新手学习必备用书) Python3编程从入门到实践美亚畅销Python编程入门图书 Python3实战指南 带你快速实现Python高效编程', '¥64.30', '35012条评论', ' 90']
[' 疯狂Python讲义 零基础学Python编程实战,CSDN爆款Python课程官方用书,覆盖爬虫、大数据、并发编程等就业热点,Python求职不再慌', '¥81.40', '7284条评论', ' 90']
[' 零基础学Python(全彩版) Python3全新升级!超20万读者认可的彩色书,从基本概念到完整项目开发,助您快速掌握Python编程。全程视频+完整源码+215道课后题+实物魔卡+海量资源', '¥58.20', '2135条评论', ' 100']
[' Python爬虫技术——深入理解原理、技术与开发 网红技术专家!JetBrains大中华区市场部经理赵磊作序!超过300个实战案例,10万行源代码,22个综合实战项目,海量学习资料!', '¥78.30', '634条评论', ' 90']
[' 对比Excel,轻松学习Python数据分析 数据分析师入门实操工具书,对比Excel操作学习Python代码,低门槛、高效率,送数据分析课程,送数据分析师知识图谱', '¥40.70', '19758条评论', ' 90']
[' DK编程真好玩:9岁开始学Python DK经典少儿编程启蒙书,从图形化编程进阶正式编程语言,通过创编游戏,轻松掌握人工智能时代编程语言Python,锻炼逻辑思维,培养解决问题的能力。教育大V“憨爸在美国”,知名科普作家徐来鼎力推荐。', '¥78.70', '6686条评论', ' 90']
[' 利用Python进行数据分析(原书第2版) Python数据分析经典畅销书全新升级,第1版中文版累计销售100000册 Python pandas创始人亲自执笔,Python语言的核心开发人员鼎立推荐 针对Python 3.6进行全面修订和更新', '¥83.30', '21299条评论', ' 90']
[' Python编程三剑客:Python编程从入门到实践+Python编程快速上手+Python极客项目编程(套装共3册, Python编程畅销经典套装,Python入门零基础自学教程书籍,Python项目案例开发实战,一套书搞定Python编程', '¥160.10', '267条评论', ' 100']
[' Python基础教程(第3版) 【图灵程序设计丛书】Python3.5编程从入门到实践 Python入门佳作 机器学习 人工智能 数据处理 网络爬虫热门编程语言 累计销售20万册', '¥69.80', '20688条评论', ' 90']
[' Python项目开发案例集锦(全彩版) 涵盖8大开发方向:网络爬虫、数据分析、人工智能、Web网站和微信小程序、小游戏、实用小工具,共23个主流项目,循序渐进地在实践中学习并快速提升实际开发能力', '¥93.30', '758条评论', ' 100']
[' Python编程从数据分析到机器学习实践(微课视频版) 手机扫码看608分钟同步视频讲解+全书源代码+PPT课件+习题实验,Python3.7编程进阶图书,人工智能、机器学习、数据处理、科学计算、云开发、网络爬虫', '¥68.80', '392条评论', ' 80']
[' Python学习手册(原书第5版) 零基础学Python3,Python编程从入门到实践学习手册,详解数据分析,机器学习,网络爬虫的编程语言基础,完整覆盖Python核心技术,助你快速让入门并进行项目开发实战', '¥142.40', '5450条评论', ' 100']
[' Python Qt GUI与数据可视化编程 PyQt5教程书籍 pyqt5快速开发实例教程 Python Qt5 GUI快速编程 示例丰富的Python GUI编程和数据可视化编程的实用指南', '¥69.80', '2110条评论', ' 100']
[' Python语言程序设计基础(第2版) 新形态Mooc教材带你玩转Python,轻松编程!原创实例激发学习者热情!', '¥33.90', '3051条评论', ' 90']
[' 少儿编程之旅 趣学Python ', '¥47.00', '49条评论', ' 100']
[' 零基础入门学习Python(第2版)-微课视频版 Python 3.7编程轻松入门 小甲鱼畅销图书 实例贯穿全书 30小时视频讲解 轻松学会Python 累计销售13万册', '¥78.30', '4679条评论', ' 90']
[' Python从入门到项目实践(全彩版) Python3开发入门图书,48小时视频讲解,76个动图演示,详解热门框架,游戏、爬虫、数据分析、图表、人工智能,从基础知识到完整项目,手把手领你入门到实战!', '¥72.80', '544条评论', ' 90']
[' 【自营】python编程入门指南 Web/Django/Pygame/Flask Web/网络爬虫/可搭C语言/jav ', '¥66.00', '352条评论', ' 100']
[' Python从小白到大牛 JetBrains大中华区市场经理赵磊作序!赠送教学课件24章,300个示例源代码,4个完整实战项目,热销教学视频2500分钟(三月有效期),提供实时在线答疑服务,畅销10万册', '¥78.30', '5425条评论', ' 100']
[' Python 3网络爬虫开发实战 【图灵原创】博客文章访问量过百万的博主倾力打造,教你学会如何用Python 3开发爬虫', '¥66.40', '14451条评论', ' 90']
[' 笨办法学Python 3 经典畅销Python入门教程升级版 Python3编程从入门到实践教程 手机扫码看5个小时配套视频 跟着数百万人的Python导师学Python编程入门基础教程 代码基于Python3.6', '¥55.00', '13258条评论', ' 90']
[' Python数据可视化之美:专业图表绘制指南(全彩) 图表精美、涉及图表种类丰富, Matplotlib包的首席开发者Thomas Caswell 和plotnine包的开发者与维护者Hassan Kibirige力荐', '¥89.00', '1398条评论', ' 100']
[' Python核心编程 第3版 畅销经典的Python基础教程学习手册进阶图书 兼顾Python2和Python3 机器学习 数据处理 网络爬虫热门编程语言 Python开发人员的案头常备', '¥92.20', '24097条评论', ' 90']
[' Python从入门到项目实战(全程视频版) Python3.7稳定版本,Python编程从入门到实践,66小时同步视频+600个实例分析+21个项目编程+Web综合实战,涵盖:并发/IO/网络/数据库编程、图形界面、网络爬虫、Flask开发', '¥94.30', '666条评论', ' 100']
[' 基于Python的大数据分析基础及实战 Python3.6基础入门,涵盖数据处理、数据分析、数据可视化、网络爬虫主要应用,采用基础知识+实战案例+拓展与延伸,配套丰富学习资源,附赠案例视频+源代码+源数据文件,教你迅速掌握Python语言', '¥66.00', '6769条评论', ' 90']
[' Python深度学习 人工智能机器学习经典教程 用Python Keras TensorFlow进行深度学习的探索实践 Keras之父 谷歌人工智能研究员执笔 深度学习领域力作', '¥79.80', '6729条评论', ' 90']
[' Python实效编程百例·综合卷(全彩版) 百战编程,锤炼编程技能,提升编程思维—102个实例:数据分析、游戏开发、爬虫开发、Web项目等8大开发方向,赠完整源代码,208个素材,百日编程大作战从这里开始', '¥58.20', '71条评论', ' 100']
[' 流畅的Python 【图灵程序设计丛书】PSF研究员 知名PyCon演讲者心血之作 全面深入 对Python语言关键特性剖析到位 兼顾Python 3和Python 2', '¥93.20', '7358条评论', ' 90']
[' Python Cookbook(第3版)中文版 经典Python图书升级版本 Python编程从入门到实践 涵盖Python 3.3 包含大量实用Python编程技巧和Python黑魔法 囊括常见Python编程领域', '¥100.60', '10375条评论', ' 90']
[' Python编程锦囊(全彩版) 从实用角度出发,帮助用户解决实际开发难题、提升开发效率的Python编程技巧书,为多方面内容提供详尽解决方案及多种处理方法,并搭配高效程序源码、开发效果图', '¥58.20', '378条评论', ' 100']
[' Python青少年趣味编程(微课视频版) ', '¥66.00', '465条评论', ' 90']
[' Python编程超级魔卡(全彩版) 500余个方法随身查,速查、速用,速记就用编程超级魔卡', '¥21.80', '41条评论', ' 0']
[' Python速查手册·基础卷(全彩版) 适合每一位python程序员的速查工具书。含基础语法、应用场景,创新双目录编排,程序员速查速用、快速解决实际开发难题,提升开发效率的速查手册。', '¥107.90', '10条评论', ' 60']
[' Python金融大数据分析 第2版 金融科技算法交易量化金融教程书籍,详细讲解使用Python分析处理金融大数据的专业图书,将人工智能应用于金融开发的实战指南,金融应用开发领域从业人员的常备读物', '¥133.40', '557条评论', ' 100']
[' Python从入门到精通 明日科技畅销书,100个趣味案例+36小时教学视频+快速背记手册,丛书累计销量180多万册', '¥70.20', '1524条评论', ' 90']
[' Python编程从零基础到项目实战(微课视频版) Python入门图书,出版1年销售超7万册,从Web、数据库编程到人工智能、数据分析、网络爬虫,赠:视频源文件+案例源代码+习题实验答案+函数速查手册', '¥75.40', '6654条评论', ' 90']
[' Python速查手册·模块卷(全彩版) 适合所有python学习者的速查工具书。专注Python模块,代码复制可用,704页正文内容,637个快用锦囊,速查速用、提升开发效率。', '¥122.50', '8条评论', ' 0']
[' Python神经网络编程 人工智能深度学习机器学习领域又一重磅力作 自己动手用Python编写神经网络 美亚排名前茅荣获众多好评 全彩印刷 图表丰富', '¥64.30', '10642条评论', ' 90']
[' Python函数参考手册(全彩版) 专注Python内置函数,适合所有python学习者的速查工具书,参数说明详尽,易查,函数功能全,易学;351个快学快用,易用!开拓思维,解决问题,提升开发效率', '¥50.30', '42条评论', ' 90']
[' Python数据分析基础 【图灵程序设计丛书】零编程经验也可学会用Python语言进行数据分析,python基础知识介绍、csv文件和Excel文件读写、数据库操作等。', '¥48.70', '2468条评论', ' 90']
[' Python数据分析与挖掘实战(第2版) 公认经典,第1版销售10万余册,100余所高校用作教材;提供上机环境、源代码、建模数据、教学PPT', '¥52.90', '1146条评论', ' 100']
[' Python编程(第四版) Python高手进阶宝典,包含大量实用Python编程技巧,涵盖Python编程的方方面面,完全更新到Python 3.x,是Python领域经典的开发指南', '¥136.60', '8641条评论', ' 90']
[' 跟我一起玩Python编程(共2册):教孩子快速掌握编程技巧 一本实用又有趣的Python编程上路书,中小学生计算机课智能创新教育体系参考读本。乐博乐博机器人创始人兼CEO侯景刚倾情作序,北京机器人大赛总裁判长刘明非等真诚推荐给孩子', '¥54.90', '1649条评论', ' 100']
[' Python机器学习基础教程 基于Python3的机器学习入门教程 以机器学习算法实践为重点 使用scikit-learn库从头构建机器学习应用 涵盖模型评估调参方法 交差验证网格搜索 管道概念及文本数据处理方法等内容', '¥55.70', '5325条评论', ' 90']
[' Python网络爬虫权威指南 第2版 Python 3网络爬虫开发入门书籍 全面介绍网页抓取技术 解决Web数据采集、转换和使用中的诸多常见问题和痛点', '¥55.70', '2913条评论', ' 100']
[' Python真好玩:教孩子学编程 少儿编程入门书 基于Python 3编写的程序设计入门书 中小学编程自学教程 学习计算机思维方式 构建编程思维 和孩子一起学编程 趣学Python 编程真好玩', '¥61.50', '1373条评论', ' 100']
[' 图解Python--轻松快速掌握实力派脚本语言精华 日本爆款热销书——图解Python闪亮来袭!累计销量70万+!轻松有趣!全新编程体验惊叹连连,原来编程还可以这样学!', '¥61.50', '1410条评论', ' 100']
[' Python科学计算和数据科学应用(第2版) 使用NumPy、SciPy和matplotlib 资深Python程序员、计算科学家Robert,对书进行全面修订和更新,演示了数值计算和数学建模在大数据、云计算、金融工程、商业管理等领域的应用。让读者读后掌握更多计算技术。', '¥174.20', '134条评论', ' 100']
[' 教孩子学编程 Python语言版 少儿编程入门书 高中新课标必修编程入门书 中小学编程自学教程 基于Python3编写的程序设计入门书 学习计算机思维方式 构建编程思维 寓教于乐全彩印刷', '¥41.60', '15315条评论', ' 90']
[' 人工智能+机器人入门与实战 用树莓派+Python+OpenCV制作计算机视觉机器人 创客教育书籍,用Pyhton编程和机器人实战体验人工智能概念', '¥66.20', '175条评论', ' 100']
[' MINECRAFT编程:使用Python语言玩转我的世界 全彩印刷,优质外版书,轻松学会Python编程,玩转Minecraft', '¥109.90', '136条评论', ' 100']
[' 青少年Python编程入门 STEM创新教育系列图书 中小学编程入门教程 Python零基础自学入门图书', '¥41.90', '1480条评论', ' 100']
[' Python游戏编程入门 游戏开发权威专家力作 掌握Python游戏编程佳选', '¥45.60', '3214条评论', ' 90']
[' Python金融大数据挖掘与分析全流程详解 利用python高效解决量化金融问题、揭秘人工智能在金融行业中的实战应用、全流程详解量化金融与数据化决策技术、网络爬虫从入门到精通、附赠超值讲解视频', '¥62.90', '1008条评论', ' 90']
[' Python 3 爬虫、数据清洗与可视化实战(第2版) Python爬虫技术入门,通过实战教初学者如何爬取数据、清洗和组织数据并进行分析和可视化,适合做教材', '¥66.20', '2118条评论', ' 90']
[' 大数据分析:Python爬虫、数据清洗和数据可视化 ', '¥52.60', '495条评论', ' 100']
[' Python编程无师自通 专业程序员的养成 Python编程无师自通 专业程序员的养成 零基础自学Python3入门教程 Python基础教程', '¥55.00', '2121条评论', ' 100']
[' Python项目开发实战入门(全彩版) Python3.7编程入门图书,人工智能,爬虫与数据处理,游戏开发,Web及App开发,帮助零基础读者迅速上手完整项目,掌握编程思维,赠送源码及视频讲解等资源', '¥71.50', '42条评论', ' 50']
[' 超简单:用Python让Excel飞起来 让excel化繁为简,零基础学python,用python实现办公自动化,减少重复工作。一书在手,数据不愁,用Python操控Excel让工作更高效,办公自动化典型场景应用,零基础办公人士学编程的不二', '¥48.10', '26条评论', ' 100']

你可能感兴趣的:(python,python)