python爬虫学习

python爬取当当页面数据

import requests
from pyquery import PyQuery
import csv
import time


# 当当网爬虫测试
class DDSpider(object):
    def __init__(self,key):
        self.key = key
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) \
            Chrome/78.0.3904.108 Safari/537.36'
        }
        self.base_url = 'http://search.dangdang.com/?key='+key+'&act=input&page_index={}'
        
        #获取界面内容
    def get_pageInfo(self):
         num_page = 0
         while True:
            num_page += 1
            page_url = self.base_url.format(num_page)
            res = requests.get(page_url,headers=self.headers)
             #   print(res.content.decode('GBK'))  #可以在element head中找到解码方式
            
            return self.parse_pageInfo(res.content.decode('GBK'))
        
            time.sleep(1)    #增加延时，避免网站的反爬虫之类的处理
            if num_page == 10:     #只打前十页
                
                break
        
            
           
    
    #解析页面，获取图片链接
    def parse_pageInfo(self,html):
        doc = PyQuery(html)
        book_ul = doc('#component_59 li').items()
        for one_li in book_ul:
            if one_li('pic img').attr('data-original'):
                img_url = one_li('.pic img').attr('data-original')
            else:
                img_url = one_li('.pic img').attr('src')  #增加判断，避免网站的反爬虫之类的处理
            
            #print(img_url)
            list = []
            
            #获取标题
            title = one_li('.name a').attr('title')
            
            #获取价格
            price = one_li('.price .search_now_price').text()
            
            #获取评价条数
            comments = one_li('.search_star_line .search_comment_num').text()
            
            #获取评星
           # stars = float(one_li('.search_star_black span').attr('style').split(':')[-1].strip('%;'))/20.0
            stars = one_li('.search_star_black span').attr('style').split(':')[-1].strip('%;')
           # return title,price,comments,stars
            list.append(title)
            list.append(price)
            list.append(comments)
            list.append(stars)
            print(list)
         #   return list
        
    
    
    
    #写入为csv文件
    def save_to_csv(self,info):
        for value in info:
            with open('./ddspider.csv','a',newline = '',encoding= 'utf-8-sig') as f:
                writer = csv.writer(f)
                writer.writerow(value)
                
    #执行逻辑
#     def run(self):
#         #1.进入链接
#         url = self.__init__()
#         info = get_pageInfo()
        
        
            
            
            
    
if __name__ == "__main__":
    dd = DDSpider('python')
    ddinfo = dd.get_pageInfo()
  #  dd.save_to_csv(ddinfo)
        
                    
             

[' Python编程 从入门到实践 【图灵程序设计丛书】Python3.5编程入门图书 机器学习 数据处理 网络爬虫热门编程语言 从基本概念到完整项目开发 帮助零基础读者迅速掌握Python编程 附赠源代码文件', '¥59.70', '148586条评论', ' 90']
[' Python编程快速上手 让繁琐工作自动化（Python3编程从入门到实践 新手学习必备用书） Python3编程从入门到实践美亚畅销Python编程入门图书 Python3实战指南 带你快速实现Python高效编程', '¥64.30', '35012条评论', ' 90']
[' 疯狂Python讲义 零基础学Python编程实战，CSDN爆款Python课程官方用书，覆盖爬虫、大数据、并发编程等就业热点，Python求职不再慌', '¥81.40', '7284条评论', ' 90']
[' 零基础学Python（全彩版） Python3全新升级！超20万读者认可的彩色书，从基本概念到完整项目开发，助您快速掌握Python编程。全程视频+完整源码+215道课后题+实物魔卡+海量资源', '¥58.20', '2135条评论', ' 100']
[' Python爬虫技术——深入理解原理、技术与开发 网红技术专家！JetBrains大中华区市场部经理赵磊作序！超过300个实战案例，10万行源代码，22个综合实战项目，海量学习资料！', '¥78.30', '634条评论', ' 90']
[' 对比Excel，轻松学习Python数据分析 数据分析师入门实操工具书，对比Excel操作学习Python代码，低门槛、高效率，送数据分析课程，送数据分析师知识图谱', '¥40.70', '19758条评论', ' 90']
[' DK编程真好玩：9岁开始学Python DK经典少儿编程启蒙书，从图形化编程进阶正式编程语言，通过创编游戏，轻松掌握人工智能时代编程语言Python，锻炼逻辑思维，培养解决问题的能力。教育大V“憨爸在美国”，知名科普作家徐来鼎力推荐。', '¥78.70', '6686条评论', ' 90']
[' 利用Python进行数据分析（原书第2版） Python数据分析经典畅销书全新升级，第1版中文版累计销售100000册 Python pandas创始人亲自执笔，Python语言的核心开发人员鼎立推荐 针对Python 3.6进行全面修订和更新', '¥83.30', '21299条评论', ' 90']
[' Python编程三剑客：Python编程从入门到实践+Python编程快速上手+Python极客项目编程（套装共3册， Python编程畅销经典套装，Python入门零基础自学教程书籍，Python项目案例开发实战，一套书搞定Python编程', '¥160.10', '267条评论', ' 100']
[' Python基础教程（第3版） 【图灵程序设计丛书】Python3.5编程从入门到实践 Python入门佳作 机器学习 人工智能 数据处理 网络爬虫热门编程语言 累计销售20万册', '¥69.80', '20688条评论', ' 90']
[' Python项目开发案例集锦（全彩版） 涵盖8大开发方向：网络爬虫、数据分析、人工智能、Web网站和微信小程序、小游戏、实用小工具，共23个主流项目，循序渐进地在实践中学习并快速提升实际开发能力', '¥93.30', '758条评论', ' 100']
[' Python编程从数据分析到机器学习实践（微课视频版） 手机扫码看608分钟同步视频讲解+全书源代码+PPT课件+习题实验，Python3.7编程进阶图书，人工智能、机器学习、数据处理、科学计算、云开发、网络爬虫', '¥68.80', '392条评论', ' 80']
[' Python学习手册（原书第5版） 零基础学Python3，Python编程从入门到实践学习手册，详解数据分析，机器学习，网络爬虫的编程语言基础，完整覆盖Python核心技术，助你快速让入门并进行项目开发实战', '¥142.40', '5450条评论', ' 100']
[' Python Qt GUI与数据可视化编程 PyQt5教程书籍 pyqt5快速开发实例教程 Python Qt5 GUI快速编程 示例丰富的Python GUI编程和数据可视化编程的实用指南', '¥69.80', '2110条评论', ' 100']
[' Python语言程序设计基础（第2版） 新形态Mooc教材带你玩转Python，轻松编程！原创实例激发学习者热情！', '¥33.90', '3051条评论', ' 90']
[' 少儿编程之旅 趣学Python ', '¥47.00', '49条评论', ' 100']
[' 零基础入门学习Python（第2版）-微课视频版 Python 3.7编程轻松入门 小甲鱼畅销图书 实例贯穿全书 30小时视频讲解 轻松学会Python 累计销售13万册', '¥78.30', '4679条评论', ' 90']
[' Python从入门到项目实践（全彩版） Python3开发入门图书，48小时视频讲解，76个动图演示，详解热门框架，游戏、爬虫、数据分析、图表、人工智能，从基础知识到完整项目，手把手领你入门到实战！', '¥72.80', '544条评论', ' 90']
[' 【自营】python编程入门指南 Web/Django/Pygame/Flask Web/网络爬虫/可搭C语言/jav ', '¥66.00', '352条评论', ' 100']
[' Python从小白到大牛 JetBrains大中华区市场经理赵磊作序!赠送教学课件24章，300个示例源代码，4个完整实战项目，热销教学视频2500分钟（三月有效期），提供实时在线答疑服务，畅销10万册', '¥78.30', '5425条评论', ' 100']
[' Python 3网络爬虫开发实战 【图灵原创】博客文章访问量过百万的博主倾力打造，教你学会如何用Python 3开发爬虫', '¥66.40', '14451条评论', ' 90']
[' 笨办法学Python 3 经典畅销Python入门教程升级版 Python3编程从入门到实践教程 手机扫码看5个小时配套视频 跟着数百万人的Python导师学Python编程入门基础教程 代码基于Python3.6', '¥55.00', '13258条评论', ' 90']
[' Python数据可视化之美：专业图表绘制指南（全彩） 图表精美、涉及图表种类丰富， Matplotlib包的首席开发者Thomas Caswell 和plotnine包的开发者与维护者Hassan Kibirige力荐', '¥89.00', '1398条评论', ' 100']
[' Python核心编程 第3版 畅销经典的Python基础教程学习手册进阶图书 兼顾Python2和Python3 机器学习 数据处理 网络爬虫热门编程语言 Python开发人员的案头常备', '¥92.20', '24097条评论', ' 90']
[' Python从入门到项目实战（全程视频版） Python3.7稳定版本，Python编程从入门到实践，66小时同步视频+600个实例分析+21个项目编程+Web综合实战，涵盖：并发/IO/网络/数据库编程、图形界面、网络爬虫、Flask开发', '¥94.30', '666条评论', ' 100']
[' 基于Python的大数据分析基础及实战 Python3.6基础入门，涵盖数据处理、数据分析、数据可视化、网络爬虫主要应用，采用基础知识+实战案例+拓展与延伸，配套丰富学习资源，附赠案例视频+源代码+源数据文件，教你迅速掌握Python语言', '¥66.00', '6769条评论', ' 90']
[' Python深度学习 人工智能机器学习经典教程 用Python Keras TensorFlow进行深度学习的探索实践 Keras之父 谷歌人工智能研究员执笔 深度学习领域力作', '¥79.80', '6729条评论', ' 90']
[' Python实效编程百例·综合卷(全彩版) 百战编程，锤炼编程技能，提升编程思维—102个实例：数据分析、游戏开发、爬虫开发、Web项目等8大开发方向，赠完整源代码，208个素材，百日编程大作战从这里开始', '¥58.20', '71条评论', ' 100']
[' 流畅的Python 【图灵程序设计丛书】PSF研究员 知名PyCon演讲者心血之作 全面深入 对Python语言关键特性剖析到位 兼顾Python 3和Python 2', '¥93.20', '7358条评论', ' 90']
[' Python Cookbook（第3版）中文版 经典Python图书升级版本 Python编程从入门到实践 涵盖Python 3.3 包含大量实用Python编程技巧和Python黑魔法 囊括常见Python编程领域', '¥100.60', '10375条评论', ' 90']
[' Python编程锦囊（全彩版） 从实用角度出发，帮助用户解决实际开发难题、提升开发效率的Python编程技巧书，为多方面内容提供详尽解决方案及多种处理方法，并搭配高效程序源码、开发效果图', '¥58.20', '378条评论', ' 100']
[' Python青少年趣味编程（微课视频版） ', '¥66.00', '465条评论', ' 90']
[' Python编程超级魔卡(全彩版) 500余个方法随身查，速查、速用，速记就用编程超级魔卡', '¥21.80', '41条评论', ' 0']
[' Python速查手册·基础卷（全彩版） 适合每一位python程序员的速查工具书。含基础语法、应用场景，创新双目录编排，程序员速查速用、快速解决实际开发难题，提升开发效率的速查手册。', '¥107.90', '10条评论', ' 60']
[' Python金融大数据分析 第2版 金融科技算法交易量化金融教程书籍，详细讲解使用Python分析处理金融大数据的专业图书，将人工智能应用于金融开发的实战指南，金融应用开发领域从业人员的常备读物', '¥133.40', '557条评论', ' 100']
[' Python从入门到精通 明日科技畅销书，100个趣味案例+36小时教学视频+快速背记手册，丛书累计销量180多万册', '¥70.20', '1524条评论', ' 90']
[' Python编程从零基础到项目实战（微课视频版） Python入门图书，出版1年销售超7万册，从Web、数据库编程到人工智能、数据分析、网络爬虫，赠：视频源文件+案例源代码+习题实验答案+函数速查手册', '¥75.40', '6654条评论', ' 90']
[' Python速查手册·模块卷（全彩版） 适合所有python学习者的速查工具书。专注Python模块，代码复制可用，704页正文内容，637个快用锦囊，速查速用、提升开发效率。', '¥122.50', '8条评论', ' 0']
[' Python神经网络编程 人工智能深度学习机器学习领域又一重磅力作 自己动手用Python编写神经网络 美亚排名前茅荣获众多好评 全彩印刷 图表丰富', '¥64.30', '10642条评论', ' 90']
[' Python函数参考手册（全彩版） 专注Python内置函数，适合所有python学习者的速查工具书，参数说明详尽，易查，函数功能全，易学；351个快学快用，易用！开拓思维，解决问题，提升开发效率', '¥50.30', '42条评论', ' 90']
[' Python数据分析基础 【图灵程序设计丛书】零编程经验也可学会用Python语言进行数据分析,python基础知识介绍、csv文件和Excel文件读写、数据库操作等。', '¥48.70', '2468条评论', ' 90']
[' Python数据分析与挖掘实战（第2版） 公认经典，第1版销售10万余册，100余所高校用作教材；提供上机环境、源代码、建模数据、教学PPT', '¥52.90', '1146条评论', ' 100']
[' Python编程（第四版） Python高手进阶宝典，包含大量实用Python编程技巧，涵盖Python编程的方方面面，完全更新到Python 3.x，是Python领域经典的开发指南', '¥136.60', '8641条评论', ' 90']
[' 跟我一起玩Python编程(共2册):教孩子快速掌握编程技巧 一本实用又有趣的Python编程上路书，中小学生计算机课智能创新教育体系参考读本。乐博乐博机器人创始人兼CEO侯景刚倾情作序，北京机器人大赛总裁判长刘明非等真诚推荐给孩子', '¥54.90', '1649条评论', ' 100']
[' Python机器学习基础教程 基于Python3的机器学习入门教程 以机器学习算法实践为重点 使用scikit-learn库从头构建机器学习应用 涵盖模型评估调参方法 交差验证网格搜索 管道概念及文本数据处理方法等内容', '¥55.70', '5325条评论', ' 90']
[' Python网络爬虫权威指南 第2版 Python 3网络爬虫开发入门书籍 全面介绍网页抓取技术 解决Web数据采集、转换和使用中的诸多常见问题和痛点', '¥55.70', '2913条评论', ' 100']
[' Python真好玩：教孩子学编程 少儿编程入门书 基于Python 3编写的程序设计入门书 中小学编程自学教程 学习计算机思维方式 构建编程思维 和孩子一起学编程 趣学Python 编程真好玩', '¥61.50', '1373条评论', ' 100']
[' 图解Python--轻松快速掌握实力派脚本语言精华 日本爆款热销书——图解Python闪亮来袭！累计销量70万+！轻松有趣！全新编程体验惊叹连连，原来编程还可以这样学！', '¥61.50', '1410条评论', ' 100']
[' Python科学计算和数据科学应用(第2版) 使用NumPy、SciPy和matplotlib 资深Python程序员、计算科学家Robert，对书进行全面修订和更新，演示了数值计算和数学建模在大数据、云计算、金融工程、商业管理等领域的应用。让读者读后掌握更多计算技术。', '¥174.20', '134条评论', ' 100']
[' 教孩子学编程 Python语言版 少儿编程入门书 高中新课标必修编程入门书 中小学编程自学教程 基于Python3编写的程序设计入门书 学习计算机思维方式 构建编程思维 寓教于乐全彩印刷', '¥41.60', '15315条评论', ' 90']
[' 人工智能+机器人入门与实战 用树莓派+Python+OpenCV制作计算机视觉机器人 创客教育书籍，用Pyhton编程和机器人实战体验人工智能概念', '¥66.20', '175条评论', ' 100']
[' MINECRAFT编程：使用Python语言玩转我的世界 全彩印刷，优质外版书，轻松学会Python编程，玩转Minecraft', '¥109.90', '136条评论', ' 100']
[' 青少年Python编程入门 STEM创新教育系列图书 中小学编程入门教程 Python零基础自学入门图书', '¥41.90', '1480条评论', ' 100']
[' Python游戏编程入门 游戏开发权威专家力作 掌握Python游戏编程佳选', '¥45.60', '3214条评论', ' 90']
[' Python金融大数据挖掘与分析全流程详解 利用python高效解决量化金融问题、揭秘人工智能在金融行业中的实战应用、全流程详解量化金融与数据化决策技术、网络爬虫从入门到精通、附赠超值讲解视频', '¥62.90', '1008条评论', ' 90']
[' Python 3 爬虫、数据清洗与可视化实战（第2版） Python爬虫技术入门，通过实战教初学者如何爬取数据、清洗和组织数据并进行分析和可视化，适合做教材', '¥66.20', '2118条评论', ' 90']
[' 大数据分析：Python爬虫、数据清洗和数据可视化 ', '¥52.60', '495条评论', ' 100']
[' Python编程无师自通 专业程序员的养成 Python编程无师自通 专业程序员的养成 零基础自学Python3入门教程 Python基础教程', '¥55.00', '2121条评论', ' 100']
[' Python项目开发实战入门（全彩版） Python3.7编程入门图书，人工智能，爬虫与数据处理，游戏开发，Web及App开发，帮助零基础读者迅速上手完整项目，掌握编程思维，赠送源码及视频讲解等资源', '¥71.50', '42条评论', ' 50']
[' 超简单：用Python让Excel飞起来 让excel化繁为简，零基础学python，用python实现办公自动化，减少重复工作。一书在手，数据不愁，用Python操控Excel让工作更高效，办公自动化典型场景应用，零基础办公人士学编程的不二', '¥48.10', '26条评论', ' 100']