网络爬虫之入门练习【网络通信编程】

目录

  • 一、爬取南阳理工学院ACM题目网站的信息
    • 1.代码
    • 2.网页分析
    • 3.运行程序爬取文件
  • 二、爬取重庆交通大学新闻网站的信息
    • 1.代码
    • 2.网页分析
    • 3.运行程序爬取文件
  • 三、总结
  • 四、参考文献

网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟浏览器发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。
原则上,只要是浏览器(客户端)能做的事情,爬虫都能够做。

一、爬取南阳理工学院ACM题目网站的信息

1.代码

import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm

Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'

csvHeaders = ['题号', '难度', '标题', '通过率', '通过数/总提交数']

subjects = []

print('题目信息爬取中:\n')

for pages in tqdm(range(1, 11 + 1)):

    r = requests.get(
        f'http://www.51mxd.cn/problemset.php-page={pages}.htm', Headers)

    r.raise_for_status()

    r.encoding = 'utf-8'

    soup = BeautifulSoup(r.text, 'lxml')

    td = soup.find_all('td')

    subject = []

    for t in td:
        if t.string is not None:
            subject.append(t.string)
            if len(subject) == 5:
                subjects.append(subject)
                subject = []

with open('NYOJ_Subjects.csv', 'w', newline='') as file:
    fileWriter = csv.writer(file)
    fileWriter.writerow(csvHeaders)
    fileWriter.writerows(subjects)

print('\n题目信息爬取完成!!!')

2.网页分析

  • 打开待爬取的网页
    我们点击切换不同的页面,发现urlhttp://www.51mxd.cn/problemset.php-page=n.htm)里面的参数n.htm这一部分,只需要改变n的值就可以切换页数
    网络爬虫之入门练习【网络通信编程】_第1张图片网络爬虫之入门练习【网络通信编程】_第2张图片所以代码中:
for pages in tqdm(range(1, 11 + 1)):

    r = requests.get(
        f'http://www.51mxd.cn/problemset.php-page={pages}.htm', Headers)

这里设置一个循环,爬取11页的数据
get方法里面的字符串是要要爬取的网页的url,其中变量pages从1循环加到11

选择我们想爬取的数据,右键检查
网络爬虫之入门练习【网络通信编程】_第3张图片然后就能看到这是一个单元格标签:td,跟其他几个属性(题号 难度 标题 通过率 )一样,同在一个table标签中
网络爬虫之入门练习【网络通信编程】_第4张图片

3.运行程序爬取文件

网络爬虫之入门练习【网络通信编程】_第5张图片
找到生成的NYOJ_Subjects.csv文件
网络爬虫之入门练习【网络通信编程】_第6张图片

OK,爬取成功

二、爬取重庆交通大学新闻网站的信息

1.代码

代码源自:Max_Shy【网络爬虫】网络爬虫之入门练习

import requests
from bs4 import BeautifulSoup
import csv

def get_one_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'
    }
    try:
        info_list_page = []
        resp = requests.get(url, headers=headers)
        resp.encoding = resp.status_code
        page_text = resp.text
        soup = BeautifulSoup(page_text, 'lxml')
        li_list = soup.select('.left-list > ul > li')
        for li in li_list:
            divs = li.select('div')
            date = divs[0].string.strip()
            title = divs[1].a.string
            info = [date, title]
            info_list_page.append(info)
    except Exception as e:
        print('爬取' + url + '错误')
        print(e)
        return None
    else:
        resp.close()
    print('爬取' + url + '成功')
    return info_list_page

def main():

    info_list_all = []
    base_url = 'http://news.cqjtu.edu.cn/xxtz/'
    for i in range(1, 67):
        if i == 1:
            url = 'http://news.cqjtu.edu.cn/xxtz.htm'
        else:
            url = base_url + str(67 - i) + '.htm'
        info_list_page = get_one_page(url)
        info_list_all += info_list_page

    with open('教务新闻.csv', 'w', newline='', encoding='utf-8') as file:
        fileWriter = csv.writer(file)
        fileWriter.writerow(['日期', '标题'])
        fileWriter.writerows(info_list_all)

if __name__ == '__main__':
    main()

2.网页分析

打开重庆交通大学新闻网站
网络爬虫之入门练习【网络通信编程】_第7张图片切换页数,我们发现第一页的urlhttp://news.cqjtu.edu.cn/xxtz.htm
第二页的urlhttp://news.cqjtu.edu.cn/xxtz/65.htm
第三页的urlhttp://news.cqjtu.edu.cn/xxtz/64.htm
以此类推除开第一页,第n页url

http://news.cqjtu.edu.cn/xxtz/(67-n).htm

查看我们要爬取内容的网页标签,这里先看时间,发现时间模块是在一个div标签下的
网络爬虫之入门练习【网络通信编程】_第8张图片再来看新闻标题,原来时间和新闻标题都是在一个ul无序列表标签里面
网络爬虫之入门练习【网络通信编程】_第9张图片所以在get_one_page(url)这个函数里面的此部分代码用来获取时间和新闻标题

 li_list = soup.select('.left-list > ul > li')
        for li in li_list:
            divs = li.select('div')
            date = divs[0].string.strip()
            title = divs[1].a.string
            info = [date, title]
            info_list_page.append(info)

3.运行程序爬取文件

网络爬虫之入门练习【网络通信编程】_第10张图片找到生成的教务新闻.csv文件
网络爬虫之入门练习【网络通信编程】_第11张图片

OK,爬取成功

三、总结

我们使用的IDE是PyCharm,编写python程序十分方便,导入库大概有几种方式
①在代码界面点击报错的引入包代码,例如import dlib,界面会弹出提示安装包
②在setting界面搜索需要的包手动添加
③在IDE里面打开终端Terminal,手动输入pip install +需要安装的库
总之,使用PyCharm十分方便

四、参考文献

1.Max_Shy【网络爬虫】网络爬虫之入门练习

你可能感兴趣的:(爬虫,python)