BeautifulSoup爬取国家政策网目标话题的10篇文章，以及基于jieba的关键字生成

BeautifulSoup爬取国家政策网目标话题的10篇文章，以及基于jieba的关键字生成

引用链接1
引用链接2

一：基本步骤

1.首先，写出需要访问的url,涉及到将中文转化为utf8编码，再转化为请求格式（后面有写如何转换）
2.urllib.request.urlopen(url)向浏览器发出请求，并返回一个html页面
3.此时我们用BeautifulSoup库以及页面解析器对返回的html页面进行解析，并找出存储文章链接的格子节点（标签名为div），返回BeautifulSoup对象
4.再通过对新对象解析，并且找出10条标签名为a的节点，将这些节点的herf属性值保存在列表中。
5.最后，通过对列表中的10条url进行访问，将页面内容分别保存至本地文件中。

二：具体实现

1.爬取有关“工资”的10篇文章

1-1：首先，网页请求query一般会将中文转化为类似于utf-8的编码格式，所以代码中我们需要将“工资”转化为目标格式

Python encode() 方法以 encoding 指定的编码格式编码字符串，默认为utf-8，返回的是字节码的形式
str.encode(encoding=‘UTF-8’)

请求中需要把\x替换为%,所以要先转化为string类型，再调用replace方法（注意：因为\x是转义字符，不想让转义字符生效，需要显示字符串原来的意思，这就要用r和R来定义原始字符串。），然后将小写字母转化为大写字母，并最终索引我们需要的部分

用input()取代目标字符串就能爬取任意想要爬取的主题了

# -*- encoding:utf-8 -*-
import urllib.request          # 导入urllib库的request模块
from bs4 import BeautifulSoup  
import lxml                    #文档解析器
import os                      #os模块就是对操作系统进行操作
import numpy as np       #列表、字典、字符串等中计算元素重复的次数
 
urls=[]
titles=[]
#爬取所有新闻的url和标题，存储在urls和titles中,这里range(1)表示只爬取1页。   
for i in range(1):
    url='http://sousuo.gov.cn/s.htm?t=zhengce&q='+str(input().encode()).replace(r'\x', '%').upper()[2:-1]
    res = urllib.request.urlopen(url)  #调用urlopen()从服务器获取网页响应(respone)，其返回的响应是一个实例
    html = res.read().decode('utf-8')  #调用返回响应示例中的read()，可以读取html
    soup = BeautifulSoup(html, 'lxml')
    result = soup.find_all('div',attrs={
     'class': 'dys_middle_result_content'})
    download_soup = BeautifulSoup(str(result), 'lxml')
    print(download_soup)
    url_all = download_soup.find_all('a')
    for a_url in url_all:
        a_title=a_url.get_text('target')
        titles.append(a_title)
        a_url = a_url.get('href')
        urls.append(a_url)
#定义txt存储路径。
picpath='./newws1/'#这里我用的是本程序路径，也可改为c盘或d盘等路径。
def txt(name, text):  # 定义函数名
    if not os.path.exists(picpath):  # 路径不存在时创建一个
        os.makedirs(picpath)
    savepath = picpath + name + '.txt'
    file = open(savepath, 'a', encoding='utf-8')#因为一个网页里有多个标签p，所以用'a'添加模式
    file.write(text)
    # print(text)
    file.close
#读取urls中存储的ulrs[i]，爬取文本。
for i in range(len(urls)):
    try: 
        res = urllib.request.urlopen(urls[i])  
        html = res.read().decode('utf-8') 
        soup = BeautifulSoup(html, 'lxml')
        print(str(i)+'saved')
        for p in soup.select('p'):
            t = p.get_text()
            txt(titles[i],t)
    except OSError:
        pass    #如果报错就不管，继续读取下一个url
    continue

2.对爬取到的文章内容进行关键词分析——jieba

基于TF-IDF算法的关键词抽取
import jieba.analyse
jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
–sentence 为待提取的文本
–topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20
–withWeight 为是否一并返回关键词权重值，默认值为 False
–allowPOS 仅包括指定词性的词，默认值为空，即不筛选

from jieba.analyse import *
rootdir = './newws1'
list = os.listdir(rootdir) #列出文件夹下所有的目录与文件
print(list)
s=""
for i in range(0,len(list)):
    path = os.path.join(rootdir,list[i])
    if os.path.isfile(path):
        with open(path,encoding='utf-8') as f:
            data = f.read()
            s+=data
for keyword, weight in extract_tags(s, topK=10, withWeight=True):
    print('%s %s' % (keyword, weight))