jieba分词库、WordCloud词云库、requests库

python学习

  • jieba——分词库
    • 安装jieba库
    • 支持三种分词模式
  • WordCloud——生成词云库
    • 安装WordCloud库
    • 使用
  • requests 库
    • 安装
    • requests 的 get
    • Requests 设置请求头 Header
    • 代码示例(百度)

jieba——分词库

安装jieba库

pip install jieba

支持三种分词模式

精确模式:试图将句子最精确地切开,适合文本分析;

jieba.cut(s)—精确模式,返回一个可迭代的数据类型

全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;

jieba.cut(s,cut_all=True )—全模式,输出文本s中所有可能单词

搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。

jieba.cut_for_search(s)—搜索引擎模式,适合搜索引擎建立索引的分词结果

WordCloud——生成词云库

安装WordCloud库

pip install wordcloud

使用

词云绘制:

一:配置对象参数

二:加载词云文本

三:输出词云文件

WordCloud()函数生成了一个WordCloud对象,之后我们对词云的一系列操作都是建立在这个对象的基础上的。
以WordCloud对象为基础(wordcloud就是一个程序版的词云)配置参数,加载文本,输出文件。

w=wordcloud.WordCloud()

w.generate(txt) 向WordCloud对象w中加载文本txt

w.generate(txt)

将词云输出为图像文件 .png或.jpg格式

w.to_file(fileName)

requests 库

安装

pip install requests

requests 的 get

GET ----最常见的请求方法之一
使用GET方法时,请求参数和对应的值附加在URL后面,利用一个问号(“?”)代表 URL 的结尾与请求参数的开始,传递参数长度受限制

Requests 设置请求头 Header

headers 是解决 requests 请求反爬的方法之一,相当于我们进去这个网页
的服务器本身,假装自己本身在爬取数据。

代码示例(百度)

# 获取百度
url = r"http://www.baidu.com/"
response = requests.get(url)
print(response.text)
print(response.status_code)
# 获取百度图片
url=r"https://www.baidu.com/img/PCtm_d9c8750bed0b3c7d089fa7d55720d6cf.png"
response = requests.get(url)
with open("baidu1.png","wb") as fp:
    fp.write(response.content)
# 添加参数headers
url=r"https://www.baidu.com/"
headers1 = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36",
    "Accept":"application/json, text/javascript, */*; q=0.01",
    "Accept-Encoding":"gzip, deflate, br"
}
response = requests.get(url,headers=headers1)
print(response.text)
print(response.status_code)
# 添加参数pararms 百度框搜索 大数据薪酬
url=r"https://www.baidu.com/s"
headers1 = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36",
    "Accept":"text/javascript, application/javascript, application/ecmascript, application/x-ecmascript, */*; q=0.01",
    "Accept-Encoding":"gzip, deflate, br"
}
params1={
    "wd":"大数据薪酬"
}
response=requests.get(url,headers=headers1,params=params1)
response.encoding="utf-8"
print(response.text)
print(response.status_code)
print(response.request.url)

你可能感兴趣的:(python)