Python学习笔记|模块、爬虫、网页、Json

14关——模块调用

1、模块是什么?

模块是一个PY文件。里面有别人已经写好的的类、方法、属性、函数、变量……就好像是一个doc文件,里面已经写好文字。

2、什么是爬虫?

专业的说法是“web抓取”。和传统上网冲浪不同的是,网络爬虫会按照我们设计的规则,在网上抓取想要的数据。就像一只只蜘蛛在网上爬来爬去,捕获猎物。

它能够做很多事情。比如商业分析、舆情监测、生活助手……智能音箱的工作逻辑,就是把我们说的话,通过服务器进行语音识别/语义理解,在网上抓取相关数据,再把执行的结果返回给语音设备。

同时爬虫技术也被应用在很多灰色产业:娱乐/出行抢票、微博僵尸粉刷赞刷评论、针对关键词刷点击量换取搜索引擎更高排名、抓取政府公示的企业信用信息制作信用系统……

3、如何使用模块?

0,下载需要的模块;1,在自己的代码中引用该模块;2,给模块输入参数,你得到一个对象;3,借助这个对象的属性或方法完成项目。

针对每个模块,我们只需要搞懂三个问题:0,模块能做什么?需要我输入什么?得到的对象有哪些属性和方法可用?(模块三问)

例子:requests模块

“模块三问”:

0:requests模块可以用于下载数据

1:需要输入网址

2:可以使用得到的对象的content和text

上代码:

import requests

#载入模块

a=requests.get('http://baidu.com')

#输入网址

print(a.text)

#打印a的文本内容(这里是百度首页的源代码)

b=open('b.text','w')

#新建一个b文档,该文档可写

for word in a.text:

    try:

    b.write(word)

    except:

    pass

    continue

#把a文档的内容写入b文档,如果报错就跳过

b.close()

15关——爱豆发微说喜欢我

1、什么是html

html是一种文件格式,可以用浏览器打开。就好比mp3文件用播放器打开,doc文件用word打开。

16关——寻找周杰伦

1、什么是json

模块三问:

模块可以做什么?json可以把文本转化为列表

需要输入什么?一个文本

可以得到对象有哪些属性和方法可以用?转化为列表,可以调取列表中的数据

例子:用json从网页抓取周杰伦歌曲信息

“”

import requests,json

url1='https://c.y.qq.com/soso/fcgi-bin/client_search_cp?ct=24&qqmusic_ver=1298&new_json=1&remoteplace=txt.yqq.top&searchid=28047390655781795&t=0&aggr=1&cr=1&catZhida=1&lossless=0&flag_qc=0&p=1&n=20&w=%E5%91%A8%E6%9D%B0%E4%BC%A6&g_tk=5381&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=utf-8¬ice=0&platform=yqq.json&needNewCode=0'

url2='https://c.y.qq.com/soso/fcgi-bin/client_search_cp?ct=24&qqmusic_ver=1298&new_json=1&remoteplace=txt.yqq.top&searchid=28047390655781795&t=0&aggr=1&cr=1&catZhida=1&lossless=0&flag_qc=0&p=2&n=20&w=%E5%91%A8%E6%9D%B0%E4%BC%A6&g_tk=5381&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=utf-8¬ice=0&platform=yqq.json&needNewCode=0'

url3='https://c.y.qq.com/soso/fcgi-bin/client_search_cp?ct=24&qqmusic_ver=1298&new_json=1&remoteplace=txt.yqq.top&searchid=28047390655781795&t=0&aggr=1&cr=1&catZhida=1&lossless=0&flag_qc=0&p=3&n=20&w=%E5%91%A8%E6%9D%B0%E4%BC%A6&g_tk=5381&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=utf-8¬ice=0&platform=yqq.json&needNewCode=0'

a=[url1,url2,url3]

for i in a:

    b=requests.get(i)

    c=json.loads(b.text)

    music=c['data']['song']['list']

    for y in music:

        print('歌名:'+y['name'])

        print('所属专辑:'+y['album']['name'])

        print('播放时长:'+str(y['interval'])+'秒')

        print('播放链接:'+y['url'])

“”

终端得到的数据:

歌名:告白气球

所属专辑:周杰伦的床边故事

播放时长:215秒

播放链接:http://stream10.qqmusic.qq.com/107192078.wma

歌名:晴天

所属专辑:叶惠美

播放时长:269秒

播放链接:http://stream10.qqmusic.qq.com/97773.wma

歌名:不能说的秘密

所属专辑:不能说的秘密 电影原声带

播放时长:296秒

播放链接:http://stream10.qqmusic.qq.com/403778.wma

歌名:稻香

所属专辑:魔杰座

播放时长:223秒

播放链接:http://stream10.qqmusic.qq.com/449205.wma

歌名:等你下课(with 杨瑞代)

所属专辑:等你下课

播放时长:270秒

播放链接:http://stream10.qqmusic.qq.com/212877900.wma

歌名:七里香

所属专辑:七里香

播放时长:299秒

播放链接:http://stream10.qqmusic.qq.com/102065756.wma

歌名:一路向北

所属专辑:J III MP3 Player

播放时长:295秒

播放链接:http://stream10.qqmusic.qq.com/5105986.wma

歌名:搁浅

所属专辑:七里香

播æ¾时长:240秒

播放链接:http://stream10.qqmusic.qq.com/102065750.wma

歌名:青花瓷

所属专辑:我很忙

播放时长:239秒

播放链接:http://stream10.qqmusic.qq.com/410316.wma

歌名:简单爱

所属专辑:范特西

播放时长:271秒

播放链接:http://stream10.qqmusic.qq.com/97744.wma

歌名:夜曲

所属专辑:十一月的萧邦

播放时长:226秒

播放链接:http://stream10.qqmusic.qq.com/718477.wma

歌名:给我一首歌的时间

所属专辑:魔杰座

播放时长:253秒

播放链接:http://stream10.qqmusic.qq.com/101091484.wma

歌名:蒲公英的约定

所属专辑:我很忙

播放时长:247秒

播放链接:http://stream10.qqmusic.qq.com/102340965.wma

歌名:烟花易冷

所属专辑:跨时代

播放时长:263秒

播放链接:http://stream10.qqmusic.qq.com/680279.wma

歌名:安静

所属专辑:范特西

播放时长:334秒

播放链接:http://stream10.qqmusic.qq.com/97743.wma

歌名:彩虹

所å±专辑:我很忙

播放时长:263秒

播放链接:http://stream10.qqmusic.qq.com/102340966.wma

歌名:半岛铁盒

所属专辑:八度空间

播放时长:317秒

播放链接:http://stream10.qqmusic.qq.com/97761.wma

歌名:以父之名

所属专辑:叶惠美

播放时长:342秒

播放链接:http://stream10.qqmusic.qq.com/97771.wma

歌名:听妈妈的话

所属专辑:依然范特西

播放时长:265秒

播放链接:http://stream10.qqmusic.qq.com/102066257.wma

歌名:说好的幸福呢

所属专辑:魔杰座

播放时长:256秒

播放链接:http://stream10.qqmusic.qq.com/449200.wma

歌名:发如雪

所属专辑:十一月的萧邦

播放时长:299秒

播放链接:http://stream10.qqmusic.qq.com/718475.wma

歌名:甜甜的

所属专辑:我很忙

播放时长:243秒

播放链接:http://stream10.qqmusic.qq.com/102340969.wma

歌名:最长的电影

所属专辑:我很忙

播放时长:235秒

播放链接:http://stream10.qqmusic.qq.com/5177785.wma

歌名:算什么男人

所属专辑:哎呦,不错哦

播放时长:289秒

播放链接:http://stream10.qqmusic.qq.com/101369814.wma

歌名:退后

所属专辑:依然范特西

播放时长:261秒

播放链接:http://stream10.qqmusic.qq.com/102066449.wma

歌名:东风破

所属专辑:叶惠美

播放时长:315秒

播放链接:http://stream10.qqmusic.qq.com/97775.wma

歌名:花海

所属专辑:魔杰座

播放时长:264秒

播放链接:http://stream10.qqmusic.qq.com/449198.wma

歌名:开不了口

所属专辑:范特西

播放时长:285秒

播放链接:http://stream10.qqmusic.qq.com/97745.wma

歌名:龙卷风

所属专辑:Jay

播放时长:250秒

播放链接:http://stream10.qqmusic.qq.com/97758.wma

歌名:手写的从前

所属专辑:哎呦,不错哦

播放时长:297秒

播放链接:http://stream10.qqmusic.qq.com/101787870.wma

歌名:我不配

所属专辑:我很忙

播放时长:288秒

播放链接:http://stream10.qqmusic.qq.com/102700397.wma

歌名:明明就

所属专辑:十二新作

播放时长:260秒

播放链接:http://stream10.qqmusic.qq.com/3585884.wma

歌名:红尘客栈

所属专辑:十二新作

播放时长:274秒

播放链接:http://stream10.qqmusic.qq.com/5177680.wma

歌名:爱在西元前

所属专辑:范特西

播放时长:234秒

播放链接:http://stream10.qqmusic.qq.com/97740.wma

歌名:黑色毛衣

所属专辑:十一月的萧邦

播放时长:252秒

播放链接:http://stream10.qqmusic.qq.com/718480.wma

歌名:星晴

所属专辑:Jay

播放时长:259秒

播放链接:http://stream10.qqmusic.qq.com/97752.wma

歌名:夜的第七章

所属专辑:依然范特西

播放时长:228秒

播放链接:http://stream10.qqmusic.qq.com/466722.wma

歌名:断了的弦

所属专辑:寻找周杰伦

播放时长:297秒

播放链接:http://stream10.qqmusic.qq.com/97782.wma

歌名:珊瑚海

所属专辑:十一月的萧邦

播放时长:255秒

播放链接:http://stream10.qqmusic.qq.com/718486.wma

歌名:轨迹

所属专辑:寻找周杰伦

播放时长:326秒

播放链接:http://stream10.qqmusic.qq.com/97784.wma

歌名:霍元甲

所属专辑:霍元甲

播放时长:278秒

播放链接:http://stream10.qqmusic.qq.com/165121.wma

歌名:枫

所属专辑:十一月的萧邦

播放时长:275秒

播放链接:http://stream10.qqmusic.qq.com/718479.wma

歌名:借口

所属专辑:七里香

播放时长:260秒

播放链接:http://stream10.qqmusic.qq.com/102065757.wma

歌名:回到过去

所属专辑:八度空间

播放时长:231秒

播放链接:http://stream10.qqmusic.qq.com/97767.wma

歌名:听见下雨的声音

所属专辑:哎呦,不错哦

播放时长:279秒

播放链接:http://stream10.qqmusic.qq.com/101787873.wma

歌名:菊花台

所属专辑:依然范特西

播放时长:293秒

播放链接:http://stream10.qqmusic.qq.com/102066450.wma

歌名:兰亭序

所属专辑:魔杰座

播放时长:253秒

播放链接:http://stream10.qqmusic.qq.com/449201.wma

歌名:可爱女人

所属专辑:Jay

播放时长:239秒

播放链接:http://stream10.qqmusic.qq.com/97750.wma

歌名:说了再见

所属专辑:跨时代

播放时长:282秒

播放链接:http://stream10.qqmusic.qq.com/680278.wma

歌名:布拉格广场

所属专辑:看我72变

播放时长:294秒

播放链接:http://stream10.qqmusic.qq.com/13410.wma

歌名:不爱我就拉倒

所属专辑:不爱我就拉倒

播放时长:245秒

播放链接:http://stream10.qqmusic.qq.com/213922043.wma

歌名:不该 (with aMEI)

所属专辑:周杰伦的床边故事

播放时长:290秒

播放链接:http://stream10.qqmusic.qq.com/107192076.wma

歌名:一路向北

所属专辑:十一月的萧邦

播放时长:295秒

播放链接:http://stream10.qqmusic.qq.com/718478.wma

歌名:爷爷泡的茶

所属专辑:八度空间

播放时长:238秒

播放链接:http://stream10.qqmusic.qq.com/97766.wma

歌名:爱情废柴

所属专辑:周杰伦的床边故事

播放时长:285秒

播放链接:http://stream10.qqmusic.qq.com/107192080.wma

歌名ï¼超人不会飞

所属专辑:跨时代

播放时长:300秒

播放链接:http://stream10.qqmusic.qq.com/680287.wma

歌名:黑色幽默

所属专辑:Jay

播放时长:283秒

播放链接:http://stream10.qqmusic.qq.com/97755.wma

歌名:千里之外

所属专辑:依然范特西

播放时长:256秒

播放链接:http://stream10.qqmusic.qq.com/102698215.wma

歌名:屋顶

所属专辑:爱回温

播放时长:318秒

播放链接:http://stream10.qqmusic.qq.com/95742.wma

歌名:听爸爸的话

所属专辑:哎呦,不错哦

播放时长:263秒

播放链接:http://stream10.qqmusic.qq.com/101787871.wma

你可能感兴趣的:(Python学习笔记|模块、爬虫、网页、Json)