爬取视频解析网站的解析接口

 我的网站：www.liunian.online （流年在线vip视频解析）

空间到期没钱续费已关闭  (。•́︿•̀。)，等有钱吃饭了再买。当初建这个网站就是为了熟悉一下建站过程，用的解析接口都是从别人的网站拿的，源码也是从网上下载的233333333

 

正文：

想动手写一个爬取接口的爬虫，练练手。

不写不知道，一写吓一跳，动手能力确实差，以后还是要多写多练！

附上代码：

 1 import requests
 2 from bs4 import BeautifulSoup
 3 
 4 def get_htmltext(url):
 5     try:
 6         kv = {'user-agent':'mozilla/5.0'}
 7         r = requests.get(url,headers=kv,timeout=30)
 8         r.raise_for_status()
 9         r.encoding = r.apparent_encoding
10         return r.text
11     except:
12         return ''
13 
14 def get_api(html,ulist):
15     soup = BeautifulSoup(html,'html.parser')
16     op = soup.find_all('option')
17     for tag in op:
18         ulist.append(tag.attrs['value'])
19 
20 def save_api(ulist,path):
21     with open(path,'a') as f:
22         f.write('\n'+'---------(此次爬取接口如下)------------------------')
23         for api in ulist:
24             f.write('\n'+ api + '\n')
25         f.close()
26 
27 def main():
28     info = []
29     save_path = 'D://videoapi.txt'
30     url = 'http://' + input("输入要爬取的视频解析网站的网址：")
31     html = get_htmltext(url)
32     get_api(html,info)
33     save_api(info,save_path)
34 
35 main()

目瞪狗呆：原来会自动创建video.txt文件，原来。。。

 

代码还有很多可以优化的地方，先这样吧，我要去上课啦  ε=ε=ε=┌( ´°ェ°)┘

 

转载于:https://www.cnblogs.com/zhiyuanxiong/p/9083433.html