转自:https://www.wukong.com/answer/6581679385470828813/?iid=39055545733&app=news_article&share_ansid=6583973142996189453&app_id=13&tt_from=mobile_qq&utm_source=mobile_qq&utm_medium=toutiao_ios&utm_campaign=client_share
那我只能推荐一记爬虫神器——requests了。
pip install requests
import requests
r = requests.get("https://www.wukong.com/")
print(r.text)
这样就能爬取你想要的主页的了。
后面你还需要requests-html这个包来精确解析抽取你想要的内容。
总之,requests和requests-html是绝对是python非常用趣的模块,谁用谁知道。
python第三方模块众多,下面我介绍一些比较实用而又有趣的模块,主要分为爬虫、数据处理、可视化、机器学习、神经网络、股票财经、游戏这7个方面,主要内容如下:
1.爬虫:相信大部分人都用python爬过数据,目前来说,比较流行的框架是scrapy,对爬取数据来说,简单方便了不少,只需要自己添加少量的代码,框架便可启动开始爬取,当然,还有简单地爬虫包,像requests+BeautifulSoup,对于爬取简单网页来说,也足够了:
2.数据处理:numpy,scipy,pandas这些包对于处理数据来说非常方便,线性代数、科学计算等,利用numpy处理起来非常方便,pandas提供的DataFrame类可以方便的处理各种类型的文件,像excel,csv等,是分析数据的利器:
3.可视化:这里的包其实也挺多的,除了我们常用的matplotlib外,还有seaborn,pyecharts等,可以绘制出各种各样类型的图形,除了常见的线图、饼图和柱状图外,还可以绘制出地图、词云图、地理坐标系图等,美观大方,所需的代码量还少,更容易上手:
4.机器学习:说起python机器学习,大部分人都应该scikit-learn这个包,常见的机器学习算法,像回归、分类、聚类、降维、模型选择等,这里都有现成的代码可供利用,对于这机器学习方面感兴趣的人来说,这是一个入门机器学习的好包:
5.神经网络:说起神经网络,大部分人都应该会想起深度学习,对应的就会想到谷歌目前非常流行的深度学习框架—tensorflow,tesndorflow可被用于语音识别和图像识别等众多领域,其发展前景光明,对于这方面感兴趣的科研人员来说,是一个很不错的工具,当然,还有基于tensorflow的theano,keras等,都是学习神经网络的不错选择:
6.股票财经:对于股票和财经比较感兴趣的朋友来说,python也提供了现成的库来获取和分析股票财经数据—tushare,tushare是一个免费、开源的python财经数据接口包,可以快速的获取到国内大部分股票数据,对于金融分析人员来说,可以说是一个利器,降低了许多任务量:
7.游戏:python专门为游戏开发提供了一个平台—pygame,对于想快速开发小型游戏的用户来说,是一个很不错的选择,简单易学、容易上手,脱离了低级语言的束缚,使用起来也挺方便的:
目前就介绍这7个方面和对应的包,比较流行也比较实用、有趣,感兴趣的朋友,可以了解一下,希望以上分享的内容能对你有所帮助吧。
153 赞 踩 28评论
分享
举报
如果你想下载腾讯视频、优酷、爱奇艺里面的视频,你一定要试试you-get这个模块,实在太好用了,当然也可以下载youtube的视频,让我惊艳的是它居然支持国内网站下载。
You-Get是一个小型命令行实用程序,用于从Web下载媒体内容(视频,音频,图像),以防没有其他方便的方法。
以下是您如何使用 它从YouTube下载视频:
这可能是为什么你可能想要使用它:
您在互联网上享受了一些东西,只是想为了您自己的乐趣下载它们。
您可以通过计算机在线观看自己喜欢的视频,但禁止保存。 您觉得自己无法控制自己的计算机。 (并不是一个开放的Web应该如何工作。)
您希望摆脱任何闭源技术或专有JavaScript代码,并禁止在您的计算机上运行Flash等内容。
你是黑客文化和自由软件的坚持者。
你能得到什么:
在媒体播放器中流式传输在线视频。 没有网络浏览器,没有更多广告。
通过抓取网页下载(感兴趣的)图像。
下载任意非HTML内容,即二进制文件。
有兴趣的朋友可以试一试,做为一个资深电影迷,上手也简单,真的挺好用的。
我会在这里发布所有与科技、科学有关的有趣文章,欢迎订阅我的头条号。偶尔也回答有趣的问题,有问题可随时在评论区回复和讨论。