转载请注明作者和出处： http://blog.csdn.net/c406495762
一 前言
二 网络爬虫简介
三 爬虫实战
小说下载
1 实战背景
2 小试牛刀
3Beautiful Soup
3整合代码
优美壁纸下载
爱奇艺VIP视频下载
四 总结
一 前言
强烈建议： 请在电脑的陪同下，阅读本文。本文以实战为主，阅读过程如稍有不适，还望多加练习。
网络小说下载(静态网站)
优美壁纸下载(动态网站)
爱奇艺VIP视频下载
二 网络爬虫简介
网络爬虫，也叫网络蜘蛛(Web Spider)。它根据网页地址(URL)爬取网页内容，而网页地址(URL)就是我们在浏览器中输入的网站链接。比如：https://www.baidu.com/，它就是一个URL。
在讲解爬虫内容之前，我们需要先学习一项写爬虫的必备技能：审查元素（如果已掌握，可跳过此部分内容）。
1 审查元素
在浏览器的地址栏输入URL地址，在网页处右键单击，找到检查。(不同浏览器的叫法不同，Chrome浏览器叫做检查，Firefox浏览器叫做查看元素，但是功能都是相同的)
我们可以看到，右侧出现了一大推代码，这些代码就叫做HTML。什么是HTML？举个容易理解的例子：我们的基因决定了我们的原始容貌，服务器返回的HTML决定了网站的原始容貌。
为啥说是原始容貌 呢？因为人可以整容啊 ！扎心了，有木有？那网站也可以”整容”吗？可以！请看下图：
我能有这么多钱吗？显然不可能。我是怎么给网站”整容”的呢？就是通过修改服务器返回的HTML信息。我们每个人都是”整容大师”，可以修改页面信息。我们在页面的哪个位置点击审查元素，浏览器就会为我们定位到相应的HTML位置，进而就可以在本地更改HTML信息。
再举个小例子： 我们都知道，使用浏览器”记住密码”的功能，密码会变成一堆小黑点，是不可见的。可以让密码显示出来吗？可以，只需给页面”动个小手术”！以淘宝为例，在输入密码框处右键，点击检查。
可以看到，浏览器为我们自动定位到了相应的HTML位置。将下图中的password属性值改为text属性值(直接在右侧代码处修改 )：
我们让浏览器记住的密码就这样显现出来了：
说这么多，什么意思呢？浏览器就是作为客户端从服务器端获取信息，然后将信息解析，并展示给我们的。 我们可以在本地修改HTML信息，为网页”整容”，但是我们修改的信息不会回传到服务器，服务器存储的HTML信息不会改变。刷新一下界面，页面还会回到原本的样子。这就跟人整容一样，我们能改变一些表面的东西，但是不能改变我们的基因。
2 简单实例
网络爬虫的第一步就是根据URL，获取网页的HTML信息。 在Python3中，可以使用urllib.request 和requests 进行网页爬取。
urllib库是python内置的，无需我们额外安装，只要安装了Python就可以使用这个库。
requests库是第三方库，需要我们自己安装。
requests库强大好用，所以本文使用requests库获取网页的HTML信息。requests库的github地址：https://github.com/requests/requests
(1) requests安装
在cmd中，使用如下指令安装requests：
pip install requests
或者：
easy_install requests
(2) 简单实例
requests库的基础方法如下：
官方中文教程地址：http://docs.python-requests.org/zh_CN/latest/user/quickstart.html
requests库的开发者为我们提供了详细的中文教程，查询起来很方便。本文不会对其所有内容进行讲解，摘取其部分使用到的内容，进行实战说明。
首先，让我们看下requests.get()方法，它用于向服务器发起GET请求，不了解GET请求没有关系。我们可以这样理解：get的中文意思是得到、抓住，那这个requests.get()方法就是从服务器得到、抓住数据，也就是获取数据。让我们看一个例子(以 www.gitbook.cn为例)来加深理解：
import requests
if __name__ == '__main__' :
target = 'http://gitbook.cn/'
req = requests.get(url=target)
print(req.text)
requests.get()方法必须设置的一个参数就是url，因为我们得告诉GET请求，我们的目标是谁，我们要获取谁的信息。运行程序看下结果：
左侧是我们程序获得的结果，右侧是我们在www.gitbook.cn网站审查元素获得的信息。我们可以看到，我们已经顺利获得了该网页的HTML信息。这就是一个最简单的爬虫实例，可能你会问，我只是爬取了这个网页的HTML信息，有什么用呢？客官稍安勿躁，接下来进入我们的实战正文。
三 爬虫实战
1 小说下载
(1) 实战背景
小说网站-笔趣看：URL：http://www.biqukan.com/
笔趣看是一个盗版小说网站，这里有很多起点中文网的小说，该网站小说的更新速度稍滞后于起点中文网正版小说的更新速度。并且该网站只支持在线浏览，不支持小说打包下载。因此，本次实战就是从该网站爬取并保存一本名为《一念永恒》的小说，该小说是耳根正在连载中的一部玄幻小说。PS：本实例仅为交流学习，支持耳根大大，请上起点中文网订阅。
(2) 小试牛刀
我们先看下《一念永恒》小说的第一章内容，URL：http://www.biqukan.com/1_1094/5403177.html
我们先用已经学到的知识获取HTML信息试一试，编写代码如下：
import requests
if __name__ == '__main__' :
target = 'http://www.biqukan.com/1_1094/5403177.html'
req = requests.get(url=target)
print(req.text)
运行代码，可以看到如下结果：
可以看到，我们很轻松地获取了HTML信息。但是，很显然，很多信息是我们不想看到的，我们只想获得如右侧所示的正文内容，我们不关心div、br这些html标签。如何把正文内容从这些众多的html标签中提取出来呢？这就是本次实战的主要内容。
（3）Beautiful Soup
爬虫的第一步，获取整个网页的HTML信息，我们已经完成。接下来就是爬虫的第二步，解析HTML信息，提取我们感兴趣的内容。 对于本小节的实战，我们感兴趣的内容就是文章的正文。提取的方法有很多，例如使用正则表达式、Xpath、Beautiful Soup等。对于初学者而言，最容易理解，并且使用简单的方法就是使用Beautiful Soup提取感兴趣内容。
Beautiful Soup的安装方法和requests一样，使用如下指令安装(也是二选一)：
pip install beautifulsoup4
easy_install beautifulsoup4
一个强大的第三方库，都会有一个详细的官方文档。我们很幸运，Beautiful Soup也是有中文的官方文档。
URL：http://beautifulsoup.readthedocs.io/zh_CN/latest/
同理，我会根据实战需求，讲解Beautiful Soup库的部分使用方法，更详细的内容，请查看官方文档。
现在，我们使用已经掌握的审查元素方法，查看一下我们的目标页面，你会看到如下内容：
不难发现，文章的所有内容都放在了一个名为div的“东西下面”，这个”东西”就是html标签。HTML标签是HTML语言中最基本的单位，HTML标签是HTML最重要的组成部分。不理解，没关系，我们再举个简单的例子：
一个女人的包包里，会有很多东西，她们会根据自己的习惯将自己的东西进行分类放好。镜子和口红这些会经常用到的东西，会归放到容易拿到的外侧口袋里。那些不经常用到，需要注意安全存放的证件会放到不容易拿到的里侧口袋里。
html标签就像一个个“口袋”，每个“口袋”都有自己的特定功能，负责存放不同的内容。显然，上述例子中的div标签下存放了我们关心的正文内容。这个div标签是这样的：
<div id ="content" , class ="showtxt" >
细心的朋友可能已经发现，除了div字样外，还有id和class。id和class就是div标签的属性，content和showtxt是属性值，一个属性对应一个属性值。这东西有什么用？它是用来区分不同的div标签的，因为div标签可以有很多，我们怎么加以区分不同的div标签呢？就是通过不同的属性值。
仔细观察目标网站一番，我们会发现这样一个事实：class属性为showtxt的div标签，独一份！这个标签里面存放的内容，是我们关心的正文部分。
知道这个信息，我们就可以使用Beautiful Soup提取我们想要的内容了，编写代码如下：
from bs4 import BeautifulSoup
import requests
if __name__ == "__main__" :
target = 'http://www.biqukan.com/1_1094/5403177.html'
req = requests.get(url = target)
html = req.text
bf = BeautifulSoup(html)
texts = bf.find_all('div' , class_ = 'showtxt' ) print(texts)
在解析html之前，我们需要创建一个Beautiful Soup对象。BeautifulSoup函数里的参数就是我们已经获得的html信息。然后我们使用find_all方法，获得html信息中所有class属性为showtxt的div标签。find_all方法的第一个参数是获取的标签名，第二个参数class_是标签的属性，为什么不是class，而带了一个下划线呢？因为python中class是关键字，为了防止冲突，这里使用class_表示标签的class属性，class_后面跟着的showtxt就是属性值了。看下我们要匹配的标签格式：
<div id ="content" , class ="showtxt" >
这样对应的看一下，是不是就懂了？可能有人会问了，为什么不是find_all(‘div’, id = ‘content’, class_ = ‘showtxt’)?这样其实也是可以的，属性是作为查询时候的约束条件，添加一个class_=’showtxt’条件，我们就已经能够准确匹配到我们想要的标签了，所以我们就不必再添加id这个属性了。运行代码查看我们匹配的结果：
我们可以看到，我们已经顺利匹配到我们关心的正文内容，但是还有一些我们不想要的东西。比如div标签名，br标签，以及各种空格。怎么去除这些东西呢？我们继续编写代码：
from bs4 import BeautifulSoup
import requests
if __name__ == "__main__" :
target = 'http://www.biqukan.com/1_1094/5403177.html'
req = requests.get (url = target) html = req.text
bf = BeautifulSoup(html)
texts = bf.find_all('div' , class_ = 'showtxt' )
print(texts[0 ].text .replace ('\xa0' *8 ,'\n\n' ))
find_all匹配的返回的结果是一个列表。提取匹配结果后，使用text属性，提取文本内容，滤除br标签。随后使用replace方法，剔除空格，替换为回车进行分段。 在html中是用来表示空格的。replace(‘\xa0’*8,’\n\n’)就是去掉下图的八个空格符号，并用回车代替：
程序运行结果如下：
可以看到，我们很自然的匹配到了所有正文内容，并进行了分段。我们已经顺利获得了一个章节的内容，要想下载正本小说，我们就要获取每个章节的链接。我们先分析下小说目录：
URL：http://www.biqukan.com/1_1094/
通过审查元素，我们发现可以发现，这些章节都存放在了class属性为listmain的div标签下，选取部分html代码如下：
<div class ="listmain" >
<dl >
<dt > 《一念永恒》最新章节列表dt >
<dd > <a href ="/1_1094/15932394.html" > 第1027章 第十道门a >dd >
<dd > <a href ="/1_1094/15923072.html" > 第1026章 绝伦道法！a >dd >
<dd > <a href ="/1_1094/15921862.html" > 第1025章 长生灯！a >dd >
<dd > <a href ="/1_1094/15918591.html" > 第1024章 一目晶渊a >dd >
<dd > <a href ="/1_1094/15906236.html" > 第1023章 通天道门a >dd >
<dd > <a href ="/1_1094/15903775.html" > 第1022章 四大凶兽！a >dd >
<dd > <a href ="/1_1094/15890427.html" > 第1021章 鳄首！a >dd >
<dd > <a href ="/1_1094/15886627.html" > 第1020章 一触即发！a >dd >
<dd > <a href ="/1_1094/15875306.html" > 第1019章 魁祖的气息！a >dd >
<dd > <a href ="/1_1094/15871572.html" > 第1018章 绝望的魁皇城a >dd >
<dd > <a href ="/1_1094/15859514.html" > 第1017章 我还是恨你！a >dd >
<dd > <a href ="/1_1094/15856137.html" > 第1016章 从来没有世界之门！a >dd >
<dt > 《一念永恒》正文卷dt > <dd > <a href ="/1_1094/5386269.html" > 外传1 柯父。a >dd >
<dd > <a href ="/1_1094/5386270.html" > 外传2 楚玉嫣。a >dd > <dd > <a href ="/1_1094/5386271.html" > 外传3 鹦鹉与皮冻。a >dd >
<dd > <a href ="/1_1094/5403177.html" > 第一章 他叫白小纯a >dd > <dd > <a href ="/1_1094/5428081.html" > 第二章 火灶房a >dd >
<dd > <a href ="/1_1094/5433843.html" > 第三章 六句真言a >dd > <dd > <a href ="/1_1094/5447905.html" > 第四章 炼灵a >dd >
dl >
div >
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
在分析之前，让我们先介绍一个概念：父节点、子节点、孙节点。和
标签的开始和结束的位置，他们是成对出现的，有开始位置，就有结束位置。我们可以看到，在
标签包含
标签，那这个
标签就是
标签的子节点，
标签又包含
标签和
标签，那么
标签和
标签就是
标签的孙节点。有点绕？那你记住这句话：
谁包含谁，谁就是谁儿子！
他们之间的关系都是相对的。 比如对于
看到这里可能有人会问，这有好多
我们将之前获得的第一章节的URL和
http ://www.biqukan.com/1 _1094/5403177. html
<a href="/1_1094/5403177.html" >第一章 他叫白小纯a> 不难发现，
总结一下：小说每章的链接放在了class属性为listmain的标签下的
标签中。链接具体位置放在html->body->div->dl->dd->a的href属性中。先匹配class属性为listmain的
标签，再匹配
标签。编写代码如下：
from bs4 import BeautifulSoup
import requests
if __name__ == "__main__" :
target = 'http://www.biqukan.com/1_1094/'
req = requests.get (url = target)
html = req.text
div_bf = BeautifulSoup(html)
div = div_bf.find_all('div' , class_ = 'listmain' )
print(div [0 ])
还是使用find_all方法，运行结果如下：
很顺利，接下来再匹配每一个
<a href ="/1_1094/5403177.html" > 第一章 他叫白小纯a > 方法很简单，对Beautiful Soup返回的匹配结果a，使用a.get(‘href’)方法就能获取href的属性值，使用a.string就能获取章节名，编写代码如下：
from bs4 import BeautifulSoup
import requests
if __name__ == "__main__" :
server = 'http://www.biqukan.com/'
target = 'http://www.biqukan.com/1_1094/'
req = requests.get (url = target) html = req.text
div_bf = BeautifulSoup(html)
div = div_bf.find_all('div' , class_ = 'listmain' )
a_bf = BeautifulSoup(str(div [0 ]))
a = a_bf.find_all('a' )
for each in a :
print(each .string , server + each .get ('href' ))
1
2
3
4
5
6
7
8
9
10
11
12
13
因为find_all返回的是一个列表，里边存放了很多的
最上面匹配的一千多章的内容是最新更新的12章节的链接。这12章内容会和下面的重复，所以我们要滤除，除此之外，还有那3个外传，我们也不想要。这些都简单地剔除就好。
（3）整合代码
每个章节的链接、章节名、章节内容都有了。接下来就是整合代码，将获得内容写入文本文件存储就好了。编写代码如下：
from bs4 import BeautifulSoup
import requests, sys
"""
类说明:下载《笔趣看》网小说《一念永恒》
Parameters:
无
Returns:
无
Modify:
2017-09-13
"""
class downloader (object) :def __init__ (self) :'http://www.biqukan.com/'
self.target = 'http://www.biqukan.com/1_1094/'
self.names = []
self.urls = []
self.nums = 0
"""
函数说明:获取下载链接
Parameters:
无
Returns:
无
Modify:
2017-09-13
"""
def get_download_url (self) :'div' , class_ = 'listmain' )
a_bf = BeautifulSoup(str(div[0 ]))
a = a_bf.find_all('a' )
self.nums = len(a[15 :])
for each in a[15 :]:
self.names.append(each.string)
self.urls.append(self.server + each.get('href' ))
"""
函数说明:获取章节内容
Parameters:
target - 下载连接(string)
Returns:
texts - 章节内容(string)
Modify:
2017-09-13
"""
def get_contents (self, target) :'div' , class_ = 'showtxt' )
texts = texts[0 ].text.replace('\xa0' *8 ,'\n\n' )
return texts
"""
函数说明:将爬取的文章内容写入文件
Parameters:
name - 章节名称(string)
path - 当前路径下,小说保存名称(string)
text - 章节内容(string)
Returns:
无
Modify:
2017-09-13
"""
def writer (self, name, path, text) :True
with open(path, 'a' , encoding='utf-8' ) as f:
f.write(name + '\n' )
f.writelines(text)
f.write('\n\n' )
if __name__ == "__main__" :
dl = downloader()
dl.get_download_url()
print('《一年永恒》开始下载：' )
for i in range(dl.nums):
dl.writer(dl.names[i], '一念永恒.txt' , dl.get_contents(dl.urls[i]))
sys.stdout.write(" 已下载:%.3f%%" % float(i/dl.nums) + '\r' )
sys.stdout.flush()
print('《一年永恒》下载完成' )
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
很简单的程序，单进程跑，没有开进程池。下载速度略慢，喝杯茶休息休息吧。代码运行效果如下图所示：
2 优美壁纸下载
（1）实战背景
已经会爬取文字了，是不是感觉爬虫还是蛮好玩的呢？接下来，让我们进行一个进阶实战，了解一下反爬虫。
URL：https://unsplash.com/
看一看这些优美的壁纸，这个网站的名字叫做Unsplash，免费高清壁纸分享网是一个坚持每天分享高清的摄影图片的站点，每天更新一张高质量的图片素材，全是生活中的景象作品，清新的生活气息图片可以作为桌面壁纸也可以应用于各种需要的环境。
看到这么优美的图片，我的第一反应就是想收藏一些，作为知乎文章的题图再好不过了。每张图片我都很喜欢，批量下载吧，不多爬，就下载50张好了。
（2）实战进阶
我们已经知道了每个html标签都有各自的功能。
"https://images.unsplash.com/photo-1428509774491-cfac96e12253?dpr=1&auto=compress,format&fit=crop&w=360&h=240&q=80&cs=tinysrgb&crop=" class ="cV68d" style="width: 220px; height: 147px;" > 可以看到，
那么，让我们先捋一捋这个过程：
使用requeusts获取整个网页的HTML信息；
使用Beautiful Soup解析HTML信息，找到所有
根据图片存放地址，下载图片。
我们信心满满地按照这个思路爬取Unsplash试一试，编写代码如下：
import requests
if __name__ == '__main__' :
target = 'https://unsplash.com/'
req = requests.get(url=target)
print(req.text)
按照我们的设想，我们应该能找到很多
你可能感兴趣的:(Python)
100 个 Python练习题[附代码]
宇宙大豹发
python 算法 java
需要更多python项目源码打包版本，领取方式在文末实例001：数字组合题目：有四个数字：1、2、3、4，能组成多少个互不相同且无重复数字的三位数？各是多少？程序分析：遍历全部可能，把有重复的剃掉。简便方法：用itertools中的permutations即可。importitertoolssum2=0a=[1,2,3,4]foriinitertools.permutations(a,3):pri
用Python搞定接口自动化测试：轻松实现RPC协议接口测试_python测试rpc接口
2401_84141210
程序员 rpc 网络协议 网络
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化的资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！Hessian是一款基于HTTP协议的RPC框架，采
25道Python练手题（附详细答案），赶紧收藏！Python入门|Python学习
豆本-豆豆奶
python 学习 数据挖掘 开发语言 爬虫 人工智能
题目1：水仙花数水仙花数（Narcissisticnumber）也被称为超完全数字不变数（pluperfectdigitalinvariant,PPDI）、自恋数、自幂数、阿姆斯壮数或阿姆斯特朗数（Armstrongnumber）水仙花数是指一个3位数，它的每个位上的数字的3次幂之和等于它本身。例如：1^3+5^3+3^3=153。foriinrange(100,1000):i1=i//100#取
Python-request库的详细解析
需要重新演唱
Python python 开发语言 request 库 http session
引言在现代网络应用中，与服务器进行通信是一个非常基础且重要的功能。Python的requests库是一个非常强大且易于使用的HTTP库，它允许我们发送HTTP请求，与Web服务进行交互。本文将详细介绍requests库的使用，包括其基本概念、常用功能以及一些高级用法。安装requests库在使用requests库之前，我们需要先安装它。可以通过pip命令来安装：pipinstallrequests
Python Web 框架篇：Flask、Django、FastAPI介绍及其核心技术
Switch616
Python Web python 前端 flask fastapi django 开发语言 后端
PythonWeb框架篇：Flask、Django、FastAPI介绍及其核心技术目录FlaskFlask核心概念（路由、视图函数、模板渲染）FlaskBlueprint模块化应用Flask扩展（Flask-SQLAlchemy、Flask-WTF、Flask-Migrate等）DjangoDjango项目架构DjangoORM及模型定义Django中间件Django信号机制DjangoForm和
Gmtracker安装中存在的问题
程序小旭
目标跟踪
Gmtracker安装中存在的问题GMtracker安装问题该如何解决？使用用服务器，在云服务器中使用conda环境python=3.6的版本环境.pipinstall-rrequirements.txt在网上查找资料：opencv安装失败卡在这里是因为没有使用高版本的python环境切换环境继续进行安装python=3.7换高于3.6版本的安装存在问题报错网上解决方法：pipinstalllxm
python selenium post,是否可以在Selenium中捕获POST数据？
weixin_39600328
python selenium post
I'mworkingwiththeSeleniumWebDriverToolandamwonderingifthistoolprovidesameansforcapturingthePOSTdatageneratedwhensubmittingaform.I'musingthedjangotestframeworktotestthatmydataisprocessedcorrectlyontheb
linux查看jupyter运行,在Linux服务器上运行Jupyter notebook server教程
天启大烁哥
在Linux服务器上运行Jupyternotebookserver教程很多deeplearning教程都推荐在jupyternotebook运行python代码，方便及时交互。但只在本地运行没有GPU环境，虽然googlecolab是个好办法，但发现保存模型后在云端找不到模型文件，且需要合理上网才能访问。于是想给实验室的服务器配置jupyternotebook，供本机远程访问。踩了不少坑，码一下教
centos7安装pyenv与pip来管理不同python环境
心软且酷丶
python linux python virtualenv
概述：pyenv是一个Python版本管理工具，它能够进行全局的Python版本切换，也可以为单个项目提供对应的Python版本。使用pyenv后，可以在服务器上安装多个不同的Python版本，也可以安装不同的Python实现，不同Python版本之间的切换也非常简单。pyenv安装:1、安装git工具[root@devops~]#yuminstallgit2、安装pyenv首先把项目从githu
mac安装多个版本的python
出人头弟
macos python 开发语言
方法一(亲测有效)、通过brew安装pyenv，再用pyenv安装管理Python电脑需要先安装homebrew,安装办法详见:Homebrew中文网/bin/bash-c"$(curl-fsSLhttps://gitee.com/ineo6/homebrew-install/raw/master/install.sh)"安装pyenv：$brewinstallpyenv$pyenv-vpyenv
加载pkl文件，Python报错AttributeError: Can‘t get attribute ‘DeepFM‘ on ＜module ‘__main__‘ from...＞
Zerol_Yan
Python基础 python
背景模型同学发过来的pkl格式的模型，在系统中加载的时候，报错AttributeError:module'__main__'hasnoattribute'LabelEncoderExt'，尝试了很多种方式，最后终于解决了这个问题，记录一下，以后遇到类似的可以做参考。项目代码及结构app.pyfrominitimportappimportjsonfromflaskimportrequest@app.
python：Docker部署基于Fastapi接口
番茄牛腩不吃番茄
fastapi python docker fastapi
这几天文章更新的都不是很频繁，主要是在倒腾fastapi框架（当然，自身懒惰也有，年底比较忙也有），这个框架官方介绍就是高性能，易于学习，高效编码，生产可用,因为最近挺火的，也来蹭下。本篇文章主要聊得是利用docker搭建fastapi接口，其余文章后面空了会补上来吧，下面进入正文。步骤一：安装docker安装docker，网上教程很多，可自行百度步骤二：安装Fastapi安装完成后，并编写一些接
爬取今日头条热点文章，揭秘热门话题背后的故事！
FLK_9090
爬虫 python 开发语言
大家好，我是小码农。今天我要和大家分享一个有趣的项目，那就是使用Python爬取今日头条下面的热点文章。引言随着互联网的快速发展，人们对于时事新闻和热门话题的关注度越来越高。而今日头条作为国内知名的新闻平台，汇集了大量的热点文章，每天都有大量的新闻内容产生。因此，我们希望能够利用Python编写一个爬虫程序，自动化地获取今日头条下面的热点文章，以便我们更好地了解当下的热门话题和社会热点。代码实现首
蒙特卡罗——排队模拟python代码实现
潮汐退涨月冷风霜
python 开发语言 蒙特卡罗
排队问题描述数学知识：指数分布指数分布随机变量生成的数学原理指数分布的定义指数分布是连续概率分布，常用于描述某些事件发生的时间间隔。其概率密度函数（PDF）为：f(x;λ)=λe−λxf(x;\lambda)=\lambdae^{-\lambdax}f(x;λ)=λe−λx其中，λ\lambdaλ是速率参数，λ>0\lambda>0λ>0，并且x≥0x\geq0x≥0。生成指数分布随机变量的原理要
蒙特卡罗——三门问题python代码实现
潮汐退涨月冷风霜
python 开发语言 蒙特卡罗
三门问题b站李永乐老师讲解三门问题python蒙特卡罗模拟#模拟三门问题importrandomasrd#n:模拟次数,m:中奖次数n=100000m=0foriinrange(n):#车位于的门号car=rd.randint(0,2)#人随机选择一个门door=rd.randint(0,2)#主持人展示空门empties={0,1,2}-{car,door}empty=rd.choice(lis
LeetCode | 0235. 二叉搜索树的最近公共祖先【Python】
Wonz
ProblemLeetCodeGivenabinarysearchtree(BST),findthelowestcommonancestor(LCA)oftwogivennodesintheBST.AccordingtothedefinitionofLCAonWikipedia:“Thelowestcommonancestorisdefinedbetweentwonodespandqasthelo
python组合数据类型
路口不会转弯
python数据类型概览python组合数据类型表.png重要知识点:1,通过索引的方式提取元素或切片，只适用于有序序列，而无序序列则不行2，可变序列和不可变序列的区别在于可变序列可以对变量本身修改，而不可变序列不能对变量本身修改，但是我们可以创建一个新的变量。考点一：list1)list的特点：所有元素放在[]中，相邻元素用逗号分隔列表内元素有顺序，可以使用索引，且元素类型可以不同线性的数据结构
7.python中列表list的切片操作
别以为你长得帅我就不打你
python 开发语言 人工智能
7.python中列表list的切片操作在Python中，切片是一种操作序列数据类型（如列表、元组和字符串）的方式。列表切片操作允许我们提取列表的部分元素，生成新的列表。切片的基本语法是list[start:stop:step]，其中：start是切片开始索引的位置；stop是切片结束索引的位置，但注意这个位置的元素并不包含在切片中；step是切片每次移动的步长。以上都是可选参数。现在让我提供三个
人生苦短我用Python pandas文件格式转换
程序喵D
人生苦短我用Python python pandas
人生苦短我用Pythonpandas文件格式转换前言示例1excel与csv互转常用格式的方法FlatfileExcelJSONXML示例2常用格式转换简要需求依赖export方法main方法附其它格式的方法HTMLPicklingClipboardLatexHDFStore:PyTables(HDF5)FeatherParquetORCSASSPSSSQLGoogleBigQuerySTATA前
循环和分支（这次来个全的，不分开写了）
她即我命
for循环解决一个问题需要重复执行某一个过程Python中的循环有两个for循环还有while循环for循环"""for变量名in序列：循环体for：关键字变量名：和声明变量时是一样的，功能是存储值in：关键字，在。。。里的意思序列：必须是容器类型的数据类型。字符串、列表、字典、元组、集合等。循环体：会重复执行的代码块执行的过程：用变量不断地取序列的数据，一个一个地取，取完为止，每取一次执行一次循
【Python系列】使用切片移动元素位置
Kwan的解忧杂货铺@新空间代码工作室
s2 Python python 开发语言
欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,kafka,Spring,微服务等常用开发工具系列:常用的开发工具,IDEA,Mac,Alfred,Git,
Python和数据分析：Seaborn新手指南
Python_魔力猿
python 数据分析 信息可视化
Seaborn是建立在Matplotlib之上的统计数据可视化库，它提供了高级接口和漂亮的默认样式，使得数据可视化变得更加简单和美观。1.导论Seaborn在数据可视化中的角色和优势体现在以下方面：简化API：Seaborn的API设计更加简洁，容易使用，尤其适合初学者。它能够通过几行代码生成漂亮而具有信息含量的图表。美观的默认样式：Seaborn具有吸引人的默认颜色和样式，无需额外的配置即可生成
python错误处理（try except ）
960
python 开发语言
finally如果有，则一定会被执行（可以没有finally语句）。以有多个except来捕获不同类型的错误：try:print('try...')r=10/int('a')print('result:',r)exceptValueErrorase:print('ValueError:',e)exceptZeroDivisionErrorase:print('ZeroDivisionError:'
aiohttp: AttributeError: ‘NoneType‘ object has no attribute ‘get_extra_info‘
zzzzls~
Python python aiohttp asyncio
使用Proxyman分析aiohttp请求时遇到如上错误:报错环境系统:macPython:Python3.8.11aiohttp:3.8.0抓包软件:Proxyman解决方案:修改***/python3.8/site-packages/aiohttp/connector.py1211行:#注释如下行#runtime_has_start_tls=self._loop_supports_start_
Holoviews 创建复杂的可视化布局
步入烟尘
Python超入门指南全册 Holoviews python
如何使用Holoviews创建复杂的可视化布局在数据科学和数据可视化领域，Holoviews是一个非常强大的Python库，它可以帮助我们轻松地创建各种复杂的可视化布局。Holoviews提供了一个高层次的接口，使得创建交互式和静态可视化变得简单而直观。本文将介绍如何使用Holoviews来创建复杂的可视化布局，让你的数据以最直观的方式展现出来。安装Holoviews首先，确保你已经安装了Holo
Python---AttributeError: 'NoneType' object has no attribute 'xxxx'问题
Jeffrey-J
python python
做剑指找中位数题时发现如下代码报该错误data=[]data=data.append(num)会报:AttributeError:‘NoneType’objecthasnoattribute'append’错误。原因是什么呢？这时我查看了一下data的类型为。说明我们在某对象上试图使用某个方法或访问某个属性，但该对象为空。空对象肯定不会有append属性，所以报错。解决：既然新生成的对象为空，那只
Python教学 | 有备无患！详解 Python 异常处理（try-except）
企研数据
python Python 异常处理 try-except 语法错误 程序异常
更多详情请点击查看原文：Python教学|有备无患！详解Python异常处理（try-except）Python教学专栏，旨在为初学者提供系统、全面的Python编程学习体验。通过逐步讲解Python基础语言和编程逻辑，结合实操案例，让小白也能轻松搞懂Python！>>>点击此处查看往期Python教学内容本文目录引言一、关于异常二、try-except用法三、哪些情况下需要使用try-excep
【Python】解决AttributeError: ‘NoneType‘ object has no attribute ‘xxxx‘
云天徽上
Pandas python 开发语言 pandas 机器学习 numpy
【Python】解决AttributeError:'NoneType'objecthasnoattribute'xxxx'报错欢迎莅临我的个人主页这里是我深耕Python编程、机器学习和自然语言处理（NLP）领域，并乐于分享知识与经验的小天地！博主简介：我是云天徽上，一名对技术充满热情的探索者。多年的Python编程和机器学习实践，使我深入理解了这些技术的核心原理，并能够在实际项目中灵活应用。尤其
python的魔法方法
zhongguo_boy
python
python的魔法方法python中的魔法方法是一些可以让你对类添加“魔法”的特殊方法，它们经常是两个下划线包围来命名的，比如__init__,__call__。魔法方法可以使Python的自由度变得更高，在面向对象方面表现的更好。python有很多魔法方法，根据其作用和特点，归纳总结为以下几类1.基础魔法方法1.1__new____new__是真正的构造函数，在实例化对象时被调用，通常你不会实现
出现 xxx missing 1 required positional argument: ‘self‘ 解决方法
码农研究僧
BUG python bug
目录1.问题所示2.原理分析3.解决方法1.问题所示编译代码的时候，出现如下问题：E:\software\anaconda3\envs\py3.10\python.exeF:\python_project\test\main.pyTraceback(mostrecentcalllast):File"F:\python_project\test\main.py",line36,
LeetCode[Math] - #66 Plus One
Cwind
java LeetCode 题解 Algorithm Math
原题链接：#66 Plus One
要求：
给定一个用数字数组表示的非负整数，如num1 = {1, 2, 3, 9}, num2 = {9, 9}等，给这个数加上1。
注意：
1. 数字的较高位存在数组的头上，即num1表示数字1239
2. 每一位（数组中的每个元素）的取值范围为0~9
难度：简单
分析：
题目比较简单，只须从数组
JQuery中$.ajax()方法参数详解
AILIKES
JavaScript jsonp jquery Ajax json
url: 要求为String类型的参数，（默认为当前页地址）发送请求的地址。
type: 要求为String类型的参数，请求方式（post或get）默认为get。注意其他http请求方法，例如put和 delete也可以使用，但仅部分浏览器支持。
timeout: 要求为Number类型的参数，设置请求超时时间（毫秒）。此设置将覆盖$.ajaxSetup()方法的全局
JConsole & JVisualVM远程监视Webphere服务器JVM
Kai_Ge
JVisualVM JConsole Webphere
JConsole是JDK里自带的一个工具，可以监测Java程序运行时所有对象的申请、释放等动作，将内存管理的所有信息进行统计、分析、可视化。我们可以根据这些信息判断程序是否有内存泄漏问题。
使用JConsole工具来分析WAS的JVM问题，需要进行相关的配置。
首先我们看WAS服务器端的配置.
1、登录was控制台https://10.4.119.18
自定义annotation
120153216
annotation
Java annotation 自定义注释@interface的用法 一、什么是注释
说起注释，得先提一提什么是元数据(metadata)。所谓元数据就是数据的数据。也就是说，元数据是描述数据的。就象数据表中的字段一样，每个字段描述了这个字段下的数据的含义。而J2SE5.0中提供的注释就是java源代码的元数据，也就是说注释是描述java源
CentOS 5/6.X 使用 EPEL YUM源
2002wmj
centos
CentOS 6.X 安装使用EPEL YUM源1. 查看操作系统版本[root@node1 ~]# uname -a Linux node1.test.com 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 00:31:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux [root@node1 ~]#
在SQLSERVER中查找缺失和无用的索引SQL
357029540
SQL Server
--缺失的索引
SELECT avg_total_user_cost * avg_user_impact * ( user_scans + user_seeks ) AS PossibleImprovement ,
last_user_seek ,
Spring3 MVC 笔记（二） —json+rest优化
7454103
Spring3 MVC
接上次的 spring mvc 注解的一些详细信息！
其实也是一些个人的学习笔记 呵呵！
替换“\”的时候报错Unexpected internal error near index 1 \ ^
adminjun
java “\替换”
发现还是有些东西没有刻子脑子里,,过段时间就没什么概念了,所以贴出来...以免再忘...
在拆分字符串时遇到通过 \ 来拆分，可是用所以想通过转义 \\ 来拆分的时候会报异常
public class Main {
/*
POJ 1035 Spell checker(哈希表)
aijuans
暴力求解--哈希表
/*
题意：输入字典，然后输入单词，判断字典中是否出现过该单词，或者是否进行删除、添加、替换操作，如果是，则输出对应的字典中的单词
要求按照输入时候的排名输出
题解：建立两个哈希表。一个存储字典和输入字典中单词的排名，一个进行最后输出的判重
*/
#include <iostream>
//#define
using namespace std;
const int HASH =
通过原型实现javascript Array的去重、最大值和最小值
ayaoxinchao
JavaScript array prototype
用原型函数（prototype）可以定义一些很方便的自定义函数，实现各种自定义功能。本次主要是实现了Array的去重、获取最大值和最小值。
实现代码如下：
<script type="text/javascript">
Array.prototype.unique = function() {
var a = {};
var le
UIWebView实现https双向认证请求
bewithme
UIWebView https Objective-C
什么是HTTPS双向认证我已在先前的博文 ASIHTTPRequest实现https双向认证请求
中有讲述，不理解的读者可以先复习一下。本文是用UIWebView来实现对需要客户端证书验证的服务请求，网上有些文章中有涉及到此内容，但都只言片语，没有讲完全，更没有完整的代码，让人困扰不已。但是此知
NoSQL数据库之Redis数据库管理(Redis高级应用之事务处理、持久化操作、pub_sub、虚拟内存)
bijian1013
redis 数据库 NoSQL
3.事务处理
Redis对事务的支持目前不比较简单。Redis只能保证一个client发起的事务中的命令可以连续的执行，而中间不会插入其他client的命令。当一个client在一个连接中发出multi命令时，这个连接会进入一个事务上下文，该连接后续的命令不会立即执行，而是先放到一个队列中，当执行exec命令时，redis会顺序的执行队列中
各数据库分页sql备忘
bingyingao
oracle sql 分页
ORACLE
下面这个效率很低
SELECT * FROM ( SELECT A.*, ROWNUM RN FROM (SELECT * FROM IPAY_RCD_FS_RETURN order by id desc) A ) WHERE RN <20;
下面这个效率很高
SELECT A.*, ROWNUM RN FROM (SELECT * FROM IPAY_RCD_
【Scala七】Scala核心一：函数
bit1129
scala
1. 如果函数体只有一行代码，则可以不用写{},比如
def print(x: Int) = println(x)
一行上的多条语句用分号隔开，则只有第一句属于方法体，例如
def printWithValue(x: Int) : String= println(x); "ABC"
上面的代码报错，因为，printWithValue的方法
了解GHC的factorial编译过程
bookjovi
haskell
GHC相对其他主流语言的编译器或解释器还是比较复杂的，一部分原因是haskell本身的设计就不易于实现compiler，如lazy特性，static typed，类型推导等。
关于GHC的内部实现有篇文章说的挺好，这里，文中在RTS一节中详细说了haskell的concurrent实现，里面提到了green thread，如果熟悉Go语言的话就会发现，ghc的concurrent实现和Go有点类
Java-Collections Framework学习与总结-LinkedHashMap
BrokenDreams
LinkedHashMap
前面总结了java.util.HashMap，了解了其内部由散列表实现，每个桶内是一个单向链表。那有没有双向链表的实现呢？双向链表的实现会具备什么特性呢？来看一下HashMap的一个子类——java.util.LinkedHashMap。
读《研磨设计模式》-代码笔记-抽象工厂模式-Abstract Factory
bylijinnan
abstract
声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/
package design.pattern;
/*
* Abstract Factory Pattern
* 抽象工厂模式的目的是：
* 通过在抽象工厂里面定义一组产品接口，方便地切换“产品簇”
* 这些接口是相关或者相依赖的
压暗面部高光
cherishLC
PS
方法一、压暗高光&重新着色
当皮肤很油又使用闪光灯时，很容易在面部形成高光区域。
下面讲一下我今天处理高光区域的心得：
皮肤可以分为纹理和色彩两个属性。其中纹理主要由亮度通道（Lab模式的L通道）决定，色彩则由a、b通道确定。
处理思路为在保持高光区域纹理的情况下，对高光区域着色。具体步骤为：降低高光区域的整体的亮度，再进行着色。
如果想简化步骤，可以只进行着色（参看下面的步骤1
Java VisualVM监控远程JVM
crabdave
visualvm
Java VisualVM监控远程JVM
JDK1.6开始自带的VisualVM就是不错的监控工具.
这个工具就在JAVA_HOME\bin\目录下的jvisualvm.exe, 双击这个文件就能看到界面
通过JMX连接远程机器, 需要经过下面的配置:
1. 修改远程机器JDK配置文件 (我这里远程机器是linux).
Saiku去掉登录模块
daizj
saiku 登录 olap BI
1、修改applicationContext-saiku-webapp.xml
<security:intercept-url pattern="/rest/**" access="IS_AUTHENTICATED_ANONYMOUSLY" />
<security:intercept-url pattern=&qu
浅析 Flex中的Focus
dsjt
html Flex Flash
关键字：focus、 setFocus、 IFocusManager、KeyboardEvent
焦点、设置焦点、获得焦点、键盘事件
一、无焦点的困扰——组件监听不到键盘事件
原因：只有获得焦点的组件（确切说是InteractiveObject）才能监听到键盘事件的目标阶段；键盘事件（flash.events.KeyboardEvent）参与冒泡阶段，所以焦点组件的父项（以及它爸
Yii全局函数使用
dcj3sjt126com
yii
由于YII致力于完美的整合第三方库，它并没有定义任何全局函数。yii中的每一个应用都需要全类别和对象范围。例如，Yii::app()->user;Yii::app()->params['name'];等等。我们可以自行设定全局函数，使得代码看起来更加简洁易用。(原文地址)
我们可以保存在globals.php在protected目录下。然后，在入口脚本index.php的，我们包括在
设计模式之单例模式二（解决无序写入的问题）
come_for_dream
单例模式 volatile 乱序执行 双重检验锁
在上篇文章中我们使用了双重检验锁的方式避免懒汉式单例模式下由于多线程造成的实例被多次创建的问题，但是因为由于JVM为了使得处理器内部的运算单元能充分利用，处理器可能会对输入代码进行乱序执行（Out Of Order Execute）优化，处理器会在计算之后将乱序执行的结果进行重组，保证该
程序员从初级到高级的蜕变
gcq511120594
框架 工作 PHP android html5
软件开发是一个奇怪的行业，市场远远供不应求。这是一个已经存在多年的问题，而且随着时间的流逝，愈演愈烈。
我们严重缺乏能够满足需求的人才。这个行业相当年轻。大多数软件项目是失败的。几乎所有的项目都会超出预算。我们解决问题的最佳指导方针可以归结为——“用一些通用方法去解决问题，当然这些方法常常不管用，于是，唯一能做的就是不断地尝试，逐个看看是否奏效”。
现在我们把淫浸代码时间超过3年的开发人员称为
Reverse Linked List
hcx2013
list
Reverse a singly linked list.
/**
* Definition for singly-linked list.
* public class ListNode {
* int val;
* ListNode next;
* ListNode(int x) { val = x; }
* }
*/
p
Spring4.1新特性——数据库集成测试
jinnianshilongnian
spring 4.1
目录
Spring4.1新特性——综述
Spring4.1新特性——Spring核心部分及其他
Spring4.1新特性——Spring缓存框架增强
Spring4.1新特性——异步调用和事件机制的异常处理
Spring4.1新特性——数据库集成测试脚本初始化
Spring4.1新特性——Spring MVC增强
Spring4.1新特性——页面自动化测试框架Spring MVC T
C# Ajax上传图片同时生成微缩图(附Demo)
liyonghui160com
1.Ajax无刷新上传图片,详情请阅我的这篇文章。（jquery + c# ashx）
2.C#位图处理 System.Drawing。
3.最新demo支持IE7,IE8,Fir
Java list三种遍历方法性能比较
pda158
java
从c/c++语言转向java开发，学习java语言list遍历的三种方法，顺便测试各种遍历方法的性能，测试方法为在ArrayList中插入1千万条记录，然后遍历ArrayList，发现了一个奇怪的现象，测试代码例如以下：
package com.hisense.tiger.list;
import java.util.ArrayList;
import java.util.Iterator;
300个涵盖IT各方面的免费资源（上）——商业与市场篇
shoothao
seo 商业与市场 IT资源 免费资源
A.网站模板+logo+服务器主机+发票生成
HTML5 UP:响应式的HTML5和CSS3网站模板。
Bootswatch:免费的Bootstrap主题。
Templated:收集了845个免费的CSS和HTML5网站模板。
Wordpress.org|Wordpress.com:可免费创建你的新网站。
Strikingly:关注领域中免费无限的移动优
localStorage、sessionStorage
uule
localStorage
W3School 例子
HTML5 提供了两种在客户端存储数据的新方法：
localStorage - 没有时间限制的数据存储
sessionStorage - 针对一个 session 的数据存储
之前，这些都是由 cookie 完成的。但是 cookie 不适合大量数据的存储，因为它们由每个对服务器的请求来传递，这使得 cookie 速度很慢而且效率也不
