一步一步学爬虫（1）爬虫概念

方法	描述
GET	请求页面，并返回页面内容
HEAD	类似GET请求，只不过返回的响应中没有具体内容。用于获取报头
POST	大多用于提交表单或上传文件，数据包含在请求体中
PUT	用客户端传向服务器的数据取代指定文档中的内容
DELETE	请求服务器删除指定的页面
CONNECT	把服务器当作跳板，让服务器代替客户端访问其他网页
OPTIONS	允许客户端查看服务器的性能
TRACE	回显服务器收到的请求。主要用于测试或诊断

GET	POST
1.主要是负责从服务器获取数据	1.主要负责向服务器提交数据
2.URL中添加了请求参数,显示在地址栏	2.提交表单和上传文件，数据包含在请求体中
3.请求字符串限制 1024个字节	3.请求的表单和文件，没有大小限制
4.比`POST`更加高效和方便。	4.比`GET`传递数据量大,安全性高。
5.密码会暴露在URL里面	5.密码包含在请求体内

Content-Type	POST
application/X-www-form-urlencoded	表单数据
multipart/form-data	表单文件上传
application/json	序列化JSON数据
text/xml	XML数据

信息码	描述
Date	用于标识响应产生的时间
Last-Modified	用于指定资源的最后修改时间
Content-Encoding	用于指定响应内容的编码
Server	包含服务器的信息，如名称、版本等
Content-Type	文档类型，指定返回的数据是什么类型
Set-Cookie	设置Cookie，送给浏览器Cookie并告诉请求时带上
Expires	用于指定响应的过期时间

属性	描述
id	id他是唯一的
class	class可以同时存在多个

符号	意思
	定义粗体文本
	定义着重文字
	定义斜体字
	定义小号字
	定义加重语气
	定义下标字
	定义上标字

和将元素组合起来。

<div style="width: 500px">
    <div style="background-color: #ff359b;width: 500px;height: 50px"><h1 style="text-align: center">这是我当前的标题h1>div>
    <div style="background-color: darkorange;height: 250px;width: 100px;float: left;">
        <b style="font-size: 20px">语文成绩b><br>
        <b style="font-size: 20px">数学成绩b><br>
        <b style="font-size: 20px">英语成绩b><br>
        <b style="font-size: 20px">政治成绩b><br>
        <b style="font-size: 20px">历史成绩b><br>
        <b style="font-size: 20px">地理成绩b><br>
        <b style="font-size: 20px">物理成绩b><br>
        <b style="font-size: 20px">化学成绩b><br>
        <b style="font-size: 20px">生物成绩b><br>
    div>
    <div style="background-color: #666666;height: 250px; width: 400px;float: left">div>
    <div style="background-color: #ff305a;height: 30px; width: 500px;text-align: center;float:left">欢迎下次光临div>
div>

HTML表单和输入

HTML 表单用于收集用户的输入信息。

HTML 表单表示文档中的一个区域，此区域包含交互控件，将用户收集到的信息发送到 Web 服务器。

实例

<form action="">
    请输入账号: <input type="text" name="user"><br>
    请输入密码: <input type="password" name="password">
form>

注意: 表单本身并不可见

提交&登陆

定义了提交按钮。

当用户单击确认按钮时，表单的内容会被传送到服务器

<form>
Username: <input type="text" name="user">
<input type="submit" value="Submit">
form>

button

<button class="but" type="submit">登录</button>

<div style="background-color: #fff1e8;width: 200px;height: 200px;margin:0 auto; margin-top:200px;">
    请输入账号：<input type="text"><br>
    请输入密码：<input type="password">
    <button class="but" type="submit">登录button> 
div>

实现登录页

    <style>
        input{
             margin: auto 0;
             width: 300px;
            /*间隔*/
             margin-bottom: 10px;
            /*空间*/
             padding: 10px;
             font-size: 15px;
            /*拐角*/
             border-radius: 4px;
        }
        .but{
            width: 150px;
            padding: 10px;
            background-color: aquamarine;

        }
style>
<div style="background-color: #fffd87;width: 400px;height: 300px;margin: 0 auto;margin-top:200px;text-align: center">

    <h1 style="text-align: center">Loginh1>
    <input type="text" placeholder="用户名"><br>
    <input type="password" placeholder="密码">
    <button class="but" type="submit">登陆button>
    <button class="but" type="submit">注册button>


div>

CSS的认识

HTML定义了网页的架构，只有这一样还不够美观。因此，用CSS来美化。CSS，全称叫Cascading Style Sheets，即层叠样式表。举例说明。

	# head_wrapper.s-ps-islite .s-p-top{
		posion: absolute;
		bottom: 40px;
		width: 100%;
		height: 181px;
		}

上面就是一个CSS样式。大括号{ }前面是一个CSS选择器，首先选中id为head_wrapper且class为s-ps-islite的节点，然后选中此节点内部的class为s-p-top的节点。大括号内部一件事一条条样式规则：
- position里面指定这个节点布局方式是绝对布局absolute。
- bottom指定节点下边距为40像素。
- width指定宽度为100%，表示占满父节点。
- height指定节点的高度。
在网页中，一般会统一设定CSS样式规则，然后保存为CSS文件中，在使用的时候，只需要用link标签即可引入相应的CSS文件，达到快速美化整个页面的效果。

JavaScript的认识

JavaScript简称JS，是一种脚本语言。用来使用户与信息之间实现一种实时、动态、交互的页面功能。通常也是以单独的文件形式加载，后缀为js。在网页中，通过script标签即可引入，如：

综上所述，HTML定义了网页的内容和结构，CSS描述了网页的样式，JavaScript定义了网页的行为。

1.2.2 HTML节点树及节点间的关系

在HTML中，所有标签定义的内容都是节点，这些节点构成一个HTML节点树，也叫HTML DOM树。
什么是DOM。DOM是W3C（万维网联盟）的标准，英文全称是Document Object Model，即文档对象类型。它定义了访问HTML和XML文档的标准。根据W3C的HTML DOM标准，HTML文档中的所有内容都是节点。
- 整个网站文档是一个文档节点
- 每个html标签对应一个根节点，即html标签，就属于一个根节点。
- 节点内的文本是文本节点，比如a节点代表一个超链接，它内部的文本也被认为是一个文本节点。
- 每个节点的属性是属性节点，比如a节点有一个href属性，它就是一个属性节点。
- 注释是注释节点，在HTML中有特殊的语法会被解析为注释，它也会对应一个节点。
现在举例this is Demo感受一下。

DOCTYPE html>
<html>
<head>
	<meta charset="UTF-8">
	<title>This is Demotitle>
head>
<body>
	<div id="container">
		<div class "wrapper">
			<h2 class="title">Hello Worldh2>
			<p class="text">Hello,this is a paragraph.p>
		div>
	div>
body>
html>

把HTML文档看做树结构的话，这种结构就被称为节点树，如下图。
节点树中的节点彼此拥有层级关系。我们常用父（parent）、子(child）和兄弟（sibling）等术语描述这些关系。如下图。

1.2.3 选择器

选择器，其实就是一种选择方法和格式。
在网页中，网页是由一个个节点组成。CSS为不同的节点设置不同的样式和规则，那么就主要靠CSS来定位节点了。
在源代码中，我们发现会有好多有CSS的关键字词，那么这些都是用来定位的地方，也称它们为选择器。
以上面this is Demo为例，要定位id为container的div节点，可以用#container，其中#开头代表id，这就选择这个div了。
再选class为wrapper的div节点，再用.wrapper，这里用了“.”来代替class，那么像id和class等关键字词，就是选择器咯。
在“检查”模式的元素“elements”中，按下Ctrl+F，在最底部输入#class，也能选择相应的div标签。我们输入“.text”，也定位到相应的p标签节点了。如图。
如果网页比较复杂，相同的标签很多，相似的节点也很多，最后这个办法，需要加在一起，组合起来用。
结合选择器，再加上一个更灵活的工具——开发者工具里面的第一个选择按钮，用它来选择对应的元素，点网页不同的地方，就动态选择，然后再查看对应的class或者id或者href或者img等选择器（把关键字叫做选择器，慢慢习惯）。
常用CSS选择器语法规则列表

选择器	例子	例子描述
.class	.intro	选择 class="intro"的所有节点
#id	#firstname	选择 id="firstname"的所有节点
*	*	选择所有节点
element	p	选择所有p节点
element,element	div,p	选择所有 div 节点和所有p节点
element element	div p	选择 div节点内部的所有p节点
element>element	div>p	选择父节点为 div 节点的所有p节点
element+element	div+p	选择紧接在 div节点之后的所有p节点
[attribute]	[target]	选择带有 target 属性的所有节点
[attribute=value]	[target=blank]	选择 target="blank"的所有节点
[attribute~=value]	[title~=flower]	选择 title 属性包含单词 flower 的所有节点
:link	a:link	选择所有未被访问的链接
:visited	a:visited	选择所有已被访问的链接
:active	a:active	选择活动链接
:hover	a:hover	选择鼠标指针位于其上的链接
:focus	input:focus	选择获得焦点的 input 节点
:first-letter	p:first-letter	选择每个p节点的首字母
:first-line	p:first-line	选择每个p节点的首行
:first-child	p:first-child	选择属于父节点的第一个子节点的所有p节点
:before	p:before	在每个p节点的内容之前插入内容
:after	p:after	在每个p节点的内容之后插人内容
:lang(language)	p:lang	选择带有以 it 开头的 lang 属性值的所有p节点
element1~element2	p~ul	选择前面有p节点的所有 ul 节点
[attribute^=value]	a[src^=“https”]	选择 src 属性值以 https 开头的所有a节点
[attribute$=value]	a[src$=“.pdf”]	选择src 属性值以.pdf结尾的所有a节点
[attribute*=value	a[src*=“abc”]	选择 src 属性值中包含 abc 子串的所有a节点
:first-of-type	p:first-of-type	选择属于对应父节点的首个p节点的所有p节点
:last-of-type	p:last-of-type	选择属于对应父节点的最后一个p节点的所有p节点
:only-of-type	p:only-of-type	选择属于对应父节点的唯一p节点的所有p节点
:only-child	p:only-child	选择属于对应父节点的唯一子节点的所有p节点
:nth-child(n)	p:nth-child	选择属于对应父节点的第二个子节点的所有p节点
:nth-last-child(n)	p:nth-last-child	同上，不过是从最后一个子节点开始计数
:nth-of-type(n)	p:nth-of-type	选择属于对应父节点的第二个p节点的所有p节点
:nth-last-of-type(n)	p:nth-last-of-type	同上，不过是从最后一个子节点开始计数
:last-child	p:last-child	选择属于对应父节点的最后一个子节点的所有p节点
:root	:root	选择文档的根节点
:empty	p:empty	选择没有子节点的所有p节点(包括文本节点)
:target	#news:target	选择当前活动的 #news 节点
:enabled	input:enabled	选择每个启用的 input 节点
:disabled	input:disabled	选择每个被禁用的input节点
:checked	input:checked	选择每个被选中的 input 节点
:not(selector)	:not	选择非p节点的所有节点
::selection	::selection	选择被用户选取的节点部分

1.3 爬虫的基本原理

1.3.1 爬虫概述

爬虫概念——就是获取网页并提取和保存信息的自动化程序。

获取网页

爬虫的首要工作就是获取网页（源代码）。1.1节讲到请求和响应的概念，向网站的服务器发送一个请求，服务器返回的响应体便是网页源代码。Python提供了好多库，如urllib、request等。

提取信息

获取源代码后，接下来就是分析，从中提取我们想要的数据。
- 首先，最通用的提取方法是采用正则表达式，这是一个万能的方法，不过构造正则表达式的过程比较复杂且容易出错。
- 第二，根据网页节点属性、文本值、CSS选择器或XPath提取，如Beautifu Soup、pyquery、lxml等。

保存数据

提取信息后，保存的形式很多。
- 简单的TXT或JSON文本；
- 复杂点的可以数据库，如MySql和MongoDB等。
- 还可以保存至远程服务器，如借助SFTP进行操作等。

自动化程序

这个容易理解，就是数据的爬取和分析，由程序完成。
自动化程序的意思是爬虫可以代替人来完成上述操作。我们当然可以手动提取网页中的信息，但是当量特别大或者想快速获取大量数据的时候，肯定还是借助程序快。爬虫就是代替我们完成爬取工作的自动化程序，它可以在爬取过程中进行各种异常处理、错误重试等操作，确保爬取持续高效运行。

1.3.2 能爬怎样的数据

网页中存在各种各样的信息，最常见的便是常规网页，这些网页对应着HTML代码，而最常抓取的便是 HTML 源代码。
另外，可能有些网页返回的不是 HTML 代码，而是一个 JSON 字符串(其中API接口大多采用这样的形式)，这种格式的数据方便传输和解析。爬虫同样可以抓取这些数据，而且数据提取会更加方便。
网页中还包含各种二进制数据，如图片、视频和音频等。利用爬虫，我们可以将这些二进制数据抓取下来，然后保存成对应的文件名。
除了上述数据，网页中还有各种扩展名文件，如 CSS、JavaScript 和配置文件等。这些文件其实最普通，只要在浏览器里面可以访问到，就可以抓取下来。
上述内容其实都有各自对应的 URL，URL 基于 HTTP 或HTTPS 协议，只要是这种数据，爬虫都可以抓取。

1.3.3 JavaScript渲染的页面

有时候，我们在用urllib 或 requests 抓取网页时，得到的源代码和在浏览器中实际看到的不一样。这是一个非常常见的问题。现在有越来越多的网页是采用 Ajax、前端模块化工具构建的，可能整个网页都是由 JavaScript 渲染出来的，也就是说原始的 HTML 代码就是一个空壳，例如:
```
DOCTYPE html><html><head>
	<meta charset="UTF-8">
	<title>This is a Demotitle>head><body>
	<div id="container">div>body>
	<script src="app.js">script>html>
```
这个实例中，body 节点里面只有一个 id 为 container 的节点，需要注意在 body 节点后引人了 app.js，它负责整个网站的渲染。
在浏览器中打开这个页面时，首先会加载这个 HTML 内容，接着浏览器会发现其中引入了一个 app.js 文件，便去请求这个文件。获取该文件后，执行其中的 JavaScript代码，JavaScript会改变HTN中的节点，向其中添加内容，最后得到完整的页面。
在用 urllib 或 requests 等库请求当前页面时，我们得到的只是 HTML 代码，它不会继续加载 JavaScript 文件，我们也就无法看到完整的页面内容。
这也解释了为什么有时我们得到的源代码和在浏览器中看到的不一样。
对于这样的情况，我们可以分析源代码后台 Ajax 接口，也可使用 Selenium、Splash、Pyppeteer、Playwright这样的库来模拟JavaScript渲染。

1.4 Session和Cookie（会话技术）

http是无状态的，那服务端怎么区分同一个用户的连续请求呢，这就用到了会话技术：cookie和session。

1.4.1 概念

之前学习的HTML等都是静态网页，是无状态的，为了保持HTTP的连接状态，Session和Cookie技术出现了。
Session 在服务端也就是网站的服务器，用来保存用户的 Session 信息;Cookie 在客户端，也可以理解为在浏览器站有了 Cookie，浏览器在下次访问相同网页时就会自动附带上它，并发送给服务器，服务器通过识 Cookie 鉴定出是哪个用户在访问，然后判断此用户是否处于登录状态，并返回对应的响应。
可以这样理解，Cookie 里保存着登录的凭证，客户端在下次请求时只需要将其携带上，就不必重新输入用户名、密码等信息重新登录了。
因此在爬虫中，处理需要先登录才能访问的页面时，我们一般会直接将登录成功后获取的 Cookie放在请求头里面直接请求，而不重新模拟登录。
好了，了解 Session 和 Cookie 的概念之后，再来详细剖析它们的原理。

1.4.2 原理

Session
Session，中文称之为会话，其本义是指有始有终的一系列动作、消息。例如打电话时，从拿起电话拨号到挂断电话之间的一系列过程就可以称为一个 Session。
而在Web 中，Session 对象用来存储特定用户 Session所需的属性及配置信息。这样，当用户在应用程序的页面之间跳转时，存储在 Session 对象中的变量将不会丢失，会在整个用户 Session 中一直存在下去。当用户请求来自应用程序的页面时，如果该用户还没有 Session，那么 Web 服务器将自动创建一个 Session 对象。当 Session 过期或被放弃后，服务器将终止该 Session
Cookie
Cookie，指某些网站为了鉴别用户身份、进行 Session 跟踪而存储在用户本地终端上的数据。
Session 维持
- 那么，怎样利用 Cookie 保持状态呢?在客户端第一次请求服务器时，服务器会返回一个响应头中带有 Set-Cookie 字段的响应给客户端，这个字段用来标记用户。客户端浏览器会把 Cookie 保存来，当下一次请求相同的网站时，把保存的 Cookie 放到请求头中一起提交给服务器。Cookie 中携带着Session ID 相关信息，服务器通过检查Cookie即可找到对应的Session，继而通过判断Session用户状态。如果 Session 当前是有效的，就证明用户处于登录状态，此时服务器返回登录之后才可以查看的网页内容，浏览器再进行解析便可以看到了。
- 反之，如果传给服务器的 Cookie 是无效的，或者 Session 已经过期了，客户端将不能继续访问题面，此时可能会收到错误的响应或者跳转到登录页面重新登录。
- Cookie 和 Session 需要配合，一个在客户端，一个在服务端，二者共同协作，就实现了登录控制。

1.4.3 属性结构

接下来，我们看看 Cookie 都包含哪些内容。这里以知乎为例，在浏览器开发者工具中打开Appliation选项卡，其中左侧有一部分叫Storage，Storage的最后一项即为Cookies，将其点开，如图。
可以看到，列表里有很多条目，其中每个条目都可以称为一个 Cookie 条目。Cookie 具有如下几个属性。
- Name:Cookie 的名称。Cookie 一旦创建，名称便不可更改。
- Value:Cookie 的值。如果值为 Unicode 字符，则需要为字符编码。如果值为二进制数据，则需要使用 BASE64 编码。
- Domain:指定可以访问该 Cookie 的域名。例如设置 Domain 为.zhihu.com，表示所有以 zhihu.com 结尾的域名都可以访问该 Cookie
- Path:Cookie 的使用路径。如果设置为/path/，则只有路径为/path/的页面才可以访问该Cookie。如果设置为 1，则本域名下的所有页面都可以访问该 Cookie。
- Max-Age:Cookie失效的时间,单位为秒,常和Expires 一起使用,通过此属性可以计算出 Cookie的有效时间。Max-Age 如果为正数，则表示 Cookie 在 Max-Age 秒之后失效;如果为负数，则 Cookie 在关闭浏览器时失效，而且浏览器不会以任何形式保存该 Cookie。
- Size 字段:Cookie 的大小。
- HTTP字段:Cookie 的 httponly 属性。若此属性为 true，则只有在 HTTP Headers 中才会带有此 Cookie 的信息，而不能通过 document.cookie 来访问此 Cookie。
- Secure:是否仅允许使用安全协议传输 Cookic。安全协议有HTTPS和SSL等，使用这些协议在网络上传输数据之前会先将数据加密。其默认值为 false。

1.4.4 会话 Cookie 和持久 Cookie

从表面意思来看，会话 Cookie 就是把 Cookie 放在浏览器内存里，关闭浏览器之后，Cookie 即失效;持久 Cookie 则会把 Cookie 保存到客户端的硬盘中，下次还可以继续使用，用于长久保持用户登录状态。
严格来说，其实没有会话 Cookie 和持久 Cookie 之分，只是 Max-Age 或 Expires 字段决定了 Cookie失效的时间。
因此，一些持久化登录的网站实际上就是把 Cookie 的有效时间和 Session 有效期设置得比较长，下次客户端再访问页面时仍然携带之前的Cookie，就可以直接呈现登录状态。

1.4.5 常见误区

在谈论 Session 机制的时候，常会听到一种误解–只要关闭浏览器，Session 就消失了。可以想象一下生活中的会员卡，除非顾客主动对店家提出销卡，否则店家是绝对不会轻易删除顾客资料对 Session 来说，也一样，除非程序通知服务器删除一个 Session，否则服务器会一直保留。例如程序一般都是在我们做注销操作时才删除 Session。
但是当我们关闭浏览器时，浏览器不会主动在关闭之前通知服务器自己将要被关闭，所以服务器压根不会有机会知道浏览器已经关闭。之所以会产生上面的误解，是因为大部分网站使用会话Cookie来保存 Session ID 信息，而浏览器关闭后 Cookie 就消失了，等浏览器再次连接服务器时，也就无法找到原来的 Session 了。如果把服务器设置的 Cookie保存到硬盘上，或者使用某种手段改写浏览器发出的 HTTP 请求头，把原来的 Cookie 发送给服务器，那么再次打开浏览器时，仍然能够找到原来的 Session ID，依旧保持登录状态。
而且恰恰是由于关闭浏览器不会导致 Session 被删除，因此需要服务器为 Session设置一个失效1，当距离客户端上一次使用 Session 的时间超过这个失效时间时，服务器才可以认为客户端已经止了活动，并删除掉 Session 以节省存储空间。

1.5 代理的基本原理

在做爬虫的过程中经常会遇到一种情况，就是爬虫最初是正常运行、正常抓取数据的，一切看起来都是那么美好，然而一杯茶的工夫就出现了错误，例如 403 Forbidden，这时打开网页一看，可能会看到“您的IP访问频率太高”这样的提示。出现这种现象是因为网站采取了一些反爬虫措施。例如服务器会检测某个 IP 在单位时间内的请求次数，如果请求次数超过设定的阈值，就直接拒绝提供服务并返回一些错误信息，可以称这种情况为封IP。
既然服务器检测的是某个IP在单位时间内的请求次数，那么借助某种方式把我们的IP伪装一下。让服务器识别不出请求是由我们本机发起的，不就可以成功防止封IP了吗?
一种有效的伪装方式是使用代理，后面会详细说明代理的用法。在这之前，需要先了解代理的基本原理，它是怎样实现伪装 IP 的呢?

1.5.1 基本原理

代理实际上就是指代理服务器，英文叫作 Proxy Server，功能是代网络用户取得网络信息。形象点说，代理是网络信息的中转站。当客户端正常请求一个网站时，是把请求发送给了 Web 服务器， Web 服务器再把响应传回给客户端。设置代理服务器，就是在客户端和服务器之间搭建一座桥，此时客户端并非直接向 Web 服务器发起请求，而是把请求发送给代理服务器，然后由代理服务器把请求发送给 Web 服务器，Web 服务器返回的响应也是由代理服务器转发给客户端的。这样客户端同样可以正常访问网页，而且这个过程中 Web 服务器识别出的真实 IP 就不再是客户端的 IP 了，成功实现了IP装，这就是代理的基本原理。

1.5.2 代理的作用

代理有什么作用呢?我们可以简单列举如下。
- 突破自身 IP的访问限制，访问一些平时不能访问的站点。
- 访问一些单位或团体的内部资源。比如，使用教育网内地址段的免费代理服务器，就可以下载和上传对教育网开放的各类 FTP，也可以查询、共享各类资料等。
- 提高访问速度。通常，代理服务器会设置一个较大的硬盘缓冲区，当有外界的信息通过时，同时将其保存到自己的缓冲区中，当其他用户访问相同的信息时，直接从缓冲区中取出信息，提高了访问速度。
- 隐藏真实 IP。上网者可以通过代理隐藏自己的 IP，免受攻击。对于爬虫来说，使用代理就是为了隐藏自身 IP，防止自身的 IP 被封锁。

1.5.3 爬虫代理

对于爬虫来说，由于爬取速度过快，因此在爬取过程中可能会遇到同一个 IP 访问过于频繁的问题，此时网站会让我们输入验证码登录或者直接封锁IP，这样会给爬取造成极大的不便。
使用代理隐藏真实的IP，让服务器误以为是代理服务器在请求自己。这样在爬取过程中不断更换代理，就可以避免IP被封锁，达到很好的爬取效果。

1.5.4 代理分类

对代理进行分类时，既可以根据协议，也可以根据代理的匿名程度，这两种分类方式分别总结如下。
根据协议区分
根据代理的协议，代理可以分为如下几类。
- FTP 代理服务器:主要用于访问FTP服务器,一般有上传、下载以及缓存功能,端口一般为21、2121 等。
- HTTP 代理服务器:主要用于访问网页，一般有内容过滤和缓存功能，端口一般为 80、80803128 等。
- SSL/TLS 代理:主要用于访问加密网站，一般有 SSL或TLS加密功能(最高支持 128 位加密强度 )，端口一般为 443。
- RTSP 代理:主要用于Realplayer 访问Real 流媒体服务器，一般有缓存功能，端口一般为554
- Telnet 代理: 主要用于 Telnet 远程控制(黑客人侵计算机时常用于隐藏身份)，端口一般为23。
- POP3/SMTP 代理:主要用于以 POP3/SMTP 方式收发邮件，一般有缓存功能，端口一般110/25
- SOCKS 代理:只是单纯传递数据包，不关心具体协议和用法，所以速度快很多，一般有缓功能，端口一般为 1080。SOCKS 代理协议又分为SOCKS4和 SOCKS5，SOCKS4 协议只支 TCP，SOCKS5 协议则支持 TCP 和 UDP，还支持各种身份验证机制、服务器端域名解析等。简单来说，SOCKS4 能做到的 SOCKS5 都能做到，但 SOCKS5 能做到的 SOCKS4 不一定做得到。
根据匿名程度区分
根据代理的匿名程度，代理可以分为如下几类。
- 高度匿名代理:高度匿名代理会将数据包原封不动地转发,在服务端看来似乎真的是一个普通客户端在访问，记录的 IP 则是代理服务器的IP。
- 普通匿名代理:普通匿名代理会对数据包做一些改动,服务端可能会发现正在访问自己的是个代理服务器，并且有一定概率去追查客户端的真实IP。这里代理服务器通常会加人的 HTTP头，有 HTTP_VIA和 HTTP_X_FORWARDED_FOR.
- 透明代理:透明代理不但改动了数据包，还会告诉服务器客户端的真实 IP。这种代理除了用缓存技术提高浏览速度，用内容过滤提高安全性之外，并无其他显著作用，最常见的例子内网中的硬件防火墙。
- 间谍代理:间谍代理是由组织或个人创建的代理服务器，用于记录用户传输的数据，然后对录的数据进行研究、监控等。

1.5.5 常见代理设置

常见的代理设置如下。
- 对于网上的免费代理,最好使用高度匿名代理,可以在使用前把所有代理都抓取下来筛选一下可用代理，也可以进一步维护一个代理池。
- 使用付费代理服务。互联网上存在许多可以付费使用的代理商，质量要比免费代理好很多口 ADSL 拨号，拨一次号换一次IP，稳定性高，也是一种比较有效的封锁解决方案。
- 蜂窝代理，即用 4G或 5G网卡等制作的代理。由于用蜂窝网络作为代理的情形较少，因此整体被封锁的概率会较低，但搭建蜂窝代理的成本是较高的。在后面，我们会详细介绍一些代理的使用方式。

1.6 多线程和多进程的基本原理

在一台计算机中，我们可以同时打开多个软件，例如同时浏览网页、听音乐、打字等，这是再正常不过的事情。但仔细想想，为什么计算机可以同时运行这么多软件呢?这就涉及计算机中的两个名词:多进程和多线程，同样，在编写爬虫程序的时候，为了提高爬取效率，我们可能会同时运行多个爬虫任务，其中同
样涉及多进程和多线程。

1.6.1 多线程的含义

说起多线程，就不得不先说什么是线程。说起线程，又不得不先说什么是进程。
进程可以理解为一个可以独立运行的程序单位,例如打开一个浏览器,就开启了一个浏览器进程;打开一个文本编辑器，就开启了一个文本编辑器进程。在一个进程中，可以同时处理很多事情，例在浏览器进程中，可以在多个选项卡中打开多个页面，有的页面播放音乐，有的页面播放视频，有网页播放动画，这些任务可以同时运行，互不干扰。为什么能做到同时运行这么多任务呢?这便引出了线程的概念，其实一个任务就对应一个线程。
进程就是线程的集合，进程是由一个或多个线程构成的，线程是操作系统进行运算调度的最小单位，是进程中的最小运行单元。以上面说的浏览器进程为例，其中的播放音乐就是一个线程，播放频也是一个线程。当然，浏览器进程中还有很多其他线程在同时运行，这些线程并发或并行执行使整个浏览器可以同时运行多个任务
了解了线程的概念，多线程就很容易理解了。多线程就是一个进程中同时执行多个线程，上面i浏览器进程就是典型的多线程。

1.6.2 并发和并行

说到多进程和多线程，不得不再介绍两个名词–并发和并行。我们知道，在计算机中运行一程序，底层是通过处理器运行一条条指令来实现的。
处理器同一时刻只能执行一条指令，并发(concurrency)是指多个线程对应的多条指令被快速轮换地执行。例如一个处理器，它先执行线程A的指令一段时间，再执行线程B的指令一段时间，然后再切回线程A执行一段时间。处理器执行指令的速度和切换线程的速度都非常快，人完全感知不到计算机在这个过程中还切换了多个线程的上下文，这使得多个线程从宏观上看起来是同时在运行。从微观上看，处理器连续不断地在多个线程之间切换和执行，每个线程的执行都一定会占用这个处理器的一个时间片段，因此同一时刻其实只有一个线程被执行。
并行(parallel)指同一时刻有多条指令在多个处理器上同时执行，这意味着并行必须依赖多个处理器。不论是从宏观还是微观上看，多个线程都是在同一时刻一起执行的。
并行只能存在于多处理器系统中，因此如果计算机处理器只有一个核，就不可能实现并行。而并发在单处理器和多处理器系统中都可以存在，因为仅靠一个核，就可以实现并发。
例如，系统处理器需要同时运行多个线程。如果系统处理器只有一个核，那它只能通过并发的方式来运行这些线程。而如果系统处理器有多个核，那么在一个核执行一个线程的同时，另一个核可以执行另一个线程，这样这两个线程就实现了并行执行。当然，其他线程也可能和另外的线程在同一个核上执行，它们之间就是并发执行。具体的执行方式，取决于操作系统如何调度，

1.6.3 多线程适用场景

在一个程序的进程中，有一些操作是比较耗时或者需要等待的，例如等待数据库查询结果的返回、等待网页的响应。这时如果使用单线程，处理器必须等这些操作完成之后才能继续执行其他操作，但在这个等待的过程中，处理器明显可以去执行其他操作。如果使用多线程，处理器就可以在某个线程处于等待态的时候，去执行其他线程，从而提高整体的执行效率。
很多情况和上述场景一样，线程在执行过程中需要等待。网络爬虫就是一个非常典型的例子，爬虫在向服务器发起请求之后，有一段时间必须等待服务器返回响应，这种任务就属于 I0 密集型任对于这种任务，如果我们启用多线程，那么处理器就可以在某个线程等待的时候去处理其他线程，而提高整体的爬取效率。
但并不是所有任务都属于10密集型任务,还有一种任务叫作计算密集型任务,也可以称为CPU集型任务。顾名思义，就是任务的运行一直需要处理器的参与。假设我们开启了多线程，处理器从个计算密集型任务切换到另一个计算密集型任务，那么处理器将不会停下来，而是始终忙于计算，样并不会节省整体的时间，因为需要处理的任务的计算总量是不变的。此时要是线程数目过多，反还会在线程切换的过程中耗费更多时间，使得整体效率变低。
综上所述，如果任务不全是计算密集型任务，就可以使用多线程来提高程序整体的执行效率。尤其对于网络爬虫这种 IO 密集型任务，使用多线程能够大大提高程序整体的爬取效率。

1.6.4 多进程的含义

前文我们已经了解了进程的基本概念，进程(process)是具有一定独立功能的程序在某个数据合上的一次运行活动，是系统进行资源分配和调度的一个独立单位。
顾名思义，多进程就是同时运行多个进程。由于进程就是线程的集合，而且进程是由一个或多个线程构成的，所以多进程意味着有大于等于进程数量的线程在同时运行。

1.6.5 Python 中的多线程和多进程

Python 中GIL的限制导致不论是在单核还是多核条件下，同一时刻都只能运行一个线程，这使得 Python 多线程无法发挥多核并行的优势
GIL 全称为Global Interpreter Lock，意思是全局解释器锁，其设计之初是出于对数据安全的考虑在 Python 多线程下，每个线程的执行方式分如下三步。
- 获取 GIL。
- 执行对应线程的代码。
- 释放 GIL
可见，某个线程要想执行，必须先拿到 GIL。我们可以把 GIL看作通行证，并且在一个Python 进程中，GIL 只有一个。线程要是拿不到通行证，就不允许执行。这样会导致即使在多核条件下，一个 Python 进程中的多个线程在同一时刻也只能执行一个。
而对于多进程来说，每个进程都有属于自己的 GIL，所以在多核处理器下，多进程的运行是不会受 GIL 影响的。也就是说，多进程能够更好地发挥多核优势。
不过，对于爬虫这种 IO 密集型任务来说，多线程和多进程产生的影响差别并不大。但对于计算密集型任务来说，由于GIL的存在，Python 多线程的整体运行效率在多核情况下可能反而比单核更低。而 Python 的多进程相比多线程，运行效率在多核情况下比单核会有成倍提升。
从整体来看，Python 的多进程比多线程更有优势。所以，如果条件允许的话，尽量用多进程。
值得注意的是，由于进程是系统进行资源分配和调度的一个独立单位，所以各进程之间的数据是无法共享的，如多个进程无法共享一个全局变量，进程之间的数据共享需要由单独的机制来实现。

你可能感兴趣的:(Python爬虫,爬虫,网络,python,pycharm)

理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
python os.environ 江湖偌大 python 深度学习
os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
Python中os.environ基本介绍及使用方法鹤冲天Pro #Python python 服务器开发语言
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
Pyecharts数据可视化大屏：打造沉浸式数据分析体验我的运维人生信息可视化数据分析数据挖掘运维开发技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
Python教程：一文了解使用Python处理XPath 旦莫 Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 python os.environ
>>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
基于社交网络算法优化的二维最大熵图像分割智能算法研学社（Jack旭）智能优化算法应用图像分割算法 php 开发语言
智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码文章目录智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码1.前言2.二维最大熵阈值分割原理3.基于社交网络优化的多阈值分割4.算法结果：5.参考文献：6.Matlab代码摘要：本文介绍基于最大熵的图像分割，并且应用社交网络算法进行阈值寻优。1.前言阅读此文章前，请阅读《图像分割：直方图区域划分及信息统计介绍》htt
2023-04-17|篮球女孩长一木
1小学抑或初中阶段，在课外书了解到她的故事。“篮球女孩”。当时佩服她的顽强，也对生命多了一丝敬畏。今天刚好在公众号看到，长大后的“篮球女孩”。佩服之余又满是心疼。网络侵删祝那素未蒙面的女孩，未来一切顺遂。
使用Faiss进行高效相似度搜索 llzwxh888 faiss python
在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
python是什么意思中文-在python中%是什么意思编程大乐趣
Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
在一台Ubuntu计算机上构建Hyperledger Fabric网络落叶无声9 区块链超级账本 Hyperledger fabric 区块链 ubuntu 构建 hyperledger fabric
在一台Ubuntu计算机上构建HyperledgerFabric网络Hyperledgerfabric是一个开源的区块链应用程序平台，为开发基于区块链的应用程序提供了一个起点。当我们提到HyperledgerFabric网络时，我们指的是使用HyperledgerFabric的正在运行的系统。即使只使用最少数量的组件，部署Fabric网络也不是一件容易的事。Fabric社区创建了一个名为Cello
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
python八股文面试题分享及解析(1) Shawn________ python
#1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
每日算法&面试题，大厂特训二十八天——第二十天（树）肥学 ⚡算法题⚡面试题每日精进 java 算法数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
Python快速入门 —— 第三节：类与对象孤华暗香 Python快速入门 python 开发语言
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
pyecharts——绘制柱形图折线图 2224070247 信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
Python 实现图片裁剪（附代码） | Python工具剑客阿良_ALiang
前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
【华为OD技术面试真题 - 技术面】-测试八股文真题题库（1）算法大师华为od 面试 python 算法前端
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.黑盒测试和白盒测试的区别2.假设我们公司现在开发一个类似于微信的软件1.0版本，现在要你测试这个功能：打开聊天窗口，输入文本，限制字数在200字以内。问你怎么提取测试点。功能测试性能测试安全性测试可用性测试跨平台兼容性测试网络环境测试3.接口测试的工具你了解哪些
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
《在战“疫”中成长致敬生活》观后感梅子刘的刀
（作者：周晨）今天上午，我看了“我是接班人”网络大课堂《在战役中成长致敬生活》。有很多人拿出自己攒下的钱，默默地捐给了武汉，有几千块钱的、有几万块钱的，也有十几万块钱的。连小朋友也把自己的压岁钱捐给了武汉。有名环卫工人把自己五年的积蓄全部捐给了武汉。有名外卖小哥为医护人员买鞋子送吃的。还有已经治愈出院的新型肺炎病人捐了400毫升的血浆。还有位叫大树的叔叔，虽然他没有钱，但是他地里有蔬菜，捐了几大卡
【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
《Python数据分析实战终极指南》 xjt921122 python 数据分析开发语言
对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
Python中深拷贝与浅拷贝的区别 yuxiaoyu.
转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
中原焦点团队网络初中级30期阴丽丽坚持分享第三百八十八次2022.10.18分享约练次数（74）咨询师（6）来访者（53）观察者（15）阴丽丽
今天是忙碌的一天，一早起来，总想着找点把事情弄完，可总也弄不完。就这样弄着吧！孩子的事，自己的事都在那里搁置着，不想做，有点欧！今天总体还不错，只是在下午起床时走神了俩小时，也算是给自己的放松吧！今日难得1.儿子乖巧、听话，努力配合，一天下来也是忙忙碌碌，这真的很难得！2.儿子今天录的视频被班主任认可，这真的很难得3.我今天早上做核酸时，自己把教案整了一下，这真的很难得
网络编程基础记得开心一点啊网络
目录♫什么是网络编程♫Socket套接字♪什么是Socket套接字♪数据报套接字♪流套接字♫数据报套接字通信模型♪数据报套接字通讯模型♪DatagramSocket♪DatagramPacket♪实现UDP的服务端代码♪实现UDP的客户端代码♫流套接字通信模型♪流套接字通讯模型♪ServerSocket♪Socket♪实现TCP的服务端代码♪实现TCP的客户端代码♫什么是网络编程网络编程，指网络上
knob UI插件使用换个号韩国红果果 JavaScript jsonp knob
图形是用canvas绘制的 js代码 var paras = { max:800, min:100, skin:'tron',//button type thickness:.3,//button width width:'200',//define canvas width.,canvas height displayInput:'tr
Android+Jquery Mobile学习系列(5)-SQLite数据库白糖_ JQuery Mobile
目录导航 SQLite是轻量级的、嵌入式的、关系型数据库，目前已经在iPhone、Android等手机系统中使用,SQLite可移植性好，很容易使用，很小，高效而且可靠。因为Android已经集成了SQLite，所以开发人员无需引入任何JAR包，而且Android也针对SQLite封装了专属的API，调用起来非常快捷方便。我也是第一次接触S
impala-2.1.2-CDH5.3.2 dayutianfei impala
最近在整理impala编译的东西，简单记录几个要点：根据官网的信息（https://github.com/cloudera/Impala/wiki/How-to-build-Impala）： 1. 首次编译impala，推荐使用命令： ${IMPALA_HOME}/buildall.sh -skiptests -build_shared_libs -format 2.仅编译BE ${I
求二进制数中1的个数周凡杨 java 算法二进制
解法一：对于一个正整数如果是偶数，该数的二进制数的最后一位是 0 ，反之若是奇数，则该数的二进制数的最后一位是 1 。因此，可以考虑利用位移、判断奇偶来实现。 public int bitCount(int x){ int count = 0; while(x!=0){ if(x%2!=0){ /
spring中hibernate及事务配置 g21121 Hibernate
hibernate的sessionFactory配置：  <bean id="sessionFactory" class="org.springframework.orm.hibernate3.LocalSessionFactoryBean"> <
log4j.properties 使用 510888780 log4j
log4j.properties 使用一.参数意义说明输出级别的种类 ERROR、WARN、INFO、DEBUG ERROR 为严重错误主要是程序的错误 WARN 为一般警告，比如session丢失 INFO 为一般要显示的信息，比如登录登出 DEBUG 为程序的调试信息配置日志信息输出目的地 log4j.appender.appenderName = fully.qua
Spring mvc-jfreeChart柱图（2）布衣凌宇 jfreechart
上一篇中生成的图是静态的，这篇将按条件进行搜索，并统计成图表，左面为统计图，右面显示搜索出的结果。第一步：导包第二步；配置web.xml(上一篇有代码) 建BarRenderer类用于柱子颜色 import java.awt.Color; import java.awt.Paint; import org.jfree.chart.renderer.category.BarR
我的spring学习笔记14-容器扩展点之PropertyPlaceholderConfigurer aijuans Spring3
PropertyPlaceholderConfigurer是个bean工厂后置处理器的实现，也就是BeanFactoryPostProcessor接口的一个实现。关于BeanFactoryPostProcessor和BeanPostProcessor类似。我会在其他地方介绍。 PropertyPlaceholderConfigurer可以将上下文（配置文件）中的属性值放在另一个单独的标准java
maven 之 cobertura 简单使用 antlove maven test unit cobertura report
1. 创建一个maven项目 2. 创建com.CoberturaStart.java package com; public class CoberturaStart { public void helloEveryone(){ System.out.println("=================================================
程序的执行顺序百合不是茶 JAVA执行顺序
刚在看java核心技术时发现对java的执行顺序不是很明白了,百度一下也没有找到适合自己的资料,所以就简单的回顾一下吧代码如下; 经典的程序执行面试题 //关于程序执行的顺序 //例如： //定义一个基类 public class A(){ public A(
设置session失效的几种方法 bijian1013 web.xml session失效监听器
在系统登录后，都会设置一个当前session失效的时间，以确保在用户长时间不与服务器交互，自动退出登录，销毁session。具体设置很简单，方法有三种：（1）在主页面或者公共页面中加入：session.setMaxInactiveInterval(900);参数900单位是秒，即在没有活动15分钟后，session将失效。这里要注意这个session设置的时间是根据服务器来计算的，而不是客户端。所
java jvm常用命令工具 bijian1013 java jvm
一.概述程序运行中经常会遇到各种问题，定位问题时通常需要综合各种信息，如系统日志、堆dump文件、线程dump文件、GC日志等。通过虚拟机监控和诊断工具可以帮忙我们快速获取、分析需要的数据，进而提高问题解决速度。本文将介绍虚拟机常用监控和问题诊断命令工具的使用方法，主要包含以下工具: &nbs
【Spring框架一】Spring常用注解之Autowired和Resource注解 bit1129 Spring常用注解
Spring自从2.0引入注解的方式取代XML配置的方式来做IOC之后，对Spring一些常用注解的含义行为一直处于比较模糊的状态，写几篇总结下Spring常用的注解。本篇包含的注解有如下几个： Autowired Resource Component Service Controller Transactional 根据它们的功能、目的，可以分为三组，Autow
mysql 操作遇到safe update mode问题 bitray update
我并不知道出现这个问题的实际原理,只是通过其他朋友的博客,文章得知的一个解决方案,目前先记录一个解决方法,未来要是真了解以后,还会继续补全. 在mysql5中有一个safe update mode,这个模式让sql操作更加安全,据说要求有where条件,防止全表更新操作.如果必须要进行全表操作,我们可以执行 SET
nginx_perl试用 ronin47 nginx_perl试用
因为空闲时间比较多，所以在CPAN上乱翻，看到了nginx_perl这个项目(原名Nginx::Engine)，现在托管在github.com上。地址见：https://github.com/zzzcpan/nginx-perl 这个模块的目的，是在nginx内置官方perl模块的基础上，实现一系列异步非阻塞的api。用connector/writer/reader完成类似proxy的功能（这里
java-63-在字符串中删除特定的字符 bylijinnan java
public class DeleteSpecificChars { /** * Q 63 在字符串中删除特定的字符 * 输入两个字符串，从第一字符串中删除第二个字符串中所有的字符。 * 例如，输入”They are students.”和”aeiou”，则删除之后的第一个字符串变成”Thy r stdnts.” */ public static voi
EffectiveJava--创建和销毁对象 ccii 创建和销毁对象
本章内容： 1. 考虑用静态工厂方法代替构造器 2. 遇到多个构造器参数时要考虑用构建器（Builder模式） 3. 用私有构造器或者枚举类型强化Singleton属性 4. 通过私有构造器强化不可实例化的能力 5. 避免创建不必要的对象 6. 消除过期的对象引用 7. 避免使用终结方法 1. 考虑用静态工厂方法代替构造器类可以通过
[宇宙时代]四边形理论与光速飞行 comsci
从四边形理论来推论为什么光子飞船必须获得星光信号才能够进行光速飞行？一组星体组成星座向空间辐射一组由复杂星光信号组成的辐射频带，按照四边形-频率假说一组频率就代表一个时空的入口那么这种由星光信号组成的辐射频带就代表由这些星体所控制的时空通道，该时空通道在三维空间的投影是一
ubuntu server下python脚本迁移数据 cywhoyi python Kettle pymysql cx_Oracle ubuntu server
因为是在Ubuntu下，所以安装python、pip、pymysql等都极其方便，sudo apt-get install pymysql，但是在安装cx_Oracle（连接oracle的模块）出现许多问题，查阅相关资料，发现这边文章能够帮我解决，希望大家少走点弯路。http://www.tbdazhe.com/archives/602 1.安装python 2.安装pip、pymysql
Ajax正确但是请求不到值解决方案 dashuaifu Ajax async
Ajax正确但是请求不到值解决方案解决方案：1 . async: false , 2. 设置延时执行js里的ajax或者延时后台java方法！！！！！！！例如： $.ajax({ &
windows安装配置php+memcached dcj3sjt126com PHP Install memcache
Windows下Memcached的安装配置方法 1、将第一个包解压放某个盘下面，比如在c:\memcached。 2、在终端（也即cmd命令界面）下输入 'c:\memcached\memcached.exe -d install' 安装。 3、再输入： 'c:\memcached\memcached.exe -d start' 启动。（需要注意的: 以后memcached将作为windo
iOS开发学习路径的一些建议 dcj3sjt126com ios
iOS论坛里有朋友要求回答帖子，帖子的标题是：想学IOS开发高阶一点的东西，从何开始，然后我吧啦吧啦回答写了很多。既然敲了那么多字，我就把我写的回复也贴到博客里来分享，希望能对大家有帮助。欢迎大家也到帖子里讨论和分享，地址：http://bbs.csdn.net/topics/390920759 下面是我回复的内容：结合自己情况聊下iOS学习建议，
Javascript闭包概念 fanfanlovey JavaScript 闭包
1.参考资料 http://www.jb51.net/article/24101.htm http://blog.csdn.net/yn49782026/article/details/8549462 2.内容概述要理解闭包，首先需要理解变量作用域问题内部函数可以饮用外面全局变量 var n=999; 　　functio
yum安装mysql5.6 haisheng mysql
1、安装http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm 2、yum install mysql 3、yum install mysql-server 4、vi /etc/my.cnf 添加character_set_server=utf8
po/bo/vo/dao/pojo的详介 IT_zhlp80 java BO VO DAO POJO po
JAVA几种对象的解释 PO:persistant object持久对象,可以看成是与数据库中的表相映射的java对象。最简单的PO就是对应数据库中某个表中的一条记录，多个记录可以用PO的集合。PO中应该不包含任何对数据库的操作. VO:value object值对象。通常用于业务层之间的数据传递，和PO一样也是仅仅包含数据而已。但应是抽象出的业务对象,可
java设计模式 kerryg java 设计模式
设计模式的分类：一、设计模式总体分为三大类： 1、创建型模式（5种）：工厂方法模式，抽象工厂模式，单例模式，建造者模式，原型模式。 2、结构型模式（7种）：适配器模式，装饰器模式，代理模式，外观模式，桥接模式，组合模式，享元模式。 3、行为型模式（11种）：策略模式，模版方法模式，观察者模式，迭代子模式，责任链模式，命令模式，备忘录模式，状态模式，访问者
[1]CXF3.1整合Spring开发webservice——helloworld篇木头.java spring webservice CXF
Spring 版本3.2.10 CXF 版本3.1.1 项目采用MAVEN组织依赖jar 我这里是有parent的pom，为了简洁明了，我直接把所有的依赖都列一起了，所以都没version，反正上面已经写了版本 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="ht
Google 工程师亲授：菜鸟开发者一定要投资的十大目标 qindongliang1922 工作感悟人生
身为软件开发者，有什么是一定得投资的？ Google 软件工程师 Emanuel Saringan 整理了十项他认为必要的投资，第一项就是身体健康，英文与数学也都是必备能力吗？来看看他怎么说。（以下文字以作者第一人称撰写））你的健康无疑地，软件开发者是世界上最久坐不动的职业之一。每天连坐八到十六小时，休息时间只有一点点，绝对会让你的鲔鱼肚肆无忌惮的生长。肥胖容易扩大罹患其他疾病的风险，
linux打开最大文件数量1,048,576 tianzhihehe c linux
File descriptors are represented by the C int type. Not using a special type is often considered odd, but is, historically, the Unix way. Each Linux process has a maximum number of files th
java语言中PO、VO、DAO、BO、POJO几种对象的解释衞酆夼 java VO BO POJO po
PO:persistant object持久对象最形象的理解就是一个PO就是数据库中的一条记录。好处是可以把一条记录作为一个对象处理，可以方便的转为其它对象。可以看成是与数据库中的表相映射的java对象。最简单的PO就是对应数据库中某个表中的一条记录，多个记录可以用PO的集合。PO中应该不包含任何对数据库的操作。 BO:business object业务对象封装业务逻辑的java对象

一步一步学爬虫（1）爬虫概念

一步一步学爬虫（1）爬虫概念

第1章 爬虫概念

1.1 HTTP基本原理

1.1.1 URI和URL

1.1.2 HTTP与HTTPS

概念

特点

1.2.3 HTTP请求过程

请求格式

三次握手

四次握手

1.2.4 请求

（1）请求方法

（2）请求网址

（3）请求头

（4）请求体

1.2.5 响应

（1）响应状态码

（2）响应头

（3）响应体

1.2.6 HTTP2.0

二进制分帧层

多路复用

流控制

服务端推送

1.2 Web网页基础

1.2.1 网页的组成

HTML 标题

-

标签来定义的。 <h1>这是标题h1> <h2>这是标题h2> <h3>这是标题h3>

HTML段落

HTML 链接

HTML图像

HTML属性

HTML文本格式化

HTML样式

字体样式&大小&颜色

文本对齐

HTML表格

表格实例

表格表头&标题

HTML列表

HTML区块

HTML表单和输入

提交&登陆

实现登录页

CSS的认识

JavaScript的认识

1.2.2 HTML节点树及节点间的关系

1.2.3 选择器

1.3 爬虫的基本原理

1.3.1 爬虫概述

获取网页

提取信息

保存数据

自动化程序

1.3.2 能爬怎样的数据

1.3.3 JavaScript渲染的页面

1.4 Session和Cookie（会话技术）

1.4.1 概念

1.4.2 原理

1.4.3 属性结构

1.4.4 会话 Cookie 和持久 Cookie

1.4.5 常见误区

1.5 代理的基本原理

1.5.1 基本原理

1.5.2 代理的作用

1.5.3 爬虫代理

1.5.4 代理分类

1.5.5 常见代理设置

1.6 多线程和多进程的基本原理

1.6.1 多线程的含义

1.6.2 并发和并行

1.6.3 多线程适用场景

1.6.4 多进程的含义

1.6.5 Python 中的多线程和多进程

你可能感兴趣的:(Python爬虫,爬虫,网络,python,pycharm)

第1章爬虫概念

标签来定义的。

`<h1>这是标题h1> <h2>这是标题h2> <h3>这是标题h3>`