Python 获取web网络信息-1

笔记格式

1. 套接字不同域的通信原理：AF_INET， AF_UNIX
2. 常见的套接字socket的分类：SOCK_STREAM， SOCK_DGRAM
3. 一个最简单的抓取网络信息的python程序
4. 如何通过HTTP协议抓取imag图片？
5. 如何用urllib检索网络信息？
6. BeautifulSoup

1. 套接字的域问题

1. AF_INET域与AF_UNIX域socket通信原理对比
   https://www.bbsmax.com/A/QV5ZeRr2Jy/

2. AF_INET域socket通信过程
   典型的TCP/IP四层模型的通信过程。发送方、接收方依赖IP:Port来标识，即将本地的socket绑定到对应的IP端口上，发送数据时，指定对方的IP端口，经过Internet，可以根据此IP端口最终找到接收方；接收数据时，可以从数据包中获取到发送方的IP端口。

   
   
   

   AF_INET.png

2. AF_UNIX域socket通信过程
   典型的本地IPC，类似于管道，依赖路径名标识发送方和接收方。类似本地通信。

BTW:进程间通信IPC (InterProcess Communication)
https://www.jianshu.com/p/c1015f5ffa74

AF_UNIX.png

2. 常见的socket（套接字）分类

1. socket是什么
   1.1 网络上的两个程序通过一个双向的通信连接实现数据的交换，这个连接的一端称为一个socket。
   1.2 建立网络通信连接至少要一对端口号(socket)。socket本质是编程接口(API)，对TCP/IP的封装，TCP/IP也要提供可供程序员做网络开发所用的接口，这就是Socket编程接口；HTTP是轿车，提供了封装或者显示数据的具体形式；Socket是发动机，提供了网络通信的能力。
   1.3 socket是应用层和传输层间的桥梁，简单说就是包装应用层信息，并且把这些信息传到传输层那边。

socket

socket2

socket3

socket4

2. SOCK_STREAM
   2.1 是有保障的（即能保证数据正确传送到对方）面向连接的SOCKET，多用于资料（如文件）传送。
   2.2 SOCK_STREAM是基于TCP的，数据传输比较有保障。
   2.3 SOCK_STREAM 是数据流,一般是tcp/ip协议的编程

3. SOCK_DGRAM
   3.1 是无保障的面向消息的socket，主要用于在网络上发广播信息。
   3.2 SOCK_DGRAM是基于UDP的，专门用于局域网，基于广播
   3.3 SOCK_DGRAM分是数据抱,是udp协议网络编程

4. 基于传输层差异，4种类型的Socket:
   (1)基于TCP的Socket:提供给应用层可靠的流式数据服务，使用TCP的Socket应用程序协议：BGP，HTTP，FTP，TELNET等。优点：基于数据传输的可靠性。
   (2)基于UDP的Socket：适用于数据传输可靠性要求不高的场合。基于UDP的Socket应用程序或协议有：RIP，SNMP，L2TP等。
   (3)基于RawIp的Socket:非连接，不可靠的数据传输。特点：能使应用程序直接访问网络层。基于RawIp的Socket有ping ,tracert,ospf等。
   (4)基于链路层的Socket。为IS-IS协议提供的Socket接口。使IS-IS协议可通过Socket直接访问链路层。非连接，不可靠通信服务。

3. 一个最简单的抓取网络信息的python程序

1. 首先要调用python的专用库socket
2. 定义socket的作用域和报文方式
3. 定义host（web server）和IP端口
4. 做一些简单操作 get 就是获取信息，定义通信协议HTTP。
5. 取信息时encode，信息拿回来再decode。

import socket

mysock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
mysock.connect(('data.pr4e.org', 80))
cmd = 'GET http://data.pr4e.org/romeo.txt HTTP/1.0\r\n\r\n'.encode()
mysock.send(cmd)

while True:
    data = mysock.recv(20)
    if (len(data) < 1):
        break
    print(data.decode(),end='')

mysock.close()

3.2

encode & decode

sokcet

4. 如何通过HTTP协议抓取imag图片

1. 一般网络信息用的是HTTP(port 80), HTTPS(port 443)。前一个是不加密不安全链接，后一个是加密链接。

2. 拿回来的信息需要减去报头并且解码（重新编码）。
   2.1 首先，虽然每次都是要求5120个字符，但是返回的并不确定(网络网速限制），所以要记录起止点（count，len）。根据这些起止点分割成一段一段的报文，然后再剪去报头。这个报头是协议HTTP中定义的这一串 “\r\n\r\n”
   2.2 为什么每次返回信息长度不定？这是因为HTTP报文是面向文本的，报文中的每一个字段都是一些ASCII码串，各个字段的长度是不确定的。HTTP有两类报文：请求报文和响应报文。

HTTP-packets

2.3 自己跟着写一遍我终于知道这代码啥意思了.....附上比代码长的个人注释。

import socket
import time

host = 'data.pr4e.org'
port = 80
mysock = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
mysock.connect((host,port))
mysock.sendall(b'GET http://data.pr4e.org/cover3.jpg HTTP/1.0\r\n\r\n')
count = 0
picture = b""

while True:
    data = mysock.recv(5120)  # get one packet of data
    if (len(data)<1):break
    time.sleep(0.25)
    count = count + len(data) #how many length of data we have been received
    print(len(data),count)  # use len(data) to check how long this packet is.
    picture = picture + data  # adding all the received packets to be a picture file (binary)

mysock.close()

# Look for the end of the header (2 CRLF)
pos =  picture.find(b"\r\n\r\n") #using these four charaters to seperate the whole picture into small packets
print('Header length', pos)
print(picture[:pos].decode())

# Skip past the header and save the picture data
picture = picture[pos+4:]      #it is to remove these four charaters "\r\n\r\n"
fhand = open("stuff.jpg", "wb")     #create a picture enconding file
fhand.write(picture)            # transform the data into the file
fhand.close()

5. 如何用urllib检索网络信息？

这个库好方便又好简单，我决定忘记抛弃上面的socket。直接抓取URL中的内容，返回decode一下就可以了。

import urllib.request

fhand = urllib.request.urlopen('http://data.pr4e.org/romeo.txt')
for line in fhand:
    print(line.decode().strip())

6. BeautifulSoup是什么

为了方便点，不用每次都放到路径里，可以在anaconda安装。

conda install -c anaconda beautifulsoup4 

---

参考资料：

1. 菜鸟教程
   http://www.runoob.com/python3/python3-socket.html

2. roland_sun
   Unix域套接字（Unix Domain Socket）介绍
   http://blog.csdn.net/roland_sun/article/details/50266565

3. 百度/wiki

4. http://blog.csdn.net/map_lixiupeng/article/details/41696933

5. py4e的笔记整理，看起来好难，做起来还挺简单的。

6. 华山大师兄
   http://www.cnblogs.com/biyeymyhjob/archive/2012/07/28/2612910.html

7. HTTP 协议格式 和 HTTP Header
   https://my.oschina.net/manmao/blog/549123