Python爬虫
最近断断续续的写了几篇
Python的学习心得，由于有开发经验的同学来说上手还是比较容易，而且Python提供了强大的第三方库，做一个小的示例程序还是比较简单，这不我之前就是针对Python的爬虫做了好几个程序，爬取了几个图片网站的图片，并保存到本地。
- Python-爬取校花网视频(单线程和多线程版本)
- Python-爬取妹子图(单线程和多线程版本)
- python爬虫Scrapy(一)-我爬了boss数据
Python web服务
写了几个
Python爬虫后，想试试Python web服务怎么写。随手百度了下，写了如下代码
import socket
HOST,PORT = 'localhost',8080
listen_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
listen_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
listen_socket.bind((HOST, PORT))
listen_socket.listen(1)
print('Serving HTTP on port %s ...' % PORT)
while True:
client_connection, client_address = listen_socket.accept()
request = client_connection.recv(1024)
print(request)
http_response = b"""
HTTP/1.1 200 OK\r\n
\r\n
Hello,world!
"""
client_connection.send(http_response)
client_connection.close()
- 启动命令行，切换到该文件所在路径，输入：
python xx.py启动web服务，如下图所示
[图片上传失败...(image-1c8e9f-1544364020630)] - 打开浏览器，输入
localhost:8080，然后回车，可以看到页面显示
[图片上传失败...(image-f8a011-1544364020630)]
上述代码比较测试过程比较简单，主要是为了演示怎么写一个
Python web服务，这个演示流程存在一个比较大的问题，就是每当服务需要重启的时候我们需要关闭命令行工具，然后重新启动，这个过程太繁琐了，怎么可以让它程序化呢！解决办法也是有的，那就是Docker，因此我决定学习一下开源的应用程序引擎Docker
Docker是什么
Docker入门总结
Docker是什么
[图片上传失败...(image-189f19-1544364020630)]
- go语言实现
- Build、Ship and Run App，AnyWhere
- 一次封装、到处运行
如上图，Docker设想是交付运行环境如同海运，OS如同一个货轮，每一个在OS基础上的软件都如同一个集装箱，用户可以通过标准化手段自由组装运行环境，同时集装箱的内容可以由用户自定义，也可以由专业人员制造。这样，交付一个软件，就是一系列标准化组件的集合的交付，如同乐高积木，用户只需要选择合适的积木组合，并且在最顶端署上自己的名字(最后一个标准化组件是用户的app)。
了解Docker，首先需要知道LXC是什么。LXC是指Linux内核(尤指命名空间和CGroup)的一个特性，它允许其他一些沙盒进程运行在一块相对独立的空间，并能方便的控制他们的资源调度。
Docker 底层是基于LXC实现的，它提供了一系列更强的功能。Docker定义了一种新的格式，将应用和其依赖环境全部打包到一个单一对象中，这个对象可以在任何安装有Docker的机器上共享，并且执行这个对象的效果都是一样的
可移植的跨机器部署：LXC实现了进程级的沙盒封装，而Docker为移植部署定义了规范，使用了抽象层的概念，把机器配置打包进了容器，这样使得进程和环境一起进行了分发
Docker三个基本概念：Image（镜像）、Container（容器）和Repository（仓库）
[图片上传失败...(image-a524d4-1544364020630)]
Image（镜像）
Docker 镜像可以看作是一个特殊的文件系统，除了提供容器运行时所需的程序、库、资源、配置等文件外，还包含了一些为运行时准备的一些配置参数（如匿名卷、环境变量、用户等）。
镜像不包含任何动态数据，其内容在构建之后也不会被改变。
Container（容器）
容器（Container）的定义和镜像（Image）几乎一模一样，也是一堆层的统一视角，唯一区别在于容器的最上面那一层是可读可写的。
容器 = 镜像 + 读写层。
Repository（仓库）
Docker 仓库是集中存放镜像文件的场所。
仓库（Repository）和仓库注册服务器（Registry），一个 Docker Registry 中可以包含多个仓库（Repository），每个仓库可以包含多个标签（Tag），每个标签对应着一个镜像。
下图可以直观的看到Docker的结构。Docker 使用 C/S 结构，即客户端/服务器体系结构。Docker 客户端与 Docker 服务器进行交互，Docker服务端负责构建、运行和分发 Docker 镜像。
Docker 客户端和服务端可以运行在一台机器上，也可以通过 RESTful 、 Stock 或网络接口与远程 Docker 服务端进行通信。
[图片上传失败...(image-59214e-1544364020630)]
Docker vs VM
虚拟化
虚拟化是云计算的基础。简单的说，虚拟化使得在一台物理的服务器上可以跑多台虚拟机，虚拟机共享物理机的 CPU、内存、IO 硬件资源，但逻辑上虚拟机之间是相互隔离的。
物理机我们一般称为宿主机（Host），宿主机上面的虚拟机称为客户机（Guest）。
宿主机(Host)给客户端(Guest)提供硬件资源虚拟机是通过
Hypervisor实现的，根据根据Hypervisor的实现方式和所处的位置不同，虚拟化又分为两种
- Hypervisor 直接安装在物理机上，多个虚拟机在 Hypervisor 上运行。
[图片上传失败...(image-e6e592-1544364020630)] - 物理机上首先安装常规的操作系统，比如 Redhat、Ubuntu或 Windows。Hypervisor 作为 OS 上的一个程序模块运行，并对管理虚拟机进行管理。KVM、VirtualBox 和 VMWare Workstation 都属于这个类型。
[图片上传失败...(image-2d4416-1544364020630)]
下边我们用使用比较多的有宿主机用Hypervisor实现方式的虚拟机VMWare Station和容器进行比较，方便我们理解
[图片上传失败...(image-8edaaa-1544364020630)]
使用场景
- Automating the packaging and deployment of applications（使应用的打包与部署自动化）
- Creation of lightweight, private PAAS environments（创建轻量、私密的PAAS环境）
- Automated testing and continuous integration/deployment（实现自动化测试和持续的集成/部署）
- Deploying and scaling web apps, databases and backend services（部署与扩展webapp、数据库和后台服务）
Docker环境
Docker是基于Linux 64bit的，无法在32bit的linux/windows/unix环境下使用，而且Docker是基于LXC实现的，因此容器的宿主机必须是Linux系统。
windows系统安装docker
Win 10以前的系统没有Hyper-v技术，因此如果想使用Docker就需要安装Docker Toolbox工具，Win 10系统可以直接安装Docker for Windows这个包，然后使用。
Windows系统上直接使用
Docker，发现问题还是挺多，因此想到了另外一种方式，现在windows系统上安装Linux 64bit系统，然后在安装Docker
- 首先是安装VMware Workstation
- 下载Linux系统，并创建新的虚拟机系统
- 下边的操作和直接在Linux系统上安装一样
Linux系统安装docker
Ubuntu Docker安装和镜像加速
Docker常用命令
启动Docker后台服务
sudo service docker start
容器命令
- docker ps ：查看当前运行容器
- docker ps -l ：查看最后一次创建的容器
- docker logs 容器id(名称)：查看镜像内日志
- docker stop 容器id(名称)：停止容器
- docker start 名称：启动容器
- docker rm 容器id(名称) #删除容器时，容器必须是停止状态
- docker port 容器id(名称) #查看网络端口
- docker run -d -P --name runoob training/webapp python app.py --name 容器名称 ：运行容器示例
-t:在新容器内指定一个伪终端或终端。
-i:允许你对容器内的标准输入 (STDIN) 进行交互。
镜像命令
- docker images ：查看镜像列表
- docker pull python:3.6：拉取镜像
- docker search 名称：查找镜像 默认在Docker Hub中查找
构建镜像
cat Dockerfile
FROM centos:6.7
MAINTAINER Fisher "[email protected]"
RUN /bin/echo 'root:123456' |chpasswd
RUN useradd runoob
RUN /bin/echo 'runoob:123456' |chpasswd
RUN /bin/echo -e "LANG=\"en_US.UTF-8\"" >/etc/default/local
EXPOSE 22
EXPOSE 80
CMD /usr/sbin/sshd -D
- 每一个指令都会在镜像上创建一个新的层，每一个指令的前缀都必须是大写的。
- 第一条FROM，指定使用哪个镜像源
- RUN 指令告诉docker 在镜像内执行命令，安装了什么。。
- 然后，我们使用 Dockerfile 文件，通过 docker build 命令来构建一个镜像。
docker build -t runoob/centos:6.7 .
参考资料
- 这可能是最为详细的Docker入门总结
- KVM --介绍
- Docker 是什么
- Docker学习笔记 — Docker与LXC的区别
- Ubuntu Docker安装
- Docker 百科
转载声明：本站文章无特别说明，皆为原创，版权所有，转载请注明：朝十晚八 or Twowords