引言
此文集主要用来记录我的“天眼查”爬虫生涯，给这个时刻2018/7/20赋上历史的Flag。
代码部分还没上，请允许我先铺上服务器自选的一课。
BGP线路
下面部分是我摘取过来的，原谅我的“拿来主义”~ 但确实感觉写的不错。
引文
下面讲述了一些取舍的过程
上云前序
公司因为业务需求，需要用服务器托管微信公众号平台。之前我们先是自建服务器，然后就是使用IDC机房托管服务器，后来因为种种原因，最后转到了阿里云 上云。很多同学会有疑问，为什么已经有了自建服务器，还需要去IDC机房托管，最后又去上云呢？
因为在自建服务器的时候，这个服务器是由我们公司一群参差不齐的"网络工程师"一起弄的。这群吃货，往往是对编程语言有所了解，但对硬件了解的不甚多。所以在遇到单点故障的时候，大家都一脸懵逼。还有，遇到宕机的时候，我们还需要为每个硬件准备冗余，部署与维护成本成本就上去了。（对于鄙人，也几乎等同，硬件的部署实施方案确实对于偏软件人员有些懵）
同时，增减硬件也是挺麻烦的，带宽也是。有时候需要临时搞活动，硬件需要购置时间。带宽也不能提升，因为我这边的ISP服务商签约是一年的。电费也是超贵的，一台低配置的预发型版本测试服务器一年下来电费也得3000元。所以后来我们就换成了IDC机房。
而然，问题还是没有得到解决。即使我们租用的是双线路由器，但是南北互通问题还是解决不了。究竟什么是南北互通问题？（基于我们的理解简单描述一下，不对之处欢迎指正）。南北互通问题实际就是路由问题。假设我们的服务器放在上海电信的机房，上海一位联通的用户访问我们的服务器，要先绕到联通的北京总出口（假设总出口在北京），然后再绕回上海。实际上这位联通用户可以通过上海的线路直接到达我们的服务器，不用绕这么远，但上海电信的机房无法告知联通的路由器走近路过来，只能按照联通路由器设定好的路由走。本来即使从北京绕一下也没有大的影响，毕竟是光的速度，但是由于大多数联通的用户访问电信网络都这么绕着走，联通的总出口成为了瓶颈，总出口流量太大时，联通的用户访问电信的网络速度就会慢。
BGP线路[1]也没什么神奇之处，只是它能决定走什么路由过来，不绕远路，问题自然解决了。它有这样的特权，就不仅能解决南北互通的问题，而且能解决其他网络的互通问题，比如教育网。因为有权限决定路由，就可以优化路由，哪条路堵，我就换条路。阿里云就是BGP线路，这就是我们的选择！
钱也是我们要考虑的，普通租用机房一般是一年一结或者一季度一结。如果不是合作关系的话，过期没钱估计就直接掐断。。。而阿里云可以一月一结，甚至是按天，按配置，按流量收费。多种收费方法。增加了流动资金的同时，也可以随时增减配置和带宽，弹性伸缩，帮助网站运营。
注：
国内的主流机房大致可分为：电信单线机房、联通单线机房、移动单线机房和BGP多线机房这几类。
定义：简单的来说机房在进行初期建设中将电信、联通、联通等线路都接入到机房中，然后在通过BGP互联技术将不同的线路进行融合，这就是BGP机房。
好处：如果你的服务器托管在BGP机房中，你将服务器放在BGP多线机房中，用户通过电信线路访问你的服务器，机房能够自动识别用户的电信线路，然后通过电信线路将信息返回给用户。这样避免了单线机房不同线路将访问信息发送给运营商进行识别而带来的延时，保证了不同线路用户的高速访问。
上云前做足功课
云计算是通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。
云计算特点如下：
(1) 超大规模
(2) 虚拟化
(3) 高可靠性
(4) 通用性
(5) 高可扩展性
(6) 按需服务
(7) 极其廉价
(8) 服务器级安全架构
(9) 快速搭建服务器
(10)10分钟入门
(12)智能工具
(13)技术客服快速响应
(14)7*24小时应用保障
(15)云博士
莫怪，这是一波“广告”！
一、云平台方案调研/技术选型
国内云部分：
如此这般，感觉阿里云在目前来说是做的比较全面的。
国外云部分
二、架构解析/优化
阿里云的口号是：“打造数据分享的第一平台”。
显然，做云计算只是一个起步。阿里巴巴在之前收购了万网，获得了相应的IDC运营资质和用户，也解决了IaaS、PaaS、SaaS领域的大部分问题，比如备案、域名注册、安全防护，用户群等等。
阿里云的运营方式跟微软与世纪互联合作，IBM与首都在线合作都是一个思路。这几家都是要踏踏实实做服务的，眼光不仅仅只是Web应用和移动应用，还包括了企业应用的范围。
以下是云计算常见的六种架构
1、云计算数据中心总体架构
云计算架构分为服务和管理两大部分。在服务方面，主要以提供用户基于云的各种服务为主，共包含3个层次：基础设施即服务IaaS、平台即服务PaaS、软件即服务SaaS。在管理方面，主要以云的管理层为主，它的功能是确保整个云计算中心能够安全、稳定地运行，并且能够被有效管理。
2、云计算机房架构
为满足云计算服务弹性的需要，云计算机房采用标准化、模块化的机房设计架构。模块化机房包括集装箱模块化机房和楼宇模块化机房。
3、云计算网络系统架构
1)按照传送数据业务性质和面向用户的不同，网络系统可以划分为内部核心网、远程业务专网、公众服务网等区域。
2)按照网络结构中设备作用的不同，网络系统可以划分为核心层、汇聚层、接入层。
3)从网络服务的数据应用业务的独立性、各业务的互访关系及业务的安全隔离需求综合考虑，网络系统在逻辑上可以划分为存储区、应用业务区、前置区、系统管理区、托管区、外联网络接入区、内部网络接入区等。
4、云计算主机系统架构
云计算核心是计算力的集中和规模性突破，云计算中心对外提供的计算类型决定了云计算中心的硬件基础架构。从云端客户需求看，云计算中心通常需要规模化的提供以下几种类型的计算力，其服务器系统可采用三(多)层架构，一是高性能的、稳定可靠的高端计算，主要处理紧耦合计算任务，这类计算不仅包括对外的数据库、商务智能数据挖掘等关键服务，也包括自身账户、计费等核心系统，通常由企业级大型服务器提供;二是面向众多普通应用的通用型计算，用于提供低成本计算解决方案，这种计算对硬件要求较低，一般采用高密度、低成本的超密度集成服务器，以有效降低数据中心的运营成本和终端用户的使用成本；三是面向科学计算、生物工程等业务，提供百万亿、千万亿次计算能力的高性能计算，其硬件基础是高性能集群。
5、云计算存储系统架构
云计算采用数据统一集中存储的模式，在云计算平台中，数据如何放置是一个非常重要的问题，在实际使用的过程中，需要将数据分配到多个节点的多个磁盘当中。而能够达到这一目的的存储技术趋势当前有两种方式，一种是使用类似于GoogleFileSystem的集群文件系统，另外一种是基于块设备的存储区域网络SAN系统。
6、云计算应用平台架构
云计算应用平台采用面向服务架构SOA的方式，应用平台为部署和运行应用系统提供所需的基础设施资源应用基础设施，所以应用开发人员无需关心应用的底层硬件和应用基础设施，并且可以根据应用需求动态扩展应用系统需的资源。
三、应用或数据库迁移过程/开发过程
1）首先进入阿里云官网注册阿里云帐号
2）进入云服务器管理控制台，点击右上角的 创建实例
3）根据需要，自己选择计费方式等需要的项目
阿里云服务器名词解释
Ⅰ）如果不知道自己想选什么地区的服务器，可以看看地域表。因为我这个项目是面向全球的，所以需要多个地区协作。同时注意，不同地域是不连通的。
Ⅱ）带宽方面，如果是小型网站，建议按量收费。大型网站，按固定带宽收费。至于带宽大小，自己算算就知道了。同时，阿里云免费提供最高 5Gbps 的恶意流量攻击防护。
Ⅲ）系统镜像方面
Linux
- 最流行的服务器端操作系统，强大的安全性和稳定性。
- 免费且开源，轻松建立和编译源代码。
- 通过SSH方式远程访问您的云服务器。
- 一般用于高性能web等服务器应用，支持常见的PHP/Python等编程语言，支持MySQL等数据库（需自行安装)。
阿里云提供以下Linux操作系统（我这里列出熟悉的几种）：
- CentOS （推荐） 请使用yum方式在线安装软件。
- Ubuntu 请使用apt-get方式在线安装软件。
- Aliyun Linux 请使用yum方式在线安装软件。
！ 香港、新加坡、美国地域的云服务器暂不支持 Linux 和 Windows 系统的互相更换，仅支持 Linux和Linux、Windows 和 Windows 同类型系统的更换。
Ⅳ）因为阿里云首次购买在部分地区好像有优惠。所以，要注意优惠，不要错过信息。像我选的这个套餐，便宜了非常多钱，这个在其他云不存在的。
注意事项：
快速入门(Linux)
我为什么要购买独立云磁盘？
上云方案实施
4）确认信息并且支付。
五、上云前后分析对比
1）一站式服务
建设一个网站需要域名、空间、数据库等。
阿里巴巴网络有限公司（HK.1688）（2009年9月28日）宣布，将支付人民币5.40亿元的现金，分两期获得国内领先的互联网基础设施服务提供商中国万网在中国营运的股权，以加速协助小企业客户由“meet at alibaba”迈向“work at alibaba”的十年愿景战略部署。
从此不用域名一个服务商，空间一个IDC，数据库一个服务商了。
2）一站式备案
以前采用普通主机，备案需要走来走去，自从有了阿里云，阿里云拥有完善的备案系统https://beian.aliyun.com 通过这个系统，方便简介地备案。
3）弹性伸缩
根据业务需求和策略，自动调整其弹性计算资源的管理服务，在满足业务需求高峰增长时无缝地增加ECS实例，并在业务需求下降时自动减少ECS实例以节约成本。
4）容器服务
容器服务（Container Service）提供了高性能可伸缩的容器应用管理服务，支持在一组云服务器上通过 Docker 容器来进行应用生命周期管理。容器服务极大地简化了用户对容器管理集群的搭建工作，无缝整合了阿里云虚拟化、存储、网络和安全能力，打造 Docker 云端最优化的运行环境。容器服务提供了多种应用发布方式和流水线般的持续交付能力，原生支持微服务架构，助力用户无缝上云和跨云管理。
5）批量计算
批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute可支持海量作业并发规模，系统自动完成资源管理，作业调度和数据加载，并按实际使用量计费。
6）CDN
CDN的全称是Content Delivery Network，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决 Internet网络拥挤的状况，提高用户访问网站的响应速度。
7）对象存储 OSS
阿里云对象存储服务（Object Storage Service，简称 OSS），是阿里云提供的海量、安全、低成本、高可靠的云存储服务。您可以通过调用 API，在任何应用、任何时间、任何地点上传和下载数据，也可以通过 Web 控制台对数据进行简单的管理。OSS 适合存放任意类型的文件，适合各种网站、开发企业及开发者使用。按实际容量付费真正使您专注于核心业务。
8）负载均衡及后端数据同步
阿里云由于使用rsync等同步软件进行实时数据同步。所以，阿里云建议用户将负载均衡后端所有ECS配置成无状态的应用服务器，将数据和文件统一存放在后端RDS和OSS等公共服务上。
9）API 网关
阿里云拥有完善的API，可以提供高性能、高可用的 API 托管服务，帮助用户对外开放其部署在 ECS、容器服务等阿里云产品上的应用，提供完整的 API 发布、管理、维护生命周期管理。用户只需进行简单的操作，即可快速、低成本、低风险地开放数据或服务。
10）服务器安全及抵抗高流量攻击
Ⅰ）云盾
当受到攻击时，流量会经过云盾节点，并触发清洗机制，起到CC/DDoS防护作用。
Ⅱ）加密服务
加密服务(Data Encryption Service)是云上的加密解决方案。服务底层使用经国家密码管理局检测认证的硬件密码机，通过虚拟化技术，帮助用户满足数据安全方面的监管合规要求，保护云上业务数据的隐私性要求。借助加密服务，用户能够对密钥进行安全可靠的管理，也能使用多种加密算法来对数据进行可靠的加解密运算。
Ⅲ）DDoS 基础防护 & DDoS 高防IP
阿里云免费为用户提供最高5G的默认DDoS防护能力。阿里云在此基础上，推出了安全信誉防护联盟计划，将基于安全信誉分进一步提升DDoS防护能力，用户最高可获得100G以上的免费DDoS防护资源。
云盾DDoS高防IP是针对互联网服务器（包括非阿里云主机）在遭受大流量的DDoS攻击后导致服务不可用的情况下，推出的付费增值服务，用户可以通过配置高防IP，将攻击流量引流到高防IP，确保源站的稳定可靠。
Ⅳ）阿里绿网
阿里绿网基于深度学习技术及阿里巴巴多年的海量数据支撑， 提供多样化的内容识别服务，能有效帮助用户降低违规风险。目前已开放网站内容检测和图片鉴黄服务，后续还会推出垃圾广告过滤、图文识别、视频识别等服务。另外我们拥有业内顶尖的算法专家，丰富的内容识别经验，同时为阿里集团全网（含蚂蚁集团）提供内容识别服务，产品也在快速迭代中。
Ⅴ）证书服务
云盾证书服务(Alibaba Cloud Certificates Service)是阿里云联合若干国内外知名CA证书厂商，在阿里云平台上直接提供服务器数字证书，阿里云用户可以在云平台上直接购买甚至免费获取所需类型的数字证书，一键部署在阿里云产品中，最小成本的将所持服务从HTTP转换成HTTPS。 Chrome从2017年10月起将要求遵守证书透明
Ⅵ）云盾混合云
云盾混合云以阿里云互联网攻防技术为核心，能够为用户建设涵盖网络安全、应用安全、主机安全、安全态势感知的全方位互联网安全攻防体系。不同于以往以检测技术为主的边界防护方式，云盾.混合云防护以泛安全数据与情报联动分析为驱动，为用户提供全景的安全态势感知、攻击溯源回溯、基础安全防护等功能。通过纯软件化的部署方式，云盾.混合云能够使得用户在自有IDC、私有云、公有云、混合云等多种业务环境获得与阿里云同等强度的互联网防护能力。
Ⅶ）漏洞扫描
如上引文可能有些冗长，但确实是已精简过了，了解源头及发展方向，稍微总结一下
总结
服务器其实就是一台不间断24小时开机的电脑，很多用户初建网站都有考虑过使用自己的电脑搭建服务器。那我们来从配置、软件、宽带、稳定、安全、可靠等方面来分析，到底是通过自己的电脑搭建服务器还是购买阿里云服务器比较好。
硬件方面
以阿里云2折云服务器为例，1核CPU、1G内存、1M宽带、40G存储硬盘的云服务器为330元/年，并且阿里云存储三副本。
自己购买电脑硬件的价格组成：电脑配置+自己拉宽带+电费（24小时不间断），可能每年的电费都不止330元。
以上是入门级配置，如果网站流量有所提升，还要升级硬件，阿里云弹性计算，按量付费，瞬间升级并且不会造成资源浪费。如果你的网站流量又有所提升，你可以需要搭配负载均衡SLB、RDS、OSS或者CDN等产品。
软件方面
阿里云提供的软件都是正版软件，无版权困扰，无需另外付费。
宽带方面
再来说说宽带，阿里云BGP多线，独立公网IP，这是家庭宽带不可比拟的。
安全性
阿里云为每台ECS提供默认5G的DDoS防护，自己服务器是不具备的。
可靠性
阿里云存储基于盘古分布式文件系统，三副本备份，可靠性可达99.999999%。自建服务器，硬盘出现故障，可能数据就全部丢失了。另外，阿里云支持宕机迁移，尽可能的提升ECS实例可用性，降低物理故障对用户服务影响的功能。
综上，无论是从软硬件配置、网络宽带、安全性又或可靠性方面，阿里云服务器都比自建服务器要划算得多。
-
BGP（Border Gateway Protocol，边界网关协议）是用来连接Internet上的独立系统的路由选择协议。它是Internet工程任务组制定的一个加强的、完善的、可伸缩的协议。采用BGP方案来实现双线路互联或多线路互联的机房，称为BGP机房。 ↩