浅谈SEO优化

前段时间帮朋友搬家，被问到会不会写python爬虫，我说不会（真的不会）。但是去图书城充数的时候还是大概瞄了一下有关python爬虫的书籍的，有各种各样的python爬虫框架，Scrapy、PySpider、Crawley、Grab等等各种框架，大概就是各种爬虫爬取的数据内容不同，然后根据爬虫控制器、解析器、资源库的技术不同进行分类。绕的有点远，之所以说到上面的事情是因为今天谈到的SEO与爬虫有密不可分的关系。其实其他的语言，PHP，Java，c++也都可以开发爬虫，由于python语言的特点，社区比较完整，有各种现成的框架，涉及到运行速度，开发效率，开发成本等问题，而且写爬虫是一边写，一边测试，测试不过再改改，这个过程用 python 写起来最方便，所以听到的python爬虫比较多。

SEO的目的就是为了把网站排到搜索引擎前面，提升曝光频率，通过关键词精准定位高质量客户，是一种营销手段，也能提升企业形象。打个比方，去百度搜索web，由于SEO做的好，某培训机构官网做到了第一页前面的位置，网被点开的概率就很大，促成招生的概率就大了，三页以后的内容都懒得看。

百度很大一部分收入来自于广告，就是百度竞价排名，给钱然后把你的网站放到前面去，不过由于莆田系事件的缘故，所有竞价广告被要求标注广告二字，包括360和搜狗等浏览器。这个缘故，似乎SEO的地位一下就提高了不少，因为用户不喜欢点广告内容，百度在中国是用户占有量第一的搜索引擎（半壁江山），也就导致竞价排名贵。

百度蜘蛛

说SEO不得不提百度搜索引擎的百度蜘蛛，百度蜘蛛是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容，然后分门别类建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。

百度蜘蛛工作机制

构建原理

搜索引擎构建一个调度程序，来调度百度蜘蛛的工作，让百度蜘蛛去和服务器建立连接下载网页，这样一个开始数据采集的过程。这个过程是上面提到的控制器的工作，控制器启动线程调用蜘蛛爬虫爬取网页，给多线程中的各个蜘蛛爬虫线程分配工作任务。目前的搜索引擎普遍使用广布式多服务器多线程的百度蜘蛛来达到多线程的目的。

运行原理

深度优先和权重优先，百度蜘蛛抓页面的时候从起始站点（即种子站点指的是一些门户站点）是百度优先抓取是为了抓取更多的网址，深度优先抓取的目的是为了抓取高质量的网页，这个策略是由调度来计算和分配的，百度蜘蛛只负责抓取，权重优先是指反向较多的页面的优先抓取，这也是调度的一种策略，一般情况下网页抓取抓到40%是正常范围，60%算很好，100%是不可能的，当然抓取的越多越好。

怎么引导蜘蛛收录

       1、网站的更新频率

　　网站的内容需要经常定时更新高价值的内容，能优先抓取。在网站优化中，创建内容要有频率，因为蜘蛛爬行事有策略的，网站创建内容越频繁，蜘蛛爬行的频率会越频繁，所以更新的频率可以提高抓取的频率。搜索引擎的用户也是喜欢新的内容，这也是针对用户体验做的必要设计。

        2、内容质量：
         网站内容质量对于网站来说非常重要，这关系到用户来到我们网站，能不能找到自己所需要的答案，能不能让用户满意。搜索引擎是为用户服务的，因此，当我们的网站内容原创度多，质量高，并且可以解决用户问题时，那么蜘蛛就会提高抓取频次。

　　3、网站受欢迎程度

　　网站的欢迎程度，是指我们的用户体验。对呀用户体验好的网站，百度蜘蛛会优先录取。那这里有人会问，我们该怎么提高用户体验呢?其实很简单，首先是网站的颜色搭配和页面布局必须合理，另外重要的个是广告，必须避免太多的广告，不要让广告遮住正面的内容，否则百度会判定你的网站用户体验非常糟糕。

        4、页面深度：
        想要蜘蛛抓取的页面在网站首页是否有入口，如果有入口存在的话，就更能方便页面被抓取和收录。
当我们进行网站数据分析时，如果发现蜘蛛抓取频次低，停留时间短，我们就可以通过以上方法对网站进行相应的优化，来提升蜘蛛对我们网站的爬取收录。

　　5、优质的入口

　　优质的入口主要是指网站的外链，优质的站点follow(跟踪)的站点，优先抓取。现在百度对外部链接做了个很大的调整，对于垃圾外链，百度已经过滤的非常严格。基本上在论坛上发外链或者留言板之类的外链，百度都会在后台过滤。但是真高质量的外链，对于排名和抓取来说事很重要的。

　　6、安全记录优异站点，优先抓取

　　网络安全越来越重要，对于个经常受到攻击(被黑)的网站，是能严重危害用户的。所以，SEO优化过程中要注意网站的安全性。

　　7、历史抓取效果好的

　　百度不管是排名还是蜘蛛的爬行，历史记录非常重要。这好比个人的历史记录样，如果之前作弊过。那会留下污点。网站亦是如此。在优化网站中切记不要作弊，旦留下污点会降低百度蜘蛛对站点的信任，影响抓取网站的时间和深度。要坚持更新高质量的内容，非常的重要。

　　8、服务器稳定，优先抓取

　　从15年开始，百度对于服务器的稳定性因素权值做了个很大的提升。服务器稳定包括稳定和速度两个方面。速度越快的服务器，植株抓取的效率越高。服务器越稳定，蜘蛛抓取的连通率越高。另外有个高速稳定的服务器，对于用户体验上来说也是件非常重要的事情。

等...等各种因素

网站内部SEO分为两大部分：网站结构框架的优化和页面优化。

网站结构框架的优化

大多数SEO工作者常常把优化重点放在页面上，比如关键词分布、标题标签等等，但是却因此忽略了网站最核心的框架优化。一个良好的网站框架能让SEO效果事半功倍，让页面的优化更加有条理性。网站结构合理，页面深度大，百度蜘蛛更喜欢“黑洞”一样的神秘区域。

页面优化

HTML的不同标签在SEO优化中的权重分数 ：

内部链接文字： 10 分

标题title： 10 分

域名： 7 分

H1，H 2 字号标题： 5 分

每段首句： 5 分

路径或文件名： 4 分

相似度(关键词堆积)： 4 分

每句开头：1. 5 分

文本用法(内容)： 1 分

title属性： 1 分 (不是