前端SEO

1、HTML语义化。

一级标题
二级标题
三级标题
四级标题
五级标题
六级标题

使用alt属性加以说明

合理的设计title、description和keywords

title：当前页面的标题（强调重点即可，每个页面的 title 尽量不要相同）
description：当前页面的描述（列举几个关键词即可，不要过分堆积）
keywords：当前页面的关键词（高度概括网页内容）

2、网站地图。做一个 XML sitemap，并放在网端的根下 /sitemap.xml与/sitemap.html .
3、接入使用Google Analytics (或是别的开源的网站分析工具，如： Piwik).

4、使用robots.txt声明爬虫，搜索，网站信息。了解 robots.txt 和搜索引擎爬虫是如何工作的。
5、重定向请求 (使用 301 重定向网站) ，如果你要把www.cccc.com定向到 cccc.com(或是其它的变更) 这样可以防止Google的rank因为域名的变化发生改变。
6、并不是所有的爬虫都是好的，有些爬虫的行为并不好。比如向你的网站发大量的请求导致服务器性能下降。

    # nginx反爬设置。禁止 Scrapy
    if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
      return 403;
    }

    # nginx反爬设置。禁止 UA
    if ($http_user_agent ~ "Bytespider|FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|python-requests|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$" ) {
      return 403;
    }

7、Lighthouse 性能优化工具

image.png

image.png

参考：
Nginx反爬虫： 禁止某些User Agent抓取网站