解决百度爬虫无法爬取 Github Pages 个人博客的问题

据 marketmechina 统计，去年12月份中国市场全平台 （桌面+手机客户端）搜索引擎市场份额：

• Baidu: 67.09%
• Sogou: 18.75%
• Shenma: 6.84%
• Google: 2.64%
• bing: 2.6%
• Other: 2.08%

不得不说，即使大家现在如此 diss 百度，这中文搜索的第一把交椅，百度还是坐的很稳。想要获得中文搜索的流量，百度这一入口不容忽视。

GitHub Pages 个人博客

Github Pages 这项服务自上线后，很快就成为了程序员搭建静态个人博客的最佳之选，大家喜欢的原因有很多，比如

• 可以像写 code 一样写文章
• 可以通过命令行 git push 一键发布网站，酷炫
• 静态网页生成框架选择众多，插件完善，自定义性很高
• 如果懂点前端，上手非常容易

更不用提版本追踪、多人协作这些 Git 自带的优势了。2013年，我也是用 Jekyll 在 GitHub Pages 上搭了个人第一个博客。

百度爬虫被拒绝访问

然而，2015年，因为一些不能细说的原因，Github 开始拒绝百度爬虫的访问，直接返回 403。

官方给出原因是，百度爬虫爬得太狠，影响了 Github Page 服务的正常使用。这就导致了，但凡在 Github Page 搭建的个人博客，都无法被百度收录。

自去年年底佛罗里达之行回来，我开始写中文游记，目前为止，Google 收录非常及时全面，SEO 效果也很不错。但如果只有国外的中文读者可以搜索到这些文章，那国内这最大的一批中文读者就被忽略了，再好的内容无法被分享出去也是白搭。

于是，我开始捣鼓如何让百度爬虫收录我的个人博客。

继续阅读：解决百度爬虫无法爬取 Github Pages 个人博客的问题