网站地图(sitemap)如何优雅生成?

  网站地图(sitemap)如何优雅生成?首先关注优雅两字,要知道如果不是通过网站程序自己生成的网站地图,要使用三方工具生成网站地图,不幸的是,遇到哪种经营很长时间的的网站,是非常耗费世间的事。

  关键点到了,一个页面老是一直加载,长时间不动的话,真担心浏览器突然挂掉,万一在等待网站地图文件的过程中,被拉闸了断电,真要命,emmmm。所以,生成网站地图应该要支持断点恢复这个功能吧。

  对于一个链接几百万的网站,所有的数据也是巨大的,如果用服务器来处理所有的链接,然后返回给页面,这也不可取,谁知道你在用的时间,还有多少个用户又在用呢?

  HTML 5 的IndexedDB 这API给了运营者一个大大的福音,通过B/S结构的软件,实现了C/S结构软件的功能。

  使用java、python、php这样的语言来处理页面,获取当前页面的链接,然后数据对比、储存就交给前台,有效的降低了服务器压力,还能实现真正的获取全站链接。

  对于用户来讲,生成网站地图应该要简单,所以这将所有处理的逻辑交给了开发人员。

  我之前也是个普通网站用户,有时有也需要生成网站地图,使用其他三方工具的过程中发现,使用在线工具,如果不给钱,就只能抓取有限的几百个链接,但是又拒绝下载离线工具。

  前面说了那么多,这就是为什么我敢开放抓取全站链接的原因。

  使用方式:

  一、选择网站的HTTP协议;(选择自己网站的协议,是可以节约抓取时间的)

  二、键入网址;

  三、选择页面编码方式;

  然后点击开始抓取,需要注意的是,生成的过程中,支持暂停,或者关闭浏览器,下次继续从上次暂停的位置抓取。这对于网站链接较多,生成过慢有很大的帮助。当然,如果你不小心删除了生成的网站地图,那么第二次抓取就非常快速了,只要你不勾选更新数据。

  最后,下载相应格式的网站地图文件,然后处理。

你可能感兴趣的:(java,html,javascript,css,python)