SEO优化：网站地图及网站的渗透思路
定义
网站地图，又称站点地图，它就是一个页面，上面放置了网站上需要搜索引擎抓取的所有页面的链接（注：不是所有页面）。大多数人在网站上找不到自己所需要的信息时，可能会将网站地图作为一种补救措施。搜索引擎蜘蛛非常喜欢网站地图。
功能
网站地图是一个网站所有链接的容器。很多网站的连接层次比较深，蜘蛛很难抓取到，网站地图可以方便搜索引擎蜘蛛抓取网站页面，通过抓取网站页面，清晰了解网站的架构，网站地图一般存放在根目录下并命名为sitemap，为搜索引擎蜘蛛指路，增加网站重要内容页面的收录。网站地图就是根据网站的结构、框架、内容，生成的导航网页文件。大多数人都知道网站地图对于提高用户体验有好处：它们为网站访问者指明方向，并帮助迷失的访问者找到他们想看的页面。对于SEO，网站地图的好处就更多了：
1．为搜索引擎蜘蛛提供可以浏览整个网站的链接简单的体现出网站的整体框架出来给搜索引擎看；
2．为搜索引擎蜘蛛提供一些链接，指向动态页面或者采用其他方法比较难以到达的页面；
3．作为一种潜在的着陆页面，可以为搜索流量进行优化：如果访问者试图访问网站所在域内并不存在的URL，那么这个访问者就会被转到“无法找到文件”的错误页面，而网站地图可以作为该页面的“准”内容。
构建技巧
网站地图的作用非常重要，它不仅要满足访问用户的需求，还要取悦搜索引擎蜘蛛。在设计上也有一些技巧来让用户和蜘蛛都获得满意：
1．网站地图要包含最重要的一些页面
如果网站地图包含太多链接，人们浏览的时候就会迷失。因此如果网站页面总数超过了100个的话，就需要挑选出最重要的页面。建议挑选下面这些页面放到网站地图中去：
1）产品分类页面。
2）主要产品页面。
3）FAQ和帮助页面。
4）位于转化路径上的所有关键页面，访问者将从着陆页面出发，然后沿着这些页面实现转化。
5）访问量最大的前10个页面。
6）如果有站内搜索引擎的话，就挑选出从该搜索引擎出发点击次数最高的那些页面。
2．网站地图布局一定要简洁，所有的链接都是标准的HTML文本，并且要尽可能多的包含关键字。
不要使用图片来做网站地图里的链接，这样蜘蛛就不能跟随了。一定要使用标准的HTML文本来做链接，链接中要包括尽可能多的目标关键字。比如：可以使用“无公害除草剂、杀虫剂和杀菌剂”来代替“我们的产品”为标题。
3． 尽量在站点地图上增加文本说明
增加文本会给蜘蛛提供更加有索引价值的内容，以及有关内容的更多线索。
4． 在每个页面里面放置网站地图的链接
用户一般会期望每个页面的底部都有一个指向网站地图的链接，你可以充分利用人们的这一习惯。如果网站有一个搜索栏的话，那么可以在这个搜索栏的附近增加一个指向网站地图的链接，甚至可以在搜索结果页面的某个固定位置放置网站地图的链接。
5． 确保网站地图里的每一个链接都是正确、有效的
如果在网站地图里出现的链接是断链和死链，对搜索引擎的影响是非常不好的。如果链接比较少，你可以把所有的链接都点一遍，以确保每一个链接是有效的。如果链接比较多，可以使用一些链接检查工具来检测。
6． 可以把sitemap写进robots.txt里
在引擎爬虫进来抓取网页的时候，会首先查看robots.txt、如果首先把sitemap写进robots.txt里那么在效率上会大大提高，从而获得搜索引擎的好感。
生成提交
网上有很多sitemap地图生成的方法，比如在线生成、软件生成等，sitemap地图可以提交给各大搜索引擎，从而使搜索引擎更好的对网站页面进行收录，我们也可以通过robots.txt来告诉搜索引擎地图的位置。将制作好的网站地图上传至网站根目录下，最关键是把网站地图链接地址加入在robots文件中以及做好网站地图在页面方便蜘蛛抓取的位置，一般把网站地图放在页眉和页脚位置。
1．普通Html格式的网站地图
它的目的是帮助用户对站点的整体有个把握。Html格式的网站地图根据网站结构特征制定，尽量把网站的功能结构和服务内容富有条理地列出来。一般来说，网站首页有一个链接指向该格式的网站地图。
2．XML Sitemap 通常称为Sitemap（首字母大写 S）
简单来讲，Sitemap 就是网站上链接的列表。制作Sitemap，并提交给搜索引擎可以使网站的内容完全被收录，包括那些隐藏比较深的页面。这是一种网站与搜索引擎对话的好方式
3．搜索引擎识别的地图
因为每个搜索引擎主要识别地图格式效果不同，建议分别采用以下格式：
百度：建议使用Html格式的网站地图
Google：建议使用Xml格式的网站地图
Yahoo：建议使用Txt格式的网站地图
重要性
1、搜索引擎每天都是让蜘蛛在互联网爬行来抓取页面，网站地图的作用就是给蜘蛛爬行构造了一个方便快捷的通道，因为网站页面是一层一层的链接的，其中可能会存在死链接的情况，如果没有网站地图，蜘蛛爬行在某个页面就因死链接爬行不了，那么就不能收录那些断链接的页面，更别说快速的收录了！
2、网站地图的存在不仅是满足搜索引擎蜘蛛的查看，更多是方便网站访客来浏览网站，特别是例如门户型网站由于信息量太多很多访客都是通过网站地图来寻找到自己需要的信息页面，这也能很好的提高用户体验度
3、网站地图可以提高链接页面的权重，因为网站地图是指向其他页面的链接，此时网站地图就给页面增加了导入链接，大家知道导入链接的增加会影响到页面的权重，从而提高页面的权重，页面权重的提高同时会提高页面的收录率。
注意要点
真实有效
地图的主要目的是方便搜索引擎蜘蛛抓取的，如果地图存在死链或坏链，会影响网站在搜索引擎中网站权重的，所以要仔细检查有无错误的链接地址，提交前通过站长工具，检查网站的链接是否有效。
简化
网站地图不要出现重复的链接，要采用标准W3C格式的地图文件，布局要简洁，清晰，如果地图是内容式地图，每页不要超过100内容个链接，采用分页的形式，逐一开来，这样方便搜索引擎蜘蛛逐页爬行。
更新
建议经常更新网站地图，便于培养搜索引擎蜘蛛爬行的频率。经常有新的地图内容生成，长期以来，蜘蛛就会更关注，培养蜘蛛的爬行规则。这样网站内容能更快的被搜索引擎抓取收录，网站内容也可以早日被搜索引擎检索。
多样性
网站地图不仅仅是给搜索引擎来看的，而SEO的根本目的也是方便浏览者，所以网站地图最好兼顾搜索引擎的同时也要兼顾浏览者。我们通常为一个网站建3个网站地图。sitemap.html 页面精美，简洁大方，让浏览者方便找到目标页面的同时也心情愉悦。.XML 认真研究自己的网站，把重要的页面标注出来，把不需要纳入的页面 加上NO FOLLOW 这样更有利于搜索引擎辨别。URLLIST.TXT 或者ROBOTS.TXT 如果方便最好做一下，yahoo等搜索引擎比较认可，谷歌也有这个项目。
另外在robots文本里要写好网站地图位置即格式。
分类
网站地图分为html地图和xml地图。
1、html网站地图是百度搜索引擎喜欢的网站地图，也是其他搜索引擎都喜欢的网站地图。
2、xml网站地图是谷歌喜欢的网站地图。
使用方法
第一步：添加网站，验证网站归属，等待审核
登录后点击“添加网站”。若网站删除或更换域名，则需重新提交。
点击“验证此网站”,选择验证方式并获取验证文件，完成验证。
验证方式一：文件验证
验证方式二：HTML标签验证
等待管理员审核。主要审核网站属性、网站内容质量等。审核最长可能需要一天时间。
第二步：通过点击“数据管理”，添加新数据
如何添加新数据
选择数据的类型，根据类型对应的xml格式规范部署您的数据文件。
为您的数据指定更新周期。
按照xml格式规范部署好文件后，在地址栏填写文件存放地址，点击提交即可。
我们对文件的处理时间长短将视文件大小而定。
如何手动更新已提交的数据 ·如果您想在指定更新周期以外，手动通知我们数据有更新，可以在“数据管理”页面选中要手动更新的文件并点击“更新所选”即可。
如果数据存在错误或不符合协议格式，则状态栏会显示为错误，请参考平台提示修改并更新。
您可通过平台查看数据的统计信息，包括已抓取数量，最新处理时间等。
注：百度对已提交的数据，不保证一定会抓取及索引所有网址，并且不保证其排名。
生成工具
1、Xenu Link Sleuth
可同时生成html格式地图（适用于小型站点）和XML格式地图。
2、XML Sitemap
在线生成工具，网站地址很多时，会比较浪费时间，想生成所有，则需要收费。
3、Sitemap Generator
强大的sitemap生成器，需下载安装客户端。
创建流程
1、在网站地图的文本和超级链接里提及最主要的关键词短语，帮助搜索引擎来识别，所链接的页面主题是什么。
2、为每一个链接提供一个简短的介绍，以提示访问者这部分内容是关于哪方面的。
3、提供文本链接到你站点上最主要的页面上；根据您的网站大小，网页数目的多少，它甚至可以链接到您所有的页面。
4、为搜索引擎提供一条绿色通道，使搜索引擎程序把您的主要网页迅速收录进去。
5、当用户查寻在您网站上原来看过的相关信息时，告诉他们如何去查询。只要在这一个网页内就可以得到所有希望查找的内容链接。
6、帮助搜索引擎轻松索引一些动态页面。由于一些页面将是动态产生，如果不是用户行为调用，将不会显示出来，您可以将此链接放在您的网站地图上，以帮助搜索引擎来索引您重要的动态页面。
7、建立网站地图后，当访问者访问网站时，可以轻松找到他们所需要的内容；当搜索引擎蜘蛛爬行网站时，可以快速访问整个站点。为了使图吸引网络蜘蛛与访问者，一定要在链接后写上一定的描述性的短句和与此链接相关的关键词，切记不要使用过多的关健词。当访问者感觉到地图好用时，搜索引擎也同样能正确地理解地图的意义。不管网站的大小，页面的多少，给网站添加一个网站地图，这是非常必要的。
（一）针对网站程序，不考虑服务器。
一、查找注入，注意数据库用户权限和站库是否同服。
二、查找XSS，最近盲打很流行，不管怎样我们的目的是进入后台。
三、查找上传，一些能上传的页面，比如申请友链、会员头像、和一些敏感页面等等，注意查看验证方式是否能绕过，注意结合服务器的解析特性，比如典型的IIS6.0、阿帕奇等。
四、查找编辑器，比较典型的ewebeditor、fckeditor等等。
五、查找phpmyadmin等管理程序，可以尝试弱口令，或者寻找其漏洞。
六、百度、谷歌搜索程序公开漏洞。
七、猜解文件，如知道某文件为admin_login.php,我们可尝试admin_add.php、admin_upload.php文件是否存在，也可以谷歌搜索site:cnseay.com inurl:edit等等，很多时候可以找到一些敏感文件，接着看是否验证权限或能否绕过验证，这像冰风说高级语法。
八、会员注册、修改、删除、评论等一切需要操作数据库的地方记得加单引号之类查看是否存在insert、update等类型注入。
九、会员或低权限管理登陆后可抓包分析，尝试修改超级管理员密码，权限提升。
十、通常有下载功能的站我们可以尝试修改下URL文件名，看能否下载站点敏感文件，如数据库配置文件等，数据库不可外连情况下可以尝试数据库密码登陆后台，也可下载上传、登陆验证等文件进行代码审计。
十一、备份文件和后门，某些主站子目录存在分站，比如www.cnseay.com/seay/，我们可以尝试www.cnseay.com/seay.rar/zip等压缩文件是否存在，可能就是子站的源码。也有一些站类似这样www.cnseay.com/old/，一般都是以前的老站，通常老站会比较容易拿。还有就是数据库备份、前人的后门等，具体这些目录上的东西就要看你的字典了。
十二、0day漏洞，不管是别人给你的，还是自己挖的，总之好使就行。
（二）针对服务器
一、通常先扫下服务器开放的端口，再考虑对策。
二、比较常见的解析漏洞，比如IIS6.0、阿帕奇、nginx/IIS7.0(php-fpm)解析漏洞等，还有就是cer、asa之类的解析，.htaccess文件解析配置等。
三、弱口令和everyone权限，先扫描服务器开放的端口，比如21对应的FTP、1433对应的MSSQL、3306对应的MYSQL、3389对应的远程桌面、1521对应的Oracle等等，平时可以多搜集下字典，有时候效果也是不错的(通常在cain嗅探的时候，经常能嗅到别人不停的扫…很蛋疼)。
四、溢出，这点要看系统补丁和服务器使用的软件等等，比如FTP等工具，这里不详解。
五、针对一些服务器管理程序，比如tomcat、jboss等等，这种比较常见于大中型的站点服务器。
六、IIS、apache等各种漏洞，这个要平时多关注。
七、目录浏览，服务器配置不当，可直接浏览目录。
八、共享…
（三）针对人，社工
社工在渗透中通常能起到惊人的效果，主要还是利用人的弱点，博大精深，这里不详细讨论，注意平时多看一些社工文章，学习一些思路、技巧。
（四）迂回战术，旁注和C段
一、旁注，针对旁站，我们可以运用到上面说到的方法，这里不多说。
二、C段，基本想到C段就会想到cain，针对C段的站点和服务器，结合上面说的针对目标站、服务器、人、旁站的思路，一个道理，当然如果你的目的仅仅是黑站的话，不妨试试NetFuke之类。
（五）提权常用手段
一、使用系统溢出提权EXP，这类在提权中最常用，使用的方法大都一致，比如比较常见的巴西烤肉、pr等等，溢出提权通常在Linux上也利用的比较多，注意多收集EXP。
二、第三方软件提权，主要还是利用服务器上安装的第三方软件拥有比较高的权限，或者软件的溢出漏洞，比如典型的mssql、mysql、serv-u等等，还有各种远程控制软件，比pcanywhere、Radmin这类。
三、劫持提权，说到这个，想必肯定会想到lpk.dll这类工具，有时候在蛋疼怎么都加不上账户的时候，可以试试劫持shift、添加开机启动等等思路。
四、弱口令技巧，我们可以看看有木有什么hack、或者隐藏账户之类的，一般这种用户密码都比较简单，可以尝试下弱口令，还有之前说过的各种数据库、远程控制软件、FTP软件的弱口令，没办法的时候就去扫扫碰碰运气吧。
五、信息收集，注意翻下硬盘各种文档，说不定各种密码就在里面。在内网渗透时，信息收集是非常重要的，记得拿下服务器了GET一下明文密码，德国那个mimikatz不错，还有就是域、ARP。。。貌似扯多跑题了。
六、社工…不多说。
暂时总结到这里，渗透博大精深，不是这么几段字就能说清楚的，具体还是要看具体情形，随机应变。一定要养成在渗透过程中信息收集的好习惯，特别是针对大中型站点，注意收集子站域名、目录、密码等等敏感信息，这对于我们后面的渗透非常有用，内网经常弱口令，同密码比较多。很多时候，或许一个主站就死在子站的一个小漏洞上。
SEO优化编辑部：栖与谁邻