主机Nginx的错误日志分析整理
最近开通了一个香港主机，使用Nginx发布了一个页面，但是我却将几百个域名指向了它！
然后一两天的时间，就有一些错误日志。
写了个程序分析了一下，我们来看一下：
1、有哪些蜘蛛
bingbot
TurnitinBot
Googlebot
Sogou web spider
oBot
Go-http-client
Uptimebot
python-requests
Baiduspider
BLEXBot
DotBot
MJ12bot
YandexBot
360Spider
可以看出一点，中国的蜘蛛都是叫xxxSpider，而外国的都是叫xxxBot。
2、这个蜘蛛偏好访问什么？
做为一个站长，应该了解蜘蛛的偏好；
一方面：是关系到站点的收录；
另一方面：是关系到站点的安全。
再有：可以说是站点内容的完善吧，如：robots.txt，favicon.ico，README，sitemap.xml
或者你也可以根据蜘蛛的偏好做点什么~~
/robots.txt====583
/wp-login.php====309
这是WP的后台地址，出现大量的这个地址，说明你的网站正在被暴力猜解攻击。目前，WP/DEDE/DX是暴力破解的主要对象。
思路：
1.用机器扫描你的网站是否有该路径
a.没有；终止该路径扫描。换下一个路径继续猜解。
b.有；说明你用的是WP程序，且后台可用。用机器暴力检测WP的所有漏洞，已修复的跳过，未修复的自动保存到日志。
2.收集整理日志中的可利用URL，进行黑产。
这些攻击者的IP一般都是伪造的。
/cron.php====211
/horde/imp/test.php====121
/horde3/imp/test.php====120
/imp/test.php====117
/wp-admin/index.html====79
/administrator/index.php====79
/admin====79
/admin.php====79
/administrator/index.html====79
/favicon.ico====70
/member.php====58
/showthread.php====31
/index.php====27
/mirserver����.rar====23
/phpMyAdmin/index.html====20
/solr/index.html====20
/pma/index.html====20
/wcm/index.html====20
/index.jsp====20
/phpmyadmin/index.html====20
/explicit_not_exist_path====20
/README====20
/admin/index.html====20
/1.rar====19
/printthread.php====19
/mirserver����.zip====18
/����.rar====17
/����.zip====16
/Mirserver.rar====15
/sitemap.xml====13
/����mirserver.rar====10
/ads.txt====9
/����mirserver.zip====9
/feed/index.html====8
/���� mirserver.rar====7
/echo.php====7
/user/register====5
/mirserver��ְҵ.rar====5
/��ְҵmirserver.zip====5
/��ְҵmirserver.rar====5
/mirserver��.rar====5
/forumdisplay.php====5
/t2202-recopilacion-de-plugins====4
/666.rar====4
/7777.rar====4
/1234.zip====4
/serversboard.php====4
/123456.rar====4
/mirserver123456.zip====4
/mirserver12.rar====4
/555.rar====4
/123.zip====4
/mirserver��ְҵ.zip====4
/mirserver���°汾.7z====4
/6.rar====4
/5555.rar====4
/7.rar====4
/mirserver��.zip====4
/mirserver12345.rar====4
/8.rar====4
/66.rar====4
/mirserver���°汾.rar====4
/���� mirserver.zip====4
/2.rar====4
/mirserver123456.rar====4
/mirserver12345.zip====4
/12345.rar====4
/mirserver���°汾.zip====4
/t2207-recopilacion-de-tutoriales====4
/4.rar====4
/520.zip====3
/22.rar====3
/mirserver55.rar====3
/mirserver33333.rar====3
/77.rar====3
/mirserver00.rar====3
/44444.rar====3
/mirserver555.rar====3
/2222.rar====3
/521.zip====3
/mirserver1.76.rar====3
/bbb.rar====3
/mirserver3333.rar====3
/mirserverȫ�°汾.zip====3
/520.rar====3
/mirserver12345678.rar====3
/mirserver1.80.zip====3
/���� mirserver2.zip====3
/mi.zip====3
/mirserver777.rar====3
/888.rar====3
/��.rar====3
/1.76mirserver.rar====3
/521.rar====3
/9.rar====3
/���� mirserver55.rar====3
/mirserver1.76.zip====3
/���� mirserver1.zip====3
/���� mirserver3.rar====3
/mirserver44.rar====3
/��½������.rar====3
/1.76.rar====3
/mirserverȫ�°汾.rar====3
/mirserver66.rar====3
/�汾.zip====3
/99999.rar====3
/mirserver123456789.rar====3
/88.rar====3
/mi.rar====3
/mirserver123.zip====3
/bbbb.rar====3
/999.rar====3
/��.zip====3
/aaa.rar====3
/������.zip====3
/mirserver����.7z====3
/mirserver9.rar====3
/33.rar====3
/80mirserver.zip====3
/76mirserver.rar====3
/mirserver176.zip====3
/mirserver.zip====3
/���Ŷ�.zip====3
/mirserver4444.rar====3
/mirserve.rar====3
/mirserver123456789.zip====3
/mirserver520.zip====3
/mirserver123.rar====3
/b.rar====3
/mirserver666.rar====3
/mirserver11.zip====3
/���� mirserver5.zip====3
/3333.rar====3
/mirserver13.rar====3
/mirserver99.rar====3
/���� mirserver66.rar====3
/mirserver521.zip====3
/76mirserver.zip====3
/a.rar====3
/mirserver1111.rar====3
/mirserver��ʧ.rar====3
/aaaaaa.rar====3
/��.7z====3
/mirserver16.rar====3
/5.rar====3
/55555.rar====3
/mirserver5.zip====3
/777.rar====3
/���� mirserver22222.rar====3
/xin.zip====3
/���� mirserver.7z====3
/444mirserver.rar====3
/000.rar====3
/mirserver6.zip====3
/mirserver15.rar====3
/44.rar====3
/4444.rar====3
/���� mirserver0.rar====3
/9999.rar====3
/55.rar====3
/mirserver88.rar====3
/mirserver111.rar====3
/222.rar====3
/xin.rar====3
/mirserver5.rar====3
/99.rar====3
/mirs.rar====3
/mirserver18.rar====3
/mirserver999.rar====3
/mirserver1234.zip====3
/�ϻ�mirserver.zip====3
/misver.rar====3
/������.rar====3
/mirserver22222.rar====3
/mirserver6.rar====3
/t2208-recopilacion-de-mods====3
/mirserver2222.rar====3
/bbbbb.rar====3
/���� mirserver0.zip====3
/aa.rar====3
/mirserver4.zip====3
/mirserver17.rar====3
/1.80.zip====3
/���� mirserver77.rar====3
/��ʧ.zip====3
/���� (3) MirServer.rar====3
/1111.rar====3
/���� mirserver2.rar====3
/444.rar====3
/mirserver1234567.rar====3
/mirserver0000.rar====3
/11.rar====3
/mirserver888.rar====3
/mirserver2.zip====3
/mirser.rar====3
/���� (1) MirServer.rar====3
/���� mirserver1.rar====3
/6666.rar====3
/mirserver1122.rar====3
/��½������.zip====3
/mirserver19.rar====3
/mirserver21.rar====3
/mirserver4.rar====3
/176.rar====3
/180mirserver.rar====3
/��ʧ.rar====3
/���� mirserver44.rar====3
/mirserver11111.rar====3
/mirserver444.rar====3
/176mirserver.zip====3
/3.rar====3
/HNAP1/index.html====3
/mirserver33.rar====3
/666666.rar====3
/mirserver0.zip====3
/��.rar====3
/mirserver1122.zip====3
/mirserver7777.rar====3
/mirserver000.rar====3
/mirse.rar====3
/aaaaa.rar====3
/0000.rar====3
/180mirserver.zip====3