apache服务器查看网络爬虫记录的方法说明

:使用Apache服务器,如何查看哪些网站的蜘蛛来爬过自己的网站或者哪些IP访问过我们的网站呢?


:通过Apache服务器的访问日志记录!

     

      Apache服务器的访问日志名称在linux下默认叫做access_log,在windows下是access.log文件


如何配置 :在httpd.conf文件中配置这么两句话:

              

LogFormat "%h %l %u %t \"%r\" %>s %b" common
CustomLog /home/admin/work/hz-jean/com.jean.deploy/logs/access_log common


第一句话的意思是定义日志的格式;第二句话是定义日志的存放地点


旧版本的(2.0以前的)Apache可能不用CustomerLog 而用transferLog


LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\""
TransferLog logs/access_log


如何查看访问日志




 

在IP地址查询中输入前面的IP ,查询器就可以帮你查到它的HOSTNAME了,比如百度蜘蛛,或者浙江省电信等

你可能感兴趣的:(apache,access.log,访问日志,access_log,爬虫日志)