apache服务器查看网络爬虫记录的方法说明

问 ：使用Apache服务器，如何查看哪些网站的蜘蛛来爬过自己的网站或者哪些IP访问过我们的网站呢？

答 ：通过Apache服务器的访问日志记录！
    
      Apache服务器的访问日志名称在linux下默认叫做access_log，在windows 下是access.log文件

如何配置 ：在httpd.conf文件中配置这么两句话：
             
LogFormat "%h %l %u %t \"%r\" %>s %b" common
CustomLog /home/admin/work/hz-jean/com.jean.deploy/logs/access_log common

第一句话的意思是定义日志的格式；第二句话是定义日志的存放地点

旧版本的(2.0以前的)Apache可能不用CustomerLog 而用transferLog

 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\""

TransferLog logs/access_log

如何查看访问日志 ：

 

 
在IP地址查询中输入前面的IP ，查询器就可以帮你查到它的HOSTNAME了，比如百度蜘蛛，或者浙江省电信等