[置顶] apache服务器查看网络爬虫记录的方法

apache服务器查看网络爬虫记录的方法
Apache服务器的访问日志名称在linux下默认叫做access_log，在windows下是access.log文件
在httpd.conf文件中配置这么两句话：
             
 LogFormat "%h %l %u %t \"%r\" %>s %b" common
 CustomLog /home/admin/work/hz-jean/com.jean.deploy/logs/access_log common
 
第一句话的意思是定义日志的格式；第二句话是定义日志的存放地点
 
旧版本的(2.0以前的)Apache可能不用CustomerLog 而用transferLog
 
 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\""
 
TransferLog logs/access_log
   
more /var/log/httpd/access_log
如何查看访问日志 ：
 
 在IP地址查询中输入前面的IP ，查询器就可以帮你查到它的HOSTNAME了，比如百度蜘蛛