详解Squid代理服务器（如何搭建传统代理、透明代理、ACL控制、squid日志分析、squid代理）

1.缓存代理概述

1.Web代理的工作机制

缓存网页对象，减少重复请求

2.代理的基本类型

传统代理：适用于Internet，需明确指定服务器

透明代理：客户机不需要指定代理服务器的地址和端口，而是通过默认路由、防火墙策略将Web访问重定向给代理服务器

3.使用代理的好处

提高Web访问速度

隐藏客户机的真实IP地址

2.如何搭建传统代理

主机	IP地址	主要软件
Squid代理服务器	192.168.100.11	squid
Web网站服务	192.168.100.12	httpd
win10	192.168.100.13	浏览器

1.安装依赖包

yum install gcc gcc-c++ -y

2.编译安装Squid服务

tar xf squid-3.5.23.tar.gz
cd squid-3.5.23/

./configure \
--prefix=/usr/local/squid \
--sysconfdir=/etc \       #指定配置文件位置
--enable-arp-acl \        #支持acl访问控制列表
--enable-linux-netfilter \  #打开网络筛选
--enable-linux-tproxy \    #支持透明代理
--enable-async-io=100 \  #io优化
--enable-err-language="Simplify_Chinese" \  #报错显示简体中文
--enable-underscore \   #支持下划线
--enable-poll \               #默认使用poll模式，开启epoll模式时提升性能
--enable-gnuregex       #支持正则表达式

make && make install

ln -s /usr/local/squid/sbin/* /usr/local/sbin/
useradd -M -s /sbin/nologin squid
chown -R squid.squid /usr/local/squid/var/

3.修改配置文件，优化启动项

vim /etc/squid.conf
http_access allow all    #56行添加此项，表示允许所有IP访问
#http_access deny all   #注释原有的
http_port 3128
cache_effective_user squid     #添加指定用户squid
cache_effective_group squid   #添加指定组squid
coredump_dir /usr/local/squid/var/cache/squid

squid -k parse   //检查配置文件语法
squid -z   //初始化缓存目录
squid    //启动服务
netstat -ntap |grep 3128   #检测是否启动成功

4.添加服务到service管理

cd /etc/init.d/
vim squid

#!/bin/bash
#chkconfig: 2345 90 25
PID="/usr/local/squid/var/run/squid.pid"
CONF="/etc/squid.conf"
CMD="/usr/local/squid/sbin/squid"

case "$1" in
   start)
     netstat -natp | grep squid &> /dev/null
     if [ $? -eq 0 ]
     then
       echo "squid is running"
       else
       echo "正在启动 squid..."
       $CMD
     fi
   ;;
   stop)
     $CMD -k kill &> /dev/null
     rm -rf $PID &> /dev/null
   ;;
   status)
     [ -f $PID ] &> /dev/null
        if [ $? -eq 0 ]
          then
            netstat -natp | grep squid
          else
            echo "squid is not running"
        fi
   ;;
   restart)
      $0 stop &> /dev/null
      echo "正在关闭 squid..."
         $0 start &> /dev/null
      echo "正在启动 squid..."
   ;;
   reload)
      $CMD -k reconfigure
   ;;
   check)
      $CMD -k parse
   ;;
   *)
      echo "用法：$0{start|stop|status|reload|check|restart}"
   ;;
esac

chmod +x /etc/init.d/squid

chkconfig --add squid
chkconfig --level 35 squid on

5.配置传统代理

vim /etc/squid.conf

http_port 3128
cache_effective_user squid
cache_effective_group squid
cache_mem 64 MB      #缓存空间大小定义为64 MB
reply_body_max_size 10 MB  #允许下载的最大文件大小，默认0表示不进行限制
maximum_object_size 4096 KB  #允许保存到缓存空间的最大对象的大小，以KB为单位，超过限制不会缓存，直接转到web端

[root@localhost ~]# iptables -F
[root@localhost ~]# iptables -F -t nat
[root@localhost ~]# setenforce 0
[root@localhost ~]# iptables -I INPUT -p tcp --dport 3128 -j ACCEPT
[root@localhost ~]# systemctl restart squid

6.在web服务器上安装httpd服务

systemctl stop firewalld.service
yum -y install httpd
systemctl start httpd

#在客户端上访问网站，查看是否正常访问

#查看日志文件内容，这时来访IP还是客户端自己的IP

[root@localhost ~]# cat /var/log/httpd/access_log

7.设置squid代理，查看日志文件中来访IP变化

注意：（1）先清除客户端的浏览器缓存

（2）手动设置代理–开启使用代理服务器–设置代理地址和端口–保存

（3）再次访问apache服务器，查看日志文件的变化；这时显示的来访IP变成了squid代理服务器地址

3.透明代理

在搭建的传统代理基础上做如下修改：
Squid 配置双网卡内网ens33  外网ens36

主机	IP地址
Squid代理服务器	192.168.50.11(内网)，192.168.100.11（外网）
Web网站服务	192.168.100.12（外网）
测试机	192.168.50.13（内网）

测试机挂代理访问Web网站

web服务器

route add -net 192.168.50.0/24 gw 192.168.100.11

Squid代理服务器

vi /etc/sysctl.conf
net.ipv4.ip_forward=1		#开启路由功能

vim /etc/squid.conf

http_port 192.168.50.11:3128 transparent

service squid reload

iptables -t nat -I PREROUTING -i ens37 -s 192.168.50.0/24 -p tcp --dport 80 -j REDIRECT --to 3128
 
iptables -t nat -I PREROUTING -i ens37 -s 192.168.50.0/24 -p tcp --dport 443 -j REDIRECT --to 3128

iptables -I INPUT -p tcp --dport 3128 -j ACCEPT

不使用代理访问web

4.ACL控制

Squid提供了强大的代理控制机制，通过合理设置ACL（Access Control List，访问控制列表）并进行限制，可以针对源地址、目标地址、访问的URL路径、访问的时间等各种条件进行过滤。

1.在配置文件中修改

vim /etc/squid.conf
acl localhost src 192.168.50.13/32
http_access deny localhost
重启服务
systemctl restart squid

再次访问，出现以下界面

其他的一些限制

vi /etc/squid.conf
acl localhost src 192.168.100.13/32			#针对固定源IP地址
acl MYLAN src 192.168.100.0/24				#针对某一网段
acl destionhost dst 192.168.175.130/32		#针对具体的目标IP地址
acl MC20 maxconn 20							#访问的最大并发连接数量
acl BURL url_regex -i ^rtsp:// ^emule://	#正则表达式的访问协议
acl PURL urlpath_regex -i \.mp3$ \.mp4$ \.rmvb$		#访问的文件资源末尾
acl work time MTWHFAC 08:30-17:30			#访问时间

http_access deny destionhost   #拒绝列表（注意置顶）

启用对象列表管理

mkdir /etc/squid     #启用对象列表管理

vim dest.list
   
   192.168.175.150
   192.168.175.140
   192.168.175.130   #目标web

vim /etc/squid.conf
   
   acl destionhost dst "/etc/squid/dest.list"


http_access deny destionhost   #拒绝列表（注意置顶）

5.squid日志分析

1.编译安装sarg软件

[root@server1 ~]# yum install -y gd gd-devel
mkdir /usr/local/sarg

tar zxvf sarg-2.3.7.tar.gz -C /opt/

cd /opt/sarg-2.3.7

./configure --prefix=/usr/local/sarg \
--sysconfdir=/etc/sarg \
--enable-extraprotection            #额外安全防护

make && make install

2.修改配置文件

cd /etc/sarg/

vim sarg.conf
7/ access_log /usr/local/squid/var/logs/access.log    //指定访问日志文件
25/ title "Squid User Access Reports"      //网页标题
120/ output_dir /var/www/html/squid-reports    //报告输出目录
178/ user_ip no          //使用用户名显示
206/ exclude_hosts /usr/local/sarg/noreport   //不计入排序的站点列表文件
184/ topuser_sort_field connect reverse   //top排序中有连接次数、访问字节、降序排列 升序是normal
（注释掉）190/ user_sort_field reverse    //用户访问记录 连接次数、访问字节按降序排序
257/ overwrite_report no   //同名日志是否覆盖
289/ mail_utility mailq.postfix   //发送邮件报告命令
434/ charset UTF-8   //使用字符集
518/ weekdays 0-6   //top排行的星期周期
525/ hours 0-23   //top排行的时间周期
633/ www_document_root /var/www/html  //网页根目录

3.修改测试

#添加不计入站点文件，添加的域名将不被显示在排序中
touch /usr/local/sarg/noreport

ln -s /usr/local/sarg/bin/sarg /usr/local/bin/


[root@localhost sarg]# sarg 
SARG: 纪录在文件: 242, reading: 100.00%
SARG: 成功的生成报告在 /var/www/html/squid-reports/2018Jul21-2018Jul21

yum install httpd -y

systemctl start httpd
systemctl stop firewalld

http://192.168.175.128/squid-reports

周期性计划
crontab -e
*/1 * * * * /usr/local/bin/sarg			每分钟生成一次，用于测试

#周期性计划任务执行每天生成报告crontab
sarg -l /usr/local/squid/var/logs/access.log -o /var/www/html/squid-reports/ -z -d $(date -d "1 day ago" +%d/%m/%Y)-$(date +%d/%m/%Y)

然后用客户机访问http://192.168.100.11/squid-reports

6.squid代理

反向代理，其实客户端对代理是无感知的，因为客户端不需要任何配置就可以访问，我们只需要将请求发送到反向代理服务器，由反向代理服务器去选择目标服务器获取数据后，在返回给客户端，此时反向代理服务器和目标服务器对外就是一个服务器，暴露的是代理服务器地址，隐藏了真实服务器 IP 地址。

因为httpd会占用80端口，所以必须关闭squid服务器中的httpd服务

1.介绍

传统和透明是为客户端服务的，借助squid加快访问web服务的速度，或者是公司内部对员工上网行为做限制使用的。反向代理模式下的squid的服务对象是web服务器，通过squid来隐藏真实web服务器IP，加快客户的访问速度，还有负载均衡的功能。
反向代理的设置，需要通过三个步骤来完成：

• DNS解析
• SQUID配置
• 端口转发

2.项目规划

一台squid服务器
两台web服务器，web1：192.168.100.12 web2：192.168.100.13
一台win10客户端

3.web服务器部署

//安装httpd
yum install httpd -y

//设置网页内容
echo "this is test02 web" > /var/www/html/index.html    #web1换一下数字
route add -net 192.168.50.0/24 gw 192.168.100.11  #静态路由

//开启web服务
systemctl start httpd

4.squid代理配置

//设置防火墙规则
systemctl start firewalld
iptables -L    #查看防火墙规则
iptables -F
iptables -t nat -F
iptables -I INPUT -p tcp --dport 3128 -j ACCEPT

vim /etc/squid.conf
#去掉透明代理设置反向代理
http_port 192.168.100.11:80 accel vhost vport

#节点服务器1最大访问30，权重1，别名web1
cache_peer 192.168.100.12 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web1
#节点服务器2最大访问30，权重1，别名web2
cache_peer 192.168.100.13 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web2
#访问yun.com匹配web1，web2节点
cache_peer_domain web1 web2 www.yun.com

service squid restart

5.在客户端设置hosts

vi /etc/hosts

192.168.100.11 www.yun.com

访问www.yun.com

两个页面交替