Squid代理服务器--实战篇

一、传统代理

    使用传统代理的特点在于，客户机的相关程序（如IE浏览器、QQ聊天工具）必须指定代理服务器的地址、端口等信息。下面通过一个简单的应用案例来学习传统代理的配置和使用

     基于Internet网络环境，案例的主要需求描述如下：

• 在Linux主机B上，构建Squid为客户机访问各种网站提供代理服务，但禁止通过代理下载超过10MB大小的文件
  

• 在客户机C上，指定主机B作为Web访问代理，以隐藏自己的真实IP地址
  

    针对上述实验环境，主机B作为代理服务器必须正确构建Squid服务，并允许客户机使用代理；若要客户机通过代理以http://www.linuxfan.cn/的域名形式访问，则代理服务器本身必须能够正确解析该域名。主机C作为客户机，需要为浏览器等程序指定所使用的代理服务器地址、端口号等信息，主机A作为测试网站，需要启用httpd服务

    关于httpd服务器、DNS服务器的构建，请参考相关的资料，这里不在重复讲解。下面主要介绍Squid服务器的配置、客户机的代理配置、以及代理服务的验证方法

1、Squid服务器的配置

    配置Squid实现传统代理服务时，需要注意添加http_access  allow  all访问策略，以便允许任意客户机使用代理服务。除此之外，为了限制下载的文件大小，还需设置reply_ body_max_size项，其他各种参数均可保持默认

（1）修改squid.conf配置文件

[root@localhost ~]# vim /etc/squid.conf

http_port 3128

reply_body_max_size 10 MB                    //允许下载的最大文件大小（10MB）

http_access allow all                        //放在http_access  deny  all之前

......                                       //省略部分内容

在防火墙上添加允许策略

[root@localhost ~]# iptables -I INPUT -p tcp --dport 3128 -j ACCEPT

[root@localhost ~]# service iptables save

（2）重载squid服务

    修改squid.conf配置文件以后，需要重新加载方可生效，执行“service  squid  reload”或者“squid  -k  reconfigure”，都可重新加载服务配置

[root@localhost ~]# service squid reload

2、客户机的代理配置

    在IE浏览器中，选择“工具”→“Internet选项”对话框，在“连接”选项卡中的“局域网（LAN）设置”选项组中单击“局域网设置”按钮，弹出“局域网（LAN）设置”对话框

                                                                                                                                                IE浏览器的代理设置

    若要在Linux客户机的命令行界面中使用代理服务器（如elinks网页浏览器、wget下载工具），必须通过环境变量来指定代理服务器的地址、端口等信息（大小写区分）

[root@localhost ~]# vim /etc/profile

......                //省略部分内容

HTTP_PROXY=http://172.16.1.20:3128                     //为使用HTTP协议指定代理

HTTPS_PROXY=http://172.16.1.20:3128                    //为使用HTTPS协议指定代理

FTP_PROXY=http://172.16.1.20:3128                      //使用FTP协议指定代理

NO_PROXY=http://172.16.2.,172.16.3.                    //对两个局域网不使用代理

export HTTP_PROXY HTTPS_PROXY FTP_PROXY NO_PROXY

[root@localhost ~]# source /etc/profile

3、代理服务的验证方法

    在客户机172.16.1.10中通过浏览器访问目标网站http://172.16.1.30，然后观察Squid代理服务器、Web 服务器的访问日志，以验证代理服务是否发挥作用

（1）查看Squid访问日志的新增记录

    在Squid代理服务器中，通过跟踪Squid服务的访问日志文件，应该能够发现客户机172.16.1.10访问网站服务器172.16.1.30的记录

[root@localhost ~]# tail /usr/local/squid/var/logs/access.log

1440927958.950      0 172.16.1.10 TCP_MISS/200 382 GET http://172.16.1.30/ - HIER_DIRECT/172.16.1.30 text/html

1440927996.276      0 172.16.1.10 TCP_CLIENT_REFRESH_MISS/304 235 GET http://172.16.1.30/ - HIER_DIRECT/172.16.1.30 -

（2）查看Web访问日志的新增记录

    在被访问的Web服务器中，通过跟踪httpd服务的访问日志文件，应该能够发现来自代理服务器172.16.1.20的访问记录。这说明当客户机使用代理以后，Web服务器并不知道客户机的真实IP地址，因为实际行是由代理服务器替它在访问

[root@localhost ~]# tail /var/log/httpd/access_log 

172.16.1.20 - - [30/Aug/2015:17:53:20 +0800] "GET / HTTP/1.1" 304 - "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

    当从客户机再次访问同一Web页面时，Squid访问日志中会增加新的记录，但Web访问日志中的记录不会有变化（除非页面变更或执行强制刷新等操作）。这说明当客户机重复访问同一静态页面时，实际上是由代理服务器通过缓存提供的

二、透明代理

    透明代理提供的服务功能与传统代理是一致的，但是其“透明”的实现依赖于默认路由和防火墙的重定向策略，因此更适用于局域网主机服务，而不适合为Internet中的客户机提供服务。下面也通过一个简单的应用案例来学习透明代理的配置和使用

    基于局域网主机通过Linux网关访问Internet的环境，案例的主要需求描述如下

• 在Linux网关上，构建Squid为客户机访问Internet提供代理服务

• 在所有的局域网主机上，只需正确设置IP地址、默认网关，不需要手动指定代理服务器的地址、端口等信息

                                          使用Squid透明代理

   针对上述实验环境，透明代理的关键在于Linux网关服务器，而对于客户机仅需正确设置网络地址、默认网关，而并不需要指定代理服务器（若指定了反而易出错）

    关于客户机的DNS解析工作，最好还是通过正常的DNS服务器来提供，不建议抛给代理服务器来处理。下面主要介绍Squid服务的透明代理设置、防火墙策略设置，其他配置操作请参考前面的传统代理构建过程

1、配置Squid支持透明代理

    Squid服务的默认配置并不支持透明代理，因此需要调整相关设置。对于2.6以上版本的Squid服务，只要在http_port配置行加上一个“transparent（透明）”选项，就可以支持透明代理了

[root@localhost ~]# vim /etc/squid.conf

......      //省略部分内容

http_port 192.168.4.1:3128 transparent             //只在其中一个IP地址上提供服务

[root@localhost ~]# service squid reload

2、设置iptables的重定向策略

    透明代理中的Squid服务实际上是构建在Linux网关主机上的，因此只需正确设置防火墙策略，就可以将局域网主机访问Internet的数据包转交给Squid进行处理。这需要用到iptables的REDIRECT（重定向）策略。其作用是实现本机端口的重新定向，将访问网站协议HTTP、HTTPS的外发数据包转发交给本机的Squid服务（3128端口）

    REDIRECT也是一种数据包控制类型，只能在nat表的PREROUTING或OUTPUT链以及被其调用的链中使用，通过“--to-ports  端口号”的形式来指定映射的目标端口。本例中可以将来自局域网端192.168.4.0/24且访问HTTP、HTTPS等协议的数据包转交给运行在本机3128端口上的Squid服务处理

    防火墙做重定向操作，将访问本机80、443端口的请求重定向到3128端口

[root@localhost ~]# iptables -t nat -I PREROUTING -i enp0s8 -s 192.168.4.0/24 -p tcp --dport 80 -j REDIRECT --to 3128

[root@localhost ~]# iptables -t nat -I PREROUTING -i enp0s8 -s 192.168.4.0/24 -p tcp --dport 443 -j REDIRECT --to 3128

[root@localhost ~]# service iptables save

    由于FTP协议涉及多个端口、多个连接，虽然也可以通过HTTP代理进行访问，但使用透明代理不便实现，因此最佳做法仍然是采用传统代理的方式------手动指定代理服务器的地址、端口号

3、验证透明代理的使用

    为了验证透明代理的效果，如果存在手动指定的代理服务器设置应在客户机中将其去除。例如，在IE或Firefox浏览器的连接设置中不要勾选“使用代理服务器”；在Linux客户机的命令行界面中，可以通过Unset命令清除HTTP_PROXY、HTTPS_PROXY等变量

[root@localhost ~]# unset HTTP_PROXY HTTPS_PROXY

    在客户机192.168.4.10中通过浏览器访问目标网站http://172.16.1.30，然后观察Squid代理服务器、Web服务器的访问日志，以验证透明代理是否发挥作用。操作方法可参考传统代理验证，验证结果为在Squid代理服务器中，应该能够发现客户机192.168.4.10访问网站服务器172.168.1.30的记录；在被访问的Web服务器中，应该能够发现来自代理服务器172.16.1.1的访问记录 

三、ACL访问控制

    Squid提供了强大的代理控制机制，通过合理设置ACL（Access  Control  List，访问控制列表）并进行限制，可以针对源地址、目标地址、访问的URL路径、访问的时间等各种条件进行过滤

    在配置文件squid.conf中，ACL访问控制通过以下两个步骤来实现：其一，使用acl配置项定义需要控制的条件；其二，通过http_access配置项对已定义的列表做“允许”或“拒绝”访问的控制

1、定义访问控制列表

    每一行acl配置可以定义一条访问控制列表，格式如下所示

    acl  列表名称  列表类型  列表内容  ...

    其中，“列表名称”由管理员自行指定，用来识别控制条件；“控制类型”必须使用Squid预定义的值，对应着不同类别的控制条件；“列表内容”是要控制的具体对象，不同类型的列表所对应的内容也不一样，可以有多个值（以空格分割，为“或”的关系）

    通过上述格式可以发现，定义访问控制列表时，关键在于选择“列表类型”并设置具体的条件对象。Squid预定义类型有很多种，常用的包括源地址、目标地址、访问时间、访问端口等

列表类型	列表内容示例	含义/用途
src	192.168.1.168 192.1681.0/24 192.168.1.0-192.168.3.0/24	源IP地址、网段、IP地址范围
dst	216.163.137.3 61.135.167.0/24 www.playboy.com	目标IP地址、网段、主机名
port	80  443  8080  20  21	目标端口
dstdomain	.qq.com  .msn.com	目标域，匹配域内所有站点
time	MTWHF  8:30-17:30 12:00-13:00 AS	字母表示一星期天中各天的缩写 M--Monday T--Tuesday W--Wednesdat H--Thursday F--Fridat A--Saturdat S--Sunday
maxconn	20	每个客户机的并发连接数
url_regex	url_regex  -i  ^rtsp:// url_regex  -i  ^emule://	目标资源的URL地址，-i表示忽略大小写
urlpath_regex	urlpath_regex  -i  sex  adult urlpath_regex  -i  \.mp3$	目标资源的整个URL路径，-i表示忽略大小写

    在定义访问控制列表时，应结合当前网络环境正确分析用户的访问需求，准确定义使用代理服务的控制条件。例如，针对不同的客户机地址，需要限制访问的目标网站、特定的时间段......，分别定义列表

[root@localhost ~]# vim /etc/squid.conf

......

acl localhost src  127.0.0.1/255.255.255.255           //源地址为127.0.0.1

acl MYLAN src 192.168.1.0/24  192.168.4.0/24           //客户机网段

acl to_localhost dst 127.0.0.0/8                       //目标地址为127.0.0.0/8网段

acl MC20 maxconn 20                                    //最大并发连接20

acl BlankURL url_regex -i ^rtsp:// ^emule://           //以rtsp://等开头的URL

acl MEDIAFILE urlpath_regex -i \.mp3& \.mp4& \.rmvb&   //以.mp3、.mp4等结尾的URL路径

acl WORKTIME time MTWHF 08:30-17:30                    //时间为周一至周五08:30-17:30

    当需要限制的同一类对象较多时，可以使用独立的文件来存放，在acl配置行的列表内容处指定对应的文件位置即可。例如，若要针对目标地址建立黑名单文件，可以参考一下操作

[root@localhost ~]# mkdir /etc/squid

[root@localhost ~]# cd /etc/squid/

[root@localhost squid]# vim ipblock.list           //建立目标IP地址名单

61.135.167.36

125.39.127.25

60.28.14.0/24

[root@localhost squid]# vim dmblock.list          //建立目标域地址名单

.qq.com

.msn.com

.live.com

.verycd.com

[root@localhost ~]# vim /etc/squid.conf

......

acl IPBLOCK dst "/etc/squid/ipblock.list"         //调用指定文件中的列表内容

acl DMBLOCK dstdomain "/etc/squid/dmblock.list"

2、设置访问权限

    定义好各种访问控制列表以后，需要使用http_access配置项来进行控制。必须注意的是，http_access配置行必须放在对应的acl配置行之后。每一行http_access配置确定一条访问控制规则。格式如下所示

    http_access  allow或deny  列表名  ......

    在每一条http_accsess规则中，可以同时包含多个访问控制列表名，各个列表之间以空格分隔，为“与”的关系，表示必须满足所有访问控制列表对应的条件才会进行限制。需要使用取反条件时，可以在访问控制列表前添加“！”符号

[root@localhost ~]# vim /etc/squid.conf

......

http_access deny MYLAN MEDIAFILE                   //禁止客户机下载MP3、MP4等文件

http_access deny MYLAN IPBLOCK                     //禁止客户机访问黑名单中的IP地址

http_access deny MYLAN DMBLOCK                     //禁止客户机访问黑名单中的网站域

http_access deny MYLAN MC20                        //客户机的并发连接超过20时将被阻止

http_access allow MYLAN WORKTIME                   //允许客户机在工作时间上网

http_access deny all                               //默认禁止所有客户机使用代理

    执行访问控制时，Squid将按照各条规则的顺序依次进行检查，如果找到一条相匹配的规则就不再向后搜索（这点与iptables的规则匹配类似）。因此，规则的顺序安排是非常重要的，以下两种默认情况需要我们注意

• 没有设置任何规则时：Squid服务将拒绝客户端的请求

• 有规则但找不到相匹配的项：Squid将采用最后一条规则相反的权限，即如果最后一条规则时allow，就拒绝客户机的请求，否则允许该请求

    通常清空下，把最常用的控制规则放在最前面，以减少Squid的负载。在访问控制的总体策略上，建议采用“先拒绝后允许”或“先允许后拒绝”的方式，最后一条规则设为默认策略，设置“http_access  allow  all”或者“http_access  deny  all”

3、验证访问控制效果

    关于Squid服务的访问控制效果，无外乎两种情况：一种是能够正常访问，另一种时禁止访问。当客户机的代理访问请求被Squid服务被拒绝时，在浏览器中会看到ERROR报错页面，具体内容会根据限制条件不同有些细小差别

（1）测试访问权限限制

    对于使用http_access规则拒绝访问的情况（如访问被禁止的网站或者禁止的时间段访问），浏览器的报错页面中出现“Access  Denied”的提示

                                                                                                                                            拒绝使用Squid代理服务

                                                                                                                                            拒绝下载超过大小的文件

    用来下载测试的文件可以通过dd命令生成。例如，若限制的大小为10MB，则可以在目标网站服务器中创建一个15MB的测试文件

[root@localhost ~]# dd  if=/dev/zero  of=/var/www/html/file1.tgz  bs=1MB  count=15

四、Squid日志分析

    Sarg全名是Squid  Analysis  Report  Generator，是一款Squid日志分析工具，采用HTML格式，详细列出每一位用户访问Internet的站点信息、时间占用信息、排名、连接次数、访问量等

    Sarg部署过程如下所述

1、安装GD库

[root@localhost ~]# yum  -y  install gd  gd-devel

2、安装sarg

[root@localhost ~]# mkdir /usr/local/sarg

[root@localhost ~]# tar -zxf sarg-2.3.9.tar.gz 

[root@localhost ~]# cd sarg-2.3.9/

[root@localhost sarg-2.3.9]# ./configure --prefix=/usr/local/sarg --sysconfdir=/etc/sarg --enable-extraprotection && make && make install

    上述配置项含义如下

    --sysconfdir=/etc/sarg                      //配置文件目录，默认为/usr/local/etc

    --enable-extraprotection                    //添加额外的安全保护

3、配置

[root@localhost ~]# cd /etc/sarg/

[root@localhost sarg]# vim sarg.conf 

access_log /usr/local/squid/var/logs/access.log     //指定Squid的访问日志文件

title "Squid User Access Reports"                   //网页 标题

output_dir /var/www/html/squid-reports              //sarg报告的输出目录

user_ip no                                          //使用用户名显示

exclude_hosts /usr/local/sarg/noreport              //指定不计入排序的站点列表文件

topuser_sort_field BYTES reverse                    //在top排序中，指定连接次数、访问字节数、采用降序排列，升序将reverse换成normal

user_sort_field connect reverse                     //对于用户访问记录，连接次数按降序排序

overwrite_report no                                 //当那个日志报告已经存在，是否覆盖报告

mail_utility mailq.postfix                          //发送邮件报告的命令

charset UTF-8                                       //使用字符集

weekdays 0-6                                        //指定top排序时的星期周期，0为周日

hours 9-12,14,16,18-20                              //指定top排序时的时间间隔

www_document_root /var/www/html                     //网页根目录

4、运行

    上述配置中，添加了不计入排序的站点，需要存在下面这个文件

[root@localhost squid]# touch /usr/local/sarg/noreport

    这个文件中添加的域名将不被显示在排序中

    直接执行sarg即可启动一次记录，建立设置符号链接，然后执行sarg，会看到提示信息

[root@localhost squid]# ln -s /usr/local/sarg/bin/sarg /usr/local/bin/

[root@localhost ~]# sarg 

SARG: Records in file: 156, reading: 100.00%

SARG: Successful report generated on /var/www/html/squid-reports/2015Aug30-2015Aug30

5、验证

    在sarg.conf配置中可设置字体、颜色等信息，方便查询。多次执行sarg后，在客户端上访问/sarg/目录，可看到报表

                                                                                                                                                      sarg报表

6、计划任务

    可将sarg做成计划任务，定期执行

    如下示例，写个日报告

[root@localhost ~]# vim  /usr/local/sarg/daily.sh        //示例：每日报告，内容如下：

#!/bin/bash
# Get current date
TODAT=$(date)
# Get one week ago today
YESTERDAY=$(date -d "1 day ago")          
/usr/local/sarg/bin/sarg -l /usr/local/squid/var/logs/access.log -o /var/www/html/squid-reports -z -d $YESTERDAY-$TODAT &>/dev/null
exit 0

[root@localhost ~]# chmod +x /usr/local/sarg/daily.sh 

[root@localhost ~]# crontab -e                           //添加任务计划，每天00:00执行

00 00 * * * /usr/local/sarg/daily.sh

[root@localhost ~]# systemctl enable crond