squid研究记录

Squid研究记录

Squid cache（简称为Squid）是一个流行的自由软件（GNU通用公共许可证）的代理服务器和Web缓存服务器。Squid有广泛的用途，从作为网页服务器的前置cache服务器缓存相关请求来提高Web服务器的速度，到为一组人共享网络资源而缓存万维网，域名系统和其他网络搜索，到通过过滤流量帮助网络安全，到局域网通过代理上网。Squid主要设计用于在Unix一类系统运行。

    Squid的发展历史相当悠久，功能也相当完善。除了HTTP外，对于FTP与HTTPS的支援也相当好，在3.0 测试版中也支援了IPv6。

                                                                      ----摘自“开源中国社区”

 

下面是从安装，到配置的整个过程，并对其中的一些参数进行粗浅的解释

1、下载安装

    先去http://www.squid-cache.org/去下载源代码包squid-3.1.19.tar.gz

    当前版本为squid-3.1.19

# tar xvfz squid-3.1.19.tar.gz

# cd squid-3.1.19

    在目录里执行configure操作，该操作是为了生成makefile文件的，所以有一些参数需要设置

#./configure --prefix=/usr/local/squid --enable-dlmalloc --enable-gnuregex --enable-removal-policies=heap,lru --enable-icmp --enable-delay-pools --enable-snmp --enable-arp-acl --enable-cahce-digests  --enable-storeio=aufs,ufs  --with-pthreads --enable-default-err-languages="Simplify_Chinese" --enable-epoll --enable-linux-netfilter --disable-ident-lookups --with-maxfd=65536 --enable-kill-parent-hack --enable-follow-x-forwarded-for --enable-stacktraces [--enable-ecap]

# make

# sudo make install

         安装完成后，进入/usr/local目录，更改squid目录的owner和grouper，这里可以根据自身需要进行更改，可以是新建一个用户专门用来执行squid，如：

# groupadd  -g  100  squid

# useradd   -u  100  -g  100  squid

或者直接使用目前的用户和用户组。

# sudo chown {owner}:{group} squid –R

至此，安装过程已经基本结束。

2、配置squid

#缓存机制：

quick_abort_min 0 KB

quick_abort_max 0 KB

#如果cache与缓存空间大小的比例达cache_swap_high时，开始swap操作，当比例降到cache_swap_low时，swap操作停止：

cache_swap_low 90

cache_swap_high 95

#采用的swap方式：

cache_replacement_policy heap LFUDA

#大于maximum_object_size的不进行disk存储：

maximum_object_size 4096 KB

#大于maximum_object_size的不进行memory存储：

maximum_object_size_in_memory 4096 KB

#指定内存的最大使用量（根据机器的内存和其它环境进行设定）：

cache_mem 4096 MB

#打开SMP系统间的内存共享机制（squid-3.1.19不支持）：

#memory_cache_shared on

#关闭半链接功能（有时squid会停止发送数据，但接收功能不会停止）：

half_closed_clients off

#打开内存池以供后期使用：

memory_pools on

#关闭收集client的统计信息：

client_db off

#开启log信息的缓存功能：

buffered_logs on

#DNS相关设置（前者指缓存时间上限，后期指失败DNS解析的TTL）：

positive_dns_ttl 8 hours

negative_dns_ttl 1 seconds

#IP的最大缓存数量：

ipcache_size 20480

#同cache_swap_low和cache_swap_high：

ipcache_low 90

ipcache_high 95

#FQDN的最大缓存数量：

fqdncache_size 20480

#http监听端口：

http_port 3128

#打开该选项后，用户的no-cache和reload请求将会更新cache：

reload_into_ims on

#设置一个limit，如果request的range超过这个limit，则将request进行透传（相当于not cache）：

range_offset_limit -1

#打开该选项能够忽略带有no-cache的request的超时机制：

vary_ignore_expire on



#路径设置：

#cache资源存储的路径 ufs|aufs Mbytes L1 L2（L1为在squid下有多少个目录存放资源，L2为在每个L1目录下有多少个目录存放资源）：

cache_dir aufs /usr/local/squid/var/cache/squid 8192 16 256

#coredump保存路径，否则保存在起始目录下：

coredump_dir /usr/local/squid/var/cache/squid

#access.log的存放路径（如果不存放可替换为cache_access_log none），该log包含了request的响应结果，哪些MEM_HIT，哪些MEM_MISS等：

cache_access_log /usr/local/squid/var/logs/access.log squid

# store.log的存放路径（存储缓存信息的log）:

cache_store_log /usr/local/squid/var/logs/store.log



#用户设置：

#如果以root权限启动该程序，在启动前转到设置的user和group：

cache_effective_user squid

cache_effective_group squid



#要用到的命令设置：

#squid启动过程中会调用pinger，这里要设置好路径，并打开开关：

pinger_program /usr/local/squid/libexec/pinger

pinger_enable on



#连接规则配置：

#localnet包含了一些基于IP的filter：

acl localnet src 10.0.0.0/8     # RFC1918 possible internal network

acl localnet src 172.16.0.0/12  # RFC1918 possible internal network

acl localnet src 192.168.0.0/16 # RFC1918 possible internal network

acl localnet src fc00::/7       # RFC 4193 local private network range

acl localnet src fe80::/10      # RFC 4291 link-local (directly plugged) machines

acl localnet src 118.192.34.0/24

#localnet包含了一些基于Port的filter：

acl SSL_ports port 443

acl Safe_ports port 80          # http

acl Safe_ports port 21          # ftp

acl Safe_ports port 443         # https

acl Safe_ports port 70          # gopher

acl Safe_ports port 210         # wais

acl Safe_ports port 1025-65535  # unregistered ports

acl Safe_ports port 280         # http-mgmt

acl Safe_ports port 488         # gss-http

acl Safe_ports port 591         # filemaker

acl Safe_ports port 777         # multiling http

acl CONNECT method CONNECT



#允许localnet定义的链接访问该代理：

http_access allow localnet

#禁止非Safe_ports定义的端口被访问：

http_access deny !Safe_ports

#禁止非SSL_ports定义的端口被链接：

http_access deny CONNECT !SSL_ports

#允许Purge功能：

acl localhost src 127.0.0.1/32

acl Purge method PURGE

http_access allow localhost Purge

#除上面规定的允许访问的链接，其他都不能访问该代理（一定要有这句话，而且顺序不能变）：

http_access deny all



#squid实现gzip功能配置：



ecap_enable on

ecap_service gzip_service respmod_precache 0 ecap://www.vigos.com/ecap_gzip

loadable_modules /usr/local/lib/ecap_adapter_gzip.so

acl GZIP_HTTP_STATUS http_status 200

adaptation_access gzip_service allow GZIP_HTTP_STATUS



#这些可以具体了解下acl规则。





#下面这个是以ftp开头的链接，过期时间为3168分钟：

refresh_pattern ^ftp:           1440    20%     10080

#如果想cache图片资源，cache时间为1天，则可以设置：

refresh_pattern –i .*\\.img.*:           1440    0%     2880

refresh_pattern –i .*\\.png.*:           1440    0%     2880

refresh_pattern –i .*\\.gif.*:            1440    0%     2880

#如果想cache那些第三方设置了no-cache的资源，可以增加options，如：

refresh_pattern –i .*\\.img.*:           1440    0%     2880  ignore-no-cache

refresh_pattern –i .*\\.png.*:           1440    0%     2880  ignore-no-cache

refresh_pattern –i .*\\.gif.*:            1440    0%     2880  ignore-no-cache

#除此之外还有很多其他的选项，如ignore-no-store，请参考squid.conf.document。 

#cache规则配置：

#这块是非常重要的，关系到哪些资源是需要cache，而哪些资源不能cache的。主要的命令就是refresh_pattern [-i] regexp min percent max [options]：

#先插入段讲解，关于后面那三个数（min percent max），算法如下：

 min, max的单位是分钟，percent就是百分比。

(当前时间定义为CURRENT_DATE)
1) If ((CURRENT_DATE-DATE(就是LM里定义的时间)) < min)，cache是新鲜的
2) else if ((CURRENT_DATE-DATE) < (min + (max-min)*percent)，cache是新鲜的
3) else cache是过期的
cache过期就需要从后面server取新鲜内容

3、运行squid

先建立disk缓存区：

# /usr/local/squid/sbin/squid –z

启动squid：

# /usr/local/squid/sbin/squid

查看squid是否启动：

# ps –ef | grep squid

如果没有squid进程，则可以通过查看/usr/local/squid/var/logs/cache.log来查看原因，如有pinger相关的错误，则需要更改pinger权限，且看conf文件中是否已经设置了pinger的路径：

# sudo chown root:root /usr/local/squid/libexec/pinger

# sudo chmod u+s /usr/local/squid/libexec/pinger 

4、squid其他命令

1、关闭squid

/usr/local/squid/sbin/squid –k shutdown

 

2、重新载入config文件

/usr/local/squid/sbin/squid –k reconfigure

可以通过/usr/local/squid/sbin/squid –k parse来检查config文件配置是否正确。

 

3、查看squid的运行信息

获取cpu、内存、cache比例等数据：

/usr/local/squid/bin/squidclient -p 80 mgr:info

/usr/local/squid/bin/squidclient -p 80 cache_object://localhost/info

 

从cache中删除某个对象

/usr/local/squid/bin/squidclient -p 80 -m PURGE http://www.linux.com.cn/

往cache中添加某个对象

/usr/local/squid/bin/squidclient -p 80 http://www.linux.com.cn/

获取内存使用的详细信息

# /usr/local/squid/bin/squidclient -p 80 mgr:mem

获取cache对象列表（慎用，可能会导致squid崩溃）

# /usr/local/squid/bin/squidclient -p 80 mgr:objects

获取磁盘使用数据

# /usr/local/squid/bin/squidclient -p 80 mgr:diskd

4、清空cache

# /usr/local/squid/sbin/squid –k shutdown

# mv  /usr/local/squid/var/cache /usr/local/squid/var/cache-old

# mkdir cache

# /usr/local/squid/sbin/squid –z

# /usr/local/squid/sbin/squid

#rm –rf /usr/local/squid/var/cache-old 

5、透明代理设置

在conf文件中将http_port的设置改为

http_port 3128 transparent

使用iptables 做nat，并将所有的80请求重定向到本机的3128 以实现透明代理[摘自其他地方]。 
vi /data/myscripts/squid.firewall
脚本如下：

#!/bin/bash

echo "1" > /proc/sys/net/ipv4/ip_forward

echo "starting iptables rules"

/sbin/iptables -t filter -F

/sbin/iptables -t filter -Z

/sbin/iptables -t filter -X

/sbin/iptables -t nat -F

/sbin/iptables -t nat -Z

/sbin/iptables -t nat -X

/sbin/modprobe ip_tables

/sbin/modprobe iptable_nat

/sbin/modprobe iptable_filter

/sbin/modprobe ip_nat_ftp

/sbin/modprobe ip_conntrack

/sbin/modprobe ip_conntrack_ftp

/sbin/iptables -t filter -P INPUT ACCEPT

/sbin/iptables -t filter -P OUTPUT ACCEPT

/sbin/iptables -t filter -P  FORWARD ACCEPT

/sbin/iptables -t nat -A  POSTROUTING -s 192.168.1.0/24 -j SNAT --to-source a.b.c.d

/sbin/iptables -t nat -A  PREROUTING  -s 192.168.1.0/24 -p tcp --dport 80 -j REDIRECT --to-ports  3128

执行脚本并将其加入到开机自启动,注意将脚本中的a.b.c.d换成自己公司的公网静态ip

# ./squid.firewall

# echo "./squid.firewall" >>/etc/rc.d/rc.local 

6、将squid添加到开机自启动

# echo "/usr/local/squid/sbin/squid -s " >>/etc/rc.d/rc.local 

7、查看端口占用情况并杀掉对应进程：

# netstat –a

# lsof –i:3128   //查看占用该端口的进程id

8、情况iptables

 iptables -t nat -F

 iptables -t nat -X

 iptables -t nat -P PREROUTING ACCEPT

 iptables -t nat -P POSTROUTING ACCEPT

 iptables -t nat -P OUTPUT ACCEPT

 iptables -t mangle -F

 iptables -t mangle -X

 iptables -t mangle -P PREROUTING ACCEPT

 iptables -t mangle -P INPUT ACCEPT

 iptables -t mangle -P FORWARD ACCEPT

 iptables -t mangle -P OUTPUT ACCEPT

 iptables -t mangle -P POSTROUTING ACCEPT

 iptables -F

 iptables -X

 iptables -P FORWARD ACCEPT

 iptables -P INPUT ACCEPT

 iptables -P OUTPUT ACCEPT

 iptables -t raw -F

 iptables -t raw -X

 iptables -t raw -P PREROUTING ACCEPT

 iptables -t raw -P OUTPUT ACCEPT

5、squid运行中的问题

1、Your cache is running out of filedescriptors

sudo -s

ulimit -HSn 65536

在configure时加入 --with-maxfd=65536

不知道在squid.conf加入max_filedescriptors 15000是否起作用

 

6、squid实现gzip压缩，先要安装下列包

1、Download and install libecap Library

 http://www.e-cap.org/Downloads

cd libecap-0.0.3/
./configure
make
make install

 

2、Download and install VIGOS eCAP GZIP Adapter

http://code.google.com/p/squid-ecap-gzip/downloads/list

cd squid-ecap-gzip/
./configure
make
make install