中国地理区域IP库整理

一、前言
    此文应朋友需求进行整理，内容为中国行政地理区域IP库整理第一步：根据apnic分配给中国的IPv4地址，进行whois信息筛选划分出ISP、及地域IP库，以及生成脚本。网上之前也有类似处理IP库的脚本，思路差不多，本文较深入根据IP划分成行政区域、运营商IP库及生成bind view 所需的acl ip库文件，第一步实现基础IP库还不算很准确，大家可以根据需求在修改定制。
  第二步：使用whois3根据mnt-by关键字反向查询运营商IP段及运营商路由表，将第一步与第二步的IP库进行对比将差异的IP段加入完善IP库
  第三步：利用生产中的DNS查询日志获取IP及view定义，使用第三方IP库查询校验结果与分配的view进行对比，如果匹配不做调整，如果不匹配，再进行人工使用多个第三方IP库查询核对，如果的确不匹配调整对应acl ip库文件。
   一点整理思路，如此IP库相对比较完整、精确。有兴趣的同学可以一起进行研究，完善，交流，今天将第一步实现的脚本及简要说明。

二、ISP英文简称说明
1、cnc   联通
2、ctc   电信
3、cmn   移动
4、ctt   铁通
5、cer   教育网
6、other 其他ISP

三、脚本修改完善说明
1、对ISP及涉及文件按照规范命名
2、增加中国地理区域划分脚本，并自动生成view所需acl ip库文件
2、对whois出的netname进行筛选并找出主要ISP的名称，详见netname_isp文件
3、根据中国地理区域划分，将ISP划分成不同的区域
   区域划分参考：http://baike.baidu.com/view/2304312.htm
4、202.97.128.0/18这个IP段是划分给中国后的掩码，whois时得到的adress是“address:        6 Cordelia Street”，划区域时取关键字Cordelia，这个网段大部分在山西太原联通，所以划入华北联通
5、因为whois信息筛选的address一般有三段，大多数分配给地方的IP，第一段地址都含有Beijing，所以进行区域IP筛选时，先筛选地方，最后在筛选含有北京的华北地区。

四、文件说明
1、ip_apnic：为Apanic提供的亚太地区IPv4，IPv6，AS号分配的信息表
2、cn.net：apnic分配给中国的IPv4 IP段
3、ISP IP库文件为ISP名称，例如“ctc”即为为联通的IP库文件
4、ISP IP库及所属地址描述文件，例如“cnc.address ”
5、筛选后的ISP区域IP库文件，例如“cnc_zhb”即运营商_地理区域
6、acl IP库文件,  acl_cnc_zdb格式为acl_运营商_区域命名（网通_中国_东北地区）

五、脚本说明
1、whois_ip.sh 为获取中国IPv4地址段及筛选ISP脚本，这个网上有，我根据需求稍微修改了一下，内容如下

#!/bin/sh
FILE=./ip_apnic
rm -f $FILE
#rm -f  cn.net UNICOM  CHINANET CMNET CRTC CERNET OTHER
for ipfile in cn.net cnc   ctt  cmn ctt cer other
do
mv $ipfile  $ipfile-$(date "+%F-%H:%M")
done
wget http://ftp.apnic.net/apnic/stats/apnic/delegated-apnic-latest -O $FILE
grep 'apnic|CN|ipv4|' $FILE | cut -f 4,5 -d'|'|sed -e 's/|/ /g' | while read ip cnt
do
echo $ip:$cnt
mask=$(cat << EOF | bc | tail -1
pow=32;
define log2(x) {
if (x<=1) return (pow);
pow--;
return(log2(x/2));
}
log2($cnt)
EOF)
echo $ip/$mask>> cn.net
#zone=`whois [email protected] | sed -e '/./{H;$!d;}' -e 'x;/netnum/!d' |grep ^netname | sed -e 's/.*:\(.*\)/\1/g'`
NETNAME=`whois [email protected] | sed -e '/./{H;$!d;}' -e 'x;/netnum/!d' |grep ^netname | sed -e 's/.*:      \(.*\)/\1/g'| sed -e 's/-.*//g'|sed 's: ::g'`
echo "$NETNAME" >> netname
case $NETNAME in
CNC|CNCGROUP|UNICOM|Chinaunicom)
echo "$ip/$mask " >> cnc
#echo "$ip/$mask $zone" >> cnc-zone
;;
CHINANET|CHINATELECOM)
echo "$ip/$mask" >>  ctc
#echo "$ip/$mask $zone" >> ctc-zone
;;
CMNET)
echo "$ip/$mask " >> cmn
#echo "$ip/$mask $zone" >> cmn-zone
;;
CRTC)
echo "$ip/$mask " >> ctt
#echo "$ip/$mask $zone" >> ctt-zone
;;
*CERNET*)
echo "$ip/$mask " >> cer
#echo "$ip/$mask $zone" >> cer-zone
;;
*)
echo "$ip/$mask" >> other
#echo "$ip/$mask $zone" >> other-zone
;;
esac
done

2、gen_china_area.sh 根据中国地理区域划分生成的区域IP库，并生成view所需的acl ip库文件

#!/bin/sh
#update date:20130307
#QQ:335623998
#generate china area ip
gen_cnc(){
FILE=$PWD/cnc
#rm -f  $FILE.address
while read LINE;do
echo "$LINE"
echo -n "$LINE @ " >> $FILE.address
whois  $LINE @whois.apnic.net |egrep "address|descr"|xargs  echo >> $FILE.address
echo  "-----------------"  >> $FILE.address
sleep 1
done < $FILE
egrep -i "Hunan|Changsha|Hubei|Wuhan|Henan|Zhenzhou|Jiangxi|Nanchang" $FILE.address > cnc_zhz
egrep -i -v "Hunan|Changsha|Hubei|Wuhan|Henan|Zhenzhou|Jiangxi|Nanchang" $FILE.address > addtmp
mv addtmp $FILE.address
egrep -i "Sichuan|Chengdu|Yunnan|Kunming|Guizhou|Guiyang|Xizang|Lasa|Chongqing" $FILE.address > cnc_zxn
egrep -i -v "Sichuan|Chengdu|Yunnan|Kunming|Guizhou|Guiyang|Xizang|Lasa|Chongqing" $FILE.address > addtmp
mv addtmp $FILE.address
egrep -i "Shandong|Jinan|Jiangsu|Suzhou|Nanjing|Anhui|hefei|Zhejiang|Ningbo|Hangzhou|Fujian|Futian|Pudong|Shanghai" $FILE.address > cnc_zhd
egrep -i -v "Shandong|Jinan|Jiangsu|Suzhou|Nanjing|Anhui|hefei|Zhejiang|Ningbo|Hangzhou|Fujian|Futian|Pudong|Shanghai" $FILE.address > addtmp
mv addtmp $FILE.address
egrep -i "Guangxi|Nanning|Guangzhou|Guangdong|Shenzhen|Hainan|Haikou" $FILE.address > cnc_zhn
egrep -i -v "Guangxi|Nanning|Guangzhou|Guangdong|Shenzhen|Hainan|Haikou" $FILE.address > addtmp
mv addtmp $FILE.address
egrep -i "Heilongjiang|Harbin|Jilin|ChangChun|Liaoning|Shenyang" $FILE.address > cnc_zdb
egrep -i -v "Heilongjiang|Harbin|Jilin|ChangChun|Liaoning|Shenyang" $FILE.address > addtmp
mv addtmp $FILE.address
egrep -i "Ningxia|Yichuan|Xinjiang|Urumqi|Qinghai|Shaanxi|Xining|Xian|Gansu|Lanzhou" $FILE.address > cnc_zxb
egrep -i -v "Ningxia|Yichuan|Xinjiang|Urumqi|Qinghai|Shaanxi|Xining|Xian|Gansu|Lanzhou" $FILE.address > addtmp
mv addtmp $FILE.address
egrep -i "Mongolia|Cordelia|Beijing|Hebei|Shijiazhuang|Tianjin|Taiyuan|Shanxi|GuangDe" $FILE.address > cnc_zhb
egrep -i -v "Mongolia|Cordelia|Beijing|Hebei|Shijiazhuang|Tianjin|Taiyuan|Shanxi|GuangDe" $FILE.address > addtmp
mv addtmp $FILE.address
sed -r -i '/-----/d' $FILE.address
#cat $FILE.address >>  cnc_zhb
sed -r -i 's#@.*##g' cnc_*
sort -n -t.  -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zhz | awk 'BEGIN{print "acl acl_cnc_zhz '{' "}{print $1";"}END{print "'}';"}' > acl_cnc_zhz
sort -n -t.  -k 1,1 -k 2,2 -k 3,3 -k 4,4  cnc_zxn| awk 'BEGIN{print "acl acl_cnc_zxn '{' "}{print $1";"}END{print "'}';"}'  >acl_cnc_zxn
sort -n -t.  -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zhd | awk 'BEGIN{print "acl acl_cnc_zhd '{' "}{print $1";"}END{print "'}';"}'  >acl_cnc_zhd
sort -n -t.  -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zhn | awk 'BEGIN{print "acl acl_cnc_zhn '{' "}{print $1";"}END{print "'}';"}'  >acl_cnc_zhn
sort -n -t.  -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zdb | awk 'BEGIN{print "acl acl_cnc_zdb '{' "}{print $1";"}END{print "'}';"}'  >acl_cnc_zdb
sort -n -t.  -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zxb | awk 'BEGIN{print "acl acl_cnc_zxb '{' "}{print $1";"}END{print "'}';"}'  >acl_cnc_zxb
sort -n -t.  -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zhb | awk 'BEGIN{print "acl acl_cnc_zhb '{' "}{print $1";"}END{print "'}';"}'  >acl_cnc_zhb
}
#其他五个运营商函数定义类似，详见脚本内容，脚本请下载http://down.51cto.com/data/873530
gen_cnc
gen_cmn
gen_ctt
gen_ctc
gen_cer
gen_other

3、whois_mb.sh 获取mnt-by关键字，为第二步处理做准备
4、主要主要根据中共区域划分生成的acl ip库文件，如果你根据运营商划分直接对筛选的ISP IP库文件（cnc ctt cer……）进行处理生成acl ip库文件即可，一般小企业DNS定义三个view（cnc，ctt，other）即可。

  自动生成的acl ip文件内容

cat acl_cnc_zdb
acl acl_cnc_zdb {
1.56.0.0/13;
1.188.0.0/14;
42.4.0.0/14;
42.52.0.0/14;
42.56.0.0/14;
42.84.0.0/14;
42.176.0.0/13;
58.21.0.0/16;
58.244.0.0/15;
…略…
……
221.207.128.0/17;
221.208.0.0/14;
221.212.0.0/16;
222.160.0.0/15;
222.162.0.0/16;
222.163.0.0/19;
222.163.32.0/19;
222.163.64.0/18;
};

 

‍ ‍ ‍ ‍

 

相关参考资料：http://rdc.taobao.com/blog/cs/?p=908

 中国行政区域IP库整理脚本及文件下载地址：http://down.51cto.com/data/873530

 此文思路基本可以满足中小企业使用，还请大家指点、沟通，一起学习。